Welkom in het vierde deel in mijn serie over Nutanix Objects. De afzonderlijke delen zijn zo geschreven dat u ze prima apart van elkaar kunt lezen. Dit vierde deel gaan we dieper in op Nutanix Objects samen met Splunk SmartStore. Deel 1 hebben we gebruikt om Object Storage te beschrijven en waarvoor je Object Storage kunt gebruiken.
In Deel 2 heb ik uitgelegd dat Nutanix Objects gebruik maakt van een Micro Service Architectuur met als onderlaag Kubernetes voor de container en pod orchestratie. Dit zorgt ervoor dat Nutanix Objects een zeer schaalbare, multi-petabyte en snelle object storage oplossing is.
En in deel 3 kun je lezen hoe eenvoudig je Nutanix Objects installeert en dat iedereen met een Nutanix cluster het gratis kan testen en gebruiken (tot 1TiB).
In dit deel ga ik in op een speciale “use case” voor Nutanix Objects namelijk big data met Splunk SmartStore.
De uitdaging
Tegenwoordig worden er steeds meer big-data applicaties gebruikt. Data is het nieuwe goud en dus lopen de Petabytes al snel op. Volgens sommige bronnen is dit zelfs 40 Zettabytes op wereldwijde schaal, alleen dit jaar al! Eén van die data verzamelaars is het platform Splunk. Splunk wordt door veel bedrijven gebruikt. Splunk verzamelt data van alle IT componenten binnen een bedrijf. Zowel logs, events, alarmen maar ook audits van wie er allemaal de data benadert in de systemen. Alles wordt in het Splunk platform opgeslagen.
Een schat aan informatie dus. Het Splunk platform heeft de data ook makkelijk doorzoekbaar gemaakt, met indexen en metadata. Hierdoor kunnen bedrijven die gebruik maken van Splunk snel zien of er data lekken zijn bijvoorbeeld en of alle systemen wel goed werken. Maar ook correlaties leggen tussen verschillende data. Op de Splunk website vindt u meer informatie.
Veel data..
Maar ja, alle data moet je wel kunnen bewaren. In de “klassieke” manier van hoe Splunk werkt wordt de data geclassificeerd in “hot, warm, cold en frozen” data. Elke indexer bevat dan lokaal de “Hot”, “Warm” en “Cold/Frozen” data. Deze wordt dan gerepliceerd, zodat je nog meer data moet bewaren! De Splunk “file-system” CPU laag is dan ook gelijk de storage laag.
..veroorzaakt scheefgroei tussen CPU en opslagcapaciteit.
Daarbij zal, afhankelijk van de rententietijd, na verloop van tijd de “frozen en cold” data verder toenemen. Terwijl de “hot en warm” data omvang min of meer hetzelfde blijft. De processorkracht die nodig is om de hot data te doorzoeken blijft dan ook hetzelfde, terwijl de behoefte aan opslagcapaciteit groeit. Kortom er ontstaat een scheefgroei tussen benodigde processorkracht en opslagcapaciteit.
Twee uitdagingen dus:
- Dubbele kopieën van de data en dat terwijl de onderliggende opslag capaciteit de data ook al dubbel beschermt.
- Scheefgroei tussen CPU en opslagcapaciteit.
In een “normale” HyperConverged Infrastuctuur oplossing is de scheefgroei tussen CPU en Storage capaciteit een probleem. Met Nutanix HCI kun je gelukkig nog wel “storage” only nodes toevoegen. Je kunt dus je cluster laten groeien met alleen opslagcapaciteit. Dat maakt het tweede probleem voor Nutanix niet zo groot. Maar het eerste probleem is natuurlijk niet optimaal.
En omdat in de “klassieke” Splunk manier alle data (hot, warm en cold) wordt bewaard in de indexer, is een uitval van een indexer gelijk een mogelijk probleem. De indexer moet dan weer geheel opgebouwd worden vanuit de replica’s. Dit kan een tijdrovende zaak zijn.
De oplossing: Splunk SmartStore op Nutanix
Splunk heeft hier een oplossing voor bedacht Splunk SmartStore. Met SmartStore reduceert Splunk het gebruik van lokale storage. Alleen de hot en cache data staan lokaal waarbij alleen de hot data wordt gerepliceerd. De ‘warm’ data wordt gekopieerd naar Smartstore (S3 remote storage), indien de warme data nog gebruikt wordt in searches zal deze blijven bestaan. Anders wordt de data verwijderd (evicted) en blijft er alleen een metadata verwijzing naar de data. Indien de data weer nodig is, zal de cache manager deze weer “smart” downloaden. Alleen de benodigde data zal weer lokaal gehaald worden (dus niet de gehele “warm” bucket). Zie onderstaand schema (rode buckets= hot, gele buckets= warm).
Voordelen van Splunk SmartStore
Door dit mechanisme heeft Splunk een aantal problemen opgelost. Ten eerste staat er maar één copy in het lokale systeem en wordt de redundancy geregeld door het storage systeem. Zoals dit ook hoort. Dit scheelt bijna de helft van de benodigde capaciteit. En ten tweede worden de index servers alleen belast met “hot” data, en met een deel “warm” data. Dus er is geen lokale storage behoefte voor cold of frozen data. Hierdoor is de scheefgroei tussen CPU en Storage capaciteit opgelost.
En als laatste voordeel is de uitval van een Splunk indexer niet langer meer een potentieel probleem.
De voordelen van Nutanix.
De Objects Storage van Nutanix (Objects) is door Splunk gecertificeerd om te gebruiken voor SmartStore. Je kunt Splunk dus nu op meerdere manieren in combinatie met Nutanix gebruiken.
Op de normale manier met bijvoorbeeld Storage Only nodes of door gebruik te maken van Nutanix Objects en Splunk SmartStore.
Omdat Nutanix Objects gebruik maakt van hetzelfde Nutanix Prism beheersysteem als het “normale” Nutanix cluster, waarop de Splunk indexers draaien, wordt het beheer van zo’n omgeving zeer gemakkelijk gemaakt. Daarbij is Nutanix uiterst schaalbaar, zowel het Objects als het HCI-gedeelte. Dit betekent dat de Splunk omgeving makkelijk mee kan groeien zonder nu al teveel te hoeven aan te schaffen (pay-as-you grow). Een ander voordeel is dat Objects dusdanig is ontworpen dat het ook in performance kan schalen. De meeste S3 Object storage is gemaakt voor archief, Nutanix Objects is ontworpen ook voor performance. Dat maakt dat de doorzoeksnelheid van Splunk ook voor “oudere” gegevens supersnel gaat.
Als laatste voordeel zijn de kosten. Omdat er minder redundante copies van de data opgeslagen hoeft te worden scheelt dit aanzienlijk in kosten. De grafiek hieronder geeft een aantal voorbeelden van Nutanix configuraties met en zonder SmartStore:
Samenvating
Nutanix is gecertificeerd voor Splunk SmartStore, zo kunt je erop vertrouwen dat de combinatie optimaal ondersteund wordt. Splunk SmartStore biedt veel voordelen biedt ten opzichte van de traditionele Splunk oplossing. Zo zijn de kosten voor de storage infrastructuur lager, en omdat Nutanix Objects en het Splunk cluster op Nutanix dezelfde beheerlaag delen zijn ook de beheerskosten lager. Omdat Nutanix Objects een hoge performance biedt, zal SmartStore dezelfde snelheid ervaring geven als de traditionele versie, zonder de nadelen van de traditionele oplossing.
Meer weten? Geef mij een mailtje via linkedin.com/in/ricardovanvelzen
