Our expert opinion on cloud.

Multi-cloud log analyse in 5 minuten

Posted by Marcel Eizenga on 3-mei-2016 11:48:08
Find me on:

Je wilt volledige inzage in alles wat er gebeurt binnen je infrastructuur. Die infrastructuur staat (gedeeltelijk) in de cloud en wellicht worden er een of meerdere clouds gebruikt. In dat geval is er sprake van multi-cloud. Naast de uitdagingen die multi-cloud met zich mee brengt genereert de infrastructuur data, heel veel data. Die data wil je vastleggen (loggen) en analyseren. Hiervoor gebruik je een tool omdat die verbanden legt tussen data en inzichten geeft die je zelf niet zou ontdekken.

Stel dat je voor een proof of concept of je eerste cloud project een log analyse tool nodig hebt, dan wil je een tool gebruiken die binnen no-time is opgezet en weinig of niets mag kosten. Die tool moet uiteraard wel in staat zijn om logfiles van meerdere bronnen zoals het operating system, applicaties, databases en netwerkapparatuur te kunnen analyseren. De voornaamste reden dat ik naar deze tools ben gaan kijken is dat we zo’n log analyse tool nodig hadden voor een module van onze Hybrid Cloud Advanced Training. Bij het selecteren van de tool had ik een paar eisen, namelijk: 

  • Snel in gebruik te nemen
  • Ondersteuning voor de meest voorkomende type logfiles
  • Gratis proefperiode
  • Geen beperkingen tijdens de proefperiode

Uiteraard kies ik voor een SaaS applicatie. Je kunt natuurlijk ook zelf gaan bouwen en dan kom je al snel terecht in de wereld van Elasticsearch, Logstash en Kibana. Voor dit doeleinde is dat te veel gedoe. 
Met de vereisten in gedachten kwam ik na enig zoekwerk op de volgende tools uit: 

  • Logentries
  • Loggly
  • Papertrail
  • Amazon CloudWatch
  • Splunk Cloud

Logentries
Deze applicatie voldoet aan bijna alle eisen, echter de proefperiode kent beperkingen in de hoeveelheid data die geanalyseerd kan worden. De website biedt redelijk wat documentatie, maar de applicatie zelf ziet er niet zo aantrekkelijk uit. Voor mij redenen genoeg om niet verder te kijken naar deze tool.

Loggly
Deze applicatie voldoet aan alle eisen en de applicatie (het dashboard) ziet er goed en laagdrempelig uit. Hun website staat vol met documentatie waarin allerlei scenario's beschreven worden en stap voor stap wordt uitgelegd hoe je een bepaalde applicatie moet configureren.

Papertrail
Deze applicatie voldoet aan bijna alle eisen, echter de proefperiode kent beperkingen in zowel functionaliteit als in de hoeveelheid data die geanalyseerd kan worden. Of deze beperkingen daadwerkelijk hinderen is maar de vraag. Voor mij in ieder geval reden om niet verder te kijken naar deze tool.

Amazon CloudWatch
Als je op AWS zit is CloudWatch een voor de hand liggende keuze. Echter, het opzetten van CloudWatch is niet heel eenvoudig en beperkt zich tot het loggen van EC2 instances. Hierdoor voldoet CloudWatch niet aan de eisen en valt af voor dit doeleinde.

Splunk Cloud
De meest bekende log analyse tool is Splunk. Splunk is de meest uitgebreide tool en biedt naast allerlei dashboards ook de mogelijkheid om verbanden te leggen tussen verschillende data, patronen te herkennen en zelf met de data aan de slag te gaan via draaitabellen. 

Uiteindelijk heb ik deze keer voor Loggly gekozen. Splunk Cloud was minstens net zo goed geweest, maar laten we eens een minder bekende tool gebruiken. Loggly heeft geen beperkingen tijdens de trial periode, er is volop documentatie (how to’s) en het kost de eerste 30 dagen niets. Binnen enkele minuten kwamen de eerste Apache en Ubuntu OS logfiles binnen en kan het analyseren beginnen. Happy Logging!

Loggly_screenshot.png

Figuur: Voorbeeld van een dashboard van Loggly. Ubuntu (AWS) stuurt logfiles naar Loggly.

Topics: Hybrid Cloud, Cloud Operations, Cloud Management