Analiza logów może być Sexy

Zbierasz logi? Każdy coś zbiera. Czy kiedyś analizowałeś co tak naprawdę w nich “piszczy”? To już niekoniecznie. Ważne, że są i że w razie czego można tam zajrzeć. Czy kiedyś zajrzałeś? Cóż… Analiza logów pomoże przezwyciężyć lęki.

Analiza logów to istotne zagadnienie

Osobiście zawsze byłem fanem stosu ELK (Elastic Search + LogStash + Kibana). Szczególnie gdy pojawił się projekt SexiLog.

Szybki deployment, piękne kolorowe słupki i sporo gotowych szablonów widoków. Same zalety. Przy odrobinie dobrych chęci i czasu można by wyłuskać najbardziej finezyjne szczegóły naszego środowiska.

Czegoś mi jednak w tym wszystkim brakowało – analizy logów. Oczywiście, bardzo fajnie przegląda się wykresy z podsumowaniem w którym tygodniu mieliśmy 1000 zdarzeń o poziomie krytycznym, 300 ostrzeżeń i 100 zdarzeń informacyjnych. Jesteśmy w tym momencie dopiero na początku naszej misji rozwiązania problemów, których rezultatem są te wszystkie zdarzenia zapisywane w logach. Proces przekopywania się przez nie jest stosunkowo bezbolesny, ale dość żmudny. Czy nie mógłby ktoś tego za nas zrobić?

Sporo czasu spędzam w “chmurach”. Długo przyglądałem się możliwościom AWS CloudWatch czy SumoLogic, jednak to nie było to czego szukałem.

Moim rozwiązaniem perfect-fit okazał się Azure Operational Insights. Posiada wszystkie zalety wcześniej wymienionych rozwiązań – plus ogromny zasób wbudowanej analityki (tzw. Intelligence Packs)!!! AWESOME!

Gotowe “paczki inteligencji”:

• Alert Management – Powiadomienia i alarmy dotyczące całego środowiska
• Antimalware – Wykrywanie zagrożeń związanych z malware
• Configuration Assessment – Analiza konfiguracji
• Capacity Planning – Monitoring i śledzenie pojemności środowiska
• Change Tracking – Śledzenie zmian w środowisku!
• Log Search – Oczywiście zaawansowane przeszukiwanie logów
• Security and Audit – Analiza logów bezpieczeństwa, audyty
• SQL and Active Directory Assessment – Wnikliwa analiza konfiguracji MS SQL oraz AD
• System Update Assessment – Mnóstwo informacji na temat aktualizacji
• Wire Data – Zbieranie informacji sieciowych w warstwach L2-L7 !!!

Nic nie stoi na przeszkodzie, aby podpinać zewnętrzne moduły przygotowywane przez “firmy trzecie”.

Idąc dalej, na podstawie analizy, filtrów i definiowanych widoków możemy budować sobie w pełni zarządzane widoki (dashboard). Np. osobny widok dla administratorów Windows, storage, sieci. Dorzucamy do tego ekran >50″ i agregujemy najbardziej istotne dla nas informacje w jednym miejscu! Mało? No to lecimy dalej 🙂 Wyobraź sobie, że wszystkie kluczowe informacje, które wydobyłeś z logów, możesz dalej podłączyć do systemu analityki biznesowej Microsoft PowerBI!!!

Tak, wiem 🙂 Już tego chcesz, już tego pragniesz! Dokładnie tak samo reagują osoby, które pierwszy raz widzą Operational Insights w akcji na żywo. Jeśli dodasz do tego widoki na urządzenia mobilne, wtedy twój menedżer uzyska wgląd do ogólnego stanu środowiska, a ciebie ozłocą 😀

Pierwsze pytanie jakie pada z tłumu – ile to kosztuje? Niespodzianka! Dla zastosowań gdzie ilość logów nie przekracza 500MB/24h – rozwiązanie jest całkowicie za darmo. Powyżej 500MB występują już płatne plany, jak to w chmurze – w modelu za użycie. Poniżej przedstawiam plany oraz ceny orientacyjne z dnia 04/02/2016. Przed samym zakupem sprawdź aktualny cennik na stronie Operational Insights lub skorzystaj z Azure Pricing Calculator.

W każdym planie mamy dostępne dokładnie te same możliwości analityczne. Różnicą jest czas przechowywania logów: odpowiednio 1 tydzień (7 dni), 1 miesiąc i 12 miesięcy. W planie darmowym, po przekroczeniu 500MB logi nie są dalej zbierane aż do rozpoczęcia kolejnej doby.

Rekomendacje na wagę złota

Moim zdaniem, jedną z najciekawszych i najbardziej wartościowych funkcjonalności są gotowe rekomendacje oraz propozycje rozwiązania problemów. Po przeprowadzeniu analizy naszego środowiska Operational Insights dość szczegółowo opisuje, co należy wykonać aby poprawić sytuację, często z dokładnym scenariuszem prowadzącym nas krok po kroku.

Poniżej przykład modułu AD Assessment:

Przykład SQL Assessment:

Są to tylko proste przykłady podparte wieloletnim doświadczeniem zespołów produktowych pracujących na co dzień z tymi rozwiązaniami. Z pewnością udało by się nam znaleźć gdzieś w sieci podobne opisy rozwiązań. Tutaj mamy je od ręki!

Analiza logów dla ruchu sieciowego

Obok analityki związanej z aplikacjami i systemami istnieją dodatki odnoszące się bezpośrednio do ruchu sieciowego.

Wszystkie te informacje możemy przedstawiać użytkownikom na różne sposoby, pozwólmy im jednak wybrać to, co ich najbardziej interesuje, i to, w jaki sposób ma być komunikowane – wykres, komunikat, lista itp. Pełna swoboda to kolejny ogromny atut rozwiązania.

Podsumowując

Mam nadzieję, że zachęciłem cię do przetestowania Sexiloga i Azure Operational Insights. O rozwiązaniu mógłbym napisać jeszcze bardzo wiele dobrego. W szczególności, że na koniec dnia poprawia komfort pracy i potrafi wykonać za nas naprawdę kawał roboty, bo nie każdy urodził się aby 24/7 pracować w czytelni “/var/log”.

Literatura:

• Azure Operational Insights
• Rozpocznij pracę z Operational Insights w kilkanaście minut