Strona Główna / Blog

Analiza logów może być Sexy

Maciej Stopa

Maciej Stopa

Architekt rozwiązań chmurowych z wieloletnim doświadczeniem. Inżynier wirtualizacji i systemów rozproszonych. Wielki fan Big Data i Machine Learning. Skontaktuj się z nim pisząc na ten adres.

Analiza Logów

Zbierasz logi? Każdy coś zbiera. Czy kiedyś analizowałeś co tak naprawdę w nich „piszczy”? To już niekoniecznie. Ważne, że są i że w razie czego można tam zajrzeć. Czy kiedyś zajrzałeś? Cóż… Analiza logów pomoże przezwyciężyć lęki.

Analiza logów to istotne zagadnienie

Osobiście zawsze byłem fanem stosu ELK (Elastic Search + LogStash + Kibana). Szczególnie gdy pojawił się projekt SexiLog.

Szybki deployment, piękne kolorowe słupki i sporo gotowych szablonów widoków. Same zalety. Przy odrobinie dobrych chęci i czasu można by wyłuskać najbardziej finezyjne szczegóły naszego środowiska.

Analiza Logów SexiLog

Czegoś mi jednak w tym wszystkim brakowało – analizy logów. Oczywiście, bardzo fajnie przegląda się wykresy z podsumowaniem w którym tygodniu mieliśmy 1000 zdarzeń o poziomie krytycznym, 300 ostrzeżeń i 100 zdarzeń informacyjnych. Jesteśmy w tym momencie dopiero na początku naszej misji rozwiązania problemów, których rezultatem są te wszystkie zdarzenia zapisywane w logach. Proces przekopywania się przez nie jest stosunkowo bezbolesny, ale dość żmudny. Czy nie mógłby ktoś tego za nas zrobić?

Sporo czasu spędzam w „chmurach”. Długo przyglądałem się możliwościom AWS CloudWatch czy SumoLogic, jednak to nie było to czego szukałem.

Moim rozwiązaniem perfect-fit okazał się Azure Operational Insights. Posiada wszystkie zalety wcześniej wymienionych rozwiązań – plus ogromny zasób wbudowanej analityki (tzw. Intelligence Packs)!!! AWESOME!

Gotowe „paczki inteligencji”:

  • Alert Management – Powiadomienia i alarmy dotyczące całego środowiska
  • Antimalware – Wykrywanie zagrożeń związanych z malware
  • Configuration Assessment – Analiza konfiguracji
  • Capacity Planning – Monitoring i śledzenie pojemności środowiska
  • Change Tracking – Śledzenie zmian w środowisku!
  • Log Search – Oczywiście zaawansowane przeszukiwanie logów
  • Security and Audit – Analiza logów bezpieczeństwa, audyty
  • SQL and Active Directory Assessment – Wnikliwa analiza konfiguracji MS SQL oraz AD
  • System Update Assessment – Mnóstwo informacji na temat aktualizacji
  • Wire Data – Zbieranie informacji sieciowych w warstwach L2-L7 !!!

Analiza Logów Operational Insights

Nic nie stoi na przeszkodzie, aby podpinać zewnętrzne moduły przygotowywane przez „firmy trzecie”.

Idąc dalej, na podstawie analizy, filtrów i definiowanych widoków możemy budować sobie w pełni zarządzane widoki (dashboard). Np. osobny widok dla administratorów Windows, storage, sieci. Dorzucamy do tego ekran >50″ i agregujemy najbardziej istotne dla nas informacje w jednym miejscu! Mało? No to lecimy dalej :) Wyobraź sobie, że wszystkie kluczowe informacje, które wydobyłeś z logów, możesz dalej podłączyć do systemu analityki biznesowej Microsoft PowerBI!!!

Tak, wiem :) Już tego chcesz, już tego pragniesz! Dokładnie tak samo reagują osoby, które pierwszy raz widzą Operational Insights w akcji na żywo. Jeśli dodasz do tego widoki na urządzenia mobilne, wtedy twój menedżer uzyska wgląd do ogólnego stanu środowiska, a ciebie ozłocą :D

Pierwsze pytanie jakie pada z tłumu – ile to kosztuje? Niespodzianka! Dla zastosowań gdzie ilość logów nie przekracza 500MB/24h – rozwiązanie jest całkowicie za darmo. Powyżej 500MB występują już płatne plany, jak to w chmurze – w modelu za użycie. Poniżej przedstawiam plany oraz ceny orientacyjne z dnia 04/02/2016. Przed samym zakupem sprawdź aktualny cennik na stronie Operational Insights lub skorzystaj z Azure Pricing Calculator.

FREESTANDARDPREMIUM
Cenafree$2.30/GB$3.50/GB
Dzienny limit danych500 MBbrakbrak
Retencja danych7 dni1 miesiąc12 miesięcy

W każdym planie mamy dostępne dokładnie te same możliwości analityczne. Różnicą jest czas przechowywania logów: odpowiednio 1 tydzień (7 dni), 1 miesiąc i 12 miesięcy. W planie darmowym, po przekroczeniu 500MB logi nie są dalej zbierane aż do rozpoczęcia kolejnej doby.

Rekomendacje na wagę złota

Moim zdaniem, jedną z najciekawszych i najbardziej wartościowych funkcjonalności są gotowe rekomendacje oraz propozycje rozwiązania problemów. Po przeprowadzeniu analizy naszego środowiska Operational Insights dość szczegółowo opisuje, co należy wykonać aby poprawić sytuację, często z dokładnym scenariuszem prowadzącym nas krok po kroku.

Poniżej przykład modułu AD Assessment:

AdAssessment

Przykład SQL Assessment:

SQLAssessment

Są to tylko proste przykłady podparte wieloletnim doświadczeniem zespołów produktowych pracujących na co dzień z tymi rozwiązaniami. Z pewnością udało by się nam znaleźć gdzieś w sieci podobne opisy rozwiązań. Tutaj mamy je od ręki!

Analiza logów dla ruchu sieciowego

Obok analityki związanej z aplikacjami i systemami istnieją dodatki odnoszące się bezpośrednio do ruchu sieciowego.

NetworkTrafficInformation

Wszystkie te informacje możemy przedstawiać użytkownikom na różne sposoby, pozwólmy im jednak wybrać to, co ich najbardziej interesuje, i to, w jaki sposób ma być komunikowane – wykres, komunikat, lista itp. Pełna swoboda to kolejny ogromny atut rozwiązania.

CustomDashboard

Podsumowując

Mam nadzieję, że zachęciłem cię do przetestowania Sexiloga i Azure Operational Insights. O rozwiązaniu mógłbym napisać jeszcze bardzo wiele dobrego. W szczególności, że na koniec dnia poprawia komfort pracy i potrafi wykonać za nas naprawdę kawał roboty, bo nie każdy urodził się aby 24/7 pracować w czytelni „/var/log”.

Literatura:

Dołącz do listy mailingowej!

Dołącz do naszego newslettera

Staramy się wysyłać tylko wartościowe informacje, np. co miesiąc dostaniesz spis najważniejszych nowości z chmur Azure, AWS i GCP, z krótkimi opisami i linkami.