Nowe Serwisy z AWS re:Invent 2016 po Ludzku (i jak to się ma do Azure i Google Cloud) – Część I

Właśnie zakończyła się konferencja AWS re:Invent 2016.
Konferencja, na której jedna z pierwszych firma oferująca wyłącznie usługi chmury publicznej, ogłosiła BARDZO dużo nowych rzeczy. Niektóre z nich są trudne do zrozumienia, jeżeli nigdy nie używałeś AWS.

Postaram się dziś Ci pomóc i przełożyć te nowości na język polski.
Przełożę też te nowości na ofertę Microsoft Azure i Google Cloud Platform.

Zaczynamy?

Przed Tobą część pierwsza.
Kolejne serwisy będą omawiane w kolejnych tygodniach.

Tak przy okazji tu znajdziesz opisy pozostałych serwisów AWS, po ludzku.

Amazon Athena

Wrzucasz pliki na Amazon S3 (storage obiektowy) i za pomocą Amazon Athena możesz wydawać zapytania w języku SQL. Do tej pory dane w formie plików trzeba było umieszać w Amazon Redshift (hurtownia), Amazon Elastic Map Reduce (hostowany framework Hadoop) lub Amazon Elasticsearch Service (hostowany klaster Elasticsearch). W tej chwili wszelkiego rodzaju logi i pliki (głównie JSON, CSV) mogą być procesowane bezpośrednio z S3, płacąc $5 za 1TB przeskanowanych danych.

So Amazon Athena is super cool – 20GB of data in S3, Arbitrary SQL took ~20 seconds and cost ~$0.1 USD

— Darcy Laycock (@Sutto) December 7, 2016

Microsoft Azure:

Najbliżej jest do kombinacji usług Azure Data Lake Store i Azure Data Lake Analytics. Pod Azure Data Lake Store znajdują się połacie przestrzeni dyskowej z systemem plików HDFS. Zapytania na tych danych realizowane są przez języki U-SQL, R, Python i .Net.

Google Cloud Platform:

Podwaliną usług Google Cloud Platform jest serwis Google Cloud BigQuery, które pozwala wykonywać… zapytania w języku SQL na danych załadowanych bezpośrednio do BigQuery. Koszt? $5 za 1 TB 🙂

Przyszłość:

Dobry ruch, który ułatwi pracę z danymi. Nie ma potrzeby uruchamiać własnych serwerów lub importować danych do innych serwisów. AWS na pewno będzie dodawał integrację z publicznymi zestawami danych (tak jak robi to Google – np. Wikipedia). Można też wyobrazić system do monetyzacji danych, aby więcej i więcej firm wrzucało dane na S3 i każdy mógł z nich korzystać. Mądre wykorzystanie terminu Data Lake wykorzystując gotowe narzędzie Amazon S3.

Interesująco zapowiada się tez połączenie serwisu Amazon Athena z AWS Glue.

AWS Glue

Ogłoszona usługa, ale jeszcze nie dostępna.

Katalog na dane z opcjami Extract, Transform, Load (ETL). Wskazujesz źródło danych (S3, Redshift, RDS lub dowolne źródło w Data Center lub innej chmurze z interfejsem JDBC). Dane są skanowane i system rekomenduje transformacje na danych, aby pasowały do docelowej tabeli. Dane następnie mogą być współdzielone z różnymi ludźmi w Twojej organizacji.

Probably the most exciting announcement to me is AWS Glue which orchestrates transformation of data.
#Reinvent2016 #etl pic.twitter.com/cTa4GRO3Yc

— Marcell du Plessis (@marcellduplessi) December 1, 2016

Microsoft Azure:

Microsoft posiada już od dawna rozwiązania Azure Data Catalog. Jeszcze jest mało danych o AWS Glue, ale spodziewamy się podobnej funkcjonalności w praktyce. Azure Data Catalog nie ma funkcji ETL, które to są realizowane głównie z poziomu Azure Data Factory.

Google Cloud Platform:

Google Cloud Platform nie posiada serwisu pełniącego rolę katalogu danych. Pewną część funkcjonalność ETL są realizowane przez serwis Google Cloud Dataflow, jednak daleko mu do Azure Data Factory/Azure Data Catalog i AWS Glue.

Przyszłość:

Jeden z tych serwisów, który zebrał dużo plusów po konferencji, mimo, że go jeszcze nie ma. AWS po raz kolejny pozwala “dobrać” się do danych po za AWS (oferuje też takie rozwiązania jak AWS Database Migration Service, AWS Server Migration Service i AWS Snowball). Można podejrzewać, że cenniki będzie bardzo podobny do tego w Azure. Cena za jednostka procesowania przy transformacji oraz za ilość przesłanych danych do i z AWS Glue. Opcje katalogowania mogą być darmowe lub z opcją płatności per użytkownik.

Jest to też kolejny serwis, który integruje i łączy serwisy AWS, ale też serwis po za chmurą Amazon. Dążymy do czasów, gdzie każdy serwis bedzie w pewien sposób zintegorowany z każdym innym, umożliwiając zbudowanie dowolnego rozwiąznaia, o którym pomyśli developer za pomocą kilku zapytać to API AWS.

AWS Step Functions

AWS w tamtym roku przedstawił koncept Function as a Service w swoim portfolio – Amazon Lambda. Piszesz funkcję i płacisz za jedno wywołanie tej funkcji, gdy następuje jakieś zdarzenia – dodany plik do S3, albo zapytanie http do AWS API Gateway.

W tej chwili możliwe jest budowania bardziej zaawansowanych scenariuszy korzystając z AWS Step Functions. Np. plik jest wrzucany na S3, następnie równolegle jest kopiowany do innego katalogu oraz replikowany do 4 formatów i wrzucany do kolejnych 4 katalogów, następnie po 20 sekundach plik źródłowy jest usuwany.

Przepływ i zachowanie stanu opisywany jest przez Amazon States Language oraz przez nakładkę graficzną dostępną w portalu.

Microsoft Azure:

Microsoft posiada usługę Azure Functions. W tej chwili budowanie przepływu pracy pomiędzy wieloma funkcjami nie jest możliwe w formie graficznej lub opisowej. Jest to jednak naturalny krok rozwoju przez narzędzia Visual Studio lub Visual Studio Team Services, aby dostarczyć framework do budowania zaawansowanych aplikacji z wykorzystaniem Azure Functions.

Google Cloud Platform:

Google Cloud Platform oferuje w tej chwili odpowiednik AWS Lambda – Google Cloud Functions. Ciągle w fazie alfa.

Przyszłość:

To jedno z najważniejszych ogłoszeń na re:Invent. Przyszłość wygląda bez-serwerowo, a nawet bez-platformowo. Potrzebne są narzędzia takie jak Apex, Serverless, Chalice czy też właśnie AWS Step Functions, które pozwolą w prosty sposób tworzyć aplikacje wykorzystując odpowiednie funkcje i w sposób tekstowy lub graficzny ustawiać je w logiczną całość.

Nie możemy też tu zapomnieć o innych graczach na rynku, takich jak IBM Bluemix OpenWhisk (który jest w czołówce dojrzałości rozwiązania) oraz mniejsi gracze jak Iron.io czy Fission (Serverless Functions for Kubernetes).

Widać też olbrzymi wpływ innych rozwiązań jak Algorithmia, które udostępnią algorytmy jako serwis, które mogą być wywoływane z AWS Function jako kolejne kroki w AWS Step Functions. Płacimy za wywołanie stanu, płacimy za wywołanie jednej funkcji i płacimy za jedno wywołanie API od rozwiązań ala Algoritmia. Piękne czasy.

Co Dalej?

W następnych odcinkach skupimy się na:

• Amazon LEX – platformę do budowania tekstowych i głosowych botów.
• Amazon Polly – zamienia słowa na głos – również po polsku.
• Amazon Rekognition – serwis rozpoznający obrazy.
• Amazon EC2 Elastic GPUs – dodawanie procesorów graficznych do VMek.
• Nowe typy instancji EC2 – w tym F1, wyposażone w układy FPGA.
• Amazon Lightsail – usługę serwerów wirtualnych VPS.
• AWS Batch – batch computing w wykonaniu AWS.
• Amazon EC2 Systems Manager – automatyzacja zadań w systemach operacyjnych.
• AWS Lambda@Edge – wykonywanie funkcji lambda na pakietach na poziomie CDN.
• Blox – Zarządzanie kontenerami i orkiestracja – wydana jako OpenSource.
• Amazon Aurora dla PostgreSQL – silnik PostgreSQL na platformie bazodanowej AWS.
• AWS CodeBuild – usługa budująca paczki kodu i testuje zbudowane paczki.
• AWS Greengrass – uruchamianie funkcji AWS Lambda na urządzeniach IoT.
• AWS Snowball Edge – 100TB skrzyneczka z computingiem, do przesyłania danych.
• AWS Snowmobile – 100PB skrzyneczka… na kółkach do przesyłania danych.
• VMware on AWS Cloud – uruchomienie maszynki w środowisku VMware na AWS.
• Amazon Pinpoint – notyfikacje dla urządzeń mobilnych z opcjami marketingowymi.
• Amazon Shield – Ochrona przed DDoS

Podsumowanie

Chcesz spędzić ze mną cały dzień rozmawiając o chmurze i dowiedzieć się wszystkiego, czego nauczyłem się przez ostatnie 4 lata?

Razem z IDC organizuję warsztaty – Wszystko co powinieneś wiedzieć o CHMURZE PUBLICZNEJ, ale boisz się zapytać… dostawcy.

Będzie dużo praktyki, dużo wiedzy i masa historii z życia wziętych. Warsztaty odbędą się 19 stycznia 2017, tylko dla 15 uczestników. Gorąco zapraszam. W tym wydaniu skupimy się na Amazon Web Services, Microsoft Azure i Google Cloud Platform.