Artykuł o cenach dotyczących zarządzania tożsamością w Azure został dobrze odebrany. Ufff. Najłatwiejsze za nami…

Weźmy teraz dane i coś z nimi zróbmy. Przyjrzyjmy się więc serwisom analitycznym w Azure. Wszystko, co jest związane z Big Data, Machine Learning i Internet of Things.

Ale jak to wszystko policzyć? Te urządzenia, wiadomości, petabajty.

No właśnie… Sprawdźmy.

WAŻNE: Dane w tym artykule są oparte jedynie na materiałach, które można znaleźć w internecie.
WAŻNE: Wszystkie obliczenia dotyczą standardowej oferty Microsoft Azure w modelu pay-per-use. Aby poznać dokładne ceny dla swojego przypadku, skontaktuj się z partnerem Microsoft lub pracownikiem Microsoft.
WAŻNE: Cześć usług jest dostępnych jako Preview. Oznacza to, że cena może się zmienić. Standardowo wzrośnie dwukrotnie, jednak zdarza się, że zostaje taka sama.

Do napisania artykułu użyte zostały:

• Portal Microsoft Azure
• Kalkulator Azure
• Strona z cennikiem Azure
• Dokumentacja Azure

Za co płacimy w Microsoft Azure – Analityka

Poznaliśmy już:

• Zarządzanie Tożsamością

Dziś: wszystko, co jest związane z analizą danych.

Pozostałe kategorie, które poznamy w następnych tygodniach to:

• Compute
• Web i Mobile
• Data i Storage
• Sieci
• Media i CDN
• Hybrydowe Integracje
• Usługi Wspierające Programistów
• Zarządzanie

Jeżeli chcesz dowiedzieć się więcej o poniższych serwisach, to zapraszam do artykułu Serwisy Microsoft Azure – Krótko i Po Ludzku.

Azure HDInsight

Za co płacisz:

• Za wirtualne maszyny, z których zbudowany jest twój klaster
• Każdy rodzaj klastra składa się z minimalnej ilości serwerów
• Naliczanie jest minutowe!

Przykład opłaty:

• Uruchamiamy klaster Hadoop na Ubuntu
• Będzie usunięty przed upływem 20 godzin
• Potrzebujemy 10 serwerów (Worker Nodes) o rozmiarze D3
• D3 = 4 vCPU, 14 GB RAM, 200 GB SSD (lokalne)
• Dodatkowo wymagane jest posiadanie 2 x Head Node. Załóżmy, że będą to również D3
• (10 + 2) * 20 * $0.62 = $148.80

Uwagi:

• Ceny publiczne ze stycznia 2016 dla regionu West Europe
• Dodatkowo płacimy za transfer wychodzący z Azure, Azure Storage i innych usług, które będziemy wykorzystywać w naszym projekcie

Wersja Free:

• Usługa nie posiada wersji darmowej

Azure Machine Learning

Za co płacisz:

• Płacisz za wersję Standard
• Dostęp do ML Studio dla jednej osoby – $9.99 miesięcznie
• Używanie ML Studio – $1 za godzinę eksperymentu
• Używanie ML API – $0.50 za 1000 Production API Transactions
• Używanie ML API – $2 za godzinę Production API Compute

Przykład opłaty:

• Potrzebujesz dostęp dla 10 osób do Azure ML Studio
• Sumarycznie wykonywane będzie 1000 godzin eksperymentów przy użyciu Staging API Compute
• Produkcyjnie jest milion transakcji w wykorzystaniem API
• Każda transakcja potrzebuje średnio 0.6 sekundy na wykonanie
• Azure ML Studio -> 10 * $9.99 + 500 * $1 = $599.90
• ML API Transakcje -> 1000000 / 1000 * $0.50 = $500
• ML API Compute -> 1000000 * 0.6 * $2 / 3600 = $333,33
• Sumarycznie – $1433.23 miesięcznie

Uwagi:

• Ceny publiczne ze stycznia 2016 dla regionu West Europe
• Jeżeli używasz wersji Standard, potrzebujesz też Azure Storage (za który płacisz)

Wersja Free:

• Wersja darmowa pozwala na pracę z Azure Machine Learning. Ograniczenia opisane są tutaj

Azure Stream Analytics

Za co płacisz:

• Ilość analizowanych danych – $0.001 za GB
• Jeżeli zapytanie w Stream Analytics sięga po dane więcej niż jeden raz, dane te będą naliczane kilkukrotnie
• Streaming Unit – $0.031 za godzinę
• Jeden streaming unit posiada przepustowość 1 MB/s

Przykład opłaty:

• Podłączasz Azure Stream Analytics do Azure Event Hub
• Event Hub generuje 30 MB danych na sekundę
• Zapytanie Stream Analytics Query Language pobiera dane tylko 1 raz
• Chcesz w czasie rzeczywistym analizować dane umieszczane w Event Hub i wyniki odkładać w Azure Storage
• Chcesz wiedzieć ile zapłacisz za godzinę
• Ilość danych -> 3600 * 30/1000 * $0.001 = $0.108
• Streaming units -> 30 * $0.031 = $0.93
• Sumarycznie jest to $1.038 za godzinę lub $772.27 miesięcznie

Uwagi:

• Ceny publiczne ze stycznia 2016 dla regionu West Europe
• Za Azure Event Hub i Azure Storage płacisz dodatkowo wg. użycia
• Ilość stream units jest ograniczona do pewnych wartości, np. 30, 36, 42, 48, więc nie jest możliwe zarezerwowanie 45 stream units

Wersja Free:

• Usługa nie posiada wersji darmowej

Azure Data Factory

Za co płacisz:

• Etap przetwarzania danych (aktywność) w chmurze – $0.60 lub $0.80 per aktywność miesięcznie
• Etap przetwarzania danych (aktywność) poza chmurą Azure – $1.50 lub $2.50 per aktywność miesięcznie
• Pierwsza cena dotyczy aktywności low frequency (czyli 1 raz dziennie lub rzadziej), druga cena jest za aktywności high frequency (czyli częściej niż raz dziennie)
• Ponowienie aktywności, gdy źródło/cel danych nie był dostępny – $1.34 per 1000 re-runs dla opcji w chmurze. $3.36 per 1000 re-runs dla opcji po za chmurą Azure
• Moc obliczeniowa potrzebna do przeniesienia danych w chmurze – $0.25 za godzinę
• Moc obliczeniowa potrzebna do przeniesienia danych spoza chmury Azure – $0.10 za godzinę
• Nieaktywny data pipeline – $0.80 miesięcznie
• Dodatkowe elementy w Azure używane przy budowania data pipeline, np. Azure HDInsight lub Azure Storage Blob
• Dodatkowo koszt transferu wychodzącego z Azure

Przykład opłaty:

• Budujesz data pipeline w chmurze Azure
• Sięgasz po dane z lokalnego serwera SQL
• Sięgasz też po dane z Azure Storage Blob
• Dane te mają być przetworzone w HDInsight, używamy do tego skryptu Hive
• Po przetworzeniu dane wracają w formie plików do Azure Blob Storage
• Operację wykonujesz 1 raz na 2 dni
• Stworzony pipeline posiada 2 aktywności (etapy przetwarzania)
• Dwie w chmurze (low frequency) – $0.60 miesięcznie
• Jedno poza chmurą Azure (low frequency) – $1.50
• Nie ponawiamy aktywności, nie mamy też nieaktywnych data pipelines
• Koszt Azure Data Factory – $2.70 miesięcznie + koszty HDInsight

Uwagi:

• Ceny publiczne ze stycznia 2016 dla regionu North Europe
• Etap przetwarzania to transformacja za pomocą C#, skryptów Hive/Pig, etc. która sięga do zasobów w chmurze lub poza chmurą Azure
• Przeniesienia danych w chmurze to np. przeniesienie danych z Azure SQL Database do Azure Storage Blob
• Przeniesienie danych spoza chmury Azure to np. przeniesienie dnaych z bazy SQL Server (w Twoim Data Center) do Azure Storage Blob

Wersja Free:

• Pierwsze 5 etapów przetwarzania o niskiej częstotliwości (1 lub mniej dziennie) w miesiącu jest darmowe: zarówno dla danych w chmurze, jak i danych poza chmurą Azure

Azure Event Hubs

Za co płacisz:

• Ilość wiadomości – $0.028 per milion
• Jednostki przepustowości (partycja) – $0.015/hr (Basic) lub $0.03/hr (Standard)
• Jedna partycja pozwala przesłać 1 MB/s na wejściu do Event Hub i 2 MB/s na wyjściu z Event Hub

Przykład opłaty:

• Posiadasz 500 urządzeń IoT
• Każde urządzenie wysyła co sekundę 1 wiadomość o wielkości 70 kB
• Zdarzenia liczone są jako wielokrotność 64 kB, więc wiadomość o wielkości 70 kB z naszego przykładu to 2 zdarzenia
• Ilość liczonych zdarzeń miesięcznie -> 500 * 2 * 3600 * 744 = 2,678,400,000
• Ilość jednostek przy założeniu, że na każdy 1 MB wejściowy do Event Hub, będzie wybierane nie więcej niż 2 MB: 1 * 500 * 0.070 = 35
• Cena za zdarzenia miesięcznie – $0.028 / 1,000,000 * 2,678,400,000 = $74.99
• Jednostki przepustowości miesięcznie – $0.03 * 35 * 744 = $781.20
• Sumarycznie – $856.19 miesięcznie

Uwagi:

• Ceny publiczne ze stycznia 2016 dla regionu West Europe
• Różnice pomiędzy wersją Basic i Standard opisane są tutaj
• Zdarzenia liczone są jako wielokrotność 64 kB, co oznacza, że wiadomość posiadająca 60 kB będzie naliczana, tak samo jak wiadomość 1 kB – czyli jako jedno zdarzenie.

Wersja Free:

• Usługa nie posiada wersji darmowej

Azure IoT Hub

Za co płacisz:

• Płacimy za jednostki IoT Hub
• Rozliczenie jest dzienne, zmiany ilościowe są widoczne
• Jednostka IoT Hub jest w 3 wielkościach: Free, S1 i S2
• S1 -> $25 -> 400,000 wiadomości dziennie
• S2 -> $250 -> 6,000,000 wiadomości dziennie

Przykład opłaty:

• Posiadasz 500 urządzeń IoT
• Każde urządzenie wysyła co sekundę 1 wiadomość, przy czym wiadomość jest liczona jako wielokrotność 4 kB
• Dodatkowo wysyłasz do każdego z urządzeń 1000 wiadomości dziennie
• Każda wiadomość to 5 kB, więc jest liczona jako 2 zdarzenia
• Ilość zdarzeń dziennie -> 500 * 2 * 3600 * 24 + 500 * 2 * 1000 = 86,400,000 + 1,000,000 = 87,400,000
• Ilość jednostek IoT Hub S2 -> 87,400,000 / 6,000,000 = 14.56
• Potrzebujesz 15 jednostek IoT Hub -> 15 * $250 = $3750 miesięcznie

Uwagi:

• Ceny publiczne z stycznia 2016 dla regionu West Europe
• Ceny na czas pisania artykułu są przedstawione dla wersji Preview
• Można zmieniać wersję S1 na S2 i odwrotnie, ale nie można natomiast przechodzić z wersji płatnej na bezpłatną

Wersja Free:

• Wersja darmowa pozwala na obsługę 8,000 wiadomości dziennie. Każda o wielkości max. 500 B
• Wersja darmowa pozwala tylko na 1 jednostkę IoT Hub

Azure Data Catalog

Za co płacisz:

• Dla wersji Standard – ilość użytkowników korzystających w miesiącu
• Ilość liczymy jako wielokrotność 100
• $50 za 100 użytkowników co miesiąc

Przykład opłaty:

• Budujesz w firmie centralne źródło danych
• Z systemu będą korzystać analitycy, inżynierowie i inni
• W sumie 190 osób
• Potrzebujesz kupić dostęp 2 * 100 użytkowników
• Płacisz $100 miesięcznie

Uwagi:

• Ceny publiczne ze stycznia 2016 dla regionu West Europe
• Ceny na czas pisania artykułu są przedstawione dla wersji Preview

Wersja Free:

• Wersja darmowa wspiera do 50 użytkowników i do 5 tys. obiektów w katalogu

Azure Data Lake Store

Za co płacisz:

• Ilość przechowywanych danych – $0.04 za GB miesięcznie
• Ilość transakcji – $0.07 za milion

Przykład opłaty:

• Przenosimy i przechowujemy w Azure Data Lake Store – 20 TB danych
• Sumarycznie wykonujemy 4,000,000,000 transakcji w miesiącu
• Przechowywane dane $0.04 * 20 * 1000 = $800
• Transakcje $0.07 * 4,000,000,000 / 1,000,000 = $280
• Sumarycznie płacimy $1080 miesięcznie

Uwagi:

• Ceny publiczne ze stycznia 2016 dla regionu East US 2
• Ceny na czas pisania artykułu są przedstawione dla wersji Preview
• Transakcja dotyczy operacji wejścia i wyjścia dla jednostki danych o wielkości 128 KB, więc zapisanie 1 kB do Azure Data Lake Storage jest liczone jako 1 transakcja, a odczytanie 130 kB z Azure Data Lake Storage jest liczone jako 2 transakcje

Wersja Free:

• Usługa nie posiada wersji darmowej

Azure Data Lake Analytics

Za co płacisz:

• Minuta wykorzystania jednostki analitycznej – $0.017
• Zakończone zadanie – $0.025

Przykład opłaty:

• Wykonujesz proste zadanie, które czyta plik w formie TSV (Tab Separated Values) i konwertuje go do CSV (Comma Separated Values)
• Do wykonania zadania wykorzystujesz 1  jednostkę analityczną
• Wykonanie zadania na wskazanych plikach trwa 1 godzinę
• 1 godziny = 60 minut * $0.017 = $1,02
• Dodatkowo za zakończone zadanie $0.025
• Sumarycznie: $1.045

Uwagi:

• Ceny publiczne ze stycznia 2016 dla regionu East US 2
• Ceny na czas pisania artykułu są przedstawione dla wersji Preview
• Do określenia ilości jednostek analitycznych można określić z poziomu Microsoft Azure Data Lake Analytics Tool w Visual Studio
• Dodatkowe opłaty wynikają z przechowywanych danych w Azure Blob Storage i Azure Data Lake Store oraz transferu

Wersja Free:

• Usługa nie posiada wersji darmowej

Podsumowanie

Co ciekawe, wiele z tych serwisów możesz używać za darmo lub ponosząc minimalny koszty. Azure Machine Learning jest dobrym miejscem do startu. Już niedługo przyjrzymy się kosztom w świecie Web i Mobile.

Tymczasem… Miłego liczenia i korzystania.