Strona Główna / Blog

Za co płacimy w Microsoft Azure Część II – Analityka i IoT

Mirek Burnejko

Mirek Burnejko

Rozmawiam w języku Amazon Web Services, Microsoft Azure i Google Cloud Platform. Skontaktuj się z nim pisząc na ten adres.

Analityka i IoT

Artykuł o cenach dotyczących zarządzania tożsamością w Azure został dobrze odebrany. Ufff. Najłatwiejsze za nami…

Weźmy teraz dane i coś z nimi zróbmy. Przyjrzyjmy się więc serwisom analitycznym w Azure. Wszystko, co jest związane z Big Data, Machine Learning i Internet of Things.

Ale jak to wszystko policzyć? Te urządzenia, wiadomości, petabajty.

No właśnie… Sprawdźmy.


WAŻNE: Dane w tym artykule są oparte jedynie na materiałach, które można znaleźć w internecie.
WAŻNE: Wszystkie obliczenia dotyczą standardowej oferty Microsoft Azure w modelu pay-per-use. Aby poznać dokładne ceny dla swojego przypadku, skontaktuj się z partnerem Microsoft lub pracownikiem Microsoft.
WAŻNE: Cześć usług jest dostępnych jako Preview. Oznacza to, że cena może się zmienić. Standardowo wzrośnie dwukrotnie, jednak zdarza się, że zostaje taka sama.

Do napisania artykułu użyte zostały:

  • Portal Microsoft Azure
  • Kalkulator Azure
  • Strona z cennikiem Azure
  • Dokumentacja Azure

Za co płacimy w Microsoft Azure – Analityka

Poznaliśmy już:

Dziś: wszystko, co jest związane z analizą danych.

Pozostałe kategorie, które poznamy w następnych tygodniach to:

  • Compute
  • Web i Mobile
  • Data i Storage
  • Sieci
  • Media i CDN
  • Hybrydowe Integracje
  • Usługi Wspierające Programistów
  • Zarządzanie

Jeżeli chcesz dowiedzieć się więcej o poniższych serwisach, to zapraszam do artykułu Serwisy Microsoft Azure – Krótko i Po Ludzku.

Azure HDInsight

Azure HDInsight

Za co płacisz:

  • Za wirtualne maszyny, z których zbudowany jest twój klaster
  • Każdy rodzaj klastra składa się z minimalnej ilości serwerów
  • Naliczanie jest minutowe!

Przykład opłaty:

  • Uruchamiamy klaster Hadoop na Ubuntu
  • Będzie usunięty przed upływem 20 godzin
  • Potrzebujemy 10 serwerów (Worker Nodes) o rozmiarze D3
  • D3 = 4 vCPU, 14 GB RAM, 200 GB SSD (lokalne)
  • Dodatkowo wymagane jest posiadanie 2 x Head Node. Załóżmy, że będą to również D3
  • (10 + 2) * 20 * $0.62 = $148.80

Uwagi:

  • Ceny publiczne ze stycznia 2016 dla regionu West Europe
  • Dodatkowo płacimy za transfer wychodzący z Azure, Azure Storage i innych usług, które będziemy wykorzystywać w naszym projekcie

Wersja Free:

  • Usługa nie posiada wersji darmowej

Azure Machine Learning

Azure Machine Learning

Za co płacisz:

  • Płacisz za wersję Standard
  • Dostęp do ML Studio dla jednej osoby – $9.99 miesięcznie
  • Używanie ML Studio – $1 za godzinę eksperymentu
  • Używanie ML API – $0.50 za 1000 Production API Transactions
  • Używanie ML API – $2 za godzinę Production API Compute

Przykład opłaty:

  • Potrzebujesz dostęp dla 10 osób do Azure ML Studio
  • Sumarycznie wykonywane będzie 1000 godzin eksperymentów przy użyciu Staging API Compute
  • Produkcyjnie jest milion transakcji w wykorzystaniem API
  • Każda transakcja potrzebuje średnio 0.6 sekundy na wykonanie
  • Azure ML Studio -> 10 * $9.99 + 500 * $1 = $599.90
  • ML API Transakcje -> 1000000 / 1000 * $0.50 = $500
  • ML API Compute -> 1000000 * 0.6 * $2 / 3600 = $333,33
  • Sumarycznie – $1433.23 miesięcznie

Uwagi:

  • Ceny publiczne ze stycznia 2016 dla regionu West Europe
  • Jeżeli używasz wersji Standard, potrzebujesz też Azure Storage (za który płacisz)

Wersja Free:

Azure Stream Analytics

Azure Stream Analytics

Za co płacisz:

  • Ilość analizowanych danych – $0.001 za GB
  • Jeżeli zapytanie w Stream Analytics sięga po dane więcej niż jeden raz, dane te będą naliczane kilkukrotnie
  • Streaming Unit – $0.031 za godzinę
  • Jeden streaming unit posiada przepustowość 1 MB/s

Przykład opłaty:

  • Podłączasz Azure Stream Analytics do Azure Event Hub
  • Event Hub generuje 30 MB danych na sekundę
  • Zapytanie Stream Analytics Query Language pobiera dane tylko 1 raz
  • Chcesz w czasie rzeczywistym analizować dane umieszczane w Event Hub i wyniki odkładać w Azure Storage
  • Chcesz wiedzieć ile zapłacisz za godzinę
  • Ilość danych -> 3600 * 30/1000 * $0.001 = $0.108
  • Streaming units -> 30 * $0.031 = $0.93
  • Sumarycznie jest to $1.038 za godzinę lub $772.27 miesięcznie

Uwagi:

  • Ceny publiczne ze stycznia 2016 dla regionu West Europe
  • Za Azure Event Hub i Azure Storage płacisz dodatkowo wg. użycia
  • Ilość stream units jest ograniczona do pewnych wartości, np. 30, 36, 42, 48, więc nie jest możliwe zarezerwowanie 45 stream units

Wersja Free:

  • Usługa nie posiada wersji darmowej

Azure Data Factory

Azure Data Factory

Za co płacisz:

  • Etap przetwarzania danych (aktywność) w chmurze – $0.60 lub $0.80 per aktywność miesięcznie
  • Etap przetwarzania danych (aktywność) poza chmurą Azure – $1.50 lub $2.50 per aktywność miesięcznie
  • Pierwsza cena dotyczy aktywności low frequency (czyli 1 raz dziennie lub rzadziej), druga cena jest za aktywności high frequency (czyli częściej niż raz dziennie)
  • Ponowienie aktywności, gdy źródło/cel danych nie był dostępny – $1.34 per 1000 re-runs dla opcji w chmurze. $3.36 per 1000 re-runs dla opcji po za chmurą Azure
  • Moc obliczeniowa potrzebna do przeniesienia danych w chmurze – $0.25 za godzinę
  • Moc obliczeniowa potrzebna do przeniesienia danych spoza chmury Azure – $0.10 za godzinę
  • Nieaktywny data pipeline – $0.80 miesięcznie
  • Dodatkowe elementy w Azure używane przy budowania data pipeline, np. Azure HDInsight lub Azure Storage Blob
  • Dodatkowo koszt transferu wychodzącego z Azure

Przykład opłaty:

  • Budujesz data pipeline w chmurze Azure
  • Sięgasz po dane z lokalnego serwera SQL
  • Sięgasz też po dane z Azure Storage Blob
  • Dane te mają być przetworzone w HDInsight, używamy do tego skryptu Hive
  • Po przetworzeniu dane wracają w formie plików do Azure Blob Storage
  • Operację wykonujesz 1 raz na 2 dni
  • Stworzony pipeline posiada 2 aktywności (etapy przetwarzania)
  • Dwie w chmurze (low frequency) – $0.60 miesięcznie
  • Jedno poza chmurą Azure (low frequency) – $1.50
  • Nie ponawiamy aktywności, nie mamy też nieaktywnych data pipelines
  • Koszt Azure Data Factory – $2.70 miesięcznie + koszty HDInsight

Uwagi:

  • Ceny publiczne ze stycznia 2016 dla regionu North Europe
  • Etap przetwarzania to transformacja za pomocą C#, skryptów Hive/Pig, etc. która sięga do zasobów w chmurze lub poza chmurą Azure
  • Przeniesienia danych w chmurze to np. przeniesienie danych z Azure SQL Database do Azure Storage Blob
  • Przeniesienie danych spoza chmury Azure to np. przeniesienie dnaych z bazy SQL Server (w Twoim Data Center) do Azure Storage Blob

Wersja Free:

  • Pierwsze 5 etapów przetwarzania o niskiej częstotliwości (1 lub mniej dziennie) w miesiącu jest darmowe: zarówno dla danych w chmurze, jak i danych poza chmurą Azure

Azure Event Hubs

Azure Event Hubs

Za co płacisz:

  • Ilość wiadomości – $0.028 per milion
  • Jednostki przepustowości (partycja) – $0.015/hr (Basic) lub $0.03/hr (Standard)
  • Jedna partycja pozwala przesłać 1 MB/s na wejściu do Event Hub i 2 MB/s na wyjściu z Event Hub

Przykład opłaty:

  • Posiadasz 500 urządzeń IoT
  • Każde urządzenie wysyła co sekundę 1 wiadomość o wielkości 70 kB
  • Zdarzenia liczone są jako wielokrotność 64 kB, więc wiadomość o wielkości 70 kB z naszego przykładu to 2 zdarzenia
  • Ilość liczonych zdarzeń miesięcznie -> 500 * 2 * 3600 * 744 = 2,678,400,000
  • Ilość jednostek przy założeniu, że na każdy 1 MB wejściowy do Event Hub, będzie wybierane nie więcej niż 2 MB: 1 * 500 * 0.070 = 35
  • Cena za zdarzenia miesięcznie – $0.028 / 1,000,000 * 2,678,400,000 = $74.99
  • Jednostki przepustowości miesięcznie – $0.03 * 35 * 744 = $781.20
  • Sumarycznie – $856.19 miesięcznie

Uwagi:

  • Ceny publiczne ze stycznia 2016 dla regionu West Europe
  • Różnice pomiędzy wersją Basic i Standard opisane są tutaj
  • Zdarzenia liczone są jako wielokrotność 64 kB, co oznacza, że wiadomość posiadająca 60 kB będzie naliczana, tak samo jak wiadomość 1 kB – czyli jako jedno zdarzenie.

Wersja Free:

  • Usługa nie posiada wersji darmowej

Azure IoT Hub

Azure IoT Hub

Za co płacisz:

  • Płacimy za jednostki IoT Hub
  • Rozliczenie jest dzienne, zmiany ilościowe są widoczne
  • Jednostka IoT Hub jest w 3 wielkościach: Free, S1 i S2
  • S1 -> $25 -> 400,000 wiadomości dziennie
  • S2 -> $250 -> 6,000,000 wiadomości dziennie

Przykład opłaty:

  • Posiadasz 500 urządzeń IoT
  • Każde urządzenie wysyła co sekundę 1 wiadomość, przy czym wiadomość jest liczona jako wielokrotność 4 kB
  • Dodatkowo wysyłasz do każdego z urządzeń 1000 wiadomości dziennie
  • Każda wiadomość to 5 kB, więc jest liczona jako 2 zdarzenia
  • Ilość zdarzeń dziennie -> 500 * 2 * 3600 * 24 + 500 * 2 * 1000 = 86,400,000 + 1,000,000 = 87,400,000
  • Ilość jednostek IoT Hub S2 -> 87,400,000 / 6,000,000 = 14.56
  • Potrzebujesz 15 jednostek IoT Hub -> 15 * $250 = $3750 miesięcznie

Uwagi:

  • Ceny publiczne z stycznia 2016 dla regionu West Europe
  • Ceny na czas pisania artykułu są przedstawione dla wersji Preview
  • Można zmieniać wersję S1 na S2 i odwrotnie, ale nie można natomiast przechodzić z wersji płatnej na bezpłatną

Wersja Free:

  • Wersja darmowa pozwala na obsługę 8,000 wiadomości dziennie. Każda o wielkości max. 500 B
  • Wersja darmowa pozwala tylko na 1 jednostkę IoT Hub

Azure Data Catalog

Azure Data Catalog

Za co płacisz:

  • Dla wersji Standard – ilość użytkowników korzystających w miesiącu
  • Ilość liczymy jako wielokrotność 100
  • $50 za 100 użytkowników co miesiąc

Przykład opłaty:

  • Budujesz w firmie centralne źródło danych
  • Z systemu będą korzystać analitycy, inżynierowie i inni
  • W sumie 190 osób
  • Potrzebujesz kupić dostęp 2 * 100 użytkowników
  • Płacisz $100 miesięcznie

Uwagi:

  • Ceny publiczne ze stycznia 2016 dla regionu West Europe
  • Ceny na czas pisania artykułu są przedstawione dla wersji Preview

Wersja Free:

  • Wersja darmowa wspiera do 50 użytkowników i do 5 tys. obiektów w katalogu

Azure Data Lake Store

Azure Data Lake Store

Za co płacisz:

  • Ilość przechowywanych danych – $0.04 za GB miesięcznie
  • Ilość transakcji – $0.07 za milion

Przykład opłaty:

  • Przenosimy i przechowujemy w Azure Data Lake Store – 20 TB danych
  • Sumarycznie wykonujemy 4,000,000,000 transakcji w miesiącu
  • Przechowywane dane $0.04 * 20 * 1000 = $800
  • Transakcje $0.07 * 4,000,000,000 / 1,000,000 = $280
  • Sumarycznie płacimy $1080 miesięcznie

Uwagi:

  • Ceny publiczne ze stycznia 2016 dla regionu East US 2
  • Ceny na czas pisania artykułu są przedstawione dla wersji Preview
  • Transakcja dotyczy operacji wejścia i wyjścia dla jednostki danych o wielkości 128 KB, więc zapisanie 1 kB do Azure Data Lake Storage jest liczone jako 1 transakcja, a odczytanie 130 kB z Azure Data Lake Storage jest liczone jako 2 transakcje

Wersja Free:

  • Usługa nie posiada wersji darmowej

Azure Data Lake Analytics

Azure Data Lake Analytics

Za co płacisz:

  • Minuta wykorzystania jednostki analitycznej – $0.017
  • Zakończone zadanie – $0.025

Przykład opłaty:

  • Wykonujesz proste zadanie, które czyta plik w formie TSV (Tab Separated Values) i konwertuje go do CSV (Comma Separated Values)
  • Do wykonania zadania wykorzystujesz 1  jednostkę analityczną
  • Wykonanie zadania na wskazanych plikach trwa 1 godzinę
  • 1 godziny = 60 minut * $0.017 = $1,02
  • Dodatkowo za zakończone zadanie $0.025
  • Sumarycznie: $1.045

Uwagi:

  • Ceny publiczne ze stycznia 2016 dla regionu East US 2
  • Ceny na czas pisania artykułu są przedstawione dla wersji Preview
  • Do określenia ilości jednostek analitycznych można określić z poziomu Microsoft Azure Data Lake Analytics Tool w Visual Studio
  • Dodatkowe opłaty wynikają z przechowywanych danych w Azure Blob Storage i Azure Data Lake Store oraz transferu

Wersja Free:

  • Usługa nie posiada wersji darmowej

Podsumowanie

Co ciekawe, wiele z tych serwisów możesz używać za darmo lub ponosząc minimalny koszty. Azure Machine Learning jest dobrym miejscem do startu. Już niedługo przyjrzymy się kosztom w świecie Web i Mobile.

Tymczasem… Miłego liczenia i korzystania.

To najbardziej pożądana umiejętność na rynku w 2020 roku!

Jak zostać Azure Data Engineer? WEBINAR

Dołącz do listy mailingowej!

Dołącz do naszego newslettera

Staramy się wysyłać tylko wartościowe informacje, np. co miesiąc dostaniesz spis najważniejszych nowości z chmur Azure, AWS i GCP, z krótkimi opisami i linkami.