Google Cloud Storage. Czy Ma Szansę z Azure Storage i AWS S3/Glacier?

Najpierw był AWS z Simple Storage Service (S3).
Potem świat ujrzał Azure Storage.
Potem Google uruchomił Google Cloud Storage.

No dobrze. Ale jak wybrać najlepsze rozwiązanie?
Odpowiedź jest prosta.

Jeżeli używasz Azure, to wybierz Azure Storage.
Jeżeli używasz Amazon Web Services, to użyj Amazon S3.
Jeżeli używasz Google Cloud, to użyj Google Cloud Storage.

I tak dalej. Wybierz serwis, który oferuje Twój ulubiony dostawca.

Dziś natomiast zaadresujemy problem dwóch grup osób:

1. Osób, które używają Amazon S3 i chcą porównać Azure Storage.
2. Osób, które nie wiedzą co wybrać.

Dlaczego ludzie używają tych usług do przechowywania swoich plików, danych stron internetowych, logów, backupów, you-name-it? Bo jest TANIO. Co jednak najważniejsze, zbudowanie takiego systemu w swoim Data Center jest niemalże niemożliwe.

Dziś przyjrzymy się usłudze Google Cloud Storage. Sprawdzimy co nowego pojawiło się w ostatnich tygodniach i czy ta oferta jest w stanie konkurować z Amazon S3 i Azure Storage.

Zanim jednak wejdziemy w głąb Google Cloud Storage spróbujmy sobie odpowiedzieć czy charakteryzują się usługi przechowywania danych w chmurze.

Wstęp Do Usług Cloud Storage

Usługi przechowywania danych w chmurze (o których dziś mówimy) charakteryzują:

• Brak kosztu wejścia.
• Koszt pay-per-use. Płacisz za wykorzystany GB.
• Zasoby dostępne przez proste/logiczne REST API.
• Wysoka dostępność i spójność danych.
• Prawie nieograniczona przestrzeń.
• Możliwość szyfrowania danych w locie i spoczynku.
• Konsystencja. Dane zapisane, są od razu gotowe do odczytu.
• Dostępne w różnych modelach cenowych.
• Możliwość prostej integracji z innymi usługami dostawcy.
• Dane umieszczane w danym regionie geograficznym, zostają w tym regionie. Wyjątkiem jest sytuacja, gdy sami takie dane przekopiujemy do innego regionu.

Google Cloud Storage

Google Cloud Storage pozwala na zapisanie dowolnej ilości danych. Dane dostępne są przez API lub z innych serwisów Google Cloud Platform.

Konfiguracja dostępna jest przez API, linię poleceń, konsolę www, którą widać na rysunku poniżej oraz wiele innych narzędzi.

Rodzaje

Google Cloud Storage dostępny jest w pięciu wersjach:

• Multi-Regional – geo-redundanty storage o dostępności na poziomie 99.95%
• Regional – storage o dostępności na poziomie 99.9%
• Durable Reduced Availability – Regional storage ze zmiejszoną dostępnością do 99%
• Nearline – dostępność 99%, dla plików nie wymagających częstego odczytu
• Coldline – dostępność 99%, dla plików archiwalnych

Storage jest tak zaprojektowany, aby zapewnić prawdopodobieństwo, że dany plik będzie istniał na poziomie 99.999999999% (11 dziewiątek).

Struktura

Tworzymy bucket. Bucket umieszczamy w danym regionie lub w zestawie regionów dla Multi-Regional Storage (w Europie jest jeden region… zonk). W Bucket możemy tworzyć foldery. W folderach lub bezpośrednio w bucket umieszczamy pliki… i tak w kółko. Jest mało ograniczeń. Po za wielkością jednego pliku nie ma ich więcej.

Każdy plik dostępny jest z internetu, o ile udostępnimy ten plik, pod unikalnym adresem URL. Stąd też, podobnie jak u innych dostawców, nazwa Bucketu musi być unikalna w skali całej usługi u wszystkich użytkowników.

Ceny

• Multi-Regional – $0.026 (GB/miesięcznie), nie płacimy za pobieranie danych
• Regional – $0.02 (GB/miesięcznie), nie płacimy za pobieranie danych
• Durable Reduced Availability – $0.02 (GB/miesięcznie)
• Nearline – $0.01 (GB/miesięcznie) oraz za operacje pobierania danych $0.01 za GB)
• Coldline – $0.007 (GB/miesięcznie) oraz za operacje pobierania danych $0.05 za GB)

Od razu nasuwa nam się myśl, że Nearline jest idealne do danych, które chcemy przetrzymywać w chmurze, ale nie chcemy po nie sięgać zbyt często, a przynajmniej nie częściej niż 1 w miesiącu.

Dla Coldline jest dobrze, jeśli nie pobieramy zapisanych już danych przez przynajmniej rok. Typowe archiwum.

We wszystkich przypadkach płacimy dodatkowo za koszt transferu wychodzącego z chmury Google Cloud, wg. standardowych cen. Dla przykładu wysłanie 1 TB danych z Google Cloud to koszt $51.20. Ceny można sprawdzić w kalkulatorze lub cenniku.

Dodatkowo płacimy za operacje na plikach: GET, PUT, POST, etc. Dokładny cennik tych operacji znajduje się tutaj.

Integracja z Innymi Usługami

• App Engine – używanie obiektów z Cloud Storage w aplikacjach
• BigQuery – ładowanie i eksportowanie danych do Cloud Storage
• Cloud Dataflow – przechowywanie plików tymczasowych (+staging) na Cloud Storage
• Cloud Logging – przechowywanie logów w Cloud Storage
• Cloud SQL – import i eksport danych do i z Cloud Storage
• Compute Engine – przechowywanie obrazów systemowych, Cloud Storage bucket jako system plików
• Genomics – pobieranie danych z kodem genetycznym z Cloud Storage
• Hadoop on Google Cloud Platform – zadania MapReduce bezpośrednio na Cloud Storage
• Prediction API – trenowanie za pomocą danych z Cloud Storage

Dodatkowe Uwagi Dotyczące Google Cloud Storage

• Google Cloud Storage zapewnia wersjonowanie obiektów.
• Każdy obiekt wersjonowany kosztuje o tyle więcej, o ile ma wersji.
• Dane usunięte z Nearline Storage przed upływem 30 dni są naliczane jakby były tam przez 30 dni.
• Dane usunięte z Coldline Storage przed upływem 90 dni są naliczane jakby były tam przez 90 dni.
• Google Cloud Storage oferuje SLA
• Bezpieczeństwo plików zapewnione jest przez kilka mechanizmów, m.in. Identity and Access Management (IAM), Access Control Lists (ACLs), Signed URLs i Signed Policy Documents.
• Regional Storage używany jest przez takie serwisy jak Google Cloud DataProc lub Google Compute Engine.
• Pojedynczy obiekt może mieć maksymalnie 5 TB. Nie ma ograniczenia na ilość plików.
• Nazwy bucketów mogą być skonfigurowane do użycia z rekordami CNAME w konfiguracji DNS. Tym samym możliwe jest użycie własnej domeny do poziomu bucketu.

Porównanie z Amazon S3

Mimo, że różnic jest dużo, to wypisałem 3 największe.

Co Ma Amazon S3, Czego Nie Ma Google Cloud Storage

• AWS Storage Gateway, jak wirtualna macierz iSCSI lub virtual tape library (VTL).
• AWS Import/Export Snowball do transportu 50-80 TB danych.
• Amazon Elastic File System (EFS) dostępny po NFSv4

Co Ma Google Cloud Storage, Czego Nie Ma Amazon S3

• Prosty model rozliczania dla storage archiwalnego Coldline w porównaniu z wyliczaniem dla Glacier, który już nie jednego analityka doprowadził do białej gorączki.
• Cenę. Google Cloud Storage prawie w każdej sytuacji wychodzi taniej od AWS S3.
• Opcja Multi-Regional

Porównanie z Azure Storage

Mimo, że różnic jest dużo, to wypisałem 3 największe.

Co Ma Azure Storage, Czego Nie Ma Google Cloud Storage

• Różne rodzaje zapisywania danych w Azure Storage: tabela, kolejka, pliki (udział SMB)
• Azure StorSimple – dedykowane urządzenie fizyczne lub wirtualne jako rozszerzenie Azure Storage do lokalnego Data Center.
• Wygrzaną usługę Geo-redundant storage (GRS) i Read-access geo-redundant storage (RA-GRS), które w Azure działają na produkcji u wielu klientów od lat. W Google Cloud dostępna jest dopiero od miesiąca.

Co Ma Google Cloud Storage, Czego Nie Ma Azure Storage

• Brak storage accounts. W Azure tworzymy konta na przestrzeń dyskową, które mają 500 TB i max. 20,000 IOPS.
• Storage Coldline. Tani storage dla archiwizacji.
• Lifecycle management – przekładanie pliku między klasami storage.

Podsumowanie

Każdy z dostawców posiada również inne usługi przechowywania danych. Możesz o nich poczytać, korzystając z Darmowego Zestawienia Serwisów Azure, AWS i Google Cloud.

Co jest lepsze? Co jest gorsze? Nie znam na to odpowiedzi. Odpowiedź zależy od wymagań, upodobań i kilku innych aspektów.

Mam do Ciebie pytanie: O JAKIEJ USŁUDZE CHCIAŁBYŚ SIĘ DOWIEDZIEĆ W KOLEJNYM ARTYKULE (jako porównanie z innymi chmurami)?