Spotify w Google Cloud Platform – co i jak

Spotify to kolejny przykład dużej firmy, która przechodzi z własnej infrastruktury na chmurę. Z tego tekstu dowiesz się skąd wzięła się ta decyzja i jaki jest plan jej realizacji.

Spotify rozpoczęło działalność w 2006 roku. Ale wtedy cloud computing, w skali i jakości jakie znamy obecnie, nie istniał. Jedynym pomysłem na świadczenie usługi dostępu do muzyki było zbudowanie własnej infrastruktury, własnego data center. Tak też się stało: pierwsze dc powstało w Sztokholmie. W 2008 roku całe Spotify działało z 20 serwerów. Następnie firma zbudowała drugie własne dc w Nowym Jorku, które zostało później przeniesione do Ashburn, 340 kilometrów w głąb kontynentu. W 2011 roku Spotify korzystało z 1300 serwerów.

Na moje oko już wtedy zaczęły pojawiać się pierwsze symptomy problemów z IT, które w efekcie doprowadziły do decyzji o całkowitym przejściu w cloud. Zajmowanie się serwerami, sieciami i całą resztą infrastruktury dc pochłaniało sporo czasu i pieniędzy. Mimo prób ze strategiami zmniejszającymi zużycie IT jak P2P (streamujący użytkownik jednocześnie udostępniał dane innym userom), obniżaniem kosztów działania (kolejne dwa dc – Londyn i San Jose, USA, to model „wynajmujemy powierzchnię od centrum danych i wstawiamy własny sprzęt”) i wdrażaniem technologii ekologicznych (100 proc. energii zużywanej w sztokholmskim centrum pokrywają źródła odnawialne), koszty szły w górę. Dlaczego? Po prostu jeszcze szybciej rosło zapotrzebowanie na muzykę ze strony klientów.

Podejście to oznacza w praktyce, że firma korzysta z najlepszych możliwych rozwiązań technicznych, po możliwej do zapłacenia cenie, bez uznawania za minus faktu, że dostawcą jest firma zewnętrzna.

W roku 2014 Spotify korzystało ze środowiska 5000 serwerów produkcyjnych plus 1000 serwerów wirtualnych u różnych dostawców (w tym AWS). A potrzeby rosły i rosły. Opóźnienia w przejściu między piosenkami może były akceptowalne w CD playerach, gdzie laser musiał znaleźć odpowiednie miejsce na płytce wirującej z szybkością 300 bloków na sekundę (4x). Ale to było nie do przyjęcia w cyfrowych odtwarzaczach MP3, a później smartfonach, tabletach, laptopach.

Również w innych procesach Spotify szybkość odgrywa kluczową rolę.

Cały projekt potrwa 18 miesięcy. Bieżące komentarze mają pojawiać się na blogu Spotify.

Do tematu wrócimy też na łamach Chmurowiska!