Эластичное хранилище данных

[ushastyi]

Технический айтишный пост.

Коллега опубликовала статью на Хабре о Snowflake. Snowflake (снежинка, намек на тип схемы для DWH) -- это эластичное хранилище данных (data warehouse) на Амазоновской облачной инфраструктуре. И хотя наш вердикт о готовности решения к реальным сценариям был отрицательным, сама идея очень здравая

Comments

[levgem]

оно же всё безумно дорогое и медленное! Это я про Амазон

[ushastyi]

Вопрос цены -- это другой разговор. Ключевая фича Амазона -- элластичность. И я могу представить ситуации, когда за это не жалко заплатить. Например, когда у нас начинает не справляться основной кластер фронтэндов, мы начинаем поднимать амазон. Да, там сервера в два раза хуже и дороже, но 1) заказ физического сервера занимает время 2) часто перегрузка основных серверов связана с какими-то временными явлениями, и через сутки дополнительные мощности уже будут не нужны.

В случае c Snowflake, стабильно платится только на место на S3, а вычислительные ноды подниимаются и опускаются при необходимости. Скажем, если аналитики тыкают в данные палочкой только с 9 до 18, то можно по ночам почти все выключать.