Big Data и очки
За последнюю неделю удалось побывать на двух мероприятиях. Одно - рассказ о том как устроено работа с большими данными в яндексе. Другое - презентация VR-очков в мейл ру.
Big Data сейчас имеет довольно сильный растущий тренд в России. Говорят что вложения в эту область растут на 40% каждый год. Когда сталкиваешься с Big Data один из первых вопросов - когда же данные становяться большими. В нашей компании мы не сразу перешли на Big Data решения, когда уперлись в пределы одного сервера. Продолжая непрерывно оптимизировать и расширять текущий сервер мы на сначала исслидовали MPP базы данных такие как GreenPlum. И в момент когда уже подготовились к миграции, пришлось свернуть в другую сторону из-за сокращения расходов. Все же MPP решения стоят немалых денег для небольшой компании. Так мы очутились в мире Hadoop, Hive, Impala и прочих сопровождающих технологий. Это случислось примерно при размере базы в 3 TB и ежедневного притока сырых данных в размере около 200 GB.
Что такое по настоящему большие данные я узнал на встрече в яндексе. На текущий момент они хранят несколько сотен петабайт и приближаются к экзабайту. Понятно, что на таких объемах никаких опен сорс продуктов не наиспользуешься и нужна жесткая оптимизация под свои кейсы. Тем более, как говорят, хадуп решение начинает хромать, когда объем приближается к одному петабайту. Вся встреча была о том как они делают это в яндексе: свой MapReduce движок, своя база ClickHouse для аналитики и свой способ организовывать сам storage на железе. Очень интересно. Порадовала организация самой встречи и то что уже на следующий день я смог в записи посмотреть последнюю пропущенную лекцию. После подобных встреч, хочет работать в компаниях как яндекс.
Кстати, гугл уже давно отказался от парадигмы MapReduce - ссылка.
Второе событие длилось всего минут пять, и было просмотр 3d ролика через очки Sumsung Gear VR. Это было получше чем то что стоит в торговых цетрах, но все равно еще есть куда расти. Сильно заметны пиксели, хотя ощущения отставания не было, но неприятное головокружение присутствовало. Ребята с прошлой работы обещали показать настоящие игры уже с крутыми 3d устройствали, которые используются у них для разработки игр. Но идея конечно класная. Я так и представляю, как совсем скоро, садишься в метро, скачиваешь по wifi игрушку, вставляешь телефон в такой аппарат, надеваешь его на голову, пару датчиков на руки и начинаешь всю дорогу развлекаться.. Круто!
Big Data сейчас имеет довольно сильный растущий тренд в России. Говорят что вложения в эту область растут на 40% каждый год. Когда сталкиваешься с Big Data один из первых вопросов - когда же данные становяться большими. В нашей компании мы не сразу перешли на Big Data решения, когда уперлись в пределы одного сервера. Продолжая непрерывно оптимизировать и расширять текущий сервер мы на сначала исслидовали MPP базы данных такие как GreenPlum. И в момент когда уже подготовились к миграции, пришлось свернуть в другую сторону из-за сокращения расходов. Все же MPP решения стоят немалых денег для небольшой компании. Так мы очутились в мире Hadoop, Hive, Impala и прочих сопровождающих технологий. Это случислось примерно при размере базы в 3 TB и ежедневного притока сырых данных в размере около 200 GB.
Что такое по настоящему большие данные я узнал на встрече в яндексе. На текущий момент они хранят несколько сотен петабайт и приближаются к экзабайту. Понятно, что на таких объемах никаких опен сорс продуктов не наиспользуешься и нужна жесткая оптимизация под свои кейсы. Тем более, как говорят, хадуп решение начинает хромать, когда объем приближается к одному петабайту. Вся встреча была о том как они делают это в яндексе: свой MapReduce движок, своя база ClickHouse для аналитики и свой способ организовывать сам storage на железе. Очень интересно. Порадовала организация самой встречи и то что уже на следующий день я смог в записи посмотреть последнюю пропущенную лекцию. После подобных встреч, хочет работать в компаниях как яндекс.
Кстати, гугл уже давно отказался от парадигмы MapReduce - ссылка.
Второе событие длилось всего минут пять, и было просмотр 3d ролика через очки Sumsung Gear VR. Это было получше чем то что стоит в торговых цетрах, но все равно еще есть куда расти. Сильно заметны пиксели, хотя ощущения отставания не было, но неприятное головокружение присутствовало. Ребята с прошлой работы обещали показать настоящие игры уже с крутыми 3d устройствали, которые используются у них для разработки игр. Но идея конечно класная. Я так и представляю, как совсем скоро, садишься в метро, скачиваешь по wifi игрушку, вставляешь телефон в такой аппарат, надеваешь его на голову, пару датчиков на руки и начинаешь всю дорогу развлекаться.. Круто!