Маленький код для больших данных или Spark за 3 дня

[pustota_2009]

Пусть Жираф был не прав,
Но виновен не Жираф,
А тот, кто крикнул из ветвей:
«Жираф большой - ему видней!» (с)
Потребовалось оперативно разобраться с технологией Spark заточенную для использования Big Data. В процессе выяснения активно использовал habrahabr, так что попробую вернуть информационный должок, поделившись приобретенным опытом

Comments

[ext_2462147]

Дорогой Автор, а про нефть планируете что-нибудь новенькое и когда?

[pustota_2009]

Пока особо интересного ничего нет) Вот если ОПЕК начнут соблюдать согласованные квоты возникнет весьма интересный кейс для анализа того, что управляет ценами, баланс спроса и предложения или там фьючерсы-опционы, как многие думают)

[slikx]

Очень интересная статья. Хотя мне Джава до конца еще непонятна.
Можно ли это применить к ценам на нефть для прогнозирования?
Анализировать ес-но фьючерсы. Как Джим О'Нил рекомендовал. :)

[pustota_2009]

Да, я уверен, что если собрать максимально возможное количество общедоступной информации (5% работы) и грамотно ее структурировать (85% работы), то после настройки модели (оставшиеся 10%) можно получить отличный результат. Другое дело, что это требует нехилых инвестиций как в плане оборудования, так и времени.

[moshushi]

Спасибо. Очень интересно.