Пока был в Берлине, посмотрел на CNBS (один из всего трех каналов на английском в номере отеля) интервью с ученым (Johan Bollen) из университета Индианы.
Целью исследования была попытка установить зависимость между изменениями в настроениях массовой психологии и движениями фондового рынка. В качестве инструментов получения состояния настроений использовались:
- OpinionFinder (OpinionFinder is a system that processes documents and automatically identifies subjective sentences as well as various aspects of subjectivity within sentences, including agents who are sources of opinion, direct subjective expressions and speech events, and sentiment expressions - см. readme)
- алгоритм Google-Profile of Mood States (GPOMS) - система психометрии Profile of Mood States (POMS-bi), работающая на основании результатов поисковых запросов в Google
В качестве массива лингвистических данных использовались 9.7 млн. микропостов в twitter от 2.7 млн. пользователей на протяжении марта - декабря 2008 года.
В качестве массива данных о рынке использовались значения закрытия индекса Доу-Джонса.
Затем прогонялся тест причинности Грейнджера и на основании его строилась самообучающаяся нейронная сеть с нечеткой логикой:
Что важно (из интервью):
- Иследователи ожидали очевидной "естественной" причинности - движения рынка должны были влиять на состояние настроения массовой психологии. Вместо этого оказалось, что изменения в массовой психологии предшествуют движениям рынка - до 4-6 дней.
- В 6-факторной модели настроений POMS (tension-anxiety, depression-dejection, anger-hostility, fatigue-inertia, vigor-activity, and confusion-bewilderment) исследователи ожидали (в полном соответствии с логикой предыдущего пункта - рынок "влияет" на настроения), что максимальная корреляция будет по дихотомии настроений "happy/sad" (т.е. человек рад росту или расстроен падением рынка), но наилучшие результаты дала пара "calm/anxious" - точность предсказаний движений индекса на основе этой дихотомии настроений оказалась равна 87.6%!
Т.е. на огромном массиве данных подтвержден мой "символ веры" - именно массовая психология является причиной изменения фондовых индексов, а не наоборот, как принято считать с т.зр "здравого смысла".
Более того, становится понятным, почему лучшие предсказательные результаты обеспечивает шкала настроения от "спокойного" до "тревожного" - если учесть, что из двух мотивирующих подсистем (стремление к удовольствию и избегание боли) вторая - самая сильная. И состояния спокойствия и тревоги - это результирующие эмоции подсистемы избегания боли (опасности) - в первом случае успешного, во втором - безрезультатного.
Более подробно читать:
- Modeling public mood and emotion: Twitter sentiment and socio-economic phenomena. arXiv:0911.1583v1
- Measuring the Happiness of Large-Scale Written Expression: Songs, Blogs, and Presidents - http://ideas.repec.org/a/spr/jhappi/v11y2010i4p441-456.html
- Twitter mood predicts the stock market - arXiv:1010.3003v1