«Карта будущего» | Часть №3
«Карта будущего» | Часть №1
«Карта будущего» | Часть №2
Зарабатывать на политических прогнозах люди начали задолго до появления рынков предсказаний, да и вообще, компьютеров.
Политические ставки на результаты выборов (Political Betting Markets) были уже весьма популярны в XVI веке в Венеции и Генуе. В XVIII веке их популярность распространилась и на Британскую империю, а в XIX - на США.
На фаворитов президентских выборов 1916 года Вудро Вильсона и Чарльза Хьюза было поставлено около $160 млн (почти $4 млрд в долларах 2018 года). Для сравнения, сумма ставок на президентские выборы 2004 года на ведущем в то время мировом рынке предсказаний Intrade была в 160 раз меньше, не превысив и $25 млн.
Бурный рост интернет площадок в начале 2000ых, казалось бы, сулил онлайн рынкам предсказаний заоблачные перспективы. Как тогда писал Джастин Вульферс, профессор бизнеса в Wharton School:
Через несколько лет мы будем считать вторую половину 20-го века аберрацией, в которой пресса использовала опросы, а не рынки предсказаний для отслеживания политических раскладов в обществе… Ну а в 21-м веке мы вернемся к практике начала 20-го века, основывая политические прогнозы на рынках предсказаний, а не на куда менее точных опросах общественного мнения.
Никто тогда не предполагал, что скандал с остановкой проекта РАМ и программы FutureMAP станет бомбой замедленного действия и угробит-таки индустрию рынков предсказаний.
Три года потребовалось законодателям США, чтобы к 2006 году разработать и принять закон, вообще запрещающий какие-либо азартные игры на деньги в Интернете (Unlawful Internet Gambling Enforcement Act of 2006 (UIGEA)).
Вследствие принятия этого закона, бизнес на рынках предсказаний (который, собственно, и был платформой для азартных игр на предсказаниях в интернете) нужно было, как минимум, эвакуировать из США. Что без потерь удалось далеко не всем.
В результате трудностей, возникших у многих американских рынков предсказаний, позиции расположенного в Дублине (Ирландия) набиравшего популярность рынка предсказаний Intrade сильно укрепились. И на следующих президентских выборах в США 2008 он показал отличные предсказательные результаты.
В журнале Public Opinion Quarterly был опубликован детальный анализ Дэвида Ротшильда “Forecasting elections comparing prediction markets, polls, and their biases”. В нем показывалось на данных избирательной кампании 2008 года, что по точности предсказаний выборов, котировки электронной площадки Intrade превзошли все отдельные прогнозы на основе опросов общественного мнения.
Ротшильд обнаружил, что при прогнозировании результатов выборов 2008 рынок предсказания Intrade были не менее точными, чем у хваленой алгоритмической модели 538 Нейта Сильвера, агрегирующей информацию множества соцопросов с учетом демографических данных (и по сей день считается самой точной интегральной площадкой предсказаний на основе данных соцопросов).
Понимая несомненные преимущества рыночного механизма рынков предсказаний при игре на деньги, многие гиганты IT отрасли вступили в борьбу с запретом «игр на деньги» в Интернете. В 2008 г. с 28-страничным обращением в федеральные органы власти обратились компании Google и Yahoo.
Через полгода, уже в 2009 к этому обращению присоединилась компания Microsoft.
В письме четко обосновывалась важная роль рынков предсказаний:
“стимулирование инноваций и практическая польза в качестве инструмента предсказаний, как для бизнеса, так и для широкой общественности”.
Но федеральные власти были непоколебимы в решении запретить любую игру на деньги в Интернете и просто “послали” большой бизнес заниматься бизнесом, а не мешаться под ногами.
Киты бизнеса поняли, что будет себе дороже, и отказались от попыток нажима на федеральную власть.
А уже в 2012 году, рынку предсказаний Intrade предстояло дать свое последнее представление на президентских выборах в США. И это представление получилось впечатляющим.
Через двадцать дней после начала торгов на Intrade их участники абсолютно точно предсказали исход выборов очередного президента США во всех штатах кроме Флориды.
Видимо, это была последняя капля.
Через 3 недели после подведения итогов выборов Комиссия по торговле товарными фьючерсами США (CFTC) подала гражданский иск против Intrade в федеральный окружной суд в Вашингтоне за незаконную торговлю фьючерсами. Речь также шла о судебном запрете на участие граждан США в торгах на рынках предсказаний.
Результат был предсказуем без всяких рынков предсказаний. Через 4 месяца рынок предсказаний Intrade остановил работу и больше уже не открылся.
Таким образом к 2013 году настоящие рынки предсказаний (играющие на деньги, а не на фантики) были полностью закрыты в США. Да и за пределами США также ни у кого не оставалось желания экспериментировать, т.к. законодательство США запрещало своим гражданам играть на деньги по Интернету где угодно.
Два исключения, получившие лицензию CFTC в связи с, якобы, научными целями их работы, - это Iowa Electronic Markets Университета штата Айова и PredictIt новозеландского Университета Виктории - никак изменить ситуацию не могли.
Низкие ставки и недостаточно большое число участников торгов:
- не позволяют рынкам собирать всю доступную информацию, и вместо этого, они лишь отражают суждения нишевых сообществ;
- в результате рынки получаются небольшого размера и потому они испытывают дикие краткосрочные колебания цен, когда несколько игроков теряют терпение и начинают активно покупать или продавать.
В итоге, стало ясно, что исключение возможности использовать рыночный механизм рынков предсказаний качественно снижает точность их предсказаний.
И тогда разведка США решила пойти другим путем - агрегировать «коллективную мудрость толпы» по предсказанию будущих событий не с помощью рыночного механизма, а путем использования «коллективного разума», возникающего в процессе краудсорсинговых соревнований по предсказаниям.
Идея была в том, чтобы:
- опробовать различные способы и механизмы кардинального повышения тщательности проработки, точности и оперативности различного рода прогнозов, получаемых путем извлечения, взвешивания и комбинации суждений множества аналитиков-краудсорсеров;
- научиться выявлять среди участников супер-предсказателей, показывающих наилучшие результаты.
2-ой этап технологических исследований разведки США возможностей предсказания будущего начался в 2010. Его возглавило правительственное агентство по финансированию разработок прогностических технологий предотвращения грядущих глобальных кризисов и конфликтов Intelligence Advanced Research Projects Activity (IARPA).
Предсказание/прогнозирование будущего, под кодовым названием «Упреждающая разведка» (Anticipatory intelligence), стало одним из 4-х «китов» в основании всей работы IARPA (наряду со сбором информации, ее обработкой и анализом). Собственно, именно технологии предсказания/прогнозирования будущего и стали главной целью работы IARPA. А остальные 3 «кита» - лишь вспомогательными подготовительными этапами для предсказаний.
Четверть из, примерно, 32 ежегодных исследовательских программ IARPA сфокусированы на решении задач Упреждающей разведки. И хотя бюджет IARPA засекречен, из слов ее руководителя следует, что ежегодное финансирование программ Упреждающей разведки составляет не менее $200-$250 млн.
Цель Упреждающей разведки сформулирована так:
Анализ и уменьшение неопределенности при принятии решений руководителями высокого уровня, путем предоставления им своевременных и точных прогнозов грядущих значительных событий.
Программы Упреждающей разведки весьма разнообразны, но каждая из них:
- разрабатывает технологии создания своевременных прогнозов для четко определенных событий и их характеристик (например, кто, что, когда, где и как);
- проходит строгое, детальное и постоянное тестирование и оценку точности;
- имеет показатели, которые включают время выполнения, точность, доли ложноположительных и ложноотрицательных прогнозов, рассчитываемых путем сопоставления прогнозов с событиями реального мира;
- предоставляет прогнозы в контексте происходящих и предполагаемых событий.
За 8 лет в области Упреждающей разведки были завершены 4 программы:
- ACE - совершенствование методологии и организации коллективных предсказаний;
- ForeST и FUSE - прогнозирование состояния дел в науке на основе автоматической аналитики по выявлению информации о перспективных новых технологиях;
- OSI - прогнозирование на основе непрерывного автоматизированного анализа общедоступной информации и опережающего выявления в ней ранних признаков предстоящих событий;
7 программ еще продолжаются. 5 из них относятся к завершаемому 2-му этапу исследований:
- CREATE - краудсорсинг коллективных предсказаний;
- CAUSE - прогнозирование кибер-атак путем опережающего обнаружение их едва уловимых признаков;
- FunGCAT - анализ и предсказание угроз синтетической биологии;
- Mercury - программа подобная OSI, но для автоматизированного анализа иностранных разведовательных сигналов;
- SCITE - обнаружение и предсказание вредоносной инсайдерской деятельности.
А две программы HFC и Focus относятся уже к следующему 3му этапу.
Вышеназванные программы покрывают весь спектр интересов упреждающей разведки:
- прогнозирование социальных волнений, политических кризисов, террористических атак, кибератак, военных действий и угроз от вредоносной инсайдерской деятельности;
- прогнозирование развития тех из областей науки, достижения в которых способны породить угрозы национальной безопасности США (с особым приоритетом угроз синтетической биологии).
Однако, эти программы далеко не исчерпывают арсенал средств, направляемых разведсообществом США на решение задач упреждающей разведки.
В 2015 г. в ведущем развед-агентстве США ЦРУ, впервые с 1963 года (когда Дивизион Научной Разведки был инкорпорирован в Директорат Науки и Технологий), произошли кардинальные структурные изменения.
Был создан новый Директорат Цифровых Инноваций.
Бюджет IARPA не резиновый, а среди его стейкхолдеров есть и консервативно настроенные по отношению к упреждающей разведке и тут ЦРУ спешит на помощь IARPA, беря на себя финансирование части прорывных разработок через свой вечурный фонд In-Q-Tel.
Среди этих разработок:
- проекты платформ по предсказаниям и прогнозированию;
- проекты майнинга больших данных соцсетей в целях выуживания из них «опережающих индикаторов» грядущих важных событий и лиц, влияющих на формирование инфоследов таких событий в социальных медиа.
В качестве примеров финансируемых In-Q-Tel проектов 1-го направления, можно назвать:
- платформу Recorded Future, совместный проект с Google
- платформу P2I (Precise Predictive Intelligence) компании TransVoyant
Проекты 2-го направления, финансируемые In-Q-Tel:
- Dataminr - самообучающийся майнинг потоков данных Twitter;
- Dunami - контроллер ассоциаций и центров влияния в Facebook, Twitter и Instagram;
- Geofeedia - мониторинг движения масс народа.
Параллельно с созданием Директората Цифровых Инноваций ЦРУ, был реализован проект стоимостью $600 млн. по созданию единой облачной платформы на базе Amazon Web Services для всех 17 разведслужб США.
Все вышеперечисленное просто обязывало руководство спецслужб, кровь из носа, но предъявить результаты.
А что же с результативностью упреждающей разведки?
Если же предельно ужать ключевые выводы 2-го этапа, можно было бы сформулировать такой «сухой остаток»:
- Экспериментально подтверждено, что, как минимум, в социально политических вопросах коллективные прогнозы/предсказания оказываются точнее индивидуальных, даже если последние делаются лучшими профессиональными экспертами.
- Качество коллективных предсказаний может быть повышено за счет максимально однозначных формулировок вопросов и четкого численного шкалирования прогнозов/предсказаний, переводящего их из словесных формулировок в численно выраженные оценки вероятности.
- Путем:
(1) подготовки и обучения прогнозистов;
(2) применения преобразований, стабилизирующих дисперсию;
(3) использования случайных начальных значений в алгоритмах агрегирования оценок,
- удается уменьшить интегральный показатель Бриера (среднеквадратичное отклонение ошибок предсказаний) до 0,155;
- дополнительный отбор и селекция лучших прогнозистов еще больше снижает показатель Бриера до 0,1519.
Что сказать о таких результатах?
- С одной стороны, неплохо. Названные цифры означают, что среднюю ошибку предсказаний краудсорсинга с помощью всех вышеназванных усовершенствований удалось понизить с 48% до 39%.
- С другой стороны, результат не очень впечатляет. Ведь если просто подбрасывать монету, точность предсказаний, хоть и будет похуже, но не так чтобы очень.
Кроме того, уже под занавесь 2-го этапа были опубликованы результаты 2-х исследований, сильно обесценивших достижения всего этапа.
✔️ Первое из этих исследований - это сравнительное исследование точности прогнозов, приведенных в официальных разведотчетах, с прогнозами этих же событий рынками предсказаний.
Казалось бы, при чем здесь рынки предсказаний?
Ведь суть 2-го этапа исследований как раз и была в том, чтобы, в условиях законодательного запрета игр на деньги на рынках предсказаний, опробовать альтернативный вариант - краудсорсинговые соревнования по предсказаниям.
Все так.
Но ведь никто не запрещал играть на рынках предсказаний без денежной заинтересованности участников. А раз так, то можно было проверить, какова может оказаться точность прогнозов, формирующихся на рынках предсказаний без материальной заинтересованности участников. Понятно, что эта точность будет ниже, чем при игре участников на деньги.
Но насколько ниже?
Это было с блеском проверено в работе «Comparative evaluation of the forecast accuracy of analysis reports and a prediction market», выполненной под руководством доктора Пола Ленера (Dr. Paul Lehner), главного начальника и контролера IARPA, отвечающего за тестирование и оценку результативности исследовательских программ ( Chief of Testing and Evaluation).
Согласно проведенному исчерпывающему анализу, оказалось, что прогнозы, полученные на рынках предсказаний (даже при убийственном для них отсутствии материальной заинтересованности участников):
- существенно точнее прогнозов, приведенных в официальных разведотчетах;
- почти на четверть точнее прогнозов самых усовершенствованных методов краудсорсинговых соревнований по прогнозированию (ошибка предсказаний, примерно, 30% против 39%).
✔️ Другое исследование - «Парадоксом турниров по прогнозированию» - потрясающее откровение - математическое доказательство Дэвида Алдоса, математика Калифорнийского университета в Беркли, прославившегося своими работами по прикладным аспектам теории вероятности.
Оказывается, при существующей общепринятой системе ранжирования участников краудсорсинговых соревнований по прогнозированию, в таком соревновании выигрывает вовсе не самый точный прогнозист.
Не буду вдаваться в то, как это доказано. Просто повторюсь - это математически доказанный факт.
И этот факт здорово бьет по лежащей в основе 2-го этапа методике Тетлока, подразумевающей выявление и отбор суперпрогнозистов по результатам турниров по прогнозированию.
✔️ И последнее.
По Филиппу Тетлоку, существуют два взгляда на возможность предсказания хода социально-политических событий:
- Первый взгляд можно условно назвать «поход Нассима Талеба».
Согласно этому подходу, «ход социально-политических событий - это продукт сил, которые никто не может предвидеть. ”Черные лебеди” - эпохальные события, такие как Первая мировая война, ядерные бомбы и ракеты для их доставки, изобретение Интернета - геополитические и технологические трансформационные события в истории, которые никто не предвидел и не мог предвидеть».
С этой точки зрения историю лучше всего понимать в терминологии перемежающейся равновесной модели. Бывают периоды спокойствия и предсказуемости. Им на смену приходят сильные потрясениями, которые преображают вещи - иногда к лучшему, иногда к худшему. И эти поворотные моменты - ”черные лебеди” - в принципе непредсказуемы.
- Альтернативный взгляд можно условно назвать «поход Филипа Тетлока».
Он считает, что будущее можно предсказать в определенных типах задач из жизни общества. При том, что в других типах задач из жизни общества будущее предсказать нельзя.
«Можно, например, научиться и стать хорошим игроком в покер, предсказывающим, как будут играть его соперники. Менеджеры хедж-фондов, чья работа завязана на предсказаниях будущего, как правило, хорошие игроки в покер.
Но что значит быть хорошим игроком в покер? Вы учитесь быть хорошим игроком в покер, потому что вы получаете повторяющуюся четкую обратную связь, и у вас есть четко определенная выборка из того, каков был расклад карт в прошлом. Тогда вы действительно можете научиться делать разумные оценки вероятности того, какие расклады материализуются в игре.
Является ли мировая политика игрой в покер? Это то, что в каком-то смысле мы изучаем на турнире по прогнозированию IARPA».
Например, предсказание итогов выборов, по мнению Тетлока, куда больше похоже на покер, чем на влияние непреодолимой силы «черных лебедей», поскольку есть доступ к опросам, которые проводятся по репрезентативным выборкам, и обширный методологический опыт, обобщающий многочисленные образцы ситуаций из прошлых выборов.
Более того.
Уже более-менее понятно, что «черные лебеди» возникают в результате коллективного поведения людей в предкритических ситуациях. И это относится к любым «черным лебедям» - непредвиденные глобальные обвалы финансовых рынков, национальные и глобальные экономические кризисы, эпидемии схлопывания политических режимов, типа «Арабской весны».
Ключевых факторов влияния на то, взлетит ли новый «черный лебедь» или все как-то утрясется без катастроф - два:
- Насколько близко подошла система к критической (переломной) точке - фазовому переходу системы.
- В какую сторону: к критической точке или от нее подталкивает систему коллективное поведение.
Это похоже на толпу у обрыва над пропастью:
- Как поведет себя толпа?
- Будет ли она в результате сотен индивидуальных действий еще ближе приближаться к краю, а потом и просто выдавливать в пропасть людей?
- Или сумеет самоорганизоваться, начнет пятиться от края и тем самым предотвратит катастрофу?
Понять степень близости системы к критической точке не может ни эксперт, ни коллективный разум краудсорсеров. Предсказать момент появления «черного лебедя» они не могут, т.к. это выходит за рамки, названные Тетлоком «оптимальная граница прогнозирования», доступная для людей.
Иными словами, это функция, которая фиксирует максимум гипотетической точности прогнозов и ограничена только неприводимой неопределенностью истории.
«Никто на самом деле систематически не рассматривал этот вопрос, пока IARPA не спонсировало этот конкретный проект, который очень, очень амбициозен по масштабам. Это попытка решить вопрос о том, можно ли приблизить политическое прогнозирование к тому, что философы могут назвать оптимальной границей прогнозирования, превзойти которую люди просто не могут».
Эта заключительная мысль Тетлока, пожалуй, является не только лучшим резюме итогов 2-го этапа исследований возможностей предсказания будущего, но и служит отправной точкой для работ нового 3-го этапа, который уже начался в конце 2017 года.
Его цель - попытаться выйти за пределы оптимальной границы прогнозирования, чтобы ловить там «серых лебедей» и «розовых фламинго».
А поскольку эта граница - предел предсказательных возможностей людей, то и превзойти её, если смогут, то не люди, а лишь «кентавры» - когнитивные системы, объединяющие возможности интеллектов человека и компьютера.
Продолжение следует.
/Источник/
Картинка кликабельна