Астрология vs Наука: прогнозирование футбольных матчей
Недавно я общался с астрологами, которые утверждали, что они могут прогнозировать исходы футбольных матчей лучше, чем бросок монетки. В качестве доказательства было приведено некоторое количество прогнозов среди которых успешных было больше, чем не успешных. "А почему Вы сравниваете с броском монетки?" - спросил я. Ведь даже далекому от футбола человеку (вроде меня), очевидно, что вероятность победы сборной Испании (команды с самым высоким рейтингом) существенно превосходит вероятность победы, скажем, сборной Северной Кореи или Монако. Я сказал, что готов прогнозировать исходы матча лучше, чем бросок монетки, без всякой астрологии. Например, основываясь на рейтингах футбольных команд
Возражения были удивительными. Во-первых, я выяснил, что результаты матчей формируют рейтинг команды, а не рейтинг влияет на исход матча! Представьте себе! "Следственные данные не могут быть исходником для будущих прогнозов" - сказали мне. Оказывается, что такая простая мысль, что и рейтинг команды и ее шансы на победу зависят от силы команды не всем приходит в голову. Если у команды высокий рейтинг, то с большой вероятностью она сильная, а значит шансов на победу у нее больше. Поставив на более сильную команду я угадаю с большей вероятностью, чем поставив против нее. Еще удивительней было то, что в мои прогностические способности не поверили. "Я склонен быть уверенным, что Вы будете прогнозировать матчи с вероятным успехом в 50%" - сказали мне. Ведь "надо знать предмет", а не "создавать иллюзию легкого экспертного прогнозирования". Еще одним аргументом было то, что на прошедшем чемпионате мире был ряд матчей, в которых более сильная по представлениям экспертов команда (команда "фаворит") проиграла. Но разве отдельные примеры, которые немедленно попадают в заголовки спортивных газет нарушают общую статистику?
Вообщем, я принял вызов и провел небольшое исследование.
Сразу скажу, что я в своей жизни не посмотрел до конца ни одного футбольного матча: мои познания в этой области ограничиваются игрой на школьном дворе, то есть нулевые. Не особо нравится мне эта игра. Прочитав литературу, я выяснил, что наиболее надежной системой рейтингов считается система ELO www.eloratings.net/world.html. Во всяком случае, меня она устраивала так как выглядела вполне объективной. В ней есть рейтинг сборных всех стран, играющих в футбол. Этот рейтинг посчитан с учетом целой кучи предыдущих матчей. Например, для Испании с учетом 587 сыгранных матчей.
Я хотел проверить мою гипотезу, что рейтинги ELO помогут угадать победителей в групповых матчах чемпионата мира по футболу 2010 года. Это первая попавшаяся мне в Интернете группа матчей. Вот ссылка на результаты: http://www.footballrussia.ru/raspisanie.html
Процедура прогноза простая. Берем две команды. Сравниваем их по рейтингу ELO. Предсказываем победу той команды у которой рейтинг ELO больше. Сравниваем прогноз с реальным исходом матча. Случаи ничьи не считаем. Верный прогноз - успех. Победа противоположной команды - отсутствие успеха. Сравниваем количество успехом с ожидаемым, при угадывании броском монетки.
Всего в мою выборку попало 34 первых матча чемпионата сыгранных не в ничью. Из них верно был предсказан исход 30 матчей (88%).
Вероятность получить 30 и более успехов из 34 испытаний с вероятностью успеха в 50% (бросок монетки) меньше чем 0.00001 - то есть мой успех статистически значимо отличается от броска монетки, от случайного угадывания.
Я предположил, что возможно, это связано с тем, что эти матчи были учтены в подсчете рейтинга, поэтому результат такой хороший. Для контроля я вычел из рейтинга команд приобретенный (или утрачненный) рейтинг за последний год (эти данные так же имеются на приведенном мной сайте) и сделал новые прогнозы (по рейтингу прошлого года т.е. заведомо до чемпионата).
Действительно, если бы я воспользовался рейтингом годовалой давности я бы предсказал лишь 25 исходов из 34 (74%). Тем не менее этот результат тоже статистически значимо отличается от броска монетки : P = 0.0045
Ниже приведена таблица. Указана дата матча, две страны, страна с преимуществом по рейтингу сегодня (команда, победа которой предсказана), соответствие предсказания действительности, соответствие предсказания действительности если предсказание основано на контрольном рейтинге (по данным годовалой давности).
Дата Страна Страна Преимущество Угадано? Контроль?
12.06.10 Аргентина Нигерия Аргентина Да Да
12.06.10 Юж Корея Греция Юж Корея Да Да
13.06.10 Алжир Словения Словения Да Нет
13.06.10 Германия Австралия Германия Да Да
13.06.10 Сербия Гана Сербия Да Да
14.06.10 Голландия Дания Голландия Да Да
14.06.10 Япония Камерун Япония Да Да
15.06.10 Бразилия КНДР Бразилия Да Да
16.06.10 Гондурас Чили Чили Да Да
16.06.10 Испания Швейцария Испания Нет Нет
16.06.10 ЮАР Уругвай Уругвай Да Да
17.06.10 Аргентина Юж Корея Аргентина Да Да
17.06.10 Греция Нигерия Греция Да Нет
17.06.10 Франция Мексика Мексика Да Да
18.06.10 Германия Сербия Германия Нет Нет
18.06.10 Голландия Япония Голландия Да Да
19.06.10 Камерун Дания Дания Да Да
20.06.10 Словакий Парагвай Парагвай Да Да
20.06.10 Бразилия Кот-д'Иваур Бразилия Да Да
21.06.10 Потругалия КНДР Потругалия Да Да
21.06.10 Чили Швейцария Чили Да Да
21.06.10 Испания Гондурас Испания Да Да
22.06.10 Мексика Уругвай Уругвай Да Нет
22.06.10 Франция ЮАР Франция Нет Нет
22.06.10 Греция Аргентина Аргентина Да Да
23.06.10 Словения Англия Англия Да Да
23.06.10 США Алжир США Да Да
23.06.10 Гана Германия Германия Да Да
23.06.10 Австралия Сербия Австралия Да Нет
24.06.10 Дания Япония Япония Да Нет
24.06.10 Камерун Голландия Голландия Да Да
24.06.10 Словакия Италия Италия Нет Нет
25.06.10 КНДР Кот-д'Иваур Кот-д'Иваур Да Да
25.06.10 Чили Испания Испания Да Да
К этому пилотному исследованию было одно возражение, что дескать, настоящие астрологи и ничьи прогнозируют и не только. Тогда я расширил выборку матчей и придумал, как предсказывать ничьи.
Я написал программу, которая предсказывает исход (победа, ничья, поражение) по рейтингу команд. Если рейтинг команд отличается меньше, чем на 40, то программа предсказывает ничью. Если рейтинг одной команды превосходит рейтинг другой команды на 40 или больше, то прогнозируется победа этой команды. Цифру 40 я взял из головы и полагаю, что ее можно оптимизировать.
Я сразу использовал рейтинг команд прошлого года, чтобы результаты чемпионата мира не могли повлиять на используемый рейтинг. Выборку я увеличил добавив 1/8, 1/4, 1/2 финала и финал, а так же матчи сыгранные в ничью.
Из 61 испытаний, верный прогноз из трех вариантов (победа первой команды, победа второй команды, ничья) был получен в 35 случаях.
Если мы считаем все три исхода равновероятными, то вероятность предсказать такое же или большее число исходов матчей случайным образом равна 9.8 на десять в минус пятой степени. То есть результат статистически значим: программа угадывает лучше, чем брошенная "трехгранная" монетка. На самом деле, оказывается, что ничьи в футболе чуть более редки (ничьей заканчивается в среднем лишь 22% матчей, а не 33%, если посчитать по базе ELO). Это можно учесть при подсчете статистической значимости, но к имениям выводов это не приводит.
Ниже для демонстрации приведу выходной файл моей программы для прогнозов и их сравнения с реальными исходами.
На английском указана команда 1, команда 2, счет перовой команды, счет второй команды, предсказание для первой команды, основанной на рейтинге команды (loss= поражение, win = победа, draw = ничья), реальный результат матча, соответствие прогноза реальности (TRUE = соответствует, FALSE = не соответствует)
South_Africa Mexico 1 1 loss draw FALSE
Uruguay France 0 0 loss draw FALSE
Argentina Nigeria 1 0 win win TRUE
South_Korea Greece 2 0 draw win FALSE
England United_States 1 1 win draw FALSE
Algeria Slovenia 0 1 win loss FALSE
Germany Australia 4 0 win win TRUE
Serbia Ghana 0 1 win loss FALSE
Netherlands Denmark 2 0 win win TRUE
Brazil North_Korea 2 1 win win TRUE
Cote_d'Ivoire Portugal 0 0 loss draw FALSE
Honduras Chile 0 1 loss loss TRUE
Spain Switzerland 0 1 win loss FALSE
South_Africa Uruguay 0 3 loss loss TRUE
Argentina South_Korea 4 1 win win TRUE
Greece Nigeria 2 1 draw win FALSE
France Mexico 0 2 loss loss TRUE
Germany Serbia 0 1 win loss FALSE
Slovenia United_States 2 2 loss draw FALSE
England Algeria 0 0 win draw FALSE
Netherlands Japan 1 0 win win TRUE
Ghana Australia 1 1 draw draw TRUE
Cameroon Denmark 1 2 loss loss TRUE
Slovakia Paraguay 0 2 loss loss TRUE
Italy New_Zealand 1 1 win draw FALSE
Brazil Cote_d'Ivoire 3 1 win win TRUE
Portugal North_Korea 7 0 win win TRUE
Chile Switzerland 1 0 draw win FALSE
Spain Honduras 2 0 win win TRUE
Mexico Uruguay 0 1 win loss FALSE
France South_Africa 1 2 win loss FALSE
Nigeria South_Korea 2 2 draw draw TRUE
Greece Argentina 0 2 loss loss TRUE
Slovenia England 0 1 loss loss TRUE
United_States Algeria 1 0 win win TRUE
Ghana Germany 0 1 loss loss TRUE
Australia Serbia 2 1 loss win FALSE
Denmark Japan 1 3 win loss FALSE
Cameroon Netherlands 1 2 loss loss TRUE
Slovakia Italy 3 2 loss win FALSE
Paraguay New_Zealand 0 0 win draw FALSE
North_Korea Cote_d'Ivoire 0 3 loss loss TRUE
Portugal Brazil 0 0 loss draw FALSE
Switzerland Honduras 0 0 win draw FALSE
Chile Spain 1 2 loss loss TRUE
Uruguay South_Korea 2 1 win win TRUE
United_States Ghana 1 2 win loss FALSE
Argentina Mexico 3 1 loss win FALSE
Germany England 4 1 loss win FALSE
Netherlands Slovakia 2 1 win win TRUE
Brazil Chile 3 0 win win TRUE
Paraguay Japan 0 0 draw draw TRUE
Spain Portugal 1 0 win win TRUE
Uruguay Ghana 1 1 draw draw TRUE
Netherlands Brazil 2 1 loss win FALSE
Argentina Germany 0 4 loss loss TRUE
Paraguay Spain 0 1 loss loss TRUE
Uruguay Netherlands 2 3 loss loss TRUE
Germany Spain 0 1 loss loss TRUE
Uruguay Germany 2 3 loss loss TRUE
Netherlands Spain 0 1 loss loss TRUE
Таким образом, я показал, что даже человек абсолютно не интересующийся футболом и ничего в нем не смыслящий может прогнозировать результаты матчей лучше, чем это делает бросок монетки используя лишь общедоступные интернет-ресурсы. Разумеется, использованная мной модель очень простая, ее можно еще улучшить, но она уже достаточно хороша, чтобы на небольшой выборке матчей продемонстрировать статистически значимый результат (от астрологов, я, кстати, даже такого пока не дождался). Когда астрологи или другие предсказатели говорят о том, что они якобы угадывают лучше, чем это делает монетка - в этом нет ничего удивительного: с этой задачей справится кто угодно, обладающий минимальным здравым смыслом и знающий примерную силу команд. Собственно проверку астрологическим способностям можно предложить такую: рассмотреть случаи когда прогнозы астролога расходятся с прогнозом сделанным по рейтингу и посмотреть чьи прогнозы лучше сбываются.
P.S. Никому не нужен новый осьминожек Пауль?