Об Байеса - 1
Как-то давным-давно я пообещал одному коллеге рассказать, почему верить современным рационалистам (e.g. Элиезеру Юдковскому) стоит с большой осторожностью, и почему я считаю многие из их построений граничащими с мошенничеством. К сожалению, природа данного вопроса такова, что потребуется текст немалых размеров. И я решил, раз уж все равно писать, сразу немного причесать его и выложить на всеобщее обозрение. Это первая часть, вводная.
Тема, интересующая нас, высокоабстрактна и граничит с философией и формальной логикой, так что если кому станет скучно, я предупредил.
Общая структура моего аргумента такова. Современные рационалисты несут на своих знаменах формулу Байеса и употребляют слово "байесианство". Пропаганда соответствующих методов мышления и методов корректировки когнитивных ошибок является важной частью их деятельности. Существует, однако же, класс ситуаций, в которых байесовский подход абсолютно, вопиюще неприменим и, по зловещему совпадению, этот класс ситуаций тесно связан со смежными интересами (в том числе денежными) многих современных рационалистов, включая некоторых лидеров движения.
Начать нужно с того, почему вообще теория вероятностей каким-то образом применима к реальности. Этот вопрос сам по себе неисчерпаем, но суть проблемы вкратце изложить можно. Согласно классической традиции, начатой Бернулли, вероятность случайного события определяется как частота наступления этого события среди множества независимых повторений одних и тех же условий. Например, если в ящике лежит тысяча шаров, из которых двести красных, то вероятность вслепую вытащить красный шар из ящика равна 20%. В современной аксиоматике теории вероятностей, построенной Колмогоровым, в качестве обобщения "частоты" используется математически строгое понятие "меры". Оно, например, позволяет работать со случайными событиями, имеющими бесконечно много разных вариантов исхода (скажем, со случайными величинами, принимающими вещественное значение). Но суть дела от этого меняется мало. Всё понятно, пока речь действительно идёт о ситуациях, которые можно воспроизводить множество раз и получать при этом разные исходы. Вероятности, определенные подобным образом, имеют прямое отношение к реальности. Например, когда речь об азартных играх или ядерном распаде. Однако же, при таком определении не просматривается смысла в утверждениях вроде "вероятность дождя завтра составляет 20%", или "вероятность того, что м-р Икс жулик, не больше 5%", и тем более, "существование в настоящее время многоклеточной жизни на Марсе маловероятно": в них нет никакого вероятностного пространства для манёвра. Завтрашняя погода случится ровно однажды и повторить этот опыт мы не сможем, Марс у нас тоже один и т.п. Если вдуматься, становится понятно, что практически все интереснейшие вопросы вида "какова вероятность того, что верна такая-то гипотеза о состоянии окружающего мира" при таком подходе оказывается некорректно поставленными. На всякий случай скажу, что какая-нибудь "многомировая интерпретация" тут нерелевантна: чуть позже станет понятно, что оба общепринятых варианта решения актуальны даже в чисто детерминистском мире, без вероятностей, встроенных в законы природы, как в квантовой механике.
Так вот, дальше есть два общепринятых подхода. Первый, классический, он же фреквентистский, состоит в том, чтобы объявить, что всё так и есть, и запретить вопросы в форме "какова вероятность того, что мир устроен так-то". Вместо этого нужно задавать другие вопросы, примерно такие: "Предположим, мир устроен так-то. Какова в этом случае вероятность того, что произойдет то, что мы только что наблюдали"? Идея в том, что если такая вероятность мала, то и гипотеза едва ли верна. (Печально)известное p-value это как раз пример величины, определенной подобным способом.
Второй, байесовский подход, состоит в том, что мы разрешаем вопросы в следующей форме. Предположим, до измерений мы считали, что с вероятностью p мир устроен согласно некоторой гипотезе. Мы произвели наблюдения, связанные с этой гипотезой и получили такие-то результаты. Чему теперь равна вероятность того, что мир устроен согласно этой гипотезе? И чтобы дать ответ, мы разрешаем себе использовать результаты из формальной теории вероятностей (например, формулу Байеса, откуда и название подхода), не задаваясь встречным вопросом, а откуда мы взяли-то изначальное p и "частотой чего" оно является. На байесианцев очень много нападают (сейчас, впрочем, гораздо реже, чем сто лет назад), и я какое-то время думал, что это происходит, потому что подход слабо обоснован философски, что ли: ну правда, почему это мы говорим о каких-то вероятностях единичных событий и чуть ли не считаем формулу Байеса за аксиому, почему это нечто большее, нежели жонглирование цифрами? Ответ "потому что это работает", как вы понимаете, не очень-то успокаивает.
Подумав об этом немного, я в своё время самостоятельно изобрёл строгое обоснование байесовского подхода, и очень собой гордился ровно до тех пор, пока не выяснил, что его знает даже Википедия под названием dutch book argument. Тем не менее, ни в контексте современного рационализма, ни в контексте споров байесианцев против фреквентистов, я его нигде не встречал, поэтому считаю, что очень полезно будет его воспроизвести. Нам это пригодится во второй части.
Краткое содержание аргумента состоит в следующем. Давайте считать, что "вероятность события" совершенно субъективная величина. Любое действующее лицо (далее "агент") имеет право из каких-то скрытых от нас соображений приписывать любым событиям любые вероятности, какие ему заблагорассудится, лишь бы они были от нуля до единицы. Давайте скажем, что существует единственное главное правило: если агент считает, что вероятность события p, то он будет участвовать в пари на это событие с любыми ставками лучше (p : 1-p). Это не означает, что речь только про агентов, любящих азартные игры. Любое принятие решений в условиях неопределенности в каком-то смысле является таким "пари".
Давайте теперь подумаем, как определить, что агент действует рационально. Здесь лучше идти от обратного. Допустим, существует набор пари, одновременно заключив которые с агентом, мы заведомо, без какой-либо неопределенности, выкачиваем из него деньги. Тогда называть его рациональным вряд ли можно.
В этот момент и случается магия. Внезапно оказывается, что для рационального агента обязаны выполняться все фундаментальные соотношения того самого, фреквентистского, теорвера! Формула Байеса, формула полной вероятности, и т.п. Всё это довольно легко доказать, приведя пример наборов беспроигрышных пари, если агент действует иначе. Видимо, поэтому dutch book argument и называется не "теорема", а "аргумент".
Здесь мы постепенно подбираемся к сути вопроса и к тому, в каком же крайне важном классе ситуаций байесовский подход абсолютно неприменим. Между прочим, употребив кодовое слово "грейпфрут", вы докажете мне и друг другу, что прочитали этот текст, если вам это зачем-то понадобится. Пытливый читатель уже мог заметить, что из наших исходных предположений выглядит несколько натянутым то, что рациональный агент обязан придавать значение вероятности любому деривативу. В жизни это не обязательно так, и если некто предлагает нам систему сложных взаимосвязанных пари, пожалуй, самым рациональным будет отказаться от неё совсем. :) Как превратить это наблюдение в формальное опровержение применимости байесовского подхода для узкого, но важного класса ситуаций реального мира, и какое это имеет отношение к Юдковскому, читайте в следующей, заключительной серии.
Тема, интересующая нас, высокоабстрактна и граничит с философией и формальной логикой, так что если кому станет скучно, я предупредил.
Общая структура моего аргумента такова. Современные рационалисты несут на своих знаменах формулу Байеса и употребляют слово "байесианство". Пропаганда соответствующих методов мышления и методов корректировки когнитивных ошибок является важной частью их деятельности. Существует, однако же, класс ситуаций, в которых байесовский подход абсолютно, вопиюще неприменим и, по зловещему совпадению, этот класс ситуаций тесно связан со смежными интересами (в том числе денежными) многих современных рационалистов, включая некоторых лидеров движения.
Начать нужно с того, почему вообще теория вероятностей каким-то образом применима к реальности. Этот вопрос сам по себе неисчерпаем, но суть проблемы вкратце изложить можно. Согласно классической традиции, начатой Бернулли, вероятность случайного события определяется как частота наступления этого события среди множества независимых повторений одних и тех же условий. Например, если в ящике лежит тысяча шаров, из которых двести красных, то вероятность вслепую вытащить красный шар из ящика равна 20%. В современной аксиоматике теории вероятностей, построенной Колмогоровым, в качестве обобщения "частоты" используется математически строгое понятие "меры". Оно, например, позволяет работать со случайными событиями, имеющими бесконечно много разных вариантов исхода (скажем, со случайными величинами, принимающими вещественное значение). Но суть дела от этого меняется мало. Всё понятно, пока речь действительно идёт о ситуациях, которые можно воспроизводить множество раз и получать при этом разные исходы. Вероятности, определенные подобным образом, имеют прямое отношение к реальности. Например, когда речь об азартных играх или ядерном распаде. Однако же, при таком определении не просматривается смысла в утверждениях вроде "вероятность дождя завтра составляет 20%", или "вероятность того, что м-р Икс жулик, не больше 5%", и тем более, "существование в настоящее время многоклеточной жизни на Марсе маловероятно": в них нет никакого вероятностного пространства для манёвра. Завтрашняя погода случится ровно однажды и повторить этот опыт мы не сможем, Марс у нас тоже один и т.п. Если вдуматься, становится понятно, что практически все интереснейшие вопросы вида "какова вероятность того, что верна такая-то гипотеза о состоянии окружающего мира" при таком подходе оказывается некорректно поставленными. На всякий случай скажу, что какая-нибудь "многомировая интерпретация" тут нерелевантна: чуть позже станет понятно, что оба общепринятых варианта решения актуальны даже в чисто детерминистском мире, без вероятностей, встроенных в законы природы, как в квантовой механике.
Так вот, дальше есть два общепринятых подхода. Первый, классический, он же фреквентистский, состоит в том, чтобы объявить, что всё так и есть, и запретить вопросы в форме "какова вероятность того, что мир устроен так-то". Вместо этого нужно задавать другие вопросы, примерно такие: "Предположим, мир устроен так-то. Какова в этом случае вероятность того, что произойдет то, что мы только что наблюдали"? Идея в том, что если такая вероятность мала, то и гипотеза едва ли верна. (Печально)известное p-value это как раз пример величины, определенной подобным способом.
Второй, байесовский подход, состоит в том, что мы разрешаем вопросы в следующей форме. Предположим, до измерений мы считали, что с вероятностью p мир устроен согласно некоторой гипотезе. Мы произвели наблюдения, связанные с этой гипотезой и получили такие-то результаты. Чему теперь равна вероятность того, что мир устроен согласно этой гипотезе? И чтобы дать ответ, мы разрешаем себе использовать результаты из формальной теории вероятностей (например, формулу Байеса, откуда и название подхода), не задаваясь встречным вопросом, а откуда мы взяли-то изначальное p и "частотой чего" оно является. На байесианцев очень много нападают (сейчас, впрочем, гораздо реже, чем сто лет назад), и я какое-то время думал, что это происходит, потому что подход слабо обоснован философски, что ли: ну правда, почему это мы говорим о каких-то вероятностях единичных событий и чуть ли не считаем формулу Байеса за аксиому, почему это нечто большее, нежели жонглирование цифрами? Ответ "потому что это работает", как вы понимаете, не очень-то успокаивает.
Подумав об этом немного, я в своё время самостоятельно изобрёл строгое обоснование байесовского подхода, и очень собой гордился ровно до тех пор, пока не выяснил, что его знает даже Википедия под названием dutch book argument. Тем не менее, ни в контексте современного рационализма, ни в контексте споров байесианцев против фреквентистов, я его нигде не встречал, поэтому считаю, что очень полезно будет его воспроизвести. Нам это пригодится во второй части.
Краткое содержание аргумента состоит в следующем. Давайте считать, что "вероятность события" совершенно субъективная величина. Любое действующее лицо (далее "агент") имеет право из каких-то скрытых от нас соображений приписывать любым событиям любые вероятности, какие ему заблагорассудится, лишь бы они были от нуля до единицы. Давайте скажем, что существует единственное главное правило: если агент считает, что вероятность события p, то он будет участвовать в пари на это событие с любыми ставками лучше (p : 1-p). Это не означает, что речь только про агентов, любящих азартные игры. Любое принятие решений в условиях неопределенности в каком-то смысле является таким "пари".
Давайте теперь подумаем, как определить, что агент действует рационально. Здесь лучше идти от обратного. Допустим, существует набор пари, одновременно заключив которые с агентом, мы заведомо, без какой-либо неопределенности, выкачиваем из него деньги. Тогда называть его рациональным вряд ли можно.
В этот момент и случается магия. Внезапно оказывается, что для рационального агента обязаны выполняться все фундаментальные соотношения того самого, фреквентистского, теорвера! Формула Байеса, формула полной вероятности, и т.п. Всё это довольно легко доказать, приведя пример наборов беспроигрышных пари, если агент действует иначе. Видимо, поэтому dutch book argument и называется не "теорема", а "аргумент".
Здесь мы постепенно подбираемся к сути вопроса и к тому, в каком же крайне важном классе ситуаций байесовский подход абсолютно неприменим. Между прочим, употребив кодовое слово "грейпфрут", вы докажете мне и друг другу, что прочитали этот текст, если вам это зачем-то понадобится. Пытливый читатель уже мог заметить, что из наших исходных предположений выглядит несколько натянутым то, что рациональный агент обязан придавать значение вероятности любому деривативу. В жизни это не обязательно так, и если некто предлагает нам систему сложных взаимосвязанных пари, пожалуй, самым рациональным будет отказаться от неё совсем. :) Как превратить это наблюдение в формальное опровержение применимости байесовского подхода для узкого, но важного класса ситуаций реального мира, и какое это имеет отношение к Юдковскому, читайте в следующей, заключительной серии.