С чего кормятся "целители" или о Байесе.
Есть у родителей знакомый, которому поставили смертельный диагноз. Он поехал к целителю и исцелился. Реально исцелился. И поскольку информация была из первых рук, игнорировать я ее никак не мог. И она буквально сломала мне мозг и упорно подтачивала мой здоровый скептицизм. Но потом все прояснилось и встало на свои места. Цитата из прекрасной книги ниже многое, если не все, объясняет. И также приподнимает завесу над тем, с чего все эти "целители" кормятся.
Лично я наиболее яркими воспоминаниями, связанными с преподобным Байесом, обязан одной из пятниц 1989 г.: в тот день позвонил лечащий врач и сообщил, что жить мне осталось от силы лет десять, причем вероятность этого прогноза равна 999 из 1 000. Он еще прибавил: «Мне действительно очень жаль», как будто у него бывали пациенты, которым он говорил о своем сожалении, но на самом деле ничего подобного к ним не испытывал. Далее врач ответил на кое-какие вопросы относительно протекания болезни, после чего повесил трубку: видимо, торопился сообщить очередному пациенту крайне важную для того новость. Тяжело говорить, даже вспоминать о том, что я пережил за субботу и воскресенье, скажу только, что ни в какой Диснейленд я не поехал. Но раз мне был вынесен смертный приговор, почему я все еще жив, почему сижу и пишу об этом?
А началось все с того, что мы с женой решили застраховаться. В заявлении говорилось, что мы должны предоставить результаты анализа крови. Через неделю-две нам отказали в страховании. Крайне экономная страховая компания выслала нам два коротеньких извещения, которые были одинаковы, только текст в извещении на имя жены оказался на одно слово длиннее, чем текст в извещении на мое имя. В моем извещении говорилось, что компания отказывает мне в страховании на основании «результатов Вашего анализа крови». В извещении для моей жены говорилось, что компания не может застраховать ее жизнь на основании «результатов анализа крови Вашего мужа». Когда выяснилось, что в этом самом слове, «муж», и кроется разгадка того, почему добросердечные страховщики отказывают нам в страховании, я, действуя интуитивно, пошел к врачу и сдал анализ на ВИЧ. Результаты оказались положительными. И хотя я поначалу был слишком потрясен, чтобы поинтересоваться у врача о высказанной им вероятности, позднее мне стало известно, что он вычислил мой 1 из 1 000 шанс на жизнь из следующих статистических данных: лишь в 1 случае из 1 000 анализ на ВИЧ может дать положительный результат, пусть даже кровь при этом и не заражена вирусом СПИДа. Может показаться, что врач сказал то же самое, однако это не так. Врач перепутал вероятность того, что результаты моего анализа будут положительными, если я не являюсь ВИЧ-инфицированным, с вероятностью того, что я могу и не быть ВИЧ-инфицированным, даже если результаты моего анализа окажутся положительными.
Чтобы разобраться, где ошибся врач, прибегнем к методу Байеса. Первым делом очертим пространство элементарных событий. Можно включить в него всех, кто когда-либо сдавал анализы на ВИЧ, но мы получим более точные результаты, если примем во внимание некоторые дополнительные, имеющие непосредственное отношение к теме сведения обо мне: рассмотрим только гетеросексуальных, не принимающих наркотиков белых американцев мужского пола, которые сдавали анализы на ВИЧ. (Далее мы увидим, какое это имеет значение.)
Теперь, когда мы знаем, кого следует включить в пространство элементарных событий, распределим членов этого пространства по категориям. Вместо деления на мальчиков и девочек выберем деление на тех, кто у кого анализы оказались ВИЧ-положительными и кто ВИЧ-положителен (истинная положительность), тех, у кого анализы оказались положительными, но кто на самом деле не положителен (ложная положительность), тех, у кого анализы оказались ВИЧ-отрицательными и кто ВИЧ-отрицателен (истинная отрицательность), тех, у кого анализы оказались ВИЧ-отрицательными, но кто на самом деле ВИЧ-положителен (ложная отрицательность).
Наконец задаем вопрос: сколько людей в каждой из этих категорий? Предположим, мы рассматриваем изначально население из 10 000 человек. Пользуясь статистическими данными Центра по контролю и профилактике заболеваемости, подсчитаем, что в 1989 г. около 1 из 10 000 гетеросексуальных, не принимающих наркотиков белых американцев мужского пола, сдавших анализы, оказались ВИЧ-инфицированными{108}. Предположим, что в категории «ложная отрицательность» показатель равен 0, тогда около 1 человека из каждых 10000 сдавших анализы окажется положительным из-за наличия инфекции. К тому же поскольку показатель «ложной отрицательности» равен, по словам врача, 1 из 1 000, наберется около 10 тех, кто не заражен ВИЧ, однако анализы которых тем не менее окажутся положительными. У остальных 9989 человек из 10 000, составляющих пространство элементарных событий, результаты анализов окажутся отрицательными.
Теперь «урежем» пространство элементарных событий - включим в него только тех, результаты анализов которых оказались положительными. У нас останется 10 человек из категории «ложная положительность» и 1 человек из категории «истинная положительность». Другими словами, лишь 1 человек из 11, результаты анализов которых оказались положительными, действительно ВИЧ-инфицирован. Врач сказал мне: вероятность того, что в анализе ошибка - на самом же деле я был совершенно здоров, - равна 1 из 1 000. А на самом деле ему следовало сказать следующим образом: «Не волнуйтесь, шансы на то, что вы на самом деле не инфицированы, выше 10 из 11». В моем случае на результаты пробы для выявления скрытой формы заболевания повлияли определенные метки, которые присутствовали в моей крови, хотя вирус, ради которого и брали пробу, отсутствовал.
При оценке любого диагностического испытания важно знать, каков показатель «ложной положительности». Например, анализ, который выявляет 99% всех злокачественных опухолей, производит сильное впечатление, однако я с легкостью могу придумать анализ, который выявляет 100% всех злокачественных опухолей. Для этого мне только и надо что находить у каждого осматриваемого пациента опухоль. Статистический показатель, отличающий мой анализ от действительно полезного, заключается в следующем: в результате моего анализа показатель «ложной положительности» окажется высоким. Однако вышеприведенный пример демонстрирует: осведомленности о показателе «ложной положительности» недостаточно для того, чтобы определить, полезен анализ или не полезен. Необходимо также знать, как показатель «ложной положительности» соотносится с истинной распространенностью заболевания.
"(Не)совершенная случайность. Как случай управляет нашей жизнью" Леонард Млодинов.
UPD. Небольшое пояснение.
Пусть метод диагностики дает сбой и показывает смертельную болезнь там, где ее нет лишь в одном случае на тысячу (1/1000). Кажется, что это очень точно. Не так ли? Если врач вам скажет, что вероятность ошибки теста лишь 0,001 то это впечатляет. И пусть болезнь эта встречается в популяции в среднем в одном случае на десять тысяч (1/10000).
Теперь представим каковы будут результаты диагностики 10000 человек.
Ложное сообщение о болезни получат 10000*0,001=10 человек.
И истинную болезнь найдут у 10000*1=1 человека.
Итого имеем 11 человек, которым сообщили, что они больны. Но при этом 10 из них на самом деле здоровы.
Теперь представим, что все эти 11 человек отправятся к целителю. В результате 1 человек умрет, а 10 выживут. И целитель заявит, что результативность его лечения (10/11)*100=90,9%. Неплохо так.
Теперь вспомним еще об одной вещи. Миллиарды людей постоянно видят сны и быстро их забывают. Но стоит какому-то сну совпасть с произошедшим позже как они называют его вещим и рассказывают о нем до конца жизни. Так и "спасенные" целителем, до конца жизни будут рассказывать об этом событии, увеличивая его славу. А вот те кто умер ни о чем уже рассказывать никому не будут. Таким образом, даже если забыть о вероятностных рассуждениях выше, стоит помнить о том, что один выживший человек (когда этого никто не ждал) и рассказывающий о чуде перевешивает десять ожидаемо умерших и потому молчащих. Так что на самом деле "целители" могут поиметь профит и славу даже если будут "исцелять" не 90% смертельно больных, как в примере выше, а лишь каждого десятого.
PS. Это не первый раз, когда я сталкиваюсь с подобными странными вещами.
Лично я наиболее яркими воспоминаниями, связанными с преподобным Байесом, обязан одной из пятниц 1989 г.: в тот день позвонил лечащий врач и сообщил, что жить мне осталось от силы лет десять, причем вероятность этого прогноза равна 999 из 1 000. Он еще прибавил: «Мне действительно очень жаль», как будто у него бывали пациенты, которым он говорил о своем сожалении, но на самом деле ничего подобного к ним не испытывал. Далее врач ответил на кое-какие вопросы относительно протекания болезни, после чего повесил трубку: видимо, торопился сообщить очередному пациенту крайне важную для того новость. Тяжело говорить, даже вспоминать о том, что я пережил за субботу и воскресенье, скажу только, что ни в какой Диснейленд я не поехал. Но раз мне был вынесен смертный приговор, почему я все еще жив, почему сижу и пишу об этом?
А началось все с того, что мы с женой решили застраховаться. В заявлении говорилось, что мы должны предоставить результаты анализа крови. Через неделю-две нам отказали в страховании. Крайне экономная страховая компания выслала нам два коротеньких извещения, которые были одинаковы, только текст в извещении на имя жены оказался на одно слово длиннее, чем текст в извещении на мое имя. В моем извещении говорилось, что компания отказывает мне в страховании на основании «результатов Вашего анализа крови». В извещении для моей жены говорилось, что компания не может застраховать ее жизнь на основании «результатов анализа крови Вашего мужа». Когда выяснилось, что в этом самом слове, «муж», и кроется разгадка того, почему добросердечные страховщики отказывают нам в страховании, я, действуя интуитивно, пошел к врачу и сдал анализ на ВИЧ. Результаты оказались положительными. И хотя я поначалу был слишком потрясен, чтобы поинтересоваться у врача о высказанной им вероятности, позднее мне стало известно, что он вычислил мой 1 из 1 000 шанс на жизнь из следующих статистических данных: лишь в 1 случае из 1 000 анализ на ВИЧ может дать положительный результат, пусть даже кровь при этом и не заражена вирусом СПИДа. Может показаться, что врач сказал то же самое, однако это не так. Врач перепутал вероятность того, что результаты моего анализа будут положительными, если я не являюсь ВИЧ-инфицированным, с вероятностью того, что я могу и не быть ВИЧ-инфицированным, даже если результаты моего анализа окажутся положительными.
Чтобы разобраться, где ошибся врач, прибегнем к методу Байеса. Первым делом очертим пространство элементарных событий. Можно включить в него всех, кто когда-либо сдавал анализы на ВИЧ, но мы получим более точные результаты, если примем во внимание некоторые дополнительные, имеющие непосредственное отношение к теме сведения обо мне: рассмотрим только гетеросексуальных, не принимающих наркотиков белых американцев мужского пола, которые сдавали анализы на ВИЧ. (Далее мы увидим, какое это имеет значение.)
Теперь, когда мы знаем, кого следует включить в пространство элементарных событий, распределим членов этого пространства по категориям. Вместо деления на мальчиков и девочек выберем деление на тех, кто у кого анализы оказались ВИЧ-положительными и кто ВИЧ-положителен (истинная положительность), тех, у кого анализы оказались положительными, но кто на самом деле не положителен (ложная положительность), тех, у кого анализы оказались ВИЧ-отрицательными и кто ВИЧ-отрицателен (истинная отрицательность), тех, у кого анализы оказались ВИЧ-отрицательными, но кто на самом деле ВИЧ-положителен (ложная отрицательность).
Наконец задаем вопрос: сколько людей в каждой из этих категорий? Предположим, мы рассматриваем изначально население из 10 000 человек. Пользуясь статистическими данными Центра по контролю и профилактике заболеваемости, подсчитаем, что в 1989 г. около 1 из 10 000 гетеросексуальных, не принимающих наркотиков белых американцев мужского пола, сдавших анализы, оказались ВИЧ-инфицированными{108}. Предположим, что в категории «ложная отрицательность» показатель равен 0, тогда около 1 человека из каждых 10000 сдавших анализы окажется положительным из-за наличия инфекции. К тому же поскольку показатель «ложной отрицательности» равен, по словам врача, 1 из 1 000, наберется около 10 тех, кто не заражен ВИЧ, однако анализы которых тем не менее окажутся положительными. У остальных 9989 человек из 10 000, составляющих пространство элементарных событий, результаты анализов окажутся отрицательными.
Теперь «урежем» пространство элементарных событий - включим в него только тех, результаты анализов которых оказались положительными. У нас останется 10 человек из категории «ложная положительность» и 1 человек из категории «истинная положительность». Другими словами, лишь 1 человек из 11, результаты анализов которых оказались положительными, действительно ВИЧ-инфицирован. Врач сказал мне: вероятность того, что в анализе ошибка - на самом же деле я был совершенно здоров, - равна 1 из 1 000. А на самом деле ему следовало сказать следующим образом: «Не волнуйтесь, шансы на то, что вы на самом деле не инфицированы, выше 10 из 11». В моем случае на результаты пробы для выявления скрытой формы заболевания повлияли определенные метки, которые присутствовали в моей крови, хотя вирус, ради которого и брали пробу, отсутствовал.
При оценке любого диагностического испытания важно знать, каков показатель «ложной положительности». Например, анализ, который выявляет 99% всех злокачественных опухолей, производит сильное впечатление, однако я с легкостью могу придумать анализ, который выявляет 100% всех злокачественных опухолей. Для этого мне только и надо что находить у каждого осматриваемого пациента опухоль. Статистический показатель, отличающий мой анализ от действительно полезного, заключается в следующем: в результате моего анализа показатель «ложной положительности» окажется высоким. Однако вышеприведенный пример демонстрирует: осведомленности о показателе «ложной положительности» недостаточно для того, чтобы определить, полезен анализ или не полезен. Необходимо также знать, как показатель «ложной положительности» соотносится с истинной распространенностью заболевания.
"(Не)совершенная случайность. Как случай управляет нашей жизнью" Леонард Млодинов.
UPD. Небольшое пояснение.
Пусть метод диагностики дает сбой и показывает смертельную болезнь там, где ее нет лишь в одном случае на тысячу (1/1000). Кажется, что это очень точно. Не так ли? Если врач вам скажет, что вероятность ошибки теста лишь 0,001 то это впечатляет. И пусть болезнь эта встречается в популяции в среднем в одном случае на десять тысяч (1/10000).
Теперь представим каковы будут результаты диагностики 10000 человек.
Ложное сообщение о болезни получат 10000*0,001=10 человек.
И истинную болезнь найдут у 10000*1=1 человека.
Итого имеем 11 человек, которым сообщили, что они больны. Но при этом 10 из них на самом деле здоровы.
Теперь представим, что все эти 11 человек отправятся к целителю. В результате 1 человек умрет, а 10 выживут. И целитель заявит, что результативность его лечения (10/11)*100=90,9%. Неплохо так.
Теперь вспомним еще об одной вещи. Миллиарды людей постоянно видят сны и быстро их забывают. Но стоит какому-то сну совпасть с произошедшим позже как они называют его вещим и рассказывают о нем до конца жизни. Так и "спасенные" целителем, до конца жизни будут рассказывать об этом событии, увеличивая его славу. А вот те кто умер ни о чем уже рассказывать никому не будут. Таким образом, даже если забыть о вероятностных рассуждениях выше, стоит помнить о том, что один выживший человек (когда этого никто не ждал) и рассказывающий о чуде перевешивает десять ожидаемо умерших и потому молчащих. Так что на самом деле "целители" могут поиметь профит и славу даже если будут "исцелять" не 90% смертельно больных, как в примере выше, а лишь каждого десятого.
PS. Это не первый раз, когда я сталкиваюсь с подобными странными вещами.