Гомеопатия, лечение по компакт дискам и популярный научный метод

[scinquisitor]

Знаменитый физик Ферми как-то попросил генерала Гровса дать определение "великого генерала". Гровс ответил, что великие генералы - те, которые подряд одержат пять побед в пяти крупных сражениях и что таких генералов где-то три из сотни. На что Ферми заметил: если шансы выиграть сражение у обеих сторон равны, то шансы выиграть один раз составляют 1 к 2, а пять раз подряд 1 к 32, как раз три из сотни. “Да, генерал, вы правы - из ста генералов примерно три должны быть великими. Я только не пойму, при чем тут гений - это же чистая теория вероятности!”
Уже наверно в десятый раз мне присылают ссылку на описание чудесного метода лечения: “передачи излучений лекарственных средств и медицинских растений посредством глобальной информационной сети Интернет”.

Это настолько замечательный поток бреда, что я долго не мог подобрать слова, чтобы хоть как-то это прокомментировать. Сложно представить: в 21-ом веке существуют люди, которые умеют пользоваться компьютером, Интернетом, у них есть работа, они умеют читать, они учились в школе, но они все равно настолько оторваны от реальности, что могут поверить в терапию лекарственными компакт дисками. Причем такими, что после использования диска в течение некоторого времени его лекарственные свойства пропадают, и приходится качать и записать новое “лекарство”, повторно заплатив за него. Неужели есть покупатели, чей разум настолько открыт, что мозги выпали?

А потом я подумал, что здесь нет ничего нового. Это такая же ерунда, как значительно более распространенная в применении у народа гомеопатия. Возможно, кто-то из читателей помнит картинку, которую я опубликовал когда-то давно.


Оциллококцинум, как и многие другие гомеопатические препараты имеет разбавление 200C т.е. разбавили его в 10 в 400-ой степени раз. Работать такой препарат не может в принципе, это противоречит всем современным представлениям в области химии. Реакция биологической системы на препарат должна снижаться с уменьшением концентрации активного вещества и по достижении последней нулевой отметки прекратиться вообще. В Оциллококцинуме нет активного вещества.

Последний мета-анализ, опубликованный в журнале систематических обзоров базы данных Cochrane (наиболее известном журнале, публикующем обобщения совокупности исследований по медицинским тематикам), приводит неутешительные выводы о доказанности эффективности Оциллококцинума:

“Имеется недостаточно хороших свидетельств, чтобы сделать ясный вывод об эффективности Oscillococcinum(®) по предотвращению или лечению гриппа или гриппоподобных заболеваний. Наши исследования не исключают, что Oscillococcinum(®) мог бы иметь полезный терапевтический эффект, но, учитывая низкое качество соответствующих исследований, свидетельства эффективности не убедительны".

Грубо говоря, эффективность флагмана крупнейшей гомеопатической компании Буарон, на которого потребители тратят миллиарды, обоснована не лучше, чем использование супа из грязных носков для лечения белой горячки. Оциллококцинум продается более чем в 50 странах, производится более 67 лет, а за 2010 год только в России по данным журнала Esquire было продано более 10 миллионов упаковок препарата на сумму близкую к трем миллиардам рублей.

Чего уж говорить про всякую мелкую ерунду, типа лекарств на компакт-дисках. Как говорил Тим Минчин: “альтернативная медицина - это та медицина, про которую либо не доказано, что она работает, либо доказано, что она не работает. Знаете, как называют альтернативную медицину, про которую доказано, что она работает? Медицина”. Ни гомеопатия, ни волшебное излучение из Интернета медициной не являются.

Для сравнения, согласно той же базе данных Cochrane исследований высокого качества аспирина как обезболивающего десятки. Эффект существенно превышает эффект плацебо и зависит от дозы аспирина (низкие дозы неотличимы от плацебо, большие дозы дают больший эффект). Стоит аспирин копейки и имеет целый ряд других полезных свойств.

Справедливости ради отметим, что существуют гомеопатические препараты в которых содержатся активное вещество в измеримых количествах. Такие препараты теоретически могут работать. Работают ли они на практике - надо смотреть исследования в индивидуальном порядке.

Придумал использовать передачу лекарственных свойств через Интернет сторонник гомеопатии Жак Бенвенист, двукратный лауреат шнобелевской премии по химии (пародия на Нобелевскую). Первая шнобелевская премия была дана ему за публикацию статьи о том, что «вода является разумной жидкостью и обладает памятью», вторая за сообщение о новом «открытии» в области гомеопатии: вода не только обладает памятью, но сохранённая в ней информация может быть передана по телефону или Интернету. Скандальную публикацию Бенвениста в авторитетном научном журнале Nature про физиологическое воздействие сверхмалых (гомеопатических) разбавлений мы разберем чуть ниже.

Рынок идиотизма в России, как мы видим, составляет не меньше трех миллиардов рублей в год. Чтобы сократить этот рынок можно попробовать объяснить, как работает и как не работает экспериментальная наука. Приведенные ниже “столпы научного метода” не претендуют на полноту, но мне они видятся наиболее важными при оценке доказанности утверждения об эффективности какого-либо клинического вмешательства.

Первый столп научного метода: контроль

Многие сторонники гомеопатии и других методов альтернативной медицины приводят такой аргумент: мне помогло. Понять, что этот аргумент не состоятелен с точки зрения логики нам поможет кирпич.

Представьте, что вы идите по улице. В какой-то момент вы хлопнули в ладоши, и откуда-то сверху к вашим ногам упал кирпич. Хлопок и падение кирпича здесь служат лишь иллюстрацией, их можно заменить на любую пару действия и последующего события. Вы предположили, что хлопок в этом гипотетическом мире вызывает падения кирпича. Вы хлопнули в ладоши еще раз, и вскоре упал еще один кирпич. Достаточно ли это для установления причинно-следственной связи? Если ваш ответ “да”, то вы наивно ошибаетесь.

Представим себе, что кирпичи иногда падают сами по себе. Может быть, кирпич упал бы и без хлопка. Вы этого не исключили. Таким образом, мы приходим к необходимости контроля: нам важно не только отметить падают ли кирпичи после хлопков, но и то, падают ли они, если хлопков не было.

Важно не столько убедиться в том, что пациентам становится лучше после принятия лекарства, но и сравнить то, как выздоравливают пациенты с лекарством и без него.

Правильный выбор контроля имеет очень большое значение. Например, при исследовании лекарств известно, что существует эффект плацебо. Причем два разных плацебо могут оказывать на человека немного разный эффект: влияет даже цвет и размер таблетки. Поэтому плацебо должно быть максимально похоже по виду и форме употребления на проверяемый препарат. Если одно плацебо колоть, а другое давать в виде таблетки, вполне возможно, что первое окажется чуть эффективней.

Второй столп научного метода: статистический анализ

Сторонник гомеопатии может сказать: я выпил гомеопатическое средство и поправился, а Вася не выпил и еще долго болел. Здесь допущена другая ошибка: отсутствие статистического анализа.

Допустим, что мы хлопнули в ладоши и через минуту упал кирпич. Мы подождали еще минуту и кирпичи больше не падали. Значит ли это, что хлопки вызывают падение кирпичей? Ведь мы наблюдаем отличие между контролем (нет хлопка) и экспериментом (есть хлопок). Вышеописанная картина может с легкостью наблюдаться по случайным причинам, если, например, есть 50% шанс того, что кирпич упадет в течение минуты, и эта вероятность не зависит от того хлопали мы в ладоши или нет. Вероятность того, что кирпич упадет в течение минуты после хлопка равна 50%. Вероятность того, что кирпич не упадет в течении минуты в контроле тоже равна 50%. Вероятность одновременного наступления этих двух событий определяется как произведение вероятностей: 0.5*0.5 = 0.25. Это как вероятность выкинуть два раза подряд решку на монетке.

Чтобы исключить фактор случайности, нам нужно больше данных. Пусть мы 10 раз хлопали в ладоши и смотрели, упадет ли кирпич в течение минуты (эксперимент). 10 раз мы не хлопали в ладоши и смотрели, упадет ли кирпич в течение минуты (контроль). Пусть кирпич упал 9 раз в эксперименте и 2 раза в контроле. Мы можем составить таблицу 2х2:

Кирпич

Упал
Не упал

В ладоши
хлопнули
9
1

не хлопнули
2
8

Можно ввести данные из такой таблицы в онлайн калькулятор для теста Фишера и получить значение статистической значимости. В данном случае двусторонний тест (two-tailed) покажет, что p = 0.0055, что намного меньше, чем 0.25. Смысл величины (p) в том, что это вероятность наблюдать настолько же или в большей степени неравномерную частоту падения кирпичей в опыте и контроле, при условии, что на самом деле в опыте и контроле частота падения кирпичей одинакова. Эта вероятность мала (меньше наиболее распространенного порога статистической значимости 0.01), поэтому исключение случайного совпадения можно считать обоснованным.

Третий столп научного метода: рандомизация

Здесь я кратко напомню историю, которую я уже рассказывал в разделе “ научные анекдоты”. В одном институте обнаружили телепатию у крыс. Крыс сажали в клетки парами, давая им время “пообщаться”. Затем одну из крыс в каждой паре помещали либо в группу 1, либо в группу 2. Крыс из группы 2 либо кормили, либо морили голодом. Крысам из группы 1 давали неограниченное количество еды. При этом экспериментаторы наблюдали, сколько пищи употребляют крысы из этой группы. Какой-либо контакт между крысами из групп 1 и 2 по известным каналам информации (обоняние, зрение, слух, осязание, вкус) был исключен. Оказалось, что если крысу из группы 2 морить голодом, то ее “партнерша” из группы 1 начинала больше есть. Словно ей каким-то образом передавалось чувство голода. Когда начали выбирать каких крыс морить голодом, а каких кормить с помощью жребия (случайно) эффект телепатии пропал. Процедура такого жребия называется рандомизацией, а ее отсутствие может приводить к невероятным результатам. Можно предположить, что до рандомизации исследователи подсознательно морили голодом партнерш более крупных крыс, с более хорошим аппетитом.

В случае с гомеопатией (и не только) ситуация иногда выглядит так. Первой группе людей дали лекарство, а второй дали плацебо. В первой группе люди поправились, а во второй нет. Заслугу приписали лекарству и объявили его эффективным. На самом деле в первой группе были более здоровые люди, у них было больше шансов поправиться, поэтому им и дали лекарство, чтобы подтвердить желанный эффект. Если бы лекарство дали второй группе, получили бы картину наоборот.

Предположим, что на самом деле кирпичи падают с некоторым интервалом времени, не чаще, чем раз в пару минут. Мы заметили это и поэтому никогда не хлопаем, если недавно падал кирпич. Наслаждаемся статистически значимым и ошибочным выводом о влиянии хлопков на вероятность падения кирпичей.

Четвертый столп научного метода: слепой эксперимент

Наличие физиологического влияния препарата в единичном эксперименте иногда сложно оценить абсолютно точно. Это оставляет некоторое пространство для произвола со стороны экспериментатора в интерпретации результатов. Сотрудники лаборатории Жака Бенвениста знали, в какой пробирке находится гомеопатический препарат, а в какой контроль. На это обратили внимание критически настроенные скептики, прибывшие в лабораторию Бенвениста для воспроизведения его работы.

Скептики потребовали зашифровать информацию о том, в какой пробирке гомеопатический препарат, а в какой контроль, чтобы при оценке наличия физиологического воздействия препарата, экспериментатор не знал, оценивает ли он эффект препарата или контроля. В таких условиях весь эффект гомеопатии пропал. Дело в том, что экспериментаторы видели “физиологический эффект” там, где ожидали его увидеть, предвзято интерпретировали результаты.

Предположим, что мы не имеем сверхточного секундомера, позволяющего измерять время падения кирпича с точностью до доли секунды. Мы оцениваем прошедшее время по нашему восприятию. Мы хлопнули в ладоши, и примерно через минуту упал кирпич. Мы можем сказать себе: кирпич упал! Успех! Теперь представим, что мы не хлопали в ладоши и попадали в ту же ситуацию. Мы можем сказать себе, что ждать пришлось долго и минута, наверно, уже истекла. Вполне возможно, что в первом случае мы будем слегка недооценивать прошедшее время, а во втором случае переоценивать. Не из злого умысла, а просто в силу внутренней предвзятости и надежды на положительный исход исследования. Если же попросить следить за временем независимого экспериментатора, который не слышит и не видит хлопков, результаты будут более надежными.

Пятый столп научного метода: учет множественных испытаний

Но ведь существуют некоторые слепые рандомизированные исследования гомеопатии, в которых вроде бы получен статистически достоверный результат!

Конечно! Существуют тысячи гомеопатических препаратов и сотни болезней, от которых можно пытаться ими лечить. Если бы препаратов была тысяча, и каждый препарат проверяли только против одного заболевания, то даже при соблюдении всех правил научного метода и полном отсутствии эффективности препаратов, в среднем 10 препаратов показали бы эффективности по сравнению с плацебо при пороге статистической значимости 0.01 в каком-нибудь клиническом испытании. Это важно понимать.

Представим себе, что мы пробовали хлопать в ладоши, чтобы вызывать падение кирпичей. Не получилось. Тогда мы попробовали ковыряться в носу. Потом мы прыгали. Потом танцевали. Потом произносили заклинание. Потом делали что-то еще. Рано или поздно так совпадет, что то, что мы делаем, будет предшествовать в эксперименте падению кирпичей. Разумеется, при повторной проверке может ничего не получиться, не будет воспроизведения. Но мы уже запатентовали и продаем свой метод призыва кирпичей строительным компаниям.

Чтобы решить эту проблему необходимо воспроизведение результатов на независимой выборке. Если в рамках исследования проверялась не одна, а множество гипотез, можно сделать поправку на множественные испытания при определении статистической достоверности полученных результатов. Самая распространенная поправка - поправка Бонферрони, при которой порог статистической значимости делится на количество испытаний.

Шестой столп научного метода: оглашение отрицательных результатов

Увы, негативные результаты многих исследований замалчиваются. Ниже приведена иллюстрация, в данном случае не относящаяся к гомеопатии, но картина весьма показательна. По оси Y - размер выборки, по оси X - некоторый эффект. Слева как должно выглядеть распределение исследований, если бы все исследования выкладывались, а справа, как оно выглядит на самом деле. Видно, что небольшие исследования с негативным результатом не публикуют. Бороться с этим пытаются, создавая сайты вроде http://www.alltrials.net/, на которых публикуются протоколы клинических испытаний заранее, до получения каких-либо результатов. В таком случае если исследование не будет опубликовано, это факт будет зарегистрирован в системе, со всеми вытекающими подозрениями. В отсутствие такой системы можно существенно переоценить эффективность препарата, не приняв в учет негативные результаты.


Седьмой столп научного метода: честность и открытость

Это, наверное, самый важный столп, но я оставил его под конец. Абсолютно корректное с формальной точки зрения исследование можно подделать, выдумав из головы несуществующие результаты. В развитых странах, например, в США, за такое можно сесть в тюрьму. Как минимум, поплатиться карьерой. Но когда речь идет о потенциальных миллиардах долларов, найдутся те, кто пойдут и на такой риск. Если эксперименты опубликованы в открытой печати, если их можно попробовать воспроизвести (и в случае не воспроизводимости доказать, что имел место подлог), шансы на то, что это не полная ерунда возрастают. Не стоит доверять сторонникам тайного, “эзотерического” знания, которые не берутся рассказать о тех исследованиях, на основании которых сложилось то или иное представление о мире, апеллирующих к непроверяемому “знанию древних”, “народной мудрости” или “божественному откровению” и тому подобному. Астрологи часто говорят, что то или иное положение светил в момент рождения человека так или иначе связано с какой-то чертой личности человека. На вопрос “откуда вы это знаете?” раздается либо неуверенное бормотание, либо отсылка на личный опыт, который, как мы уже разобрали выше, не является аргументом. В лучшем случае вам дадут ссылку на некорректно поставленное исследование, ошибочность которого становится очевидной, если вспомнить о том, что я описывал выше. Если человек утверждает, что хлопок вызывает падение кирпичей, но не говорит, как именно он это проверял, можете смело игнорировать это заявление.

Но закончить я бы хотел на позитивной ноте. Иногда верующие в мистику приводят такой аргумент: “объяснять вам, материалистам, что существует что-то такое не материальное также бессмысленно, как пытаться объяснить слепому, что такое цвет. Мы видим то, чего не видите вы. А чтобы увидеть, нужно уверовать”.

Предлагаю задачу для самостоятельной работы. Как зрячему человеку доказать слепому, владеющему научным методом, что существуют цвета? Вариантов решения задачи много. Один из ответов будет дан ниже, но я призываю подумать сначала самостоятельно.

[Ответ]Даем слепому человеку два шарика разных цветов. По одному в каждую руку. Сообщаем: в левой руке у тебя шарик номер 1, в правой шарик номер 2. Отходим от слепого так, чтобы информация о том, какой шарик он держит в руках, не могла передаться нам ни по одному известному для слепого каналу информации. Для слепого шарики одинаковые, но он помнит, какой из них был назван номером 1, а какой номером 2. Слепой демонстрирует нам шарики в случайном порядке, а мы можем с расстояния сказать, какой шарик нам сейчас демонстрируют. Демонстрируем способность различать шарики на расстоянии до тех пор, пока не будет исключено, что мы просто случайно угадываем номер шарика (используем тест Фишера для оценки достоверности). Мы доказали слепому, что у нас есть чувство, которого он лишен. Мы называем это чувство зрением, а шарики отличаются для нас “цветом”. “Духовно богатые” люди, верящие во всякие дополнительные чувства, вроде чувства божественного откровения, видения ауры, еще не смогли продемонстрировать, что эти их чувства чем-либо отличаются от фантазий.

Выражаю благодарность dora_krupp за помощь в коррекции текста.