беспристрастность снова в бою (меморандум лжеученых, ч. 2)

[eugenegp]

Поскольку мой предыдущий пост вызвал реакцию спонтанного самоизменения материалов Комиссии по лженауке и борьбе с фальсификацией научных исследований (http://eugenegp.livejournal.com/289318.html), я решил подробнее посмотреть на их содержание. Всё то же приложение номер 5, будем

Comments

[kobak]

Я имел в виду, что большое n нужно для того, чтобы получить маленькое p, а не по какой-то другой причине.

Могу сформулировать немного подробнее, что нужно было бы лично мне, чтобы отнестись к такой работе всерьез.

(1) Pre-registered replication. Т.е. весь план исследования во всех деталях, включая весь статистический анализ, публикуется до начала эксперимента.

(2) Открытый доступ к данным, т.е. все данные (в анонимизированном виде) выкладываются в открытый доступ.

(3) Высокий стандарт статистической значимости, т.е. никаких р=0.02. В принципе, для confirmatory study, где cherry-picking исключено из-за п. 1, вполне достаточно p<0.0001 или как-то так. Но учитывая исключительную спорность предмета исследования (гомеопатии), было бы лучше принять что-то вроде стандарта физики высоких энергий, five sigma. "Extraordinary claims require extraordinary evidence".

(4) Опять же, учитывая исключительную спорность этой темы, я бы хотел какую-то процедуру, в которой слепой анализ гарантируется какой-то independent authority. Это можно оформить по-разному. Например, все сырые данные выкладываются в открытый доступ (в согласии с п.2) до того, как independent authority вскрывает коды и объявляет, какой пациент относится в какой группе. После этого подсчитываются результаты по группам и строятся графики.

Пункты 1 и 2 -- сейчас становятся вполне стандартными в некоторых областях. Например, Вы, может быть, слышали о т.н. replication crisis in psychology. Есть целый ряд очень известных экспериментальных результатов, о которых вдруг оказалось, что они нереплицируются и на самом деле были высосаны из пальца. Вокруг этого большой ажиотаж, на кону стоят многие репутации, и люди делают pre-registered replications и публикуют все данные.

Пункты 3 и 4 -- нужны скорее именно для гомеопатии (а также для левитации, телекинеза, и т.п. эффектов, которые меинстримная наука отрицает в принципе).

Замечу, что все это сделать совсем несложно. В работе Taylor et al. разница между гомеопатией и плацебо (на nasal flow) состовляет около 20 с ст. ошибкой примерно в 5. Т.е. это уже четыре сигмы! Если это настоящий эффект, то чтобы довести до пяти сигм, достаточно уменьшить ст. ошибку с 5 до 4, т.е. увеличить выборку в 25/16 раз -- это ведь просто ерунда. Мое n=500 было огромным преувеличением. Пусть будет n=100. Главное -- pre-registered + open data + independent guarantor of blindness.

Одна-единственная работа, сделанная по таким стандартам, в случае положительного результата произвела бы фурор.

[eugenegp]

Hear-hear. В смысле кто бы спорил. Triple-blinded etc.

(Вы, правда, недооцениваете уровень bias. Автор этого самого меморандума высказал мне, что даже "p=0.0000001 не стоит того, чтобы переворачивать здание современной науки")

Как Вы полагаете, какова стоимость такого исследования? Ну вот, например, первичная гипертензия, outcome через 21 день с начала.

[kobak]

Понятия не имею (дисклеймер: я не имею никакого отношения к медицине). А какая? Вы имеете в виду, что стоимость очень высокая? Ну вот Taylor et al. как-то же нашли деньги на свое исследование с n=50, (и до этого еще несколько подобных работ сделали), так что, наверное, вполне возможно это повторить с n=100. Главное -- обеспечить методологическую неуязвимость, в согласии с моими пп. 1-4, но это вообще денег не стоит, просто вопрос организации.

(Что касается уровня bias, то честно говоря, если Вы мне сейчас предъявите какую-нибудь работу с p=0.0000001, я все равно не поверю в эффективность гомеопатии. Мне легче предположить, что данные сфальсифицированы, или анализ был cherry-picked, или blindness каким-то образом не была обеспечена должным образом, и т.п. У каждой из этих возможностей вероятность, я считаю, гораздо выше, чем 1 на миллион. Поэтому и нужна не просто p=0.0000001, а крайне высокая гарантия чистоты эксперимента.)

[eugenegp]

> я все равно не поверю в эффективность гомеопатии. Мне легче предположить, что данные сфальсифицированы

Тогда зачем это делать? :) (Вопросы целесообразности и стоимости - http://eugenegp.livejournal.com/281030.html).

Единственное, зачем _я_ все это пишу - чувствую себя обязанным. 15+ лет назад я был гомеопатическим скептиком, к тому же с неудачным опытом лечения "гомеопатией". Когда жизнь прижала, наличие якобы "несуществующих" исследований - нет, не убедило, но сподвигло меня провести серию личных экспериментов. И начал я, конечно, с материальных потенций :).

[kobak]

Зачем что делать? Я же написал, при каких условиях я был бы готов считать свидетельство эффективности гомеопатии убедительными (я имею в виду мои пункты 1-4). Условия, по-моему, вполне адекватные и Вы с ними согласились. "Я все равно не поверю" относилось к предъявлению некоей работы с p=0.0000001, которая при этом не удовлетворяет пп. 1-4. Возможно, я недостаточно ясно выразился.

Что касается Вашей записи по ссылке, то я скорее не согласен с "проломить этот порочный круг за счет массы смогли бы несколько сотен исследований высокого качества, опубликованных за короткий срок (лет за 5) - на это нужно 70-100 млн. долларов с высокой степенью координации". Как я написал выше, по-моему, всего одна работа, выполненная на максимальном уровне предосторожностей (опять же, см. пп 1-4), могла бы произвести фурор. Если эффективность гомеопатии может быть так высока, как в примере с nasal flow в Taylor et al., т.е. с запасом достаточно всего 100 человек, то это не 100 млн долларов, а почти что раз плюнуть :)

[eugenegp]

Смотрите, какая история. В 80-е были проведены RCTs пресловутого Оциллококцинума. По тем стандартам, которые были приняты на тот момент. Показали значимый эффект на больших n. (Эти испытания высший авторитет в области доказательной медицины, Cochrane Colloboration, до 2005 года считал хорошими, позже перевел их в low-quality.) В те же годы были публикации в Lancet, Nature, и тп. Никого из т.н. скептиков это не убедило. Скандалы, проверки фокусниками, разрушенные репутации. ОК.

В 90-е были, например, работы Taylor-Reilly. Публикации Jonas. По тем стандартам, которые считались хорошими в 90-х. Всё то же самое.

В 2000-е мейнстрим медицинские журналы практически перестают публиковать оригинальные исследования гомеопатии. Стандарты evidence всё дальше усложняются (не из-за гомеопатии, объем фрода в основной фармакологии зашкаливает). Работа Frass et al эти новым, усложненным стандартам отвечает. И например, из обзора австралийского (который всеми распиарен) ее просто исключают, под надуманным (ну мне так же кажется) предлогом.

Вы сейчас кратко и доходчиво излагаете новые стандарты убедительности evidence, созревающие в середине 2010-х. Думаю, вы понимаете, о чем я.

[kobak]

Да, понимаю. Наверное, с т.з. гомеопатов этот выглядит как несправедливое издевательство и moving target.

(А что такое "проверки фокусниками"?)

С другой стороны -- смотрите. До этого разговора с Вами я думал, что провести стандарнтное медицинское исследование гомеопатии почти невозможно, т.к. гомеопаты в этом не заинтересованы или считают такие исследования невозможными в принципе; если такое исследование все-таки сделать, то результат будет отрицательным, но гомеопаты от этого просто отмахнутся, потому что "персональная медицина", "гомеопат лечит не болезнь, а пациента" и т.п. В результате этого разговора (за который Вам большое спасибо), я понял, что ситуация СОВЕРШЕННО НЕ ТАКАЯ. Оказывается, (а) существуют заболевания и гомеопатические лекарства, которые легко поддаются стандартной методологии evidence-based medicine; (б) гомеопаты, по крайней мере некоторые, совсем не против такие исследования проводить; (в) по оценкам гомеопатов, эффект настолько сильный (у Frass et al Cohen's d=1.5, в психологии это считается "very large" или даже "huge"), что довольно скромная выборка в 50-100 человек позволяет достигнуть уровня значимости из физики высоких энергий.

Мне кажется, что если это так, то убедить всех должно быть не очень трудно. Надо вообще оставить в стороне "общепринятые" стандарты убедительности и сделать все по сверх-стандартам, которые легко разработать в паре разговоров со скептиками. Наверняка можно найти скептика с блестящей репутацией, который согласится на "пари". Ведь если эффект правда d=1.5, то с n=100 гомеопат может **гарантировать**, что результат будет положительным. Гомеопат может согласиться вообще на любые, произвольные стандарты убедительности. Специальная комиссия может ходить за ним по пятам и снимать на видео-камеру 24 часа в сутки, чтобы исключить fraud. Что угодно. Можно сделать сайт в интернете, дать людям возможность ставить ставки, собрать кучу ставок на то, что эффекта не будет, привлечь массу внимания, и -- вау -- в итоге продемонстрировать эффект.

Это я сейчас фантазирую, но Вы понимаете о чем я. Если продемонстрировать эффект гомеопатии настолько легко, как в работе Frass et al, и если бы я был гомеопатом, заинтересованным в том, чтобы переубедить научное сообщество, я (может быть, наивно?) был бы уверен в успехе.

[kobak]

Вы не ответили на мой предыдущий комментарий тут -- а что все-таки такое "проверки фокусниками"?

[eugenegp]

А, извините. Довольно грустная история, на нее есть ссылка в том самом меморандуме. https://en.wikipedia.org/wiki/Jacques_Benveniste

[kobak]

Вдогонку: я прочитал работу Frass et al, Influence of Potassium Dichromate on Tracheal Secretions in Critically Ill Patients. Это серьезная заявка, мне кажется, что серьезнее, чем Taylor et al. Я должен признать, что, если верить авторам, то эта работа как будто бы удовлетворяет почти всем мои требованиям: она triple blind, никаких намеков на cherry picking не видно, значимость достигает пять сигм (!!) [по Secretions разница в средних между гомеопатией и плацебо составляет 0.9 со стандартной ошибкой примерно 0.6/sqrt(25)*sqrt(2)=0.17]. Главное, чего лично мне не хватает в этой работе, -- это полная открытость и прозрачность всех процедур. Т.е., опять же, авторам надо было публично pre-register эту работу, потом выложить все данные в открытый доступ, потом открыть коды, и вуаля. Это к вопросу о стоимости: это вообще ничего не изменило бы в стоимости работы, ноль. Но убедительность поднялась бы совершенно принципиальным образом. Все это должно, конечно, проходить по согласованию с и под гарантией какой-то авторитетной third party, в роли которой мог бы, например, выступить журнал вроде Lancet. Ничего невозможного или запретительно дорогого я в этом не вижу.

По мелочам:

(а) не понимаю, почему нет разницы в Suctionings per day между группами, если Suctioning was performed routinely every 6 h and in addition when patients had profuse secretions, и по secretion разница при этом гигантская.

(б) "Kruskal-Wallis test for comparing the two groups" -- Kruskal-Wallis это тест для сравнения трех и более групп. Его можно применить к двум группам, но в итоге получится гораздо более стандартный Mann-Whitney-Wilcoxon ranksum test, так что зачем народ путать.

(в) "All statistical analyses were done before breaking the randomization code" -- как можно было проделать статистический анализ, если не известно, какой пациент относится к какой группе? Наверное, имеется в виду, что группы были известны, но оставалась не известно, какая из них какая. (В моей схеме, обрисованной выше, данные должны быть предъявлены до того, как будет объявлена разбивка пациентов на группы, и это принципиально.)

[eugenegp]

Новая работа, но я пока не вижу полный текст. Зато вижу, что trial pre-registered
https://www.ncbi.nlm.nih.gov/pubmed/28187404