беспристрастность снова в бою (меморандум лжеученых, ч. 2)

[eugenegp]

Поскольку мой предыдущий пост вызвал реакцию спонтанного самоизменения материалов Комиссии по лженауке и борьбе с фальсификацией научных исследований (http://eugenegp.livejournal.com/289318.html), я решил подробнее посмотреть на их содержание. Всё то же приложение номер 5, будем

Comments

[kobak]

> Если кому интересно, в исследовании получено статистически
> достоверное долгосрочное улучшение (Long-term CGI
> improvement reached 12 points (63%, P <0.0001).

Эта Ваша фраза мне кажется misleading. Речь в Вашей записи идет о randomised, double blind, placebo controlled исследовании, и таким образом эта фраза звучит так, что разница между гомеопатией и плацебо была показана с достоверностью p<0.0001. По-крайней мере, так я понял эту фразу, когда прочитал Вашу запись.

На самом деле "Long-term CGI improvement reached 12 points (63%, P <0.0001)" относится к разнице между >1 годом после эксперимента и моментом диагноза, при этом до начала (а также после окончания) randomised double blind фазы эксперимента всем пациентам открыто прописывали гомеопатию (Prior to the randomised, double blind, placebo controlled crossover study, they were treated with individually prescribed homeopathic medications.). В этом нет ничего плохого, но "63%, P <0.0001" к сравнению гомеопатии и плацебо отношения не имеют, если я правильно понял

[eugenegp]

Ваше замечание достаточно состоятельно. Проблема, однако, заключается в довольно сложной методике, вызванной необходимостью совместить достаточно жесткие требования к доказательности "двойных слепых рандомизированных с контролем" и назначение индивидуализированной гомеопатической терапии для ADHD пациентов.

В данном исследовании гомеопатическое назначение перед началом эксперимента использовалось для скрининга участников. Среднее время гомеопатического лечения в ходе скрининга составило пять месяцев. Это привело, судя по всему, к сильному carry-over effect на этапе собственно сравнения verum vs placebo в обеих группах.

Соответственно, я затрудняюсь выставить ровно один показатель для выводов этого исследования (там внутри много интересного); но, строго говоря, вы скорее правы.

[eugenegp]

Я поставил update. Всё это, конечно, упрощение по абстракту, но кому надо, прочитает статью.

[kobak]

Я-то прочитал всю статью, и у меня по ней есть более содержательные вопросы (и к ней более содержательные претензии). Мой предыдущий комментарий был всего лишь реакцией на неточность в тексте Вашей записи. Неточность, как мне кажется, важную, т.к. разница между delta=1.67, p=0.048 (клинически незначительная разница, статистическая значимость на грани) и delta=12, p<0.0001 (клинически очень существенная разница, статистическая значимость бесспорна) огромная.

Более содержательные вопросы сформулирую чуть попозже.

[eugenegp]

Я хотел бы предупредить, что не уверен, что буду защищать данное исследование от объективного критического разбора. Лично я бы не выставлял его на щит в качестве первой линии аргументации доказывания отличия гомеопатических препаратов высоких разведений от плацебо - из-за высокой сложности и самого исследования, и использованного терапевтического подхода и неочевидности клинического результата для широкой публики.

К данному исследованию можно придумать массу содержательных вопросов. Однако последние мои посты не об этом, а о необычном, на мой взгляд, "тщательном научном анализе публикаций", предпринятом Комиссией по лженауке и фальсификации научных исследований.

[kobak]

Понял

[eugenegp]

1) В рамках гомеопатической доктрины отсутствие отклика или неадекватный отклик на препарат в общем случае применяется как элиминирующая или уточняющая диагностика. При индивидуальной терапии соответствие препарата конкретному пациенту должно быть установлено до ослепления, иначе гомеопат не сможет собственно подобрать работающий препарат (препараты).

Если при индивидуальном лечении вы будете проводить слепую рандомизированную фазу сразу после выписывания первого же рецепта, то вы фактически будет проверять отличие от плацебо не гомеопатии, а гомеопатической терапии at first sight в исполнении конкретного гомеопата. Такие исследования тоже возможны, но я бы категорически возражал против них в случае с ADHD (нечетким зонтиком состояний с неизвестной этиологией и разнообразной симптоматикой) - достаточно посмотреть на разнообразие препаратов, которые были назначены (речь не о том, что они разные, а о том, что с точки зрения гомеопата, они рядом с друг другом не лежали

[kobak]

Спасибо за подробный ответ

[eugenegp]

1) Как я и написал, он возможен, если вы согласитесь тестировать "гомеопатическую терапию at first sight в исполнении конкретного гомеопата". Это вполне валидное исследование, но как легко представить, с опасностью false negative. В случае отрицательного результата оно просто загубит репутацию одного-двух гомеопатов, не больше. Остальные фыркнут и скажут, что то были "неправильные гомеопаты".

Некоторые гомеопаты (где N>1) действительно считают, что для некоторых заболеваний или симптомов можно показать отличие от плацебо стандартным назначением (или первым назначением). Я и сам имею в запасе несколько дизайнов. Одно такое я вам привел (про липкие выделения).

3) Авторы "лже-научного" меморандума раскритиковали результаты Taylor, Reilly et al. :) Может быть, еще пост напишу.

[kobak]

1) Ясно.

3) Окей, я прочитаю статью Taylor et al., не заглядывая в меморандум.

[kobak]

Я прочел Taylor et al. 2000. По всем пунктам согласен с кратким Комментарием, который на странице по Вашей ссылке находится под статьей. Примечательно -- и подозрительно, -- что эффект в visual analogue score, который авторы собирались обнаружить (и который был обнаружен в предыдущих их работах), был НЕ обнаружен. Но по nasal peak inspiratory flow эффект сильный. Объяснить это я не могу, хоть в гомеопатию и не верю. Проблем со статистикой не увидел. Любопытно, в чем состояла статистическая критика в Меморандуме

[eugenegp]

Предыдущие исследования были по другим симптомокомплексам (астма и сенная лихорадка). Предположение, что сильные начальные обострения повлияли на субъективный visual analogue score, мне кажется разумным. Другое возможное объяснение - меньшая реактивность конкретного субъективного симптома. Однако обращаю внимание, что эффект все равно есть, но не достигает стат.значимости.

Предыдущие работы также тестировали hypothesis that homoeopathic potencies are placebos.

Критика статистики в меморандуме выглядит так: "Критики этого исследования [7], указывают, среди прочего на несоответствие статистической мощности исследования количеству участников. В
исследовании участвовал только 51 человек суммарно в обеих группах (гомеопатия и плацебо) при расчетном количестве в 60 в каждой группе.[7] Это ссылка на блог (!) https://apgaylard.wordpress.com/2009/05/15/homeopathy-awareness-week- ( ... )

[kobak]

Процитированный Вами абзац критики довольно бессодержательный.

Расчетное кол-во 60 человек в группе исходило из 80% power подтведить результат предыдущей работы ("mean difference of 15 mm between the groups on visual analogue scale scores and a corresponding standard deviation of 29"). Если посчитать power для их итогового размера выборки в 50 человек суммарно, то получится 45% (это я сейчас посчитал). Это, конечно, очень мало. Таким образом, если предположить, что d = 15mm/29mm = 0.5 это реальный effect size, то в данном иследовании был только 45% шанс это показать с p<0.05. Результат был p>0.05, т.е. эффект показан не был

[eugenegp]

Хорошо, что мы понимаем это совершенно одинаково.

[eugenegp]

На полях: могли бы Вы ответить, почему сочли бы исследование с n=500 более показательным, чем просто репликация c хорошим р? Поясню: если при n=500 получится значимый эффект, но р=0.02 - это усилит позицию в сторону отличия от плацебо?

[kobak]

Я имел в виду, что большое n нужно для того, чтобы получить маленькое p, а не по какой-то другой причине.

Могу сформулировать немного подробнее, что нужно было бы лично мне, чтобы отнестись к такой работе всерьез.

(1) Pre-registered replication. Т.е. весь план исследования во всех деталях, включая весь статистический анализ, публикуется до начала эксперимента.

(2) Открытый доступ к данным, т.е. все данные (в анонимизированном виде) выкладываются в открытый доступ.

(3) Высокий стандарт статистической значимости, т.е. никаких р=0.02. В принципе, для confirmatory study, где cherry-picking исключено из-за п. 1, вполне достаточно p<0.0001 или как-то так. Но учитывая исключительную спорность предмета исследования (гомеопатии), было бы лучше принять что-то вроде стандарта физики высоких энергий, five sigma. "Extraordinary claims require extraordinary evidence