беспристрастность снова в бою (меморандум лжеученых, ч. 2)

Feb 16, 2017 14:58

Поскольку мой предыдущий пост вызвал реакцию спонтанного самоизменения материалов Комиссии по лженауке и борьбе с фальсификацией научных исследований (http://eugenegp.livejournal.com/289318.html), я решил подробнее посмотреть на их содержание. Всё то же приложение номер 5, будем ( Read more... )

гомеопатия, общественное

Leave a comment

kobak February 17 2017, 11:12:42 UTC
> Если кому интересно, в исследовании получено статистически
> достоверное долгосрочное улучшение (Long-term CGI
> improvement reached 12 points (63%, P <0.0001).

Эта Ваша фраза мне кажется misleading. Речь в Вашей записи идет о randomised, double blind, placebo controlled исследовании, и таким образом эта фраза звучит так, что разница между гомеопатией и плацебо была показана с достоверностью p<0.0001. По-крайней мере, так я понял эту фразу, когда прочитал Вашу запись.

На самом деле "Long-term CGI improvement reached 12 points (63%, P <0.0001)" относится к разнице между >1 годом после эксперимента и моментом диагноза, при этом до начала (а также после окончания) randomised double blind фазы эксперимента всем пациентам открыто прописывали гомеопатию (Prior to the randomised, double blind, placebo controlled crossover study, they were treated with individually prescribed homeopathic medications.). В этом нет ничего плохого, но "63%, P <0.0001" к сравнению гомеопатии и плацебо отношения не имеют, если я правильно понял ( ... )

Reply

eugenegp February 19 2017, 13:41:31 UTC
Hear-hear. В смысле кто бы спорил. Triple-blinded etc.

(Вы, правда, недооцениваете уровень bias. Автор этого самого меморандума высказал мне, что даже "p=0.0000001 не стоит того, чтобы переворачивать здание современной науки")

Как Вы полагаете, какова стоимость такого исследования? Ну вот, например, первичная гипертензия, outcome через 21 день с начала.

Reply

kobak February 19 2017, 13:53:37 UTC
Понятия не имею (дисклеймер: я не имею никакого отношения к медицине). А какая? Вы имеете в виду, что стоимость очень высокая? Ну вот Taylor et al. как-то же нашли деньги на свое исследование с n=50, (и до этого еще несколько подобных работ сделали), так что, наверное, вполне возможно это повторить с n=100. Главное -- обеспечить методологическую неуязвимость, в согласии с моими пп. 1-4, но это вообще денег не стоит, просто вопрос организации.

(Что касается уровня bias, то честно говоря, если Вы мне сейчас предъявите какую-нибудь работу с p=0.0000001, я все равно не поверю в эффективность гомеопатии. Мне легче предположить, что данные сфальсифицированы, или анализ был cherry-picked, или blindness каким-то образом не была обеспечена должным образом, и т.п. У каждой из этих возможностей вероятность, я считаю, гораздо выше, чем 1 на миллион. Поэтому и нужна не просто p=0.0000001, а крайне высокая гарантия чистоты эксперимента.)

Reply

eugenegp February 19 2017, 15:25:02 UTC
> я все равно не поверю в эффективность гомеопатии. Мне легче предположить, что данные сфальсифицированы

Тогда зачем это делать? :) (Вопросы целесообразности и стоимости - http://eugenegp.livejournal.com/281030.html).

Единственное, зачем _я_ все это пишу - чувствую себя обязанным. 15+ лет назад я был гомеопатическим скептиком, к тому же с неудачным опытом лечения "гомеопатией". Когда жизнь прижала, наличие якобы "несуществующих" исследований - нет, не убедило, но сподвигло меня провести серию личных экспериментов. И начал я, конечно, с материальных потенций :).

Reply

kobak February 19 2017, 16:08:36 UTC
Зачем что делать? Я же написал, при каких условиях я был бы готов считать свидетельство эффективности гомеопатии убедительными (я имею в виду мои пункты 1-4). Условия, по-моему, вполне адекватные и Вы с ними согласились. "Я все равно не поверю" относилось к предъявлению некоей работы с p=0.0000001, которая при этом не удовлетворяет пп. 1-4. Возможно, я недостаточно ясно выразился.

Что касается Вашей записи по ссылке, то я скорее не согласен с "проломить этот порочный круг за счет массы смогли бы несколько сотен исследований высокого качества, опубликованных за короткий срок (лет за 5) - на это нужно 70-100 млн. долларов с высокой степенью координации". Как я написал выше, по-моему, всего одна работа, выполненная на максимальном уровне предосторожностей (опять же, см. пп 1-4), могла бы произвести фурор. Если эффективность гомеопатии может быть так высока, как в примере с nasal flow в Taylor et al., т.е. с запасом достаточно всего 100 человек, то это не 100 млн долларов, а почти что раз плюнуть :)

Reply

eugenegp February 20 2017, 10:45:16 UTC
Смотрите, какая история. В 80-е были проведены RCTs пресловутого Оциллококцинума. По тем стандартам, которые были приняты на тот момент. Показали значимый эффект на больших n. (Эти испытания высший авторитет в области доказательной медицины, Cochrane Colloboration, до 2005 года считал хорошими, позже перевел их в low-quality.) В те же годы были публикации в Lancet, Nature, и тп. Никого из т.н. скептиков это не убедило. Скандалы, проверки фокусниками, разрушенные репутации. ОК ( ... )

Reply

kobak February 20 2017, 11:23:22 UTC
Да, понимаю. Наверное, с т.з. гомеопатов этот выглядит как несправедливое издевательство и moving target.

(А что такое "проверки фокусниками"?)

С другой стороны -- смотрите. До этого разговора с Вами я думал, что провести стандарнтное медицинское исследование гомеопатии почти невозможно, т.к. гомеопаты в этом не заинтересованы или считают такие исследования невозможными в принципе; если такое исследование все-таки сделать, то результат будет отрицательным, но гомеопаты от этого просто отмахнутся, потому что "персональная медицина", "гомеопат лечит не болезнь, а пациента" и т.п. В результате этого разговора (за который Вам большое спасибо), я понял, что ситуация СОВЕРШЕННО НЕ ТАКАЯ. Оказывается, (а) существуют заболевания и гомеопатические лекарства, которые легко поддаются стандартной методологии evidence-based medicine; (б) гомеопаты, по крайней мере некоторые, совсем не против такие исследования проводить; (в) по оценкам гомеопатов, эффект настолько сильный (у Frass et al Cohen's d=1.5, в психологии это считается "very large" или ( ... )

Reply

kobak March 6 2017, 13:06:07 UTC
Вы не ответили на мой предыдущий комментарий тут -- а что все-таки такое "проверки фокусниками"?

Reply

eugenegp March 6 2017, 13:09:28 UTC
А, извините. Довольно грустная история, на нее есть ссылка в том самом меморандуме. https://en.wikipedia.org/wiki/Jacques_Benveniste

Reply

kobak February 19 2017, 19:34:48 UTC
Вдогонку: я прочитал работу Frass et al, Influence of Potassium Dichromate on Tracheal Secretions in Critically Ill Patients. Это серьезная заявка, мне кажется, что серьезнее, чем Taylor et al. Я должен признать, что, если верить авторам, то эта работа как будто бы удовлетворяет почти всем мои требованиям: она triple blind, никаких намеков на cherry picking не видно, значимость достигает пять сигм (!!) [по Secretions разница в средних между гомеопатией и плацебо составляет 0.9 со стандартной ошибкой примерно 0.6/sqrt(25)*sqrt(2)=0.17]. Главное, чего лично мне не хватает в этой работе, -- это полная открытость и прозрачность всех процедур. Т.е., опять же, авторам надо было публично pre-register эту работу, потом выложить все данные в открытый доступ, потом открыть коды, и вуаля. Это к вопросу о стоимости: это вообще ничего не изменило бы в стоимости работы, ноль. Но убедительность поднялась бы совершенно принципиальным образом. Все это должно, конечно, проходить по согласованию с и под гарантией какой-то авторитетной third party, в ( ... )

Reply

eugenegp March 6 2017, 13:02:27 UTC
Новая работа, но я пока не вижу полный текст. Зато вижу, что trial pre-registered
https://www.ncbi.nlm.nih.gov/pubmed/28187404

Reply

eugenegp February 17 2017, 17:09:53 UTC
1) [Я, честно говоря, за 15 лет уже все это обсуждал].

Строго говоря, слепой эксперимент возможен и с самого старта с продолжением подбора вслепую, но я думаю, что это не пройдет этический комитет. К тому же гомеопаты будут утверждать, что на большинстве заболеваний гомеопат с минимальным опытом поймет при смене препаратов, что пациент попал в плацебо-группу.

Reply

Байка не совсем про гомеопатию ... petrkiskin February 18 2017, 13:04:39 UTC
Джуну помните ? Таки уговорили ее провести эксперимент in vitro - активировать систему комплемента в пробирке. Уговорил верящий в Джуну человек из Новосиба, но туда она ехать не хотела. Так что активировала в Москве.
Приехала, фыркнула - на нее плохо смотрят, может ничего не получиться. Но - на пробирки подействовала пассами, ехала. Далее активацию посмотрели - в Москве и Новосибе. Во втором случае - все ОК, система активировалась. В Москве - фиаско. Почему - сами поймете ?
Байка не просто так - имеет прямое отношение и к активации базофилов, и к дегрануляции гранулоцитов.

Reply

eugenegp February 19 2017, 16:35:32 UTC
Вторую работу не смотрели? (https://www.ncbi.nlm.nih.gov/pubmed/15764779)

Reply

Посмотрел. petrkiskin February 20 2017, 14:47:11 UTC
Весь результат - в таблице 2. И вот что забавно - а где данные ДО приема препарата ? В таблице 1 куча данных - но нет ничего ни об уровне секреции, ни о Grade. Да, написано в материалах - "The amount and viscosity of sputum production prior to study enrollment were not different between both groups as evaluated three times in subsequent order within 24 h." . Но - где цифры ?

Reply

Re: Посмотрел. eugenegp February 20 2017, 16:05:21 UTC
Забавным в нашей беседе являются повторяющиеся проблемы с чтением специализированных статей.
"In this study, sputum was classified as grade 3 in all patients before administration of medication"

Reply


Leave a comment

Up