случай сопливых статистиков (меморандум лжеученых, ч. 3)
Как вы уже знаете, после обнаружения ошибок в научной части меморандума о гомеопатии текст экспертного заключения переправили задним числом. Смотрим дальше (уже исправленное).
Вот исследование Taylor MA et al. Randomised controlled trials of homoeopathy versus placebo in perennial allergic rhinitis with overview of four trial series. BMJ, 321:471-476. ("Рандомизированные контролируемые испытания гомеопатии против плацебо при хроническом аллергическом рините с обзором серии из четырех исследований").
Эта работа мне хорошо знакома, именно ее публикацию в одном из самых уважаемых научных журналов я использовал в антинаучном пари. Ее полный текст тут, краткий вывод - пациенты, получавшие гомеопатизированный аллерген в потенции 30c, показали значительное улучшение объективного показателя (объема вдыхаемого носом воздуха). P=0.0001 (вероятность случайного ложноположительного результата составила 1 на миллиондесять тысяч).
В меморандуме об этой работе говорится так:
Критики этого исследования [7], указывают, среди прочего на несоответствие
статистической мощности исследования количеству участников. В
исследовании участвовал только 51 человек суммарно в обеих группах
(гомеопатия и плацебо) при расчетном количестве в 60 в каждой группе. В
более позднем и крупном исследовании воспроизвести результаты не удалось [8].
Смотрим источник [7], на который ссылаются эксперты Комиссии по лженауке и борьбе с фальсификациями научных исследований. Оказывается, это публикация в блоге инженера-физика, специалиста по аэродинамике в компании Jaguar LandRover и упорного противника гомеопатии (https://apgaylard.wordpress.com/2009/05/15/homeopathy-awareness-week-and-hay-fever). Должно ли это смущать? Ведь любой мальчик имеет право крикнуть, что "король-то голый!" Посмотрим на сами аргументы. Проблема в том, что "критики исследования" перепутали риск ложноотрицательных результатов с риском ложноположительных. Другими словами, количество пациентов так мало, что могло и не показать положительный результат, даже если он есть. Но получилось-то совсем другое. (*)
Авторы самого исследования (а среди них и старший преподаватель кафедры статистики университета Глазго) критикам терпеливо ответили (Taylor MA, Reilly D, Llewellyn-Jones RH, Mcsharry C, Aitchison TC. Homoeopathy versus placebo in perennial allergic rhinitis - Author’s Reply. BMJ. 2001 January;322(7279):169+). Поэтому разбор аргумента о недостаточной статистической мощности в том самом источнике [7] специалист по аэродинамике заканчивает фразой In a theoretical sense this is correct. ("В теоретическом смысле авторы исследования правы").
Я понимаю, почему биолог П. ухватился за эту ложную критику еще в августе. Мне непонятно, как комиссия по лже-науке, полная математиков, могла пропустить такую ошибку в качестве аргументации. Будем надеяться на лучшее и предположим, что они не читали этот пассаж.
Подождите, а что на счет более крупного исследования [8], в котором воспроизвести результаты не удалось? Это Use of ultramolecular potencies of allergen to treat asthmatic people allergic to house dust mite. Только участие в нем принимали не пациенты с хроническим аллергическим ринитом, а астматики, имеющие аллергию на пылевого клеща. И болезнь другая, и дизайн другой, и цель исследования другая, и даже препараты не совпадают (у пациентов с ринитом для приготовления препаратов были использованы, кроме клещей, кошачий и собачий мех, пыльца деревьев и трав, и проч.). И 80% пациентов использовали в ходе эксперимента стероидные ингаляции (что должно быть исключено при изучении действия гомеопатии). У данного исследования астмы есть похожее исследование-предшественник, https://www.ncbi.nlm.nih.gov/pubmed/7983994, также проведенное Taylor-Reilly, но мы-то обсуждаем другое.
При этом знаете, какие результаты получены в этом более позднем и крупном исследовании, понравившемся нашим экспертам?
"Гомеопатическая иммунотерапия не эффективна в лечении пациентов с астмой. Различные паттерны реагирования для гомеопатической иммунотерапии и плацебо в ходе исследования остались без объяснения."
Т.е. и в группе, получавшей "гомеопатизированного" клеща, и в плацебо группе пациенты значительно улучшились. Но по трем secondary outcomes в ходе эксперимента наблюдалась разная реакция на verum и плацебо, с вероятностями morning peak expiratory flow (P=0.025); asthma visual analogue scale (P=0.017); mood (P=0.035). Да-да, объем воздуха и в этом исследовании показал отличия между плацебо и препаратом. По утрам. (**)
А лечить гомеопатической иммунотерапией (изопатией) астму не надо. Так и не делает никто, это только разницу с плацебо так проверить можно.
===
Что мы уже знаем:
см. ранее:
- Меморандум лжеученых, ч. 1. "Машина времени". чем отличается ученый от лже-ученого
- Меморандум лжеученых, ч. 2. Беспристрастность снова в бою;
см. далее:
- Меморандум лжеученых, ч. 4. Случай неконтролируемого поноса
==
(*) - Если подробнее, все это рассуждение про статистическую мощность имеет отношение только к одному из outcomes, улучшению по VAS. Именно по нему результат из-за недостаточного количества испытуемых мог оказатьcя ложноотрицательным, и он-таки действительно отрицателен, но это ничего не значит. А к выдыхаемому объему, по которому показана статистически значимая разница, все эти выкладки вообще отношения не имеют.
(**) - Само по себе второе исследование (Use of ultramolecular potencies of allergen to treat asthmatic people allergic to house dust mite) не следует истолковывать как поддерживающее отличие гомеопатии от плацебо. У оставшихся необъясненными вторичных эффектов м.б. другие причины, это скорее намек на возможность. Но и не стоит испытывать гомеопатические препараты на пациентах, получающих стероиды (или другие иммунодепрессанты).
Вот исследование Taylor MA et al. Randomised controlled trials of homoeopathy versus placebo in perennial allergic rhinitis with overview of four trial series. BMJ, 321:471-476. ("Рандомизированные контролируемые испытания гомеопатии против плацебо при хроническом аллергическом рините с обзором серии из четырех исследований").
Эта работа мне хорошо знакома, именно ее публикацию в одном из самых уважаемых научных журналов я использовал в антинаучном пари. Ее полный текст тут, краткий вывод - пациенты, получавшие гомеопатизированный аллерген в потенции 30c, показали значительное улучшение объективного показателя (объема вдыхаемого носом воздуха). P=0.0001 (вероятность случайного ложноположительного результата составила 1 на миллиондесять тысяч).
В меморандуме об этой работе говорится так:
Критики этого исследования [7], указывают, среди прочего на несоответствие
статистической мощности исследования количеству участников. В
исследовании участвовал только 51 человек суммарно в обеих группах
(гомеопатия и плацебо) при расчетном количестве в 60 в каждой группе. В
более позднем и крупном исследовании воспроизвести результаты не удалось [8].
Смотрим источник [7], на который ссылаются эксперты Комиссии по лженауке и борьбе с фальсификациями научных исследований. Оказывается, это публикация в блоге инженера-физика, специалиста по аэродинамике в компании Jaguar LandRover и упорного противника гомеопатии (https://apgaylard.wordpress.com/2009/05/15/homeopathy-awareness-week-and-hay-fever). Должно ли это смущать? Ведь любой мальчик имеет право крикнуть, что "король-то голый!" Посмотрим на сами аргументы. Проблема в том, что "критики исследования" перепутали риск ложноотрицательных результатов с риском ложноположительных. Другими словами, количество пациентов так мало, что могло и не показать положительный результат, даже если он есть. Но получилось-то совсем другое. (*)
Авторы самого исследования (а среди них и старший преподаватель кафедры статистики университета Глазго) критикам терпеливо ответили (Taylor MA, Reilly D, Llewellyn-Jones RH, Mcsharry C, Aitchison TC. Homoeopathy versus placebo in perennial allergic rhinitis - Author’s Reply. BMJ. 2001 January;322(7279):169+). Поэтому разбор аргумента о недостаточной статистической мощности в том самом источнике [7] специалист по аэродинамике заканчивает фразой In a theoretical sense this is correct. ("В теоретическом смысле авторы исследования правы").
Я понимаю, почему биолог П. ухватился за эту ложную критику еще в августе. Мне непонятно, как комиссия по лже-науке, полная математиков, могла пропустить такую ошибку в качестве аргументации. Будем надеяться на лучшее и предположим, что они не читали этот пассаж.
Подождите, а что на счет более крупного исследования [8], в котором воспроизвести результаты не удалось? Это Use of ultramolecular potencies of allergen to treat asthmatic people allergic to house dust mite. Только участие в нем принимали не пациенты с хроническим аллергическим ринитом, а астматики, имеющие аллергию на пылевого клеща. И болезнь другая, и дизайн другой, и цель исследования другая, и даже препараты не совпадают (у пациентов с ринитом для приготовления препаратов были использованы, кроме клещей, кошачий и собачий мех, пыльца деревьев и трав, и проч.). И 80% пациентов использовали в ходе эксперимента стероидные ингаляции (что должно быть исключено при изучении действия гомеопатии). У данного исследования астмы есть похожее исследование-предшественник, https://www.ncbi.nlm.nih.gov/pubmed/7983994, также проведенное Taylor-Reilly, но мы-то обсуждаем другое.
При этом знаете, какие результаты получены в этом более позднем и крупном исследовании, понравившемся нашим экспертам?
"Гомеопатическая иммунотерапия не эффективна в лечении пациентов с астмой. Различные паттерны реагирования для гомеопатической иммунотерапии и плацебо в ходе исследования остались без объяснения."
Т.е. и в группе, получавшей "гомеопатизированного" клеща, и в плацебо группе пациенты значительно улучшились. Но по трем secondary outcomes в ходе эксперимента наблюдалась разная реакция на verum и плацебо, с вероятностями morning peak expiratory flow (P=0.025); asthma visual analogue scale (P=0.017); mood (P=0.035). Да-да, объем воздуха и в этом исследовании показал отличия между плацебо и препаратом. По утрам. (**)
А лечить гомеопатической иммунотерапией (изопатией) астму не надо. Так и не делает никто, это только разницу с плацебо так проверить можно.
===
Что мы уже знаем:
см. ранее:
- Меморандум лжеученых, ч. 1. "Машина времени". чем отличается ученый от лже-ученого
- Меморандум лжеученых, ч. 2. Беспристрастность снова в бою;
см. далее:
- Меморандум лжеученых, ч. 4. Случай неконтролируемого поноса
==
(*) - Если подробнее, все это рассуждение про статистическую мощность имеет отношение только к одному из outcomes, улучшению по VAS. Именно по нему результат из-за недостаточного количества испытуемых мог оказатьcя ложноотрицательным, и он-таки действительно отрицателен, но это ничего не значит. А к выдыхаемому объему, по которому показана статистически значимая разница, все эти выкладки вообще отношения не имеют.
(**) - Само по себе второе исследование (Use of ultramolecular potencies of allergen to treat asthmatic people allergic to house dust mite) не следует истолковывать как поддерживающее отличие гомеопатии от плацебо. У оставшихся необъясненными вторичных эффектов м.б. другие причины, это скорее намек на возможность. Но и не стоит испытывать гомеопатические препараты на пациентах, получающих стероиды (или другие иммунодепрессанты).