случай сопливых статистиков (меморандум лжеученых, ч. 3)

Feb 18, 2017 20:46

Как вы уже знаете, после обнаружения ошибок в научной части меморандума о гомеопатии текст экспертного заключения переправили задним числом. Смотрим дальше (уже исправленное).

Вот исследование Taylor MA et al. Randomised controlled trials of homoeopathy versus placebo in perennial allergic rhinitis with overview of four trial series. BMJ, Read more... )

гомеопатия, общественное

Leave a comment

scinquisitor May 2 2019, 13:32:50 UTC
Мне сейчас скинулы ссылку на этот пост.

Вы пишите:

"Поэтому разбор аргумента о недостаточной статистической мощности в том самом источнике [7] специалист по аэродинамике заканчивает фразой In a theoretical sense this is correct. ("В теоретическом смысле авторы исследования правы").

Заканчивает фразой? Открываем источник.

"Taylor et al (2001) defended their work. They conceded that their study was underpowered but argued that this risked, “false negative results, not false positive results.” In a theoretical sense this is correct. However the analysis of Shang et al (2005) demonstrates that in practise the reverse is true. "

Ну нормально так :)

Собственно вот в чем проблема:

The basis for the study was a prestudy power calculation that required 120 patients to prove the hypothesis with a 5% significance and an 80% power.2 In fact, the authors only recruited 51 patients but analysed the results as if they had the required number. Their only conclusion was that they did not have enough data to make a conclusion.
If we accept the availability of only 51 patients at the outset, what are the relevant calculations? The power calculation is only 43%, and to maintain the power calculation at 80% the P value becomes 34%. The only conclusion is that the trial is not able to prove anything.

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1119423/

Не секрет, что P-value зависит от размера выборки. Скажем, 55% орлов на монетке при выборке 110 бросков и 1100 бросков имеют разную значимость. Но если у меня 55% орлов на выборке 110 бросков, а я скажу, что выборка была 550 бросков, то у меня будет неправильный P-value.

Ответ авторов: Our study was indeed underpowered, but Miller misunderstands the implications of this: the increased risk from a smaller than desirable study is of false negative results, not false positive results.
Ошибочен. Выше есть и правильный подсчет P-value и объяснение почему размер выборки важен.

Reply

eugenegp May 2 2019, 17:32:23 UTC
У меня нет намерений дискутировать с владельцами машины времени; но мат.частью вы так и не овладели. Прочитайте, что написано в моем посте под звездочкой; поговорите с математиками, вашей подготовки явно недостаточно.

Reply

v_serov July 11 2019, 11:58:05 UTC
вот тут человек все-таки настаивает что надо обосновать законность применения этого самого стьюдента
https://savvateev.livejournal.com/278909.html?thread=12239997#t12239997

Reply

eugenegp July 11 2019, 12:08:56 UTC
Этот человек не открывал исходную статью в BMJ.

Reply

v_serov July 11 2019, 12:36:44 UTC
ну ладно

Reply

v_serov July 11 2019, 12:54:31 UTC
я правильно понимаю что там 4 разных аллергена, гомеопаты просто сделали коктейль и починили всех сразу?
Те точно так же можно сделать этот коктейль, запустить в речку из которой водозабор происходит и это починит всех аллергиков в городе(хотя бы по этим 4м направлениям)?

Reply

eugenegp July 11 2019, 13:28:15 UTC
Еще раз - это не лечение, это выяснение отличия от плацебо.
Гомеопаты так не лечат.

Reply

v_serov July 11 2019, 13:41:34 UTC
А чем отличается лечение от не лечения, в конкретном случае? Эти улучшения не долговечны и через некоторое время оно вообще перестанет работать?

Reply

d_imta July 12 2019, 13:54:53 UTC
Человек не понимает, что в клиническом испытании "отличие от плацебо" означает "сравнение данного метода лечения с методом лечения, в котором используется эффект плацебо'. Сравниваются ДВА МЕТОДА лечения.

cлово "плацебо" в данном случае-это бытовое сокращение от "эффект плацебо" - то есть это не объект, а процесс. сравнивать можно только однотипные сущности - процесс с процессом, объект с объектом.

Reply

d_imta July 12 2019, 13:43:00 UTC
вообще то идея была в том, чтобы продемонстрировать отличие ОДНОГО МЕТОДА ЛЕЧЕНИЯ (применение гомеопатических средств) от ДРУГОГО МЕТОДА ЛЕЧЕНИЯ (применение эффекта плацебо). Если гомеопаты так не лечат - то что же тогда исследовалось в эксперименте?

Reply

d_imta July 12 2019, 14:32:01 UTC
я действительно саму статью не читала - пока не вижу смысла особого лезть в чужие кракозябры. Мне интересно, как изученную статью поняли адепты гомеопатии. и могут ли они отвечать на вопросы, исходя из прочитанного. Пока что я вижу, что люди плохо понимают саму постановку вопроса - что такое "обоснование применимости конкретного метода матстатистики". Пока что я не вижу демонстрации понимания, что такое нормальное распределение, как это можно показать, что такое "генеральные дисперсии у сравниваемых групп должны быть равны" и как это можно показать. Пока что я вижу эффект "поклонение кулькулятору". В кулькуляторе - сиречь стандартной программе - забиты некими программистами от очень уважаемых фирм некие вычислительные алгоритмы, "все этим пользуются" .

вообще говоря, если в качестве причин симптомокомплекса в одном исследовании выделяется сразу несколько разных - нужно либо предварительно обосновать (в других экспериментах, например), что бесконечно малая разница в причинах не ведет к бесконечно большой значимой разнице в последствиях (в физике/химии/биологии это называется "показать устойчивость модели по начальным условиям" - причем существуют разные критерии устойчивости - но биологам простительно знать только один критерий - Ляпунова) - то есть нужно принципиально обосновать, что у всех исследуемых организмов выборки отсутствует "память о причинах" на период времени исследования - ну если на пальцах выражаться.

Надеюсь, я понятно выразилась. Если что непонятно - спрашивайте.

Либо нужно в самом исследовании выделять соответствующие подгруппы и сравнивать попарно.

Тогда историю со стьюдентом вообще в принципе применять нельзя. О чем в учебниках для вузов по матстистике пишут черным по белому.

PS, надо дополнительно объяснять, почему перед началом эксперимента нужно обосновывать устойчивость модели по начальным условиям или и так понятно?

PPS. на всякий случай скажу, что если в одной группе вы соберете системы "с отсутствием памяти" о начальеных условиях, а в контрольную группу попадут системы "с памятью" - или наоборот - то все ваше исследование годится будет только на растопку бани. В лучшем случае - если бумага, на которой результаты будут напечатаны - нормально разожжется спичкой.

Reply

d_imta July 12 2019, 16:10:26 UTC
там не просто четыре разных аллергена - это было бы еще полбеды.
Грубо говоря, если у вас есть модель, описывающая взаимодействие иммунной системы человека с чужеродными белками, причем описыыающая процесс функционально и операционально _единым_ образом, то действительно, разницы большой нет - кошачьи белки, растительные или белки, выделяемые пылевыми клещами- иммунная система реагирует на КЛАСС функционально-операционально определенных раздражителей - ФУНКЦИОНАЛЬНО--КЛАССОВО.

Но это ведь не заслуга последователей Ганемана - это же не гомеопаты придумали теорию имунной системы, не гомеопаты придумали аллергию, и не они описали заболевание - аллергический хронический ринит. Не гомеопаты описали аутоимунную реакцию, не гомеопаты придумали тезис "имунная система человека может реагировать на чужеродные белки исключительным образом - так, что реакция ставит под угрозу существование организма"

но главное - среди испытуемых - судя по табличке - имеются граждане с историей приема стероидов, вазоконстрикторов, специализированной иммуносупрессивной терапии..

То есть веществ, кардинально изменяющих параметрические свойства _теоретической_ иммунной системы человека.

Но гомеопатам все параллельно - они все сразу чохом готовы излечить, не то, что глупые современные врачи.

А вообще мне интересно - как только совести у гомеопатов хватает - лезть с апломбом со своим самоваром в ЧУЖИЕ ТЕОРИИ.

Как современная теория клеточного и гуморального иммунитета совмещается с теорией Ганемана?

Reply

d_imta July 12 2019, 13:45:02 UTC
эта таблица не отвечает на мой вопрос.

Вы сами то как - способны ее физический смысл пояснить? Или все, на что вас хватает - копи-пасты по принципу "авторы - мне соверующие"?

Reply

d_imta July 12 2019, 13:41:00 UTC
Ну вы то открылвали - значит, можете как минимум процитировать тот раздел статьи, где описывается порядок подбора пациентов, всякие критерии исключения-включения, в общем, то место, где приводится обоснование: вот, смотрите, распределение признаков хронического ринита в группах имеет характер нормального, требование равенства генеральных дисперсий соблюдено, поэтому было принято решение использовать при обсчете результатов эксперимента такой то конкретный метод/такую то конкретную программу-калькулятор.

Reply


Leave a comment

Up