беспристрастность снова в бою (меморандум лжеученых, ч. 2)

[eugenegp]

Поскольку мой предыдущий пост вызвал реакцию спонтанного самоизменения материалов Комиссии по лженауке и борьбе с фальсификацией научных исследований (http://eugenegp.livejournal.com/289318.html), я решил подробнее посмотреть на их содержание. Всё то же приложение номер 5, будем

Comments

[kobak]

Процитированный Вами абзац критики довольно бессодержательный.

Расчетное кол-во 60 человек в группе исходило из 80% power подтведить результат предыдущей работы ("mean difference of 15 mm between the groups on visual analogue scale scores and a corresponding standard deviation of 29"). Если посчитать power для их итогового размера выборки в 50 человек суммарно, то получится 45% (это я сейчас посчитал). Это, конечно, очень мало. Таким образом, если предположить, что d = 15mm/29mm = 0.5 это реальный effect size, то в данном иследовании был только 45% шанс это показать с p<0.05. Результат был p>0.05, т.е. эффект показан не был.

Мораль из этого такая: если Вы (или авторы работы, или кто-то еще) верите в d=0.5, то не обязательно придумывать никаких объяснений того, почему в данном случае работа этого не продемонстрировала. Напр., Вы пишете: "Другое возможное объяснение - меньшая реактивность конкретного субъективного симптома" и т.п. На самом деле никаких возможных объяснений можно не изобретать: просто study was underpowered, вот и всё. False negative. Вероятность была больше 1/2, что будет false negative.

В любом случае, к делу (я имею в виду к критике в "Меморандуме") это не относится, т.к. основной результат этой работы -- разница в nasal peak inspiratory flow. Никакие power calculations тут роли не играют, т.к. для этой метрики их не было сделано.

[eugenegp]

Хорошо, что мы понимаем это совершенно одинаково.