беспристрастность снова в бою (меморандум лжеученых, ч. 2)

[eugenegp]

Поскольку мой предыдущий пост вызвал реакцию спонтанного самоизменения материалов Комиссии по лженауке и борьбе с фальсификацией научных исследований (http://eugenegp.livejournal.com/289318.html), я решил подробнее посмотреть на их содержание. Всё то же приложение номер 5, будем

Comments

[kobak]

Вдогонку: я прочитал работу Frass et al, Influence of Potassium Dichromate on Tracheal Secretions in Critically Ill Patients. Это серьезная заявка, мне кажется, что серьезнее, чем Taylor et al. Я должен признать, что, если верить авторам, то эта работа как будто бы удовлетворяет почти всем мои требованиям: она triple blind, никаких намеков на cherry picking не видно, значимость достигает пять сигм (!!) [по Secretions разница в средних между гомеопатией и плацебо составляет 0.9 со стандартной ошибкой примерно 0.6/sqrt(25)*sqrt(2)=0.17]. Главное, чего лично мне не хватает в этой работе, -- это полная открытость и прозрачность всех процедур. Т.е., опять же, авторам надо было публично pre-register эту работу, потом выложить все данные в открытый доступ, потом открыть коды, и вуаля. Это к вопросу о стоимости: это вообще ничего не изменило бы в стоимости работы, ноль. Но убедительность поднялась бы совершенно принципиальным образом. Все это должно, конечно, проходить по согласованию с и под гарантией какой-то авторитетной third party, в роли которой мог бы, например, выступить журнал вроде Lancet. Ничего невозможного или запретительно дорогого я в этом не вижу.

По мелочам:

(а) не понимаю, почему нет разницы в Suctionings per day между группами, если Suctioning was performed routinely every 6 h and in addition when patients had profuse secretions, и по secretion разница при этом гигантская.

(б) "Kruskal-Wallis test for comparing the two groups" -- Kruskal-Wallis это тест для сравнения трех и более групп. Его можно применить к двум группам, но в итоге получится гораздо более стандартный Mann-Whitney-Wilcoxon ranksum test, так что зачем народ путать.

(в) "All statistical analyses were done before breaking the randomization code" -- как можно было проделать статистический анализ, если не известно, какой пациент относится к какой группе? Наверное, имеется в виду, что группы были известны, но оставалась не известно, какая из них какая. (В моей схеме, обрисованной выше, данные должны быть предъявлены до того, как будет объявлена разбивка пациентов на группы, и это принципиально.)

[eugenegp]

Новая работа, но я пока не вижу полный текст. Зато вижу, что trial pre-registered
https://www.ncbi.nlm.nih.gov/pubmed/28187404