Большинство заявленных результатов исследований ложны.
Опубликованные результаты исследований иногда опровергаются последующими доказательствами, что приводит к путанице и разочарованию. Опровержения и противоречия наблюдаются по всему диапазону исследовательских проектов. Растет озабоченность тем, что в современных исследованиях ложные результаты могут составлять большинство или даже подавляющее большинство опубликованных исследовательских заявлений. Однако это не должно вызывать удивления.
1. Чем меньше исследований, проводимых в научной области, тем меньше вероятность того, что результаты исследований будут правдой.
2. Чем меньше размер эффекта в научной области, тем меньше вероятность того, что результаты исследования будут правдой.
3. Чем больше число и меньше выбор проверенных взаимосвязей в научной области, тем меньше вероятность того, что результаты исследования будут правдой.
4. Чем больше гибкость (неопределенность) в планах, формулировках, результатах и аналитических моделях в научной области, тем меньше вероятность того, что результаты исследования будут правдой. Гибкость увеличивает возможность преобразования «отрицательных» результатов в «положительные» (предвзятость).
5. Чем горячее научное направление, чем выше общественный интерес к нему, тем меньше вероятность того, что результаты исследования будут правдой.
6. Чем больше финансовых и других интересов и предубеждений в научной сфере, тем меньше вероятность того, что результаты исследования будут правдой.
Конфликты интересов очень распространены в биомедицинских исследованиях, и, как правило их стараются скрывать.
Предрассудки не обязательно имеют финансовые корни. У ученых могут быть предубеждения исключительно из-за их веры в научную теорию или приверженности своим собственным открытиям. Многие в других отношениях, казалось бы, независимые, университетские исследования могут проводиться только для того, чтобы дать врачам и исследователям квалификацию для продвижения по службе или пребывания в должности.
Престижные исследователи могут подавлять с помощью процесса экспертной оценки появление и распространение результатов, опровергающих их выводы, тем самым обрекая свою сферу деятельности на увековечение ложных догм.
Эмпирические данные по заключению экспертов показывают, что оно крайне ненадежно.
В описанной системе довольно сложно получить положительную прогоностическую ценность, превышающую 50%. Основная проблема заключается в том, что невозможно узнать со 100% уверенностью, что является правдой в любом исследовательском вопросе. В этом плане чистый «золотой» стандарт недостижим.
Отбор результатов крупномасштабных исследований на основе узких критериев, таких как маркетинговое продвижение конкретного лекарства (или вакцины), в значительной степени является бесполезным исследованием. Более того, следует быть осторожным, так как чрезвычайно крупные исследования могут с большей вероятностью обнаружить формально статистически значимое различие для тривиального эффекта, который на самом деле существенно не отличается от нулевого.
John Ioannidis
Кросспостинг с ресурса, не находящегося под колпаком Лубянки: http://hozar.dreamwidth.org/
Возможность комментировать открыта только там: https://hozar.dreamwidth.org/733015.html.