Метаанализы и систематические обзоры
TL;DR: Метаанализ метаанализов выявил, что 97% метаанализов это мусор.
Профессор медицины и руководитель центра профилактики Стендфордского университета Джон Иоаннидис опубликовал недавно обзор мета-анализов опубликованных на PubMed. Его выводы совсем неутешительны:
1) Метаанализы анализируют далеко не все исследования. То есть фактически метаанализ может доказать все что угодно.
2) Метаанализов публикуется слишком много, они очень некачественны, и вводят ученых в заблуждение.
3) Очень много метаанализов проводятся исследователями с финансовым конфликтом интересов. В области антидепрессантов, например, почти нет независимых метаанализов. Практически все метаанализы антидепрессантов это просто маркетинг таких или иных лекарств. То же самое происходит и в других областях.
4) Китайцы наводнили PubMed некачественными метаанализами. Особенно в области генетики, где 99% всех их метаанализов это полный мусор.
5) За последние 15 лет появилось много фирм-контракторов, которые проводят метаанализы для фармацевтической индустрии. Однако, они публикуют лишь то, что выгодно компаниям, заказавшим исследование. Что создает publication bias.
6) Даже Cochrane, которые делают самые качественные систематические обзоры, не публикуют 19% начатых обзоров. Другие и того меньше.
7) Даже когда метаанализ хороший, он редко информативный. Лишь 3% метаанализов истинны и информативны.
Это, кстати, тот же Джон Иоаннидис, который в 2005 году опубликовал самую цитируемую статью на PLoS Med Why Most Published Research Findings Are False, (перевод) где он доказал, что:
1) Чем меньше исследований проводится в определённой области, тем меньше вероятность того, что результаты исследования будут достоверны.
2) Чем меньше величина эффекта в исследуемой области, тем меньше вероятность того, что результат достоверен.
3) Чем больше количество и чем меньше отбор тестируемых связей, выявленных в научной области, тем меньше вероятность того, что результаты исследования будут достоверны.
4) Чем больше гибкость плана, определений, исходов и аналитических моделей, тем меньше вероятность получить достоверный результат.
5) Чем больше финансовая и другая заинтересованность и предвзятость, тем меньше вероятность того, что результаты исследования будут достоверными
6) Чем большая активность проявляется в области (чем больше групп исследователей вовлечено), тем меньше вероятность того, что результаты будут достоверны.
В 2014 году он опубликовал статью о том, что 85% исследований в области медицины не стоят бумаги, на которой они написаны.
А в 2016 году он опубликовал статью о том, что большинство клинических исследований бесполезны.
Вот интересно, что среди сотен тысяч исследователей в области биомедицины, так мало тех, кто занимается истинной наукой. Один человек делает столько исследований, каждое из которых перевернуло бы с ног на голову любую точную науку.
Как может быть, что среди этих сотен тысяч не появляются больше людей, не готовых заниматься херней, и играть дальше в эту игру бесмыссленных мусорных публикаций? И ладно бы если это ограничивалось лишь мусорными публикациями. Ведь из-за этих мусорных публикаций умирают реальные люди.
Профессор медицины и руководитель центра профилактики Стендфордского университета Джон Иоаннидис опубликовал недавно обзор мета-анализов опубликованных на PubMed. Его выводы совсем неутешительны:
1) Метаанализы анализируют далеко не все исследования. То есть фактически метаанализ может доказать все что угодно.
2) Метаанализов публикуется слишком много, они очень некачественны, и вводят ученых в заблуждение.
3) Очень много метаанализов проводятся исследователями с финансовым конфликтом интересов. В области антидепрессантов, например, почти нет независимых метаанализов. Практически все метаанализы антидепрессантов это просто маркетинг таких или иных лекарств. То же самое происходит и в других областях.
4) Китайцы наводнили PubMed некачественными метаанализами. Особенно в области генетики, где 99% всех их метаанализов это полный мусор.
5) За последние 15 лет появилось много фирм-контракторов, которые проводят метаанализы для фармацевтической индустрии. Однако, они публикуют лишь то, что выгодно компаниям, заказавшим исследование. Что создает publication bias.
6) Даже Cochrane, которые делают самые качественные систематические обзоры, не публикуют 19% начатых обзоров. Другие и того меньше.
7) Даже когда метаанализ хороший, он редко информативный. Лишь 3% метаанализов истинны и информативны.
Это, кстати, тот же Джон Иоаннидис, который в 2005 году опубликовал самую цитируемую статью на PLoS Med Why Most Published Research Findings Are False, (перевод) где он доказал, что:
1) Чем меньше исследований проводится в определённой области, тем меньше вероятность того, что результаты исследования будут достоверны.
2) Чем меньше величина эффекта в исследуемой области, тем меньше вероятность того, что результат достоверен.
3) Чем больше количество и чем меньше отбор тестируемых связей, выявленных в научной области, тем меньше вероятность того, что результаты исследования будут достоверны.
4) Чем больше гибкость плана, определений, исходов и аналитических моделей, тем меньше вероятность получить достоверный результат.
5) Чем больше финансовая и другая заинтересованность и предвзятость, тем меньше вероятность того, что результаты исследования будут достоверными
6) Чем большая активность проявляется в области (чем больше групп исследователей вовлечено), тем меньше вероятность того, что результаты будут достоверны.
В 2014 году он опубликовал статью о том, что 85% исследований в области медицины не стоят бумаги, на которой они написаны.
А в 2016 году он опубликовал статью о том, что большинство клинических исследований бесполезны.
Вот интересно, что среди сотен тысяч исследователей в области биомедицины, так мало тех, кто занимается истинной наукой. Один человек делает столько исследований, каждое из которых перевернуло бы с ног на голову любую точную науку.
Как может быть, что среди этих сотен тысяч не появляются больше людей, не готовых заниматься херней, и играть дальше в эту игру бесмыссленных мусорных публикаций? И ладно бы если это ограничивалось лишь мусорными публикациями. Ведь из-за этих мусорных публикаций умирают реальные люди.