Метаанализ написать не два пальца об..мочить
Метаанализ - вершина доказательной пирамиды и святой грааль для многих исследователей, выводы которого зачастую воспринимаются как жирная точка.
Критерии включения/невключения - волшебный инструмент для выбора понравившихся нам данных и достижения результатов, к которым мы пришли ещё до проведения анализа
В статье John P.A. Ioannidis. «Meta-research: The art of getting it wrong» (перевод этой статьи на русский язык был тут, но всегда доступен по ссылке на archive.org) автор показывает, что написать корректный метаанализ не так то легко. Конечно, он не первооткрыватель. Даже в книгах по медицинской статистике, по исследованиям в медицине много написано про типичные ошибки, подводные камни и различные bias. Даже полное выполнение check-list'а по статистической обработке данных не спасает от неверных выводов.
Эта статья интересна тем, что автор является специалистом в своей области, сам принимал участие в написании метаанализов работ своей же области. Автор обращает внимание на следующую странную ситуацию. Регулярно несколько лет подряд выходили метаанализы работ, но каждый следующий метаанализ выходил с противоположным результатом (все анализы выполнены специалистами в той же области). Автор очень подробно анализирует причины. Слишком много материала в той статье, чтобы здесь что-то пересказывать. После прочтения возникает вопрос:
Как следует относиться к результатам известных метаанализов/отчетов (Lancet-2005, Австралийский), авторы которых не пытались вникнуть, что такое гомеопатия, включили в работу исследования...
P.S. Вот полная ссылка, если выше по тексту вы так и не поняли, где лежит оригинальный текст на русском языке: https://web.archive.org/web/20180417025052/http://brights-russia.org/article/meta-analysis-the-art-of-getting-it-wrong.html
Критерии включения/невключения - волшебный инструмент для выбора понравившихся нам данных и достижения результатов, к которым мы пришли ещё до проведения анализа
В статье John P.A. Ioannidis. «Meta-research: The art of getting it wrong» (перевод этой статьи на русский язык был тут, но всегда доступен по ссылке на archive.org) автор показывает, что написать корректный метаанализ не так то легко. Конечно, он не первооткрыватель. Даже в книгах по медицинской статистике, по исследованиям в медицине много написано про типичные ошибки, подводные камни и различные bias. Даже полное выполнение check-list'а по статистической обработке данных не спасает от неверных выводов.
Эта статья интересна тем, что автор является специалистом в своей области, сам принимал участие в написании метаанализов работ своей же области. Автор обращает внимание на следующую странную ситуацию. Регулярно несколько лет подряд выходили метаанализы работ, но каждый следующий метаанализ выходил с противоположным результатом (все анализы выполнены специалистами в той же области). Автор очень подробно анализирует причины. Слишком много материала в той статье, чтобы здесь что-то пересказывать. После прочтения возникает вопрос:
Как следует относиться к результатам известных метаанализов/отчетов (Lancet-2005, Австралийский), авторы которых не пытались вникнуть, что такое гомеопатия, включили в работу исследования...
- разного типа,
- разных методов назначения гомеопатических препаратов,
- вводили странные критерии включения/исключения на список анализируемых работ,
- не отреагировали на критику в свой адрес со стороны гомеопатов,
- предыдущие анализы и отчеты заключали обратное?
P.S. Вот полная ссылка, если выше по тексту вы так и не поняли, где лежит оригинальный текст на русском языке: https://web.archive.org/web/20180417025052/http://brights-russia.org/article/meta-analysis-the-art-of-getting-it-wrong.html