Как оценивать статьи про "британских учёных"
Очень толковый и полезный разбор: как оценивать статьи о здоровье. Это настолько хорошо и важно, что я под катом для себя скопирую.
1. Одно исследование или несколько разных, давших похожие результаты?
Наука основана на сборе свидетельств, поэтому единичное исследование - это лишь один шаг вперед. Наиболее серьезные рекомендации содержатся в обзорах, охватывающих несколько исследований, особенно в обзорах экспертов.
2. Подкреплены ли утверждения экспериментами?
Мы можем быть уверены в том, что определенные вещи вызывают рак, только если были выполнены надлежащим образом поставленные лабораторные эксперименты, показывающие, как именно это происходит. Или же это должны быть рандомизированные испытания: скажем, влияние одного сэндвича с беконом в день на здоровье изучают путем случайного распределения людей на группы, в одной из которых едят бекон, а в другой не едят бекона, с последующим наблюдением за ними. Если испытания не рандомизированы, может обнаружиться различие в частоте возникновения рака между группами, вызванное каким-нибудь посторонним фактором. Например, одна группа может быть старше другой. Есть статистические методы учета подобных эффектов, но они не всегда работают.
3. Сколько обследовано людей?
В исследовании должно быть достаточно участников. И то гарантии выявления истины нет. Возможны самые различные систематические ошибки. Люди с опухолью мозга завышают объем использования ими мобильного телефона в прошлом. Поэтому всегда надо задаваться вопросом: не может ли что-либо другое объяснить полученные результаты.
4. Каков источник сообщения? Можно ли верить написанному?
Публикации в рецензируемых журналах надежнее, но даже и они небезупречны. Так, медицинский журнал The Lancet опубликовал скомпрометированную позднее работу о связи вакцинирования с аутизмом.
5. Почему этот текст был опубликован?
Организации нуждаются в паблисити, а редактор выбирает сенсационно звучащую тему. И даже если важность заметки не преувеличена, пресса склонна упрощать детали. Если заметка так громко звучит, задумайтесь, точны ли содержащиеся в ней утверждения.
6. О чем мне не сказали?
Страшные истории рассказывают об уже случившихся несчастьях. Если все хорошо, газеты не будут об этом писать. Даже научные журналы склонны печатать будоражащие результаты и избегать работ, которые идут вразрез с общепринятыми «страшилками».
7. Применимо ли данное исследование ко мне?
Это может быть исследование первой ступени на крысах. Неясно, насколько оно применимо к людям. Если это исследование на людях, то похожи ли они на вас, например, по возрасту или условиям проживания? Может, речь о людях, подвергающихся сильным нетипичным воздействиям? Эти обстоятельства стоит принять во внимание.
8. Насколько высок указанный риск?
В заголовке может говориться об «увеличении риска», но следует иметь в виду, что даже удвоенная малая опасность остается небольшой. Гораздо проще судить о рисках, когда описаны последствия для 100 человек, похожих на вас.
9. Не перекрывают ли получаемые выгоды возможный риск?
Пример: 20%-ный рост риска рака кишечника от ежедневного поедания сэндвича с беконом увеличит совокупный риск с 5 к 100 до 6 к 100. Может, вы готовы рискнуть ради удовольствия? (Не подумайте, что мы рекомендуем обедать сэндвичами с беконом!)
10. Можно ли узнать больше?
Из сообщения в прессе нельзя получить ответы на все вопросы. Но детали можно найти в Интернете. Доступ к сообщению в научном журнале недешев, но его аннотация бесплатно лежит на вебсайтах вроде www.pubmed.gov, а полная версия обычно есть на сайте автора.
1. Одно исследование или несколько разных, давших похожие результаты?
Наука основана на сборе свидетельств, поэтому единичное исследование - это лишь один шаг вперед. Наиболее серьезные рекомендации содержатся в обзорах, охватывающих несколько исследований, особенно в обзорах экспертов.
2. Подкреплены ли утверждения экспериментами?
Мы можем быть уверены в том, что определенные вещи вызывают рак, только если были выполнены надлежащим образом поставленные лабораторные эксперименты, показывающие, как именно это происходит. Или же это должны быть рандомизированные испытания: скажем, влияние одного сэндвича с беконом в день на здоровье изучают путем случайного распределения людей на группы, в одной из которых едят бекон, а в другой не едят бекона, с последующим наблюдением за ними. Если испытания не рандомизированы, может обнаружиться различие в частоте возникновения рака между группами, вызванное каким-нибудь посторонним фактором. Например, одна группа может быть старше другой. Есть статистические методы учета подобных эффектов, но они не всегда работают.
3. Сколько обследовано людей?
В исследовании должно быть достаточно участников. И то гарантии выявления истины нет. Возможны самые различные систематические ошибки. Люди с опухолью мозга завышают объем использования ими мобильного телефона в прошлом. Поэтому всегда надо задаваться вопросом: не может ли что-либо другое объяснить полученные результаты.
4. Каков источник сообщения? Можно ли верить написанному?
Публикации в рецензируемых журналах надежнее, но даже и они небезупречны. Так, медицинский журнал The Lancet опубликовал скомпрометированную позднее работу о связи вакцинирования с аутизмом.
5. Почему этот текст был опубликован?
Организации нуждаются в паблисити, а редактор выбирает сенсационно звучащую тему. И даже если важность заметки не преувеличена, пресса склонна упрощать детали. Если заметка так громко звучит, задумайтесь, точны ли содержащиеся в ней утверждения.
6. О чем мне не сказали?
Страшные истории рассказывают об уже случившихся несчастьях. Если все хорошо, газеты не будут об этом писать. Даже научные журналы склонны печатать будоражащие результаты и избегать работ, которые идут вразрез с общепринятыми «страшилками».
7. Применимо ли данное исследование ко мне?
Это может быть исследование первой ступени на крысах. Неясно, насколько оно применимо к людям. Если это исследование на людях, то похожи ли они на вас, например, по возрасту или условиям проживания? Может, речь о людях, подвергающихся сильным нетипичным воздействиям? Эти обстоятельства стоит принять во внимание.
8. Насколько высок указанный риск?
В заголовке может говориться об «увеличении риска», но следует иметь в виду, что даже удвоенная малая опасность остается небольшой. Гораздо проще судить о рисках, когда описаны последствия для 100 человек, похожих на вас.
9. Не перекрывают ли получаемые выгоды возможный риск?
Пример: 20%-ный рост риска рака кишечника от ежедневного поедания сэндвича с беконом увеличит совокупный риск с 5 к 100 до 6 к 100. Может, вы готовы рискнуть ради удовольствия? (Не подумайте, что мы рекомендуем обедать сэндвичами с беконом!)
10. Можно ли узнать больше?
Из сообщения в прессе нельзя получить ответы на все вопросы. Но детали можно найти в Интернете. Доступ к сообщению в научном журнале недешев, но его аннотация бесплатно лежит на вебсайтах вроде www.pubmed.gov, а полная версия обычно есть на сайте автора.