о грамотном отношении к статистике
Вот например такое выступление на Твиттере (перевод ниже):
"Примерно две трети людей, погибших в автокатастрофах в Британии, были пристегнуты, несмотря на то, что вообще-то ремнями безопасности пользуются почти 99%.
Это не значит, что ремни безопасности не работают.
Можно вот как это объяснить.
Один процент не-пристегивающихся отвечает за непропорционально огромные 33% жертв.
#ремниработают"
Это написал некий английский биолог-математик и автор популярных книг о математике.
Если вы подумали, что это не совсем о ремнях безопасности, то вы конечно правы. Это аналогия, которая должна объяснить, почему вакцины от ковид-19 работают, несмотря на то, что вакцинированные тоже заболевают и умирают. Если большинство населения (а среди группы риска - подавляющее большинство населения) привиты, и есть смерти в том числе среди привитых, но их процент намного меньше, чем процент привитых - это как 66% смертей пристегнуты, хотя 99% пристегиваются. В Англии сейчас действительно вроде выглядит так, и во многих местах в Америке (а вот в Израиле данные в последние месяц-полтора далеко не так однозначны, но не будем сейчас об этом, сложный вопрос).
Так вот что я хочу сказать. Когда я читаю этот твит, процитированный выше -- я не знаю, что вы думаете, когда его читаете, но могу сказать, что думаю я -- моя первая и немедленная мысль это "но как насчет искажающих факторов"? Под этим я имею в виду ту простую, казалось бы, мысль, что мы не знаем, насколько презрение к ремням коррелирует с склонностью к авариям, и насколько этот искажающий фактор влияет на статистику. Если предположить, что пристегивающиеся водители едут очень осторожно, а непристегивающиеся наоборот потрясающе безобразно, то вполне можно получить такие проценты, даже если ремни вообще ничего не делают. Мы не можем судить о том, что "#ремниработают" на основании этих цифр. Я не говорю, что они не работают - есть другие аргументы, например крэш-тесты с манекенами итд. Я понимаю, что запустить слепой рандомизированный эксперимент с ремнями на живых людях не очень практичная идея, но тем не менее манекены помогают нам это изучать. Но сказать "1% непристегнутых отвечают за 33% жертв и это показывает, что ремни работают", это элементарная неграмотность в работе с данными.
Это все должны понимать. Это должно быть первым, о чем образованный человек, стремящийся понять мир, думает, когда читает этот твит. Вместо этого ни автору (математику, биологу, популяризатору), ни десяткам комментаторов (кроме одного - я промотал реально все ответы, чтобы проверить) это вообще не пришло в голову, по-видимому.
Это меня огорчает.
P.S. В применении к вакцинам - основой нашей уверенности в том, что вакцины работают, должны быть рандомизированные испытания (RCT), в которых их проверяли, и которые снимают (почти) все вопросы про искажающие факторы. Без этого одни только проценты того, сколько вакцинированных среди умерших в сравнении с долей в населении - все равно подлежит тем же сомнениям, что и в случае с ремнями: есть ли связь между отказом от вакцины и более рискованным поведением? есть ли связь между отказом от вакцины и состоянием здоровья, которое коррелирует с плохим прогнозом тяжелого ковид-19? Итд. итп. Опыт учит нас тому, что если есть шанс на то, чтобы искажающие факторы дали нам ложную картину мира, в какой-то степени они это неизбежно делают, и в какой - очень трудно оценить априори, и даже экспертные оценки часто оказываются неверными.
"Примерно две трети людей, погибших в автокатастрофах в Британии, были пристегнуты, несмотря на то, что вообще-то ремнями безопасности пользуются почти 99%.
Это не значит, что ремни безопасности не работают.
Можно вот как это объяснить.
Один процент не-пристегивающихся отвечает за непропорционально огромные 33% жертв.
#ремниработают"
Это написал некий английский биолог-математик и автор популярных книг о математике.
Если вы подумали, что это не совсем о ремнях безопасности, то вы конечно правы. Это аналогия, которая должна объяснить, почему вакцины от ковид-19 работают, несмотря на то, что вакцинированные тоже заболевают и умирают. Если большинство населения (а среди группы риска - подавляющее большинство населения) привиты, и есть смерти в том числе среди привитых, но их процент намного меньше, чем процент привитых - это как 66% смертей пристегнуты, хотя 99% пристегиваются. В Англии сейчас действительно вроде выглядит так, и во многих местах в Америке (а вот в Израиле данные в последние месяц-полтора далеко не так однозначны, но не будем сейчас об этом, сложный вопрос).
Так вот что я хочу сказать. Когда я читаю этот твит, процитированный выше -- я не знаю, что вы думаете, когда его читаете, но могу сказать, что думаю я -- моя первая и немедленная мысль это "но как насчет искажающих факторов"? Под этим я имею в виду ту простую, казалось бы, мысль, что мы не знаем, насколько презрение к ремням коррелирует с склонностью к авариям, и насколько этот искажающий фактор влияет на статистику. Если предположить, что пристегивающиеся водители едут очень осторожно, а непристегивающиеся наоборот потрясающе безобразно, то вполне можно получить такие проценты, даже если ремни вообще ничего не делают. Мы не можем судить о том, что "#ремниработают" на основании этих цифр. Я не говорю, что они не работают - есть другие аргументы, например крэш-тесты с манекенами итд. Я понимаю, что запустить слепой рандомизированный эксперимент с ремнями на живых людях не очень практичная идея, но тем не менее манекены помогают нам это изучать. Но сказать "1% непристегнутых отвечают за 33% жертв и это показывает, что ремни работают", это элементарная неграмотность в работе с данными.
Это все должны понимать. Это должно быть первым, о чем образованный человек, стремящийся понять мир, думает, когда читает этот твит. Вместо этого ни автору (математику, биологу, популяризатору), ни десяткам комментаторов (кроме одного - я промотал реально все ответы, чтобы проверить) это вообще не пришло в голову, по-видимому.
Это меня огорчает.
P.S. В применении к вакцинам - основой нашей уверенности в том, что вакцины работают, должны быть рандомизированные испытания (RCT), в которых их проверяли, и которые снимают (почти) все вопросы про искажающие факторы. Без этого одни только проценты того, сколько вакцинированных среди умерших в сравнении с долей в населении - все равно подлежит тем же сомнениям, что и в случае с ремнями: есть ли связь между отказом от вакцины и более рискованным поведением? есть ли связь между отказом от вакцины и состоянием здоровья, которое коррелирует с плохим прогнозом тяжелого ковид-19? Итд. итп. Опыт учит нас тому, что если есть шанс на то, чтобы искажающие факторы дали нам ложную картину мира, в какой-то степени они это неизбежно делают, и в какой - очень трудно оценить априори, и даже экспертные оценки часто оказываются неверными.