Об тесты и статистики
Поспорил тут немного с vba_, и обнаружил, что он решил об этом написать отдельный пост. Беседа не была особенно примечательной, но, если он настаивает, можно немного по ней пройтись.
Беседа
Итак, она началась с его поста, где он сообщил, что "от вакцины" умереть невозможно, что не существует такой болезни "вакцина", а есть патологии, которые могли быть ею вызваны, а вот "распространители страшилок" этого не знают, и говорят. Словом, Глубокая Мысль™.
Я спросил его, как насчет рассказов про "смерти от оружия", или "смерти от курения", - к ним он тоже относится как к дурацким страшилкам, авторы которых просто не знают, что нельзя умереть "от оружия", а только, скажем, от обильного кровоизлияния? -- Я не ждал, что он опомнится, и скажет, мол, "ой, ужас, извините, я как-то совсем забыл, что "смерти от Х" это стандартная фраза, которая означает, что есть причинно-следственная связь между Х и смертностью". Я не ждал, что он скажет, мол, отойдите, не мешайте мне кружить головы юным студенткам, которые обмирают от такой моей образованности и начитанности, и моих Глубоких Мыслей!
Я не знаю, чего я ждал. Но менее всего я ждал, что он бросится в сечу, и подтвердит, что "смерти от курения" это страшилки.
Он бросился, и подтвердил, что медики никогда не распространяют такие страшилки! -- А как же вот на сайте CDC есть рассказы про "смерти от курения"? -- А это не медики, а статистики! -- Дальше было несколько итераций, где я спрашивал, хочет ли он подтвердить, что он считает, что информация на сайте CDC не медицинская, а "страшилки"? Или, если бывает и такая, и такая, то как отличить? Но он ушел от ответа.
При этом он всю дорогу изо всех сил старался поменять тему, и все время атаковал, и чего-то требовал. Сообщил, что я к медицине отношения не имею, и никто вот ему не может предъявить статистику, что смерти среди невакцинированных выше, чем среди вакцинированных, покажи, мол? -- Ок, говорю, такие развлечения как сбор статистик уже произошедших событий научными доказательствами не являются, но, если хотите, я могу Вам предложить тщательно поставленный эксперимент, который провели в Pfizer, когда тестировали вакцину, вот ссылка, а вот результаты, "adverse effects" и смертность, по двум группам - одна группа получила вакцину, одна получила плацебо, - хотите, глядя на результат, угадать, какая группа какая?
Он поглядел на результат, и немедленно понял, что угадывать не хочет.
Вместо этого он засуетился, что пора подводить итоги. Итоги он подводил, не поверите, сделав еще одно утверждение в пару к "нельзя умереть от вакцины", - он сообщил, "какая может быть статистика еще не произошедших событий"! -- Ну, если человек настаивает, я объяснил ему, что так принято проверять научные гипотезы - не собирая статистики на уже происшедших событиях, а проводя так называемый эксперимент, в процессе которого мы собираем статистику, которой до эксперимента нету, и сравниваем с предсказаниями. Признаюсь, всю дорогу немного сомневаясь, и предполагая, что он будет возмущен, мол, он зав кафедрой, не мальчишка, и без меня отлично знает, что такое эксперимент и чем он важен для науки, и он оговорился, а я домотался до ерунды.
Я не угадал. Не оговорился. По его мнению, сообщение, что кто-то может обсуждать будущую статистику, которую надо собрать на еще не проведенном эксперименте - это словоблудие какое-то! И, в ответ на мои объяснения, что подготовка к эксперименту означает продумывание методики, а это, в свою очередь означает продумывание того, какую надо собрать статистику, и какой она должна быть, чтобы опровергнуть то, что мы тестируем, - он гордо отчеканил, - "Результаты экспериментов, действительно, можно обсуждать до эксперимента, но статистика появляется только после эксперимента. Очевидно, вы не очень разбираетесь, в чем разница между результатами и статистикой, но я не буду вам ее объяснять." -- Я напомнил ему, что результаты эксперимента тоже появляются после эксперимента, и он эту тему тоже забросил.
Параллельно, он начал другую, - объяснил, что даже не смотрел на результаты теста Pfizer, поскольку видел много статей самых разных лабораторий, подтверждающих высокую эффективность, и не хочет тратить время на изучение "еще одной таблицы". -- Это не "еще одна", объясняю, это самая важная, это именно тот самый тест, главный, по всем правилам, на основании которого Pfizer нам объявил, что вакцина замечательна и безопасна. -- vba_ начал хлопать по столу дипломами. Сообщил, что он "в науке" уже полвека, и знает, что такое эксперимент, - сразу после того, как объявил, что его не интересует тщательно поставленный тест Pfizer, когда есть уже отчеты клиник, и лабораторий! -- Вы предпочитаете анекдотические сведения эксперименту? -- и вот тут он обиделся. Опять, за дипломы. Это, говорит, не анекдотические! Это в журналах высокого уровня! Это рецензируемые журналы!
Вы когда-нибудь объясняли человеку, который провел жизнь "в науке", чем отличается рандомизированный тест с double blind и всеми примочками по официальной методике, которую требует FDA - от сбора статистик на подмножестве клиник, которые решили описать свои результаты, собранные на подмножестве людей, которые пришли в клинику? Я попытался.
Послебеседие
Вернувшись к его посту, где он описал наш разговор, - во-первых, по старинной традиции тех, кто рассказывает, какой я дурак, он забыл дать ссылку.
Во-вторых, очень странное описание беседы, например - "мне было сказано, что сообщения этих журналов не больше и не меньше, чем «анекдотические данные»." - врет, конечно. Я сказал, что статистики некоторых госпиталей по результатам тех, кто туда пришел, - это анекдотические данные, а уж где они опубликованы, и какие звания носят те, кто рецензировал, мне все равно.
В-третих, он продолжает рассказывать, что, поскольку в госпиталях пытаются рандомизировать пациентов, и выделять контрольную группу, то только неграмотный человек может считать это анекдотическими данными! - и он бушует о том, как я ничего не понимаю, и малограмотен, и ученые сказали, а всякие неученые возражают, и так далее.
Со стороны может показаться, что он доказывает, что такой анализ в госпиталях лучше, чем вообще ничего. Если бы так, я бы согласился. Более того, я бы сказал, что он убедительно доказывает, почему, за неимением правильно поставленного теста, опираясь чисто на сведения из госпиталей, надо пробовать ивермектин и гидроксихлорохин. (И да, несмотря на то, что в некоторых госпиталях, где эти лекарства применяли совсем иначе, чем рекомендовано, их полезность была сомнительной, - но это другая беседа.)
Однако, это не то, что мы обсуждали. Этот защитник науки от мракобесия объявил, что такой анализ в госпиталях более ценен, чем полновесный, специально поставленный тест по всем правилам FDA, от которого он просто отмахнулся.
Это помимо того, что он сказал, что "смерти от курения" это страшилка, и медики так не говорят.
И помимо того, что он объяснил, что результаты эксперимента отличаются от статистики этих результатов тем, что статистика появляется только после эксперимента.
И помимо того, что старый ученый, полвека "в науке", горячий поборник вакцины Pfizer, явно понятия не имел, чем закончился тест этой вакцины в этом Pfizer.
Теперь вы можете понять, почему он так разбушевался.
Something completely different
Кто-то мне дал ссылку на текст avva, который привел графики смертности и госпитализации в Нью Йорке, где вакцинированные выглядят лучше тех, кто нет, и сообщил, что "Более ясную картину трудно себе представить."
Немедленно оказалось, что не так уж трудно, и он сам добавил, что рандомизация данных была бы полезна, и даже, что ситуация была бы более ясной, если бы были данные о разнице в поведении привитых и непривитых.
На этом он остановился, но мы продолжим, поскольку, что для avva трудно, то для нас пустяки. Мы легко можем себе представить гораздо более ясную картину.
Во-первых, нужен график всех смертей, а не исключительно от ковида, учитывая, что отнюдь не все среди нас привередничают в вопросе от какой именно болезни они не хотят помирать, а от какой болезни согласны. Включение всех смертей - это не просто "low hanging fruit", который легко сделает картину "более ясной", но это минимальное требование. Без этого никакой ясности нету вообще.
Во-вторых, значительную ясность добавит разбивка по возрастам.
В-третьих, поведение это не единственный фактор, который пропущен в этих графиках. У меня есть родственники, которые не привились по медицинским соображениям. По целому списку таких соображений.
Update: вот еще способы сделать все более ясным, и мне даже стыдно, что я сам сразу их не упомянул.
Наконец, помимо ясности, avva очень сильно ошибается, что проблема "антиваксеров" целиком в том, что до них не "доходит", что вероятность помереть можно уменьшить. Есть вполне очевидное альтернативное объяснение - у многих "антиваксеров" есть другие важные ценности, помимо возможности выжить. Причем avva должен это знать, для этого не обязательно самому иметь те же ценности, просто достаточно знать, что такое бывает. Есть люди, которым неприемлема идея, что правительство может распорядиться их телом. И, хотя число людей, которые в такой ситуации могут пойти на верную смерть, не очень велико, но есть довольно много тех, кто готов принять риск в доли процента.
Это копия записи https://arbat.dreamwidth.org/1105933.html.
Комментируйте, пожалуйста, там.
Беседа
Итак, она началась с его поста, где он сообщил, что "от вакцины" умереть невозможно, что не существует такой болезни "вакцина", а есть патологии, которые могли быть ею вызваны, а вот "распространители страшилок" этого не знают, и говорят. Словом, Глубокая Мысль™.
Я спросил его, как насчет рассказов про "смерти от оружия", или "смерти от курения", - к ним он тоже относится как к дурацким страшилкам, авторы которых просто не знают, что нельзя умереть "от оружия", а только, скажем, от обильного кровоизлияния? -- Я не ждал, что он опомнится, и скажет, мол, "ой, ужас, извините, я как-то совсем забыл, что "смерти от Х" это стандартная фраза, которая означает, что есть причинно-следственная связь между Х и смертностью". Я не ждал, что он скажет, мол, отойдите, не мешайте мне кружить головы юным студенткам, которые обмирают от такой моей образованности и начитанности, и моих Глубоких Мыслей!
Я не знаю, чего я ждал. Но менее всего я ждал, что он бросится в сечу, и подтвердит, что "смерти от курения" это страшилки.
Он бросился, и подтвердил, что медики никогда не распространяют такие страшилки! -- А как же вот на сайте CDC есть рассказы про "смерти от курения"? -- А это не медики, а статистики! -- Дальше было несколько итераций, где я спрашивал, хочет ли он подтвердить, что он считает, что информация на сайте CDC не медицинская, а "страшилки"? Или, если бывает и такая, и такая, то как отличить? Но он ушел от ответа.
При этом он всю дорогу изо всех сил старался поменять тему, и все время атаковал, и чего-то требовал. Сообщил, что я к медицине отношения не имею, и никто вот ему не может предъявить статистику, что смерти среди невакцинированных выше, чем среди вакцинированных, покажи, мол? -- Ок, говорю, такие развлечения как сбор статистик уже произошедших событий научными доказательствами не являются, но, если хотите, я могу Вам предложить тщательно поставленный эксперимент, который провели в Pfizer, когда тестировали вакцину, вот ссылка, а вот результаты, "adverse effects" и смертность, по двум группам - одна группа получила вакцину, одна получила плацебо, - хотите, глядя на результат, угадать, какая группа какая?
Он поглядел на результат, и немедленно понял, что угадывать не хочет.
Вместо этого он засуетился, что пора подводить итоги. Итоги он подводил, не поверите, сделав еще одно утверждение в пару к "нельзя умереть от вакцины", - он сообщил, "какая может быть статистика еще не произошедших событий"! -- Ну, если человек настаивает, я объяснил ему, что так принято проверять научные гипотезы - не собирая статистики на уже происшедших событиях, а проводя так называемый эксперимент, в процессе которого мы собираем статистику, которой до эксперимента нету, и сравниваем с предсказаниями. Признаюсь, всю дорогу немного сомневаясь, и предполагая, что он будет возмущен, мол, он зав кафедрой, не мальчишка, и без меня отлично знает, что такое эксперимент и чем он важен для науки, и он оговорился, а я домотался до ерунды.
Я не угадал. Не оговорился. По его мнению, сообщение, что кто-то может обсуждать будущую статистику, которую надо собрать на еще не проведенном эксперименте - это словоблудие какое-то! И, в ответ на мои объяснения, что подготовка к эксперименту означает продумывание методики, а это, в свою очередь означает продумывание того, какую надо собрать статистику, и какой она должна быть, чтобы опровергнуть то, что мы тестируем, - он гордо отчеканил, - "Результаты экспериментов, действительно, можно обсуждать до эксперимента, но статистика появляется только после эксперимента. Очевидно, вы не очень разбираетесь, в чем разница между результатами и статистикой, но я не буду вам ее объяснять." -- Я напомнил ему, что результаты эксперимента тоже появляются после эксперимента, и он эту тему тоже забросил.
Параллельно, он начал другую, - объяснил, что даже не смотрел на результаты теста Pfizer, поскольку видел много статей самых разных лабораторий, подтверждающих высокую эффективность, и не хочет тратить время на изучение "еще одной таблицы". -- Это не "еще одна", объясняю, это самая важная, это именно тот самый тест, главный, по всем правилам, на основании которого Pfizer нам объявил, что вакцина замечательна и безопасна. -- vba_ начал хлопать по столу дипломами. Сообщил, что он "в науке" уже полвека, и знает, что такое эксперимент, - сразу после того, как объявил, что его не интересует тщательно поставленный тест Pfizer, когда есть уже отчеты клиник, и лабораторий! -- Вы предпочитаете анекдотические сведения эксперименту? -- и вот тут он обиделся. Опять, за дипломы. Это, говорит, не анекдотические! Это в журналах высокого уровня! Это рецензируемые журналы!
Вы когда-нибудь объясняли человеку, который провел жизнь "в науке", чем отличается рандомизированный тест с double blind и всеми примочками по официальной методике, которую требует FDA - от сбора статистик на подмножестве клиник, которые решили описать свои результаты, собранные на подмножестве людей, которые пришли в клинику? Я попытался.
Послебеседие
Вернувшись к его посту, где он описал наш разговор, - во-первых, по старинной традиции тех, кто рассказывает, какой я дурак, он забыл дать ссылку.
Во-вторых, очень странное описание беседы, например - "мне было сказано, что сообщения этих журналов не больше и не меньше, чем «анекдотические данные»." - врет, конечно. Я сказал, что статистики некоторых госпиталей по результатам тех, кто туда пришел, - это анекдотические данные, а уж где они опубликованы, и какие звания носят те, кто рецензировал, мне все равно.
В-третих, он продолжает рассказывать, что, поскольку в госпиталях пытаются рандомизировать пациентов, и выделять контрольную группу, то только неграмотный человек может считать это анекдотическими данными! - и он бушует о том, как я ничего не понимаю, и малограмотен, и ученые сказали, а всякие неученые возражают, и так далее.
Со стороны может показаться, что он доказывает, что такой анализ в госпиталях лучше, чем вообще ничего. Если бы так, я бы согласился. Более того, я бы сказал, что он убедительно доказывает, почему, за неимением правильно поставленного теста, опираясь чисто на сведения из госпиталей, надо пробовать ивермектин и гидроксихлорохин. (И да, несмотря на то, что в некоторых госпиталях, где эти лекарства применяли совсем иначе, чем рекомендовано, их полезность была сомнительной, - но это другая беседа.)
Однако, это не то, что мы обсуждали. Этот защитник науки от мракобесия объявил, что такой анализ в госпиталях более ценен, чем полновесный, специально поставленный тест по всем правилам FDA, от которого он просто отмахнулся.
Это помимо того, что он сказал, что "смерти от курения" это страшилка, и медики так не говорят.
И помимо того, что он объяснил, что результаты эксперимента отличаются от статистики этих результатов тем, что статистика появляется только после эксперимента.
И помимо того, что старый ученый, полвека "в науке", горячий поборник вакцины Pfizer, явно понятия не имел, чем закончился тест этой вакцины в этом Pfizer.
Теперь вы можете понять, почему он так разбушевался.
Something completely different
Кто-то мне дал ссылку на текст avva, который привел графики смертности и госпитализации в Нью Йорке, где вакцинированные выглядят лучше тех, кто нет, и сообщил, что "Более ясную картину трудно себе представить."
Немедленно оказалось, что не так уж трудно, и он сам добавил, что рандомизация данных была бы полезна, и даже, что ситуация была бы более ясной, если бы были данные о разнице в поведении привитых и непривитых.
На этом он остановился, но мы продолжим, поскольку, что для avva трудно, то для нас пустяки. Мы легко можем себе представить гораздо более ясную картину.
Во-первых, нужен график всех смертей, а не исключительно от ковида, учитывая, что отнюдь не все среди нас привередничают в вопросе от какой именно болезни они не хотят помирать, а от какой болезни согласны. Включение всех смертей - это не просто "low hanging fruit", который легко сделает картину "более ясной", но это минимальное требование. Без этого никакой ясности нету вообще.
Во-вторых, значительную ясность добавит разбивка по возрастам.
В-третьих, поведение это не единственный фактор, который пропущен в этих графиках. У меня есть родственники, которые не привились по медицинским соображениям. По целому списку таких соображений.
Update: вот еще способы сделать все более ясным, и мне даже стыдно, что я сам сразу их не упомянул.
Наконец, помимо ясности, avva очень сильно ошибается, что проблема "антиваксеров" целиком в том, что до них не "доходит", что вероятность помереть можно уменьшить. Есть вполне очевидное альтернативное объяснение - у многих "антиваксеров" есть другие важные ценности, помимо возможности выжить. Причем avva должен это знать, для этого не обязательно самому иметь те же ценности, просто достаточно знать, что такое бывает. Есть люди, которым неприемлема идея, что правительство может распорядиться их телом. И, хотя число людей, которые в такой ситуации могут пойти на верную смерть, не очень велико, но есть довольно много тех, кто готов принять риск в доли процента.
Это копия записи https://arbat.dreamwidth.org/1105933.html.
Комментируйте, пожалуйста, там.