Цифры врут. Как не дать статистике обмануть себя
Рекламирую книжку.
Том Чиверс, Дэвид Чиверс. Цифры врут. Как не дать статистике обмануть себя
Частью - те же примеры, что есть у Элленберга, Сильвера, Канимана, Левитина и Голдакра. Есть и другие.
Впрочем, у меня на «лапше» - тоже неплохие примеры. Жаль, что их не читают перечисленные авторы, а то - меньше переписывали БЫ друг у друга.
Один из авторов - «британский ученый», другой - научный журналист. (Видимо - двоюродные братья).
Для тех, кто не знает, что такое мат,ожидание, медиана, сигма и доверительный интервал, - есть объяснения.
Вот этот пример - я кажется, еще не видела.
Выпив кока-колы, вы рветесь в драку? А глотнув ледяной фанты, испытываете неконтролируемое желание долбануть кого-нибудь бутылкой?
Судя по новостным публикациям 2011 года, у некоторых такое бывает. Ох уж эта молодежь! «Газированные напитки делают подростков агрессивными», - объявила The Daily Telegraph. «Газированные напитки делают подростков агрессивнее, выяснили ученые», - вторит ей The Times.
В основе этих утверждений - исследование, вышедшее в журнале Injury Prevention. Было обнаружено, что подростки, пьющие более пяти банок газировки в неделю, с гораздо большей (на 10 %) вероятностью носят с собой оружие и проявляют агрессию по отношению к сверстникам, родственникам и возлюбленным.
Приглядимся к формулировкам. В публикации Injury Prevention утверждается, что потребители кока-колы с большей вероятностью агрессивны. В газетах же пишут, что газированные напитки делают подростков агрессивнее.
Здесь важно это различие. В исследовании обнаружили корреляцию - о ней мы говорили в предыдущих главах: вместе с одной переменной росла и другая. Но мы уже знаем: это не означает, что рост одной вызывает рост другой. Как увеличение объемов углекислого газа в атмосфере не приводит к ожирению населения, а продажа мороженого никак не сказывается на количестве смертей на воде.
Газеты же отмечают причинно-следственную связь. Газировка «делает подростков агрессивными», то есть вызывает вспышки ярости; из этого логически следует, что если запретить продажу таких напитков, то насилие прекратится.
Еще один хороший вопрос:
Что такое большое число? Так вопрос вообще не стоит. Величина числа зависит исключительно от контекста. Сто человек у вас в гостях - целая толпа, но сто звезд в галактике - ничтожная горстка. Два волоса на голове - это мало, но две Нобелевские премии у одного человека - это впечатляюще, не говоря уж о двух огнестрельных ранениях в живот.
В новостях же число одиноко, поэтому трудно понять, большое оно или нет. Важен его знаменатель - он отражает контекст.
Знаменатель - это число, которое стоит под чертой дроби: 4 в ¾ или 8 в ⅝. (Над чертой - числитель.) Вы могли не вспоминать об этом термине со времен школы, но для оценки цифр в новостях он крайне важен. Чтобы определить, является ли число большим, нужно прежде всего выбрать подходящий знаменатель.
Рассмотрим такой пример. На улицах Лондона в период с 1993 по 2017 год погиб 361 велосипедист. Это большое число? Оно кажется довольно большим. Но какой же тут знаменатель? За 25 лет в общей сложности 361 поездка на велосипеде закончилась катастрофой. А сколько всего было поездок? Если знать нижнюю часть дроби, легче оценить реальную опасность каждой поездки.
Вам редко сообщают эту информацию, видимо, из расчета, что вы ее знаете. Попробуйте угадать, сколько в среднем велосипедных поездок ежедневно совершалось в Лондоне в 1993-2017 годах.
Предположим, 4000. Тогда за указанный период их было 36,5 млн - значит, на каждую из 100 000 поездок приходилась 1 смерть.
Предположим, их было 40 000. Это означает 1 смерть на 1 млн поездок.
Предположим, на самом деле их было 400 000. Это - 1 смерть на 10 млн поездок.
Какое из предположений верно? Если вы этого не знаете, то просто не представляете, какой риск грозит велосипедисту на улицах Лондона. Вы не знаете, насколько велико это число: лишенное контекста, оно осиротело. Вот почему так важно знать знаменатель.
Как-то я спорила у Розова на тему огромных затрат налогового ведомства США на сбор налогов. Была приведена цифра в миллиарды долларов.
Но когда я поделила на весь бюджет - получилось процента 3. Вполне разумная цифра. Тем более - в стране, где каждый подает индивидуальную налоговую декларацию, а не бухгалтер автоматически снимает с зарплаты наемных работников. Наверняка, в частном секторе тратят не меньше на защиту от краж.
Конечно же - есть теорема Байеса, «множественные сравнения», «искажающий фактор».
закон Гудхарта, названный в честь бывшего экономического советника Банка Англии Чарльза Гудхарта: «Как только экономический показатель становится целевой функцией, он перестает работать». Формулировка может показаться абстрактной, но сам закон имеет серьезные последствия, и, разобравшись в нем, вы станете замечать примеры его действия повсюду. Он означает, что, какие бы параметры ни применялись для оценки деятельности в той или иной сфере, всегда найдется способ уйти из-под контроля.
Классический пример - образование. Представим, что некоторые ученики из некоторых школ достигают в жизни больших успехов, чем ученики других школ; они чаще поступают в университеты, чаще находят работу и вообще процветают и становятся высокообразованными гражданами. Вы присматриваетесь и замечаете, что ученики процветающих школ получают более высокий процент оценок от C до A* на экзамене GCSE (или еще каком-нибудь), чем остальные.[34][35]
Прекрасно, думаете вы. Вот показатель, по которому можно оценивать работу школ. Вы начинаете ранжировать их по проценту учеников, которые получают эти более высокие оценки. Школы с более высоким процентом будут награждаться; к школам с более низким процентом будут применяться специальные меры - увольнение директоров или другие наказания.
Вскоре вы видите, что школы массово повысили долю оценок от C до A*. И это хорошо! Но еще вы замечаете, что выпускники этих школ - несмотря на свои блестящие аттестаты - не кажутся такими высокообразованными гражданами, какими вы надеялись их увидеть.
Нетрудно догадаться, что произошло. Директора и органы управления образованием надавили на учителей, требуя увеличения процента высоких оценок. Несомненно, большинство педагогов искренне пытались подтягивать отстающих, но поняли, что невыполнение целевых показателей плохо скажется на их карьерном росте.
Тогда некоторые учителя постарались найти самый быстрый и простой способ достижения необходимых значений. А самый быстрый и простой способ - это не всесторонне развивать учеников в духе Аристотеля, обеспечивая здоровый дух в здоровом теле, поощряя любознательность и опираясь на сильные стороны каждого. Самый быстрый и простой способ - дать ученикам сотни примеров из экзаменов прошлых лет и объяснить, к чему готовиться. Самый быстрый и простой способ - обмануть систему.
В СССРе всё было проще: 3 пишем, 2 в уме.
Американцы (со времен «фрикономики») - уже додумались до независимых экзаменов. Но «натаскивание» на конкретные задачки - никто не отменил. В Израиле тоже это делают всякие «курсы по подготовке к психотесту».
Как отмечала исследовательница в сфере образования Дейзи Христодулу, в 2013 году, когда в Великобритании количество оценок от C до A* стало целевым показателем, учителя стали хитрить, уделяя особое внимание ученикам с оценками между С и D, - ведь именно с их помощью можно было сильнее всего повысить показатели.
В Орегоне рейтинги медучреждений учитывают среди прочего внутрибольничную смертность, то есть процент умерших среди госпитализированных. Но в 2017-м врачи пожаловались, что больничная администрация отказывается принимать некоторых тяжелобольных из опасения, что они умрут и тем самым испортят статистику. В 2006-м американская система Medicare начала проводить программу снижения повторной госпитализации, подсчитывая, сколько больных с сердечной недостаточностью были снова госпитализированы в течение 30 дней после выписки. Проведенное в 2018 году исследование показало, что на самом деле эта программа привела к повышению смертности, поскольку больницы, по-видимому, откладывали госпитализацию на 31-й день, стараясь не испортить свою статистику
Последняя глава «Заключение и руководство по статистике» - это советы журналистам.
Советы - дельные.
Ага, так журналисты и станут слушать !
Им подавай - «жареное».
Том Чиверс, Дэвид Чиверс. Цифры врут. Как не дать статистике обмануть себя
Частью - те же примеры, что есть у Элленберга, Сильвера, Канимана, Левитина и Голдакра. Есть и другие.
Впрочем, у меня на «лапше» - тоже неплохие примеры. Жаль, что их не читают перечисленные авторы, а то - меньше переписывали БЫ друг у друга.
Один из авторов - «британский ученый», другой - научный журналист. (Видимо - двоюродные братья).
Для тех, кто не знает, что такое мат,ожидание, медиана, сигма и доверительный интервал, - есть объяснения.
Вот этот пример - я кажется, еще не видела.
Выпив кока-колы, вы рветесь в драку? А глотнув ледяной фанты, испытываете неконтролируемое желание долбануть кого-нибудь бутылкой?
Судя по новостным публикациям 2011 года, у некоторых такое бывает. Ох уж эта молодежь! «Газированные напитки делают подростков агрессивными», - объявила The Daily Telegraph. «Газированные напитки делают подростков агрессивнее, выяснили ученые», - вторит ей The Times.
В основе этих утверждений - исследование, вышедшее в журнале Injury Prevention. Было обнаружено, что подростки, пьющие более пяти банок газировки в неделю, с гораздо большей (на 10 %) вероятностью носят с собой оружие и проявляют агрессию по отношению к сверстникам, родственникам и возлюбленным.
Приглядимся к формулировкам. В публикации Injury Prevention утверждается, что потребители кока-колы с большей вероятностью агрессивны. В газетах же пишут, что газированные напитки делают подростков агрессивнее.
Здесь важно это различие. В исследовании обнаружили корреляцию - о ней мы говорили в предыдущих главах: вместе с одной переменной росла и другая. Но мы уже знаем: это не означает, что рост одной вызывает рост другой. Как увеличение объемов углекислого газа в атмосфере не приводит к ожирению населения, а продажа мороженого никак не сказывается на количестве смертей на воде.
Газеты же отмечают причинно-следственную связь. Газировка «делает подростков агрессивными», то есть вызывает вспышки ярости; из этого логически следует, что если запретить продажу таких напитков, то насилие прекратится.
Еще один хороший вопрос:
Что такое большое число? Так вопрос вообще не стоит. Величина числа зависит исключительно от контекста. Сто человек у вас в гостях - целая толпа, но сто звезд в галактике - ничтожная горстка. Два волоса на голове - это мало, но две Нобелевские премии у одного человека - это впечатляюще, не говоря уж о двух огнестрельных ранениях в живот.
В новостях же число одиноко, поэтому трудно понять, большое оно или нет. Важен его знаменатель - он отражает контекст.
Знаменатель - это число, которое стоит под чертой дроби: 4 в ¾ или 8 в ⅝. (Над чертой - числитель.) Вы могли не вспоминать об этом термине со времен школы, но для оценки цифр в новостях он крайне важен. Чтобы определить, является ли число большим, нужно прежде всего выбрать подходящий знаменатель.
Рассмотрим такой пример. На улицах Лондона в период с 1993 по 2017 год погиб 361 велосипедист. Это большое число? Оно кажется довольно большим. Но какой же тут знаменатель? За 25 лет в общей сложности 361 поездка на велосипеде закончилась катастрофой. А сколько всего было поездок? Если знать нижнюю часть дроби, легче оценить реальную опасность каждой поездки.
Вам редко сообщают эту информацию, видимо, из расчета, что вы ее знаете. Попробуйте угадать, сколько в среднем велосипедных поездок ежедневно совершалось в Лондоне в 1993-2017 годах.
Предположим, 4000. Тогда за указанный период их было 36,5 млн - значит, на каждую из 100 000 поездок приходилась 1 смерть.
Предположим, их было 40 000. Это означает 1 смерть на 1 млн поездок.
Предположим, на самом деле их было 400 000. Это - 1 смерть на 10 млн поездок.
Какое из предположений верно? Если вы этого не знаете, то просто не представляете, какой риск грозит велосипедисту на улицах Лондона. Вы не знаете, насколько велико это число: лишенное контекста, оно осиротело. Вот почему так важно знать знаменатель.
Как-то я спорила у Розова на тему огромных затрат налогового ведомства США на сбор налогов. Была приведена цифра в миллиарды долларов.
Но когда я поделила на весь бюджет - получилось процента 3. Вполне разумная цифра. Тем более - в стране, где каждый подает индивидуальную налоговую декларацию, а не бухгалтер автоматически снимает с зарплаты наемных работников. Наверняка, в частном секторе тратят не меньше на защиту от краж.
Конечно же - есть теорема Байеса, «множественные сравнения», «искажающий фактор».
закон Гудхарта, названный в честь бывшего экономического советника Банка Англии Чарльза Гудхарта: «Как только экономический показатель становится целевой функцией, он перестает работать». Формулировка может показаться абстрактной, но сам закон имеет серьезные последствия, и, разобравшись в нем, вы станете замечать примеры его действия повсюду. Он означает, что, какие бы параметры ни применялись для оценки деятельности в той или иной сфере, всегда найдется способ уйти из-под контроля.
Классический пример - образование. Представим, что некоторые ученики из некоторых школ достигают в жизни больших успехов, чем ученики других школ; они чаще поступают в университеты, чаще находят работу и вообще процветают и становятся высокообразованными гражданами. Вы присматриваетесь и замечаете, что ученики процветающих школ получают более высокий процент оценок от C до A* на экзамене GCSE (или еще каком-нибудь), чем остальные.[34][35]
Прекрасно, думаете вы. Вот показатель, по которому можно оценивать работу школ. Вы начинаете ранжировать их по проценту учеников, которые получают эти более высокие оценки. Школы с более высоким процентом будут награждаться; к школам с более низким процентом будут применяться специальные меры - увольнение директоров или другие наказания.
Вскоре вы видите, что школы массово повысили долю оценок от C до A*. И это хорошо! Но еще вы замечаете, что выпускники этих школ - несмотря на свои блестящие аттестаты - не кажутся такими высокообразованными гражданами, какими вы надеялись их увидеть.
Нетрудно догадаться, что произошло. Директора и органы управления образованием надавили на учителей, требуя увеличения процента высоких оценок. Несомненно, большинство педагогов искренне пытались подтягивать отстающих, но поняли, что невыполнение целевых показателей плохо скажется на их карьерном росте.
Тогда некоторые учителя постарались найти самый быстрый и простой способ достижения необходимых значений. А самый быстрый и простой способ - это не всесторонне развивать учеников в духе Аристотеля, обеспечивая здоровый дух в здоровом теле, поощряя любознательность и опираясь на сильные стороны каждого. Самый быстрый и простой способ - дать ученикам сотни примеров из экзаменов прошлых лет и объяснить, к чему готовиться. Самый быстрый и простой способ - обмануть систему.
В СССРе всё было проще: 3 пишем, 2 в уме.
Американцы (со времен «фрикономики») - уже додумались до независимых экзаменов. Но «натаскивание» на конкретные задачки - никто не отменил. В Израиле тоже это делают всякие «курсы по подготовке к психотесту».
Как отмечала исследовательница в сфере образования Дейзи Христодулу, в 2013 году, когда в Великобритании количество оценок от C до A* стало целевым показателем, учителя стали хитрить, уделяя особое внимание ученикам с оценками между С и D, - ведь именно с их помощью можно было сильнее всего повысить показатели.
В Орегоне рейтинги медучреждений учитывают среди прочего внутрибольничную смертность, то есть процент умерших среди госпитализированных. Но в 2017-м врачи пожаловались, что больничная администрация отказывается принимать некоторых тяжелобольных из опасения, что они умрут и тем самым испортят статистику. В 2006-м американская система Medicare начала проводить программу снижения повторной госпитализации, подсчитывая, сколько больных с сердечной недостаточностью были снова госпитализированы в течение 30 дней после выписки. Проведенное в 2018 году исследование показало, что на самом деле эта программа привела к повышению смертности, поскольку больницы, по-видимому, откладывали госпитализацию на 31-й день, стараясь не испортить свою статистику
Последняя глава «Заключение и руководство по статистике» - это советы журналистам.
Советы - дельные.
Ага, так журналисты и станут слушать !
Им подавай - «жареное».