Всё понятно - это жулики
Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке
Уже несколько раз встретила на френд-ленте.
Весьма достойная книжка. Как продолжение Левитина и Голдакра.
И известной статьи "Естественный отбор плохой науки", которую я почему-то сейчас не могу найти на русском.
"В Гугле забанили" что ли ?
Однако Яндекс помог.
Нашел мою заметку на одном форуме и через нее - статью.
Полезно, однако, раскидывать ссылки...
Ну, я давно интересуюсь "защитой ушей от лапши". Мои "конспекты книжек" на эту тему не поместились в список "похожих записей".
Добавляю:
Цифры врут. Как не дать статистике обмануть себя
Том Николс Смерть экспертизы
Автор - психолог.
Начинает со скандалов в своей сфере.
Оказывается, прайминг-фрейминг уже опровергнут.
Это, когда человеку дают прочесть слова, связанные со стариками, а потом он медленнее идет по коридору из кабинета.
Когда поставили измерять время - ассистента, которому не сказали, какой испытуемый какие слова читал, эффект исчез.
Впрочем - фиг его знает.
"Подопытные кролики" - в основном, студенты психологического факультета.
Эффект широко известный. Могли и догадаться, к чему клонит экспериментатор.
Автор сильно ругает Зимбардо.
Это тоже уже стало популярно. Мильграма упоминает вскользь, но с ним тоже не всё гладко.
Опровергнуто исследование, когда воробьям пририсовывали пятно - и они от этого становились альфа-самцами.
Тут уж не свалишь на то, что подопытные - читают книжку и разгадали задумку экспериментатора.
Скандалы, о которых я не слышала.
Имена чемпионов по отозванным статьям.
Дана Ариэли и Фраечечки Джино - еще нет.
В общем, вылетели в трубу эксперименты, входившие в учебники психологии и растиражированные в научпопе.
На следующем (и более важном) месте - конечно, медицина.
Кстати - в ней наметился прогресс по очистке исследований.
В том направлении, о котором мечтал Голдакр: исследования должны регистрироваться "до начала".
Хотя бы - медицинские, потому что на кону - жизнь и здоровье людей.
Глава 8. Исцеление науки
Предварительная регистрация обязательна для финансируемых правительством США клинических испытаний с 2000 года, а также это непременное условие для публикации в большинстве медицинских журналов с 2005-го...
Исследование крупномасштабных испытаний, посвященных средствам профилактики и лечения сердечно-сосудистых заболеваний, результаты которого показаны на рисунке 5, ярко иллюстрирует влияние предварительной регистрации[725]. До того, как регистрация стала обязательной, в журналах сообщалось о впечатляющем количестве положительных результатов, изображенных белыми точками в нижней половине графика (то есть указывающих на сниженный риск изучавшихся исходов, связанных с сердечно-сосудистыми заболеваниями), а также о случайных отрицательных. Но посмотрите, что произошло после 2000 года, когда ввели обязательную предварительную регистрацию. Внезапно положительных результатов стало только два, а остальные исследования дали отрицательные результаты, группирующиеся вокруг нулевого эффекта (он соответствует единице по вертикальной оси “относительного риска”). Успешность испытаний до введения обязательной предварительной регистрации составляла 57 %, а после - рухнула до 8 %. Повторюсь: до введения регистрации испытания казались чрезвычайно успешными, свидетельствующими о множестве вроде бы эффективных средств от сердечно-сосудистых заболеваний, после же правда вышла наружу: лекарства и пищевые добавки, проверяемые в этих исследованиях, и близко не такие полезные, как нас уверяли.
Там две картинки:
На первой - как "отсеиваются" отрицательные результаты еще до написания статей, потому что журналы не хотят публиковать.
На второй - сравнение ситуаций до 2000/после 2000 года, когда ввели обязательную предварительную регистрацию.
Значит могут, если хотят.
"Кто хочет делать - ищет способы.
Кто не хочет делать - ищет причины".
Нет, автор не пессимист и не предлагает "приравнять науку к религии".
Способы борьбы с жульничеством - есть.
Это не "панацея", не "серебряная пуля".
Но это - как определенные правила торговли:
весы должны стоять "показометром" к покупателю".
На товарах должны быть ценники.
На фасованных товарах должен быть указан вес. Итд, итп.
Насчет физики-химии.
Несомненно, ситуация там гораздо лучше.
Примеров нашлось очень немного.
Оказывается был какой-то хайп вокруг транзистора на одном атоме углерода.
А я и не слышала.
Сейчас сделала поиск - много более свежих статей, чем эта книга.
Чем черт не шутит. Вдруг получится ?
Может автор поторопился "закрыть открытие" ?
Есть примеры, как можно проверять данные при помощи мат.статистики.
Примерно как с подтасовкой выборов.
Есть способы обработки массива данных по участкам, выявляющие мухлежку в протоколах.
К сожалению, раскрытие этих методов поможет будущим жуликам делать таблицы более правдоподобными.
Нынче у всех есть компьютер, и некоторые даже умеют пользоваться Экселем.
Кстати, о диетологии.
Которая успешно конкурирует с астрологией по уровню достоверности. Особенно на страницах сайта "Курсор-инфо".
Возьмем, к примеру, идею о том, что мы должны есть меньше насыщенных жиров и больше ненасыщенных, - краеугольный камень советов нутрициологов, повторяемый в бесчисленных рекомендациях по правильному питанию[578]. Однако же это не подтвердилось в метаанализе 2017 года, где сравнивались насыщенные жирные кислоты и полиненасыщенные по их связи с сердечно-сосудистыми заболеваниями и смертью
Уже и это опровергли ?!
В отличие от психологии - в диетологии вполне можно проводить контролируемые эксперименты на крысах. Или на свиньях, если "комитет по этике" жалеет крыс.
Вместо этого - всякие корреляционные исследования, основанные на опросах.
В качестве положительного примера приводится "открытие" сверхсветовых скоростей нейтрино.
Физики гораздо более осторожны в выражениях при получении сногсшибательных результатов.
Несмотря на лихорадочную перепроверку своих расчетов и оборудования, физики, работавшие в проекте OPERA, так и не сумели обнаружить никаких ошибок. Результат со сверхсветовыми нейтрино казался реальным. Поскольку уже начали расползаться слухи, ученые решили сообщить об этом открытии миру. Они опубликовали препринт, в котором описали результат, а затем выпустили пресс-релиз. Тут они могли бы воспользоваться стратегией НАСА с “мышьяковой жизнью” и живописать, как непостижимые новые результаты перевернули наше фундаментальное понимание Вселенной. Вместо этого они проявили осторожность. Никакого раздувания или подачи под нужным углом. Напротив, в их заявлении прямо подчеркивалась неопределенность: “Учитывая потенциальные далеко идущие последствия подобного результата, необходимы независимые измерения, прежде чем эффект можно будет либо опровергнуть, либо твердо установить. Вот почему сотрудничество OPERA решило обнародовать этот результат для более широкого и тщательного изучения”.
В сопроводительных заявлениях исследователи из проекта OPERA выражали растерянность, называя результаты “полной неожиданностью” и “очевидно невероятными”. Затем они ждали, как средства массовой информации отнесутся к этой новости. Хотя всплыло несколько неудачных заголовков (“Ученые из ЦЕРН «обошли скорость света»”, - сообщала газета Daily Telegraph; “Могут ли путешествия во времени стать реальностью?” - вопрошали в программе “Доброе утро, Америка” на канале ABC News), скептицизм все же сумел пробиться наружу[606]. В большинстве новостных статей приводились цитаты исследователей, говоривших о том, что результаты поистине странные, специальную теорию относительности еще никому не удавалось опровергнуть, требуется проверка в других экспериментах и так далее.
А потом они, конечно же, обнаружили ошибку. Плохо подсоединенный волоконно-оптический кабель приводил к тому, что время движения нейтрино занижалось. Когда кабель подключили правильно, время тут же стало соответствовать теории Эйнштейна. Второй эксперимент, где делались другие измерения, подтвердил: нейтрино не превышают скорость света. Увы, то был не конец: вся эта история стала позором для многих физиков из команды, некоторые из них казнились, что вообще не стоило писать о результатах исследования. Несмотря на осторожность, с которой они отнеслись к освещению открытия в средствах массовой информации (и несмотря на то, что сотрудничество проголосовало за обнародование результатов), руководитель проекта и другое ответственное лицо незначительно проиграли в голосовании по вотуму недоверия и вскоре ушли в отставку.
Жаль, что им пришлось уйти в отставку, поскольку сотрудничество OPERA обращалось с неожиданным результатом почти образцово. Физики привлекли внимание к странному открытию, требующему проверки, избегая при этом шумихи и делая все необходимые оговорки, - тем самым преподав миру ценный урок научной неопределенности. За первоначальным шквалом новостных сообщений в дальнейшем последовало освещение развязки той истории[610]. Нужно ли быть большим фантазером, чтобы предположить, что, будь ученые из проекта OPERA психологами, а не физиками, они бы махнули рукой на перепроверку своих результатов и поспешили заключить договоры на написание книг под названиями “Преодолевая барьеры. Что скоростные нейтрино означают для вашей веры в себя” и “Сверхсвет. Новая наука субатомного успеха”?
В общем, как обычно "не все йогурты одинаково полезны".
Разные профессиональные сообщества очень по-разному относятся к перепроверке и воспроизводимости.
И главный фактор тут, как ни крути - реальные проверки.
Результаты физиков нынче идут в практику.
Рисковать, подделывая эксперименты, никто не хочет.
Есть ошибки. Их исправляют. Но нет индустрии подделок.
Уже несколько раз встретила на френд-ленте.
Весьма достойная книжка. Как продолжение Левитина и Голдакра.
И известной статьи "Естественный отбор плохой науки", которую я почему-то сейчас не могу найти на русском.
"В Гугле забанили" что ли ?
Однако Яндекс помог.
Нашел мою заметку на одном форуме и через нее - статью.
Полезно, однако, раскидывать ссылки...
Ну, я давно интересуюсь "защитой ушей от лапши". Мои "конспекты книжек" на эту тему не поместились в список "похожих записей".
Добавляю:
Цифры врут. Как не дать статистике обмануть себя
Том Николс Смерть экспертизы
Автор - психолог.
Начинает со скандалов в своей сфере.
Оказывается, прайминг-фрейминг уже опровергнут.
Это, когда человеку дают прочесть слова, связанные со стариками, а потом он медленнее идет по коридору из кабинета.
Когда поставили измерять время - ассистента, которому не сказали, какой испытуемый какие слова читал, эффект исчез.
Впрочем - фиг его знает.
"Подопытные кролики" - в основном, студенты психологического факультета.
Эффект широко известный. Могли и догадаться, к чему клонит экспериментатор.
Автор сильно ругает Зимбардо.
Это тоже уже стало популярно. Мильграма упоминает вскользь, но с ним тоже не всё гладко.
Опровергнуто исследование, когда воробьям пририсовывали пятно - и они от этого становились альфа-самцами.
Тут уж не свалишь на то, что подопытные - читают книжку и разгадали задумку экспериментатора.
Скандалы, о которых я не слышала.
Имена чемпионов по отозванным статьям.
Дана Ариэли и Фраечечки Джино - еще нет.
В общем, вылетели в трубу эксперименты, входившие в учебники психологии и растиражированные в научпопе.
На следующем (и более важном) месте - конечно, медицина.
Кстати - в ней наметился прогресс по очистке исследований.
В том направлении, о котором мечтал Голдакр: исследования должны регистрироваться "до начала".
Хотя бы - медицинские, потому что на кону - жизнь и здоровье людей.
Глава 8. Исцеление науки
Предварительная регистрация обязательна для финансируемых правительством США клинических испытаний с 2000 года, а также это непременное условие для публикации в большинстве медицинских журналов с 2005-го...
Исследование крупномасштабных испытаний, посвященных средствам профилактики и лечения сердечно-сосудистых заболеваний, результаты которого показаны на рисунке 5, ярко иллюстрирует влияние предварительной регистрации[725]. До того, как регистрация стала обязательной, в журналах сообщалось о впечатляющем количестве положительных результатов, изображенных белыми точками в нижней половине графика (то есть указывающих на сниженный риск изучавшихся исходов, связанных с сердечно-сосудистыми заболеваниями), а также о случайных отрицательных. Но посмотрите, что произошло после 2000 года, когда ввели обязательную предварительную регистрацию. Внезапно положительных результатов стало только два, а остальные исследования дали отрицательные результаты, группирующиеся вокруг нулевого эффекта (он соответствует единице по вертикальной оси “относительного риска”). Успешность испытаний до введения обязательной предварительной регистрации составляла 57 %, а после - рухнула до 8 %. Повторюсь: до введения регистрации испытания казались чрезвычайно успешными, свидетельствующими о множестве вроде бы эффективных средств от сердечно-сосудистых заболеваний, после же правда вышла наружу: лекарства и пищевые добавки, проверяемые в этих исследованиях, и близко не такие полезные, как нас уверяли.
Там две картинки:
На первой - как "отсеиваются" отрицательные результаты еще до написания статей, потому что журналы не хотят публиковать.
На второй - сравнение ситуаций до 2000/после 2000 года, когда ввели обязательную предварительную регистрацию.
Значит могут, если хотят.
"Кто хочет делать - ищет способы.
Кто не хочет делать - ищет причины".
Нет, автор не пессимист и не предлагает "приравнять науку к религии".
Способы борьбы с жульничеством - есть.
Это не "панацея", не "серебряная пуля".
Но это - как определенные правила торговли:
весы должны стоять "показометром" к покупателю".
На товарах должны быть ценники.
На фасованных товарах должен быть указан вес. Итд, итп.
Насчет физики-химии.
Несомненно, ситуация там гораздо лучше.
Примеров нашлось очень немного.
Оказывается был какой-то хайп вокруг транзистора на одном атоме углерода.
А я и не слышала.
Сейчас сделала поиск - много более свежих статей, чем эта книга.
Чем черт не шутит. Вдруг получится ?
Может автор поторопился "закрыть открытие" ?
Есть примеры, как можно проверять данные при помощи мат.статистики.
Примерно как с подтасовкой выборов.
Есть способы обработки массива данных по участкам, выявляющие мухлежку в протоколах.
К сожалению, раскрытие этих методов поможет будущим жуликам делать таблицы более правдоподобными.
Нынче у всех есть компьютер, и некоторые даже умеют пользоваться Экселем.
Кстати, о диетологии.
Которая успешно конкурирует с астрологией по уровню достоверности. Особенно на страницах сайта "Курсор-инфо".
Возьмем, к примеру, идею о том, что мы должны есть меньше насыщенных жиров и больше ненасыщенных, - краеугольный камень советов нутрициологов, повторяемый в бесчисленных рекомендациях по правильному питанию[578]. Однако же это не подтвердилось в метаанализе 2017 года, где сравнивались насыщенные жирные кислоты и полиненасыщенные по их связи с сердечно-сосудистыми заболеваниями и смертью
Уже и это опровергли ?!
В отличие от психологии - в диетологии вполне можно проводить контролируемые эксперименты на крысах. Или на свиньях, если "комитет по этике" жалеет крыс.
Вместо этого - всякие корреляционные исследования, основанные на опросах.
В качестве положительного примера приводится "открытие" сверхсветовых скоростей нейтрино.
Физики гораздо более осторожны в выражениях при получении сногсшибательных результатов.
Несмотря на лихорадочную перепроверку своих расчетов и оборудования, физики, работавшие в проекте OPERA, так и не сумели обнаружить никаких ошибок. Результат со сверхсветовыми нейтрино казался реальным. Поскольку уже начали расползаться слухи, ученые решили сообщить об этом открытии миру. Они опубликовали препринт, в котором описали результат, а затем выпустили пресс-релиз. Тут они могли бы воспользоваться стратегией НАСА с “мышьяковой жизнью” и живописать, как непостижимые новые результаты перевернули наше фундаментальное понимание Вселенной. Вместо этого они проявили осторожность. Никакого раздувания или подачи под нужным углом. Напротив, в их заявлении прямо подчеркивалась неопределенность: “Учитывая потенциальные далеко идущие последствия подобного результата, необходимы независимые измерения, прежде чем эффект можно будет либо опровергнуть, либо твердо установить. Вот почему сотрудничество OPERA решило обнародовать этот результат для более широкого и тщательного изучения”.
В сопроводительных заявлениях исследователи из проекта OPERA выражали растерянность, называя результаты “полной неожиданностью” и “очевидно невероятными”. Затем они ждали, как средства массовой информации отнесутся к этой новости. Хотя всплыло несколько неудачных заголовков (“Ученые из ЦЕРН «обошли скорость света»”, - сообщала газета Daily Telegraph; “Могут ли путешествия во времени стать реальностью?” - вопрошали в программе “Доброе утро, Америка” на канале ABC News), скептицизм все же сумел пробиться наружу[606]. В большинстве новостных статей приводились цитаты исследователей, говоривших о том, что результаты поистине странные, специальную теорию относительности еще никому не удавалось опровергнуть, требуется проверка в других экспериментах и так далее.
А потом они, конечно же, обнаружили ошибку. Плохо подсоединенный волоконно-оптический кабель приводил к тому, что время движения нейтрино занижалось. Когда кабель подключили правильно, время тут же стало соответствовать теории Эйнштейна. Второй эксперимент, где делались другие измерения, подтвердил: нейтрино не превышают скорость света. Увы, то был не конец: вся эта история стала позором для многих физиков из команды, некоторые из них казнились, что вообще не стоило писать о результатах исследования. Несмотря на осторожность, с которой они отнеслись к освещению открытия в средствах массовой информации (и несмотря на то, что сотрудничество проголосовало за обнародование результатов), руководитель проекта и другое ответственное лицо незначительно проиграли в голосовании по вотуму недоверия и вскоре ушли в отставку.
Жаль, что им пришлось уйти в отставку, поскольку сотрудничество OPERA обращалось с неожиданным результатом почти образцово. Физики привлекли внимание к странному открытию, требующему проверки, избегая при этом шумихи и делая все необходимые оговорки, - тем самым преподав миру ценный урок научной неопределенности. За первоначальным шквалом новостных сообщений в дальнейшем последовало освещение развязки той истории[610]. Нужно ли быть большим фантазером, чтобы предположить, что, будь ученые из проекта OPERA психологами, а не физиками, они бы махнули рукой на перепроверку своих результатов и поспешили заключить договоры на написание книг под названиями “Преодолевая барьеры. Что скоростные нейтрино означают для вашей веры в себя” и “Сверхсвет. Новая наука субатомного успеха”?
В общем, как обычно "не все йогурты одинаково полезны".
Разные профессиональные сообщества очень по-разному относятся к перепроверке и воспроизводимости.
И главный фактор тут, как ни крути - реальные проверки.
Результаты физиков нынче идут в практику.
Рисковать, подделывая эксперименты, никто не хочет.
Есть ошибки. Их исправляют. Но нет индустрии подделок.