Как у меня бомбануло из-за р-значений
Узнал сегодня о сайте The Allium, состоящего из фейковых новостей науки.
И попалась там одна, из-за которой у меня бомбануло не хуже, чем у редакции "Фундаментальной и прикладной социальной психологии".
Не поленюсь перевести ее целиком:
Разыскивается: статистики, который сделает результаты значимыми
Мы - лаборатория, вовлеченная в масштабное исследование.
У нас есть позиция на шесть месяцев, доступная для креативного статистика, чьей задаче будет сделать все наши экспериментальные результаты значимыми на уровне p<0,05.
В дальнейшем может быть предложен еще один шестимесячный контракт, если вы сможете сделать результаты еще более значимыми.
Нам нужна поддержка для наших уже готовых выводов.
Шутка очень в тему. Конечно, никто реально так не формулирует задачу, но суть сводится часто именно к этому: "Подбери такой критерий, чтобы получалось то, что я жду". И ведь в этих поисках "подходящего" (не для задачи или данных, а для выводов!) статистического метода многие исследователи не видят ничего криминального. И ведь кто ищет - тот всегда найдет, такова уж природа статистических методов: они основаны на вероятностях ошибок, а если пробовать много раз, то шансы хоть где-то найти то, чего нет, возрастают. А ведь при дОлжном умении и виртуозности даже из несогласованности результатов схожих методов можно получать интересную информацию (но с ходу и не припомню, чтобы кто-то это делал).
Перефразируя тургеневскую "Молитву": Всякое обращение к статистике сводится на следующее: "Сделай, чтобы р-значение было меньше 5% там, где я этого жду!"
Подумалось, что я даже не знаю, что меня больше бесит в "Помоги мне со статистикой": этот поиск с предрешенным итогом или вопросы a la "Я тут что-то померил, на двух с половиной особях, не знаю толком, что именно, не до конца понимаю, чего хочу - попробуй статистикой получить интересный результат".
И ведь нельзя же сказать, что какую-то супер-пупер сложную статистику на биофаке преподают.
Ненавижу.
P.S. А потом они любят еще припоминать "ложь, большую ложь и статистику". (Оставлю за скобками, что фраза была немного про другую статистику.) Именно из-за таких вот подходов, ими же и пропагандируемых, эта присказка и имеет право на существование. Статистику, б..., надо знать и применять умеючи и относится к ней, как к такому же инструменту исследования, как и к любому другому, со своими ограничениями и задачами.
И попалась там одна, из-за которой у меня бомбануло не хуже, чем у редакции "Фундаментальной и прикладной социальной психологии".
Не поленюсь перевести ее целиком:
Разыскивается: статистики, который сделает результаты значимыми
Мы - лаборатория, вовлеченная в масштабное исследование.
У нас есть позиция на шесть месяцев, доступная для креативного статистика, чьей задаче будет сделать все наши экспериментальные результаты значимыми на уровне p<0,05.
В дальнейшем может быть предложен еще один шестимесячный контракт, если вы сможете сделать результаты еще более значимыми.
Нам нужна поддержка для наших уже готовых выводов.
Шутка очень в тему. Конечно, никто реально так не формулирует задачу, но суть сводится часто именно к этому: "Подбери такой критерий, чтобы получалось то, что я жду". И ведь в этих поисках "подходящего" (не для задачи или данных, а для выводов!) статистического метода многие исследователи не видят ничего криминального. И ведь кто ищет - тот всегда найдет, такова уж природа статистических методов: они основаны на вероятностях ошибок, а если пробовать много раз, то шансы хоть где-то найти то, чего нет, возрастают. А ведь при дОлжном умении и виртуозности даже из несогласованности результатов схожих методов можно получать интересную информацию (но с ходу и не припомню, чтобы кто-то это делал).
Перефразируя тургеневскую "Молитву": Всякое обращение к статистике сводится на следующее: "Сделай, чтобы р-значение было меньше 5% там, где я этого жду!"
Подумалось, что я даже не знаю, что меня больше бесит в "Помоги мне со статистикой": этот поиск с предрешенным итогом или вопросы a la "Я тут что-то померил, на двух с половиной особях, не знаю толком, что именно, не до конца понимаю, чего хочу - попробуй статистикой получить интересный результат".
И ведь нельзя же сказать, что какую-то супер-пупер сложную статистику на биофаке преподают.
Ненавижу.
P.S. А потом они любят еще припоминать "ложь, большую ложь и статистику". (Оставлю за скобками, что фраза была немного про другую статистику.) Именно из-за таких вот подходов, ими же и пропагандируемых, эта присказка и имеет право на существование. Статистику, б..., надо знать и применять умеючи и относится к ней, как к такому же инструменту исследования, как и к любому другому, со своими ограничениями и задачами.