Чем отличается ученый от лже-ученого
Оригинал взят у eugenegp в чем отличается ученый от лже-ученого
Что делает ученый, изучающий нечто? Он исследует факты - т.е. информацию, полученную из прямого опыта (direct experience). Для этого ученый проводит эксперименты, описывает их результаты и публикует их.
Например, исследует влияние т.н. сверхмалых доз на биологические объекты. In vitro (в пробирке), чтобы исключить влияние плацебо.
Для того, чтобы понять, какие факты имеет смысл исследовать, важно знать о результатах других.
Поэтому второй тип исследования, который проводят ученые - взять все сходные эксперименты, проанализировать результат научными методами (чаще всего статистическими) и опубликовать этот анализ. Это занятие производное от первого, но вполне почтенное, нужное и важное. Такова, например, работа The in vitro evidence for an effect of high homeopathic potencies - a systematic review of the literature - "Доказательства эффекта высоких гомеопатических потенций - систематический обзор публикаций". Авторы этого обзора проанализировали статьи про 67 разных экспериментов, и вышло у них, что в 75% из них эффект подтверждается. 33% процента экспериментов являлись повторными, и в 73% повторных экспериментов положительный результат повторился. По подсчетам авторов, из 27 экспериментов с базофилами негативный результат только один.
Вывод авторов: "Даже эксперименты с высокими методологическими стандартами могут демонстрировать эффект высоких потенций. Ни один из положительных результатов не является достаточно стабильным, чтобы воспроизводиться всеми исследователями. Доказательную силу будущих экспериментов усилило бы всеобщее использование потенцирования в контрольной группе, рандомизации и ослепления" (*)
Что делает лже-ученый? Он не проводит эксперименты. Он не изучает эксперименты научным способом. Он публикует меморандум со своей позицией, а в обоснование приводит уже имеющиеся исследования, но с творческим подходом. И вот оказывается, что написано в цитированной выше работе (кто ж проверит?):
"Авторы обзора утверждают, что 75% исследований высоких гомеопатических разведений in vitro демонстрируют положительные результаты, но при этом отмечают, что все положительные результаты не могли быть воспроизведены. Также авторы отмечают отсутствие адекватного контроля, рандомизации и ослепления."
Следите за руками. Еще раз: ученые пишут, что "В большинстве повторных исследований эффекты подтверждаются. Но даже там, где два десятка исследований подтвердили результат, - хоть один отрицательный, но есть." А лже-ученый пишет: "Ни один положительный результат - не подтвердился."
Ученые пишут: "даже высокого качества исследования подтверждают результат. Всегда делайте по лучшим образцам, вслепую и с рандомизацией, пусть это и in vitro - будет больше веры." Лже-ученый: плохие были эксперименты, "отсутствовали адекватный контроль, рандомизация и слепые условия" (*)
* Поскольку влияние плацебо in vitro исключено, эксперименты in vitro никто не рандомизирует и не ослепляет. Но с тех пор, как исследователей гомеопатии стали обвинять, что они сами себя обманывают и в лабораторных условиях, новые исследования стали проводить с рандомизацией и ослеплением и in vitro.
UPDATE: Что делает лже-ученый, когда его поймали за руку? Он тайком и задним числом меняет информацию в своем опубликованном меморандуме. Но только в той части, где его "творчество" уже публично доказано.
UPDATE 2: а) исходный текст до изменений на сервисе wayback machine: http://wayback.archive.org/web/20170207112836/http://klnran.ru/wp-content/uploads/2017/02/m02_p5_errors.pdf
б) разбор следующей "ошибки" :http://eugenegp.livejournal.com/290224.html
в) третья часть http://eugenegp.livejournal.com/290385.html
г) четвертая часть http://eugenegp.livejournal.com/290660.html
Что делает ученый, изучающий нечто? Он исследует факты - т.е. информацию, полученную из прямого опыта (direct experience). Для этого ученый проводит эксперименты, описывает их результаты и публикует их.
Например, исследует влияние т.н. сверхмалых доз на биологические объекты. In vitro (в пробирке), чтобы исключить влияние плацебо.
Для того, чтобы понять, какие факты имеет смысл исследовать, важно знать о результатах других.
Поэтому второй тип исследования, который проводят ученые - взять все сходные эксперименты, проанализировать результат научными методами (чаще всего статистическими) и опубликовать этот анализ. Это занятие производное от первого, но вполне почтенное, нужное и важное. Такова, например, работа The in vitro evidence for an effect of high homeopathic potencies - a systematic review of the literature - "Доказательства эффекта высоких гомеопатических потенций - систематический обзор публикаций". Авторы этого обзора проанализировали статьи про 67 разных экспериментов, и вышло у них, что в 75% из них эффект подтверждается. 33% процента экспериментов являлись повторными, и в 73% повторных экспериментов положительный результат повторился. По подсчетам авторов, из 27 экспериментов с базофилами негативный результат только один.
Вывод авторов: "Даже эксперименты с высокими методологическими стандартами могут демонстрировать эффект высоких потенций. Ни один из положительных результатов не является достаточно стабильным, чтобы воспроизводиться всеми исследователями. Доказательную силу будущих экспериментов усилило бы всеобщее использование потенцирования в контрольной группе, рандомизации и ослепления" (*)
Что делает лже-ученый? Он не проводит эксперименты. Он не изучает эксперименты научным способом. Он публикует меморандум со своей позицией, а в обоснование приводит уже имеющиеся исследования, но с творческим подходом. И вот оказывается, что написано в цитированной выше работе (кто ж проверит?):
"Авторы обзора утверждают, что 75% исследований высоких гомеопатических разведений in vitro демонстрируют положительные результаты, но при этом отмечают, что все положительные результаты не могли быть воспроизведены. Также авторы отмечают отсутствие адекватного контроля, рандомизации и ослепления."
Следите за руками. Еще раз: ученые пишут, что "В большинстве повторных исследований эффекты подтверждаются. Но даже там, где два десятка исследований подтвердили результат, - хоть один отрицательный, но есть." А лже-ученый пишет: "Ни один положительный результат - не подтвердился."
Ученые пишут: "даже высокого качества исследования подтверждают результат. Всегда делайте по лучшим образцам, вслепую и с рандомизацией, пусть это и in vitro - будет больше веры." Лже-ученый: плохие были эксперименты, "отсутствовали адекватный контроль, рандомизация и слепые условия" (*)
* Поскольку влияние плацебо in vitro исключено, эксперименты in vitro никто не рандомизирует и не ослепляет. Но с тех пор, как исследователей гомеопатии стали обвинять, что они сами себя обманывают и в лабораторных условиях, новые исследования стали проводить с рандомизацией и ослеплением и in vitro.
UPDATE: Что делает лже-ученый, когда его поймали за руку? Он тайком и задним числом меняет информацию в своем опубликованном меморандуме. Но только в той части, где его "творчество" уже публично доказано.
UPDATE 2: а) исходный текст до изменений на сервисе wayback machine: http://wayback.archive.org/web/20170207112836/http://klnran.ru/wp-content/uploads/2017/02/m02_p5_errors.pdf
б) разбор следующей "ошибки" :http://eugenegp.livejournal.com/290224.html
в) третья часть http://eugenegp.livejournal.com/290385.html
г) четвертая часть http://eugenegp.livejournal.com/290660.html