Наивная проверка
Почему обывателю кажется, что лженаучные рецепты полезны?
Почему ему кажется, что лженаучные выводы верны?
Стоит ли полагаться на свой опыт, определяя, верны ли лженаучные выводы и работают ли лженаучные "методы"?
Давайте разбираться.
И начнем мы с уточнения терминов.
Итак, когда обыватель пытается своими силами проверить, эффективна ли та или иная рекомендация, верен ли тот или иной вывод, он осуществляет наивную проверку. Почему наивную?
Да потому, что обыватель не является специалистом про проверке эффективности методов, действенности лекарств, верности выводов. Но наивность, в данном случае, - это не просто отсутствие квалификации, наивность - это еще и непонимание факта ее отсутствия. Человеку кажется, что он вполне может все проверить своими силами и на собственном опыте. Но на самом деле, это не так.
В общем случае осуществить квалифицированную, а не наивную проверку обыватель не может в принципе.
Вот, скажем, решил обыватель проверить эффективность того или иного "метода", вычитанного им в одной из психо-попсовых книжек или полученного на одном из лжепсихологических тренингов (успешности, лидерства, общения). Что этот обыватель будет делать? Он применит этот "метод" и посмотрит, получилось достичь желаемого результата или нет. И если получилось, то обыватель сделает вывод о том, что рецепт полезен, эффективен.
Например, хочет человек проверить один из "методов" Настоящей ЛжеПсихологии (НЛП) и думает: "так, как бы мне проверить этот метод? ага, попробую-ка я с его помощью сделать так, чтобы мой коллега сходил за едой!" Затем этот человек применяет "метод" НЛП, и (о, чудо!) коллега, действительно, идет за едой. Какой вывод сделает наивный проверящий? Правильно: "а НЛП-то реально работает!"
Вот еще несколько примеров наивной проверки:
Решил человек подлечиться с помощью гомеопатии, и, вуаля! - действительно, болезнь ушла. "Значит, гомеопатию зря ругают" - думает обыватель.
Прочитал человек в какой-нибудь лженаучной книжке какое-нибудь описание человеческого поведения (например, "женщины дают только высокоранговым самцам", "уверенно выглядят только сенсорики"), а потом увидел именно такое поведение и сделал вывод, что книжка-то то мудрая и полезная, а никакая не лженаучная.
В чем же тут ошибка?
Дело в том, что наивный проверяющий - обыватель, не знакомый с научной методологией, всю проверку ограничивает одним параметром: рецепт применен - эффект есть.
Точная же, объективная, научная проверка включает в себя 4 параметра:
- Рецепт применен - эффект есть.
- Рецепт применен - эффекта нет.
- Рецепт не применен - эффект есть.
- Рецепт не применен - эффекта нет.
Как видим, обывателя интересует только квадрант А. Но давайте, рассматривая только строку АВ, зададимся следующим вопросом: как нужно интерпретировать результаты, представленные ниже.
Нужен ли рецепт, нужна ли техника, срабатывающая только в 20% случаев? Можно ли говорить, что эта техника реально работает при таких показателях ее срабатывания? Обусловлено ли срабатывание техники самой техникой - или же эффект возникает в силу иных факторов, или просто случаен?
Для этого нам нужна нижняя часть таблицы - строка СD:
При таком результате видно, что срабатывание случайно, или определяется иными факторами, но, в любом случае, никак с техникой/рецептом не связано.
Вообще в науке необходимым условием признания метода, техники, лекарства действенным является следующее:
А>>B и, одновременно, А>>С.
Причем знак «>>» означает «значимо чаще/больше/эффективнее».
Вдобавок, надо учитывать, что эту значимость на глаз не определишь. Чтобы ее определить, глаз нужно вооружить. Вооружить научным методом - математической статистикой.
Наивный же проверяющий не только не сравнивает квадрант А с квадрантом В и квадрант А с квадрантом С, но и ничего не может сказать о значимости различий этих показателей, поскольку статистикой не владеет, да и в уме показатели значимости различий не сосчитать.
Заметим, что в подлинной науке при осуществлении проверки эффективности, действенности тех или иных разработанных методов, техник, приемов, созданных фармакологических средств и при верификации гипотез как раз и используется таблица АВСD. При этом верхняя часть таблицы - это экспериментальная группа, а нижняя часть таблицы - это контрольная группа (надо заметить, что в случае проверки действенности лекарств создается еще третья группа - группа, которой дают плацебо).
Поясним.
Экспериментальную группу подвергают экспериментальному воздействию (вводят независимую переменную - например, новый применяют на ней новый метод лечения, новый препарат), а контрольную группу этому воздействию не подвергают (независимую переменную не вводят - лекарства не дают и пр.).
Затем исследователи сравнивают изменения зависимой переменной (выраженность интересующего исследователей эффекта) в обеих группах.
И только если изменения, произошедшие с участниками экспериментальной группе значимо превосходят изменения, произошедшие в контрольной группе, то метод, техника, лекарство признается эффективным, а гипотеза, ради проверки которой и проводился эксперимент, подтверждается.
Таким образом, наивный проверяющий, действительно, не может сделать точных и объективных выводов о том, работает ли та или иная лженаучная техника, лженаучный рецепт или нет. Поэтому, в частности, доверять положительным отзывам о различных психо-попсовых книжках, лжепсихологических тренингах, чудодейственных лекарствах и т.д., мягко говоря, не стоит.
Кстати, наивность проверки, осуществляемой обывателем, определяется не только отсутствием у него квалификации и научного инструментария, но и различными когнитивными искажениями (cognitive biases), в частности, подтверждающим искажением (confirmation bias).
Еще по теме: