Думай медленно, решай еще медленнее
Продолжая разговор о статистической значимости исследований с низкой статистической мощностью и поднятую немного раньше тему социального прайминга в произведениях популяризаторов, хочется обратить внимание на этот пост, посвященный этой книге:
Авторы провели интересный статистический анализ работ, посвященных праймингу, на которые ссылался Канеман в своей знаменитой книге. В своем анализе они используют введенный ранее ими же R-индекс, или "индекс воспроизводимости" - напрямую связанную со статистической мощностью величину. И (не они, впрочем, первые) делают печальный вывод:
Результат подтверждает предсказания Канемана, что в поле исследований прайминга надвигается катастрофа, и что читателям книги "Думай медленно, решай быстро" не следует рассматривать представленные в ней научные изыскания в качестве доказательств того, что незначительные изменения в окружении могут оказывать серьезное, неосознаваемое влияние на поведение.
Отдельно хочется обратить внимание на этот комментарий самого Канемана. Он заслуживает прочтения полностью и является свидетельством того, что Канеман был и остается великим ученым и человеком, способным здраво взглянуть на свои ошибки и измениться.
Я переведу лишь некоторые кусочки:
...Меня восхитила согласованность результатов, полученных в разных лабораториях. Я сделал вывод, что эффекты прайминга могут быть легко достигнуты опытным экспериментатором, и они очень надежны. Однако теперь сознаю, что в мои размышления закралась ошибка и что мне следовало знать больше.
...Ясно, что экспериментальные доказательства тех идей, которые я описывал в той главе значительно слабее, чем я думал, когда я писал ее. Я просто совершил ошибку: я знал все, что мне нужно было знать чтобы усмирить мое рвение в отношении процитированных мной удивительных и элегантных находок, но я не смог все осмыслить.
...Урок, который я выучил, состоит в том, что авторы, которые описывают то или иное поле в науке должны остерегаться использовать выдающиеся результаты маломощных исследований в качестве доказательств своих заявлений.