Как не надо тестировать
Нашел неплохую задачку "из жизни" для собеседования аналитика.
Есть такая штука EcoSleep Cube, якобы улучшающая качество сна. Внешне это выглядит как небольшой кубик, который включается на ночь рядом с тем местом, где вы спите. Внутри кубика - катушка индуктивности, создающая электромагнитное поле низкой частоты (от 2 до 40 Гц). По словам производителя, механизм нормализации сна основан на явлении резонанса Шумана - низкочастотных электромагнитных волн, возникающие между поверхностью Земли и ее ионосферой. Характеристики шумановского резонанса (если я правильно понимаю, в первую очередь амплитуда) подвержены суточным и сезонным колебаниям. При этом производитель кубика обращает внимание на то, что частота этих электромагнитных волн подозрительно совпадает с частотой электромагнитной активности мозга (альфа и бета ритмами). Выдвигаем гипотезу: человек чувствителен к низкочастотным колебаниям шумановского резонанса и его суточные биологические циклы частично синхронизированы с его суточными изменениям. Тогда, искусственно создавая электромагнитное поле нужной частоты, мы можем попытаться воздействовать на состояние человека и нормализовать его сон. Производитель утверждает, что провел соответствующие исследования и действительно показал способность своего кубика улучшать качество сна. Звучит довольно круто, не так ли?
Я почти купил девайс, когда выбирал подарок на новый год. Но эта проклятая привычка читать публикации... Оказывается, проверка влияния кубика на сон выполнялась следующим образом. Взяли несколько человек и некоторым из них выдали кубик. Люди с кубиком сами выбирали, на какую частоту они его поставят. Утром и люди с кубиком, и без него заполняли опросник, как им спалось. Через несколько дней люди с кубиком и без менялись местами. Всего было сделано несколько сотен наблюдений. Утверждается, что в результате обнаружили статистическую значимость между разными частотами и определенными характеристиками сна (глубина, сновидения и так далее).
Итак, в чем здесь проблема? Да, правильно: нет плацебо (или, как сказали бы люди из Яндекса, нет контрольного эксперимента). Так, стоп, ведь были же люди, которые спали без кубика? Нет, это не плацебо в данном случае. Дело в том, что участники эксперимента видели, есть ли у них кубик, или нет. В силу ситуационных ожиданий, это могло очень сильно повлиять на результаты опросника. Это настолько большой продолб, что полностью уничтожает ценность исследования. Фактически, исследование показывает способность людей отличить ситуацию, когда у них есть кубик, от ситуации, когда его нет - но это ведь совсем неинтересно, поскольку наличие кубика и так видно невооруженным глазом. Корректный эксперимент должен был бы выглядеть так: кубик иногда работал бы, а иногда - нет, и участник эксперимента никогда не знал бы, работает ли его кубик или нет. Это как если бы при тестировании лекарства одним пациентам давали бы красивую круто выглядящую таблетку, а другим - нет. Правильный подход состоит в том, чтобы давать всем одинаково выглядящую таблетку, но только у части людей в таблетке будет пустышка, а у части - активное вещество. Кроме того, не только сама работа кубика должна быть рандомизирована, но и выбор частоты. Выбирая самостоятельно частоту перед сном, участник может создавать некие ожидания, которые потом будет отыгрывать утром в опроснике.
Какой из этого вывод? Конечно, он состоит в следующем: хочешь подарок на новый год - не будь занудой)