Об воспроизводимость

[shvarz]

В предыдущем посте (про грубого жулика, подделывавшего реагенты) вдруг опять всплыла тема невоспроизводимости результатов экспериментов в статьях. В связи с этим стоит отметить несколько довольно очевидных вещей, которые почему-то часто в этих дискуссиях теряются.

Во-первых, под невоспроизводимостью могут подразумеваться совершенно разные вещи,

Comments

[grihanm]

Большое спасибо за этот пост. Дополню ссылкой свой старый http://grihanm.livejournal.com/385173.html

[seadevil001]

Если эксперимент не воспроизводится, это значит:
1. Он не описан правильно.
2. Он не поставлен правильно.

Нового, из таких экспериментов, не узнать. Вот когда нечто необычное (очень странное) воспроизводится 8 раз из 10, а не 1 из 3, вот тогда узнается новое.

[glukanat]

+

[overscience_mes]

нет, по всем пунктам, да - для простых систем, но кому они нужны...

[seadevil001]

А давайте предметно - какие методы трудновоспроизводимы, а какие - нет?

[alll]

А с воспроизводимостью нет ли ещё проблемы, что мало кто эту самую воспроизводимость берётся проверять специально? Ну то-есть навряд ли можно сейчас опубликовать статью вида "мы попытались воспроизвести уже опубликованные результаты и таки да" и маловероятно, что такими статьями можно снискать известность/финансирование.

[shultz_flory]

Если речь идет о чем-то действительно важном, вроде скорости света, то запросто. Но для большинства статей это не так.

[hoegni]

Как правило, новое исследование отталкивается от чего-то уже известного. Например, вызывает ли агент A эффект B. Но для начала, вам нужно убедиться, что этот агент вообще работает в вашей экспериментальной системе. Тогда вы говорите: а вот дядя X уже показал, что этот агент вызывает эффект C. Используем его как положительный контроль, то есть воспроизведем этот результат, а потом, зная, что агент работает, уже займемся своим эффектом B.

А вот с этого места возможны варианты.

[yelya]

+100

[ahmash]

Поработав с антителами для вестерна или иммуно-покраски, пришел к однозначному выводу, что это очень часто либо шаманство, либо подтасовка либо артефакты. И не всегда ученые виноваты.
Например антитела против cGMP. Казалось бы, чего уж проще.
Хер там.
Abcam-овское не сработало вообще. Потратил кучу времени.
LSBio потребовало танцев с бубнами в виде фосфодиэстераз блокера. Тоже провозился )-:
Через год заказали ещё раз - заработало без проблем вообще. Другой лот.
Ну и какая там воспроизводимость?

[seadevil001]

Это Вы еще Санта Круз не пробовали, те очень воспроизводимы - не работают всегда и все.

[ahmash]

С SC работал редко.
Иногда они таки работают. У меня пару раз так было.
НО
На следующий день после окончания срока годности можно и не пытаться использовать (-:

[seadevil001]

Первый случай, за всю практику, чтобы они работали, включая всех коллег. Уникально.

[vasja_iz_aa]

есть еще одна ситуация, довольно распостраненная. пусть группа делает эксперименты A, B, C, D, E и на основании полученных результатов делает глобальный вывод Z. а другой группе Z не интересен, потому что они работают над темой У, их заинтересовали только некоторые побочные ребультаты эксперимента В, которые в У-теме очень важны. тогда они делают В,О,Р(в той форма, которая нужна им) и говорят что В из публикации не подтвердился. тут то и возникает нетривиальная проблема про считать ли Z неподтвердившимся тоже