О достоверности данных экспериментов
Во первых, мракоэволюшен и флейворкемист - фрики.
Ну а во-вторых перейдём к теме, раскрывающей в т.ч. и п.1.
Как вы все догадаваетесь, для любого эксперимента, связанного с генами, протеинами, с разработкой биохимических препаратов, лекарств от рака, с заменой износившихся органов на искусственные, с темой бессмертия и пр. нужны реагенты.
Реагенты - это всё, что угодно из органики и не только, что каким-либо образом меняет систему и позволяет учёному разобраться из чего она состоит, как работает или почему не работает. Или почему работает до какого-то момента времени, а потом ведёт себя плохо и не так, как хочется.
Производят реагенты коммерческие конторы порциями и стоят они зачастую очень дорого. Вы слышали, как дорого отсеквенировать ДНК?
Аппаратура и программное обеспечение, нужные для того, постоянно дешевеют и производительность соотв. оборудования растёт. Но цены на реагенты не падают и они настолько высокие, что в результате всё равно получается дорого.
И реагентов нужно много.
Но это ещё не всё. Реагенты закрыты лицензией. Многие производители, снабжая свой товар описанием, по которому вы в принципе можете его проверить, запрещают публиковать это описание - химический состав реагентов, последовательность нуклеотидов, если они туда входят и т.п..
Теоретически вы можете проверить реагенты сами, но на это у вас должно быть
а) время
б) соответствующая квалификация, часто другая - ибо вы узкий специалист и умеете только то, что связано непосредственно с вашей специализацией, по которой вас не учили проводить химический анализ данного типа или, скажем, выравнивать нуклеотиды по референсной базе с помощью специального софта.
Т.е., опубликованные результаты эксперимента, и, тем самым, полученная возможность его повторить, ещё не гарантирует корректность результата оного эксперимента, если что-то не так с реагентами и они покупаются у одного и того же производителя.
А скорее всего - у одного и того же. Потому что для повторения эксперимента вам нужно соблюсти все условия, а условия - это в т.ч. протоколы эксперимента, а протоколы зависят от реагента. Замкнутый круг.
Более того, полное описание реагентов (скажем, последовательности всех нуклеотидов в партии из десятков тысяч реагентов, нужных для данного типа эксперимента) вы получаете только после покупки. Вы уверены, что 100% учёных, заметив, что в описании что-то не соответствует критериям корректности эксперимента, отошлют их назад и затребуют другую партию? Многие типы реагентов ограничены сроком хранения и обратно не принимаются, и деньги с гранта, совсем немалые, уже потрачены…
Иногда наивные учёные, не желая быть проведёнными вокруг пальца, выбивают даже гранты на создание баз данных реагентов. Чтобы любой мог проверить хотя бы описание, прежде чем покупать. Потом такие базы никто не поддерживает, потому что на их поддержку и обновление денег уже не выделяют, как нетрудно догадаться, - они быстро устаревают и теряют популярность, ещё и не набрав её.
В подавляющем большинстве случаев никто не проверяет, насколько закупленная партия реагентов корректно соответствует по своему составу данному эксперименту. Если речь идёт о секвенировании, то там всё давно отлажено - это не наука уже, а набор технологий, точность которых варьируется в зависимости от типа используемого оборудования и качества соответствующих реагентов.
И в силу некоего разброса между видами этих технологий и поставщиков реагентов, а так же из-за некоторой особенности самой технологии, позволяющей собрать данные с одного и того же куска последовательности ДНК многократно, можно делать вывод о точности результата какого-то конкретного эксперимента или о количестве шума в группе экспериментов данного типа (много!).
В отличие от секвенирования, технологический процесс многих экспериментов вовсе не отработан и не позволяет получить поток однотипных данных на выходе, сравнимых внутри себя на предмет ошибок и противоречий.
Помимо реагентов, существует ещё много других факторов, осложняющих повторямость биологических экспериментов. См. т.н. batch effect, например.
И дальше - возможности в интерпретации данных практически не ограничены.
Что меня сподвигло на написание этого текста?
Не только антинаучные спекуляции и передёргивания, поданные будто бы с научной точки зрения, некоторых фриков относительно 100% гарантированной безопасности ГМО, пищевых добавок, препаратов антипсихотиков, объективности психиатрических диагнозов и совсем уж мракобесных рассуждений о всём прочем, начиная от торговли темой поведенческих паттернов, физиологических особенностей и заканчивая эволюцией хомо сапиенсов - всё это как правило с приправой для плебса в стиле «100 ответов про секс».
Если в каком-то достижении прогресса, очередном открытии британских учёных™ или каких-то других, есть явный или неявный коммерческий интерес, а некая масс-поп персона оный фактор намеренно замалчивает и забалтывает - эта персона точно фрик.
Вот рабочий пример: 1/5 из партии реагентов не соответствует описанию. Причём грубо. Причём сам дизайн их (как именно производитель их составил) содержит в себе уже довольно серьёзный изъян, минимизирующий точность действия, которое они должны были оказывать.
Мы то их исключили, да у нас и работа такая - проверять анализируемые данные, чтобы минимизировать ошибки вывода. Но я смотрю на схожие проекты - там всё лежит как есть, непроверенное, и только случайно можно обнаружить их противоречивость, при том зная заранее где копать.
И последнее в принципе мало вероятно: данные ныне идут как high-throughput screening/sequencing (их сразу много на выходе оборудования) и потому корректность результатов проверяется только статистикой, а статистика… - дайте кое-кому больше данных и кое-кто с них выудит всё, что угодно, нужное заказчику.
К чему это я всё так подробно расписываю? Чтобы вы не слишком верили в прогресс и добрую волю современной фармацевтической промышленности и медицины, как использующей продукцию оной промышленности на коммерческой основе.
А так же тому, что вещают какие-то масс-поп деятели, кормящиеся с руки сомнительных фондов и/или ещё более сомнительных коммерческих структур.
Далее читайте у Ben Goldacre - «Bad science» и «Bad Pharma». Про ГМО у него тоже есть. И требованиям прозрачности их испытаний, которому так почему-то недовольны (почему? если ГМО 100% безопасны??) фармкомпании, он уделяет довольно много внимания.
Разумеется, никак нельзя относиться к научной деятельности нашего времени с полным недоверием и пренебрежением. Но и оценивая вклад учёных в прогресс, не стоит забывать ставить в знаменатель сумму коммерческих выгод тех, кто заказывает учёным исследования. А работают они на заказ чуть менее, чем полностью. Как бы некоторые из них ни били себя обеими пятками в грудь о бескорыстном научном интересе - не верьте. Эта довольно редко встречается среди них.
UPD: начальник загадочного «отдела разработки ароматизаторов, красителей и подсластителей, член Британского сообщества флейвористов» (флейворкемист) мало того, что культурно и как истинный профессионал сослался на мой пост, так ещё и пришёл сюда нижу в комментарии блеснуть интеллектом и умением вести дискуссию.
Ну а во-вторых перейдём к теме, раскрывающей в т.ч. и п.1.
Как вы все догадаваетесь, для любого эксперимента, связанного с генами, протеинами, с разработкой биохимических препаратов, лекарств от рака, с заменой износившихся органов на искусственные, с темой бессмертия и пр. нужны реагенты.
Реагенты - это всё, что угодно из органики и не только, что каким-либо образом меняет систему и позволяет учёному разобраться из чего она состоит, как работает или почему не работает. Или почему работает до какого-то момента времени, а потом ведёт себя плохо и не так, как хочется.
Производят реагенты коммерческие конторы порциями и стоят они зачастую очень дорого. Вы слышали, как дорого отсеквенировать ДНК?
Аппаратура и программное обеспечение, нужные для того, постоянно дешевеют и производительность соотв. оборудования растёт. Но цены на реагенты не падают и они настолько высокие, что в результате всё равно получается дорого.
И реагентов нужно много.
Но это ещё не всё. Реагенты закрыты лицензией. Многие производители, снабжая свой товар описанием, по которому вы в принципе можете его проверить, запрещают публиковать это описание - химический состав реагентов, последовательность нуклеотидов, если они туда входят и т.п..
Теоретически вы можете проверить реагенты сами, но на это у вас должно быть
а) время
б) соответствующая квалификация, часто другая - ибо вы узкий специалист и умеете только то, что связано непосредственно с вашей специализацией, по которой вас не учили проводить химический анализ данного типа или, скажем, выравнивать нуклеотиды по референсной базе с помощью специального софта.
Т.е., опубликованные результаты эксперимента, и, тем самым, полученная возможность его повторить, ещё не гарантирует корректность результата оного эксперимента, если что-то не так с реагентами и они покупаются у одного и того же производителя.
А скорее всего - у одного и того же. Потому что для повторения эксперимента вам нужно соблюсти все условия, а условия - это в т.ч. протоколы эксперимента, а протоколы зависят от реагента. Замкнутый круг.
Более того, полное описание реагентов (скажем, последовательности всех нуклеотидов в партии из десятков тысяч реагентов, нужных для данного типа эксперимента) вы получаете только после покупки. Вы уверены, что 100% учёных, заметив, что в описании что-то не соответствует критериям корректности эксперимента, отошлют их назад и затребуют другую партию? Многие типы реагентов ограничены сроком хранения и обратно не принимаются, и деньги с гранта, совсем немалые, уже потрачены…
Иногда наивные учёные, не желая быть проведёнными вокруг пальца, выбивают даже гранты на создание баз данных реагентов. Чтобы любой мог проверить хотя бы описание, прежде чем покупать. Потом такие базы никто не поддерживает, потому что на их поддержку и обновление денег уже не выделяют, как нетрудно догадаться, - они быстро устаревают и теряют популярность, ещё и не набрав её.
В подавляющем большинстве случаев никто не проверяет, насколько закупленная партия реагентов корректно соответствует по своему составу данному эксперименту. Если речь идёт о секвенировании, то там всё давно отлажено - это не наука уже, а набор технологий, точность которых варьируется в зависимости от типа используемого оборудования и качества соответствующих реагентов.
И в силу некоего разброса между видами этих технологий и поставщиков реагентов, а так же из-за некоторой особенности самой технологии, позволяющей собрать данные с одного и того же куска последовательности ДНК многократно, можно делать вывод о точности результата какого-то конкретного эксперимента или о количестве шума в группе экспериментов данного типа (много!).
В отличие от секвенирования, технологический процесс многих экспериментов вовсе не отработан и не позволяет получить поток однотипных данных на выходе, сравнимых внутри себя на предмет ошибок и противоречий.
Помимо реагентов, существует ещё много других факторов, осложняющих повторямость биологических экспериментов. См. т.н. batch effect, например.
И дальше - возможности в интерпретации данных практически не ограничены.
Что меня сподвигло на написание этого текста?
Не только антинаучные спекуляции и передёргивания, поданные будто бы с научной точки зрения, некоторых фриков относительно 100% гарантированной безопасности ГМО, пищевых добавок, препаратов антипсихотиков, объективности психиатрических диагнозов и совсем уж мракобесных рассуждений о всём прочем, начиная от торговли темой поведенческих паттернов, физиологических особенностей и заканчивая эволюцией хомо сапиенсов - всё это как правило с приправой для плебса в стиле «100 ответов про секс».
Если в каком-то достижении прогресса, очередном открытии британских учёных™ или каких-то других, есть явный или неявный коммерческий интерес, а некая масс-поп персона оный фактор намеренно замалчивает и забалтывает - эта персона точно фрик.
Вот рабочий пример: 1/5 из партии реагентов не соответствует описанию. Причём грубо. Причём сам дизайн их (как именно производитель их составил) содержит в себе уже довольно серьёзный изъян, минимизирующий точность действия, которое они должны были оказывать.
Мы то их исключили, да у нас и работа такая - проверять анализируемые данные, чтобы минимизировать ошибки вывода. Но я смотрю на схожие проекты - там всё лежит как есть, непроверенное, и только случайно можно обнаружить их противоречивость, при том зная заранее где копать.
И последнее в принципе мало вероятно: данные ныне идут как high-throughput screening/sequencing (их сразу много на выходе оборудования) и потому корректность результатов проверяется только статистикой, а статистика… - дайте кое-кому больше данных и кое-кто с них выудит всё, что угодно, нужное заказчику.
К чему это я всё так подробно расписываю? Чтобы вы не слишком верили в прогресс и добрую волю современной фармацевтической промышленности и медицины, как использующей продукцию оной промышленности на коммерческой основе.
А так же тому, что вещают какие-то масс-поп деятели, кормящиеся с руки сомнительных фондов и/или ещё более сомнительных коммерческих структур.
Далее читайте у Ben Goldacre - «Bad science» и «Bad Pharma». Про ГМО у него тоже есть. И требованиям прозрачности их испытаний, которому так почему-то недовольны (почему? если ГМО 100% безопасны??) фармкомпании, он уделяет довольно много внимания.
Разумеется, никак нельзя относиться к научной деятельности нашего времени с полным недоверием и пренебрежением. Но и оценивая вклад учёных в прогресс, не стоит забывать ставить в знаменатель сумму коммерческих выгод тех, кто заказывает учёным исследования. А работают они на заказ чуть менее, чем полностью. Как бы некоторые из них ни били себя обеими пятками в грудь о бескорыстном научном интересе - не верьте. Эта довольно редко встречается среди них.
UPD: начальник загадочного «отдела разработки ароматизаторов, красителей и подсластителей, член Британского сообщества флейвористов» (флейворкемист) мало того, что культурно и как истинный профессионал сослался на мой пост, так ещё и пришёл сюда нижу в комментарии блеснуть интеллектом и умением вести дискуссию.