В архив. Наука. Ч. 1.
Наука является прикладной технологией и это создаёт проблемы / Хабр
habr.com
Наука является прикладной технологией и это создаёт проблемы
Исследования и прогнозы в IT*Социальные сети и сообщества
Умом - науку не понять,
Аршином общим не измерить:
У ней особенная стать -
В науку можно только верить.
Возможность продуктивного общения учёных друг с другом, включая возможность взаимной проверки научных работ, по какой-то причине считается самоочевидной и выходящей за рамки дискуссии о применимости научного метода, хотя именно методы и практика общения между учёными определяют качество научной продукции. Если следовать торонтской школе коммуникации, наука является технологией общения между учёными, что накладывает на науку ограничения свойственные любой технологии. Хотя сходные ограничения влияют не только на науку, но и на бизнес и государственное управление, примеры из науки лучше поддаются анализу благодаря более низкому уровню конфликтов интересов и сравнительно высокой доступности данных, что иногда позволяет осуществлять их проверку. Этот текст дополняет манифест новой коммуникационной системы В++ и статью о влиянии коммуникационных систем на мышление человека, но может читаться независимо от них.
Считается, что фундаментальная наука «выше» прикладной науки, а прикладная наука «выше» инженерии, то есть искусства создания изделий включая программы и рецепты. Лежащий в основе науки научный метод[1] сам является меняющимся набором рецептов, изобретённых не раньше Фалеса, но не позже строительства Святой Софии. Как и любой продукт, научный метод имеет границы применения и требует постоянной оценки этих границ и работоспособности в их рамках. Оценка работоспособности науки в прошлом и настоящем, а также перспектив в ближайшем будущем - задача, выходящая за рамки науки, но типовая для производства. Практическим, но внутренне противоречивым решением является анализ науки, как прикладного продукта теория коммуникации. Наука «теория коммуникации» может дать оценку работоспособности своих прошлых инженерных конструкций, то есть работоспособности науки вообще. Этот подход плохо учитывает зависимость теории от собственных инженерных решений, на основе которых происходило её развитие, но хотя бы позволяет локализовать противоречия и проблемы в рамках одной теории[2]. Если проблемы найдены, можно предложить способы их решения при помощи новых конструкций, дополняющих научный метод, что сработает если эти конструкции покажут практическую пользу и найдут массовое применение. В таком подходе, а не в его результатах, основная новизна этой статьи.
Процесс проверки научных результатов
Считается, что качество научных работ обеспечивается их проверкой, ведущей к подтверждению, исправлению или отзыву статей и последующему улучшению учебников, а если процесс проверки даёт сбои и порождает отдельные ошибки и даже иногда «лженауку», то это происходит по причине «коррупции», внесённой в науку «администраторами» и «карьеристами-фальсификаторами», мешающими работе «настоящих честных учёных». Практически полный список методов общения при проверке научных работ в наше время состоит из устного обсуждения докладов и постеров на конференциях, тайного рецензирования статей и заявок на гранты, написания новых статей, уточняющих старые статьи и исправляющих имеющиеся в них ошибки, и писем в редакцию с требованием отзыва статьи, содержащей явные ошибки или фальсификации. В самых скандальных случаях фальсификации могут разоблачаться в обычных СМИ, и это самый действенный метод исправления научных ошибок. Переписка по электронной почте, вне рамок описанных выше процедур, и форумы практически не используются по причинам, которые будут обсуждаться ниже. Разберём каждый из механизмов на примерах и покажем, что они плохо работают в настоящее время по фундаментальным причинам, но несколько лучше работали в прошлом.
Рецензирование - в лучшем случае плохо работающий спам-фильтр. В ходе рецензирования могут быть отвергнуты выдающиеся статьи. Например из-за субъективной позиции рецензентов, академика Ландау и его учеников, было отказано в публикации статьи Блохинцева описывающей лэмбовский сдвиг за 10 лет до Лэмба. Статья была опубликована только после получения Лэмбом Нобелевской премии. Астрофизик Ник Горькавый полностью забанен в не рецензируемом, но модерируемом, arXiv.org за публикации научных статей в реферируемых журналах отвергающих теории инфляции и экзотической черной материи. Некоторые из отвергнутых модераторами статей были в соавторстве с Нобелевским лауреатом по физике в области космологии Джоном Мазером. Как показывают примеры Блохинцева и Горькавого предварительное рецензирование и даже модерирование научных статей, как и любая другая предварительная цензура, никогда эффективно не работали. Оценка должна осуществляться после публикации, и такая оценка может различаться коренным образом между группами авторов, имеющими разное мнение о проблеме. Для практического использования оценка должна быть опубликована и подписана. Анонимные и недоступные для публики оценки, используемые при рецензировании статей и грантов, не имеют ценности для других. ArXiv.org, публикации в котором не рецензируются, но лишь модерируется, не решает ни проблему оценки научных публикаций, ни проблему защиты от произвольной цензуры.
Полное понимание научной статьи обычно требует не только часов на чтение, но и возможно воспроизведения части теоретических выкладок или экспериментов, что трудозатратно и скорее всего не принесёт плодов в виде новых статей и грантов. Статьи в лучших научных журналах с цитированием в пять сотен могут содержать математические ошибки школьного уровня исправление которых полностью опровергает теоретическую часть и выводы статьи[3]. Результаты работы по проверке, даже при обнаружении существенных ошибок, в большинстве случаев оказываются утерянными, так как не существует формата для их публикации. В научных журналах и arXiv.org нет форумов под статьями с закреплёнными постами, содержащими результаты обсуждения, а новые научные статьи практически никогда не пишутся с целью исправления своих или чужих ошибок, так как это не приносит авторам никаких плодов. Научная статья, содержащая указания на ошибки первой статьи, опубликована в другом журнале другими авторами и имеет индекс цитирования около ста. Вторая статья не имеет целью исправление ошибок предыдущей статьи, но указывает на ошибки в обсуждении результатов, что можно заметить только при внимательном чтении. Если ошибки одной статьи разбираются в последующей статье, то в настоящее время нет механизма обратной ссылки, прикреплённой к ошибочной статье и указывающей на нужный фрагмент статьи с исправлениями.
Отзывы научных статей случаются при обнаружении явных ошибок, но в ряде случаев отозванные статьи используются и цитируются, часто в качестве единственного источника информации. Опубликованные в мае 2020 года обзор Ланцета о неэффективности и опасности гидроксихлорохина при лечении ковида-19 и статья NEJM об отсутствии повышенного риска смерти у пациентов принимающих некоторые лекарства от давления были отозваны практически сразу после публикации, однако продолжали цитироваться не только в СМИ, но и в научных публикациях без упоминания о текущем статусе цитируемых статей. В августе 2021 года из 652 подтвержденных цитирований отозванных статей только 10.7% статей были опубликованы в том же месяце, когда статьи были отозваны, 34.8% в течение 2 месяцев после отзыва, а остальные 54.4% цитирований через три месяца после отзыва из которых 27.8% больше чем через 6 месяцев. На сайте журналов полный текст отозванных статей по-прежнему доступен, однако статус статей явно отмечен красными буквами RETRACTED. Ситуация напоминает фильм ужасов про зомби. По всей видимости учёные копируют ссылки на отозванные статьи из чужих статей и даже не открывают ссылки чтобы прочитать хотя бы аннотацию. Авторы не учитывали возможность того, что цитируемая статья может отозванной или ошибочной. Данный пример, на первый взгляд указывает, что механизм форумов сам по себе будет работать плохо, но массовая критика на форумах в сочетании с массовыми исправлениями и отзывом статей возможно заставят авторов осторожнее относиться к копированию ссылок у других. Избежать цитирования отозванных статей можно при помощи автоматической проверки цитат по базе данных отозванных статей, но кому это нужно? Более действенным решением может стать общедоступный механизм оценки репутации авторов, которая должна снижаться в том числе и за цитирование отозванных статей без указания статуса.
Ссылок и связей между научными статьями вообще мало и эти ссылки крайне «тяжелые» по сравнению со ссылками в Вебе: ссылки обычно ссылаются на статью целиком, даже когда важен только какой-то фрагмент нужной статьи, а после перехода по ссылке большинство прочтёт только заголовок и аннотацию, доступную на сайте журнала без подписки. Аннотация часто не даёт адекватного представления о результатах и даже может противоречить содержанию статьи, особенно в случае конфликта интересов авторов статьи между собой или конфликта между авторами и издателями столь распространённого в статьях по ковиду-19.
Монографии и учебники как средства исправления ошибок также плохо работают. Учебники обычно обобщают самую распространённую точку зрения, а монографии выражают авторскую точку зрения собирая информацию из отдельных статей. Ни монографии, ни учебники не могут дать полного обзора текущего состояния науки. Эффективность учебников и монографий разобрана в приложении на примере различных теорий нервного импульса и анестезии.
Для действенной проверки качества научных работ все оценки и исправления должны быть сразу видны всем читателям статьи. Оценки и исправления могут осуществляться кем угодно, при условии, что оценки и исправления сами могут быть сразу оценены и исправлены. Все оценки и исправления должны быть подписаны, что позволит оценивать не только тексты, но и авторов. Единая система оценок текстов и авторов, подобная глобальной карме на Хабре, работает крайне плохо, так как отражает точку зрения толпы. В моих предыдущих статьях показано, что эффективная система оценок должна быть локальной: только единомышленники в рамках общего дискурса могут оценивать качество работ друг друга. Оценки чужих дискурсов являются внешними оценками, обычно применяемыми к чужому дискурсу в целом. Внешние оценки не должны смешиваться с внутренними оценками единомышленников.
Текущий скандал с исследованиями и лечением болезни Альцгеймера
Данный пример иллюстрирует тезис о крайне низкой способности науки к проверке собственных результатов в силу отсутствия коммуникационных механизмов для этого.
В ходе редактирования статьи я узнал о разоблачении в Science (22 июля 2022) статьи 2006 года в Nature с индексом цитирования в несколько тысяч претендующей на доказательство бета-амилоидной природы болезни Альцгеймера. Утверждается, что изображения в статье 2006 года могли быть подделаны первым автором Сильваном Лесне[4], под сомнения ставятся и его последующие работы. На исследования, исходной точкой которых была статья Лесне 2006 года, только Национальные институты здоровья[5] (NIH) США потратили свыше миллиарда долларов. Огромные средства были потрачены на разработку лекарств согласно амилоидной теории. Разоблачения были сделаны Мэтью Шрегом из Университета Вандербильта. Шрег провёл расследование по просьбе адвоката (Jordan A. Thomas) работавшего на двух учёных и по совместительству биржевых спекулянтов (David Bredt и Geoffrey Pitt). Клиенты адвоката подозревали, что лекарство от Альцгеймера Simufilam не работает и были заинтересованных в падении акций компании разработчика Cassava Sciences. При расследовании вначале было обнаружено, что два основных ученых компании, Линдси Бернс и Хоау-Янь Ван, фальсифицировали научные статьи которые были отозваны журналами. Падение акций в итоге состоялось и по утверждению самой «пострадавшей» компании разоблачители-спекулянты заработали 100 миллионов долларов. Компания продолжает отвергать все обвинения.
Подделку в статье Лесне 2006 года обнаружить было не трудно - это была копипаста фрагментов изображений. Фальсификация была обнаружена только при вмешательстве юриста и биржевых спекулянтов, а не в ходе внутренних процессов в рамках науки. Нейросеть может находить подобные аномалии в изображениях, но следует ожидать не массового сканирования нейросетями научных публикаций, а появления нового поколения фальсификаторов лучше разбирающихся в компьютерной обработке изображений. Чтобы не быть пойманным достаточно было следовать простым правилам - для копипасты использовать только оригинальные изображения, избегать копирования одного фрагмента больше одного раза и не использовать изображение, из которого был взят фрагмент. Опубликованные в журналах изображения обычно максимально контрастны с насыщенным фоном, что не позволяет отследить линии склейки.
Согласно издателям вся наука базируется на доверии. Издатели в большинстве своём не требуют от авторов публикации исходных данными, а если и требуют, то обычно никак не проверяют выполнение своих требований. Проблемы недостоверности научных работ в NIH сводят к этике, а не проблемам проверки или коммуникации. NIH с 2003 года требует доступа (data sharing) к итоговым данным работ, но не ясно как на практике получать эти данные в интернете - единого хранилища не существует. Нетрудно предсказать какой вывод сделает NIH из текущего скандала - скорее всего потребуют от получателей грантов пройти очередной онлайн класс, рассказывающий, что такое подделка научных данных и как нехорошо данные подделывать. В лучшем случае кто-то создаст нейросеть для автоматического поиска невозможных дубликатов изображений в статьях, но для этого желателен доступ к исходным изображениям, или хотя бы к научным статьям, которые согласно директивам NIH должны быть в открытом доступе для исследований финансируемых NIH. Можно предложить автоматическую систему подобную государственной слежке за всем интернет-трафиком, то есть автоматическую загрузку всех необработанных изображений с устройств получения этих изображений в единую базу данных и обязательную ссылку на эту базу изображений в публикациях и заявках на гранты, но подобные полицейские методы немыслимы для честной научной публики. Ещё более немыслимым произволом было бы выделение 1% финансирования на гранты молодым учёным для независимого воспроизведения результатов ключевых научных работ с целью их проверки.
Число Данбара и возможность прямого общения учёных
В биохимии до 70-х годов все учёные лично знали друг друга и раз в год собирались на небольшую конференцию, где за бутылкой пива обсуждали нюансы и проблемы, лежащие за пределами опубликованного. Личное общение позволяло оценивать значимость работ, а также находить и исправлять ошибки. Немногочисленные учёные из разных стран были в основном финансово и административно независимы друг от друга, а значит не боялись высказывать неугодные собеседникам точки зрения. Затем численность учёных в биохимии превысила число Данбара[6], то есть максимальное количество двухсторонних с социальных связей, которые человек может поддерживать (примерно 150). В наше время на большие конференции приезжают тысячи человек, что делает невозможным личное общение всех со всеми, а на маленькие конференции съезжается обычно сотрудники одного университета, которые и так знают друг друга. Прямое указание на ошибки при обсуждении докладов в качестве механизма исправления ошибок не работает никак, так как не охватывает достаточную аудиторию ни на больших, ни на малых конференциях. Продуктивное обсуждение статьи, доклада или постера возможно только лично и в наше время практически всегда происходит в приватной форме и обычно не приводит к исправлениям, если только автор сам не согласится исправить свои ошибки.