Ложные практики в полевой биологии - что [с ними] может быть сделано?
По наводке приезжавшей коллеги с Украины прочёл статью одного из самых известных польских орнитологов - Томаша Весоловского (Tomasz Wesołowski) о том, как нынешние системы оценивания научной работы (основанные на конкуренции публикаций по цитированию & престижности журналов) коррумпируют научную работу орнитологов и прочих полевиков и даже подрывают основания, на которых наука строится. Статья активно обсуждается орнитологами в Европе (на Международном орнитологическом конгрессе в Бразилии 2010 г. автор вёл круглый стол по этой теме), и поскольку там не только «жалобы», но и «предложения», я её пересказываю. <> - литература.
========================================================
Ложные практики в полевой биологии - что [с ними] может быть сделано?
Томаш Весоловский
Резюме. Автор недавно писал о проблемах, связанных с использованием искусственных гнездовий в орнитологических исследованиях. Они отнюдь не частные, но выступают симптомом более глубокой проблемы развития ложных практик в полевой биологии, разрушающих возможность заниматься честной наукой (цель, которую мы преследуем), которая обща у орнитологов с более широким кругом зоологических дисциплин. В данной статье автор эскизно описывает главные дефекты (следующие из этих ложных практик), их возникновение на разных этапах исследования: недостатки замысла и организации работы, стиль сообщения данных, процедур прохождения статьи в журнале, определяет возможные причины этой беды и предлагает решения. В полевых дисциплинах [эти ложные практики обусловили развитие] некоторого числа проблем, которые, если не будут излечены, вызовут долговременный вредный эффект. Стремление авторов опубликовать как можно больше статей в наиболее престижных журналах [связанное с нынешними критериями оценивания научной деятельности] толкает деформировать название, содержание и результаты работы. Для первого используют более широкие термины, переоценивается важность работы, а результаты подаются обобщёнными сверх меры, с распространением и на те области, о которых по данным работы сказать ничего нельзя.
В журналах недооцениваются фаунистические и натуралистические работы (естественная история видов без формулирования и проверки конкретной гипотезы), они расцениваются как «низший сорт» науки, не заслуживающий публикации в хороших журналах. В результате полевые исследования [изо всех сил помещаемые авторами в престижные журналы] проводятся и публикуются людьми без базовых полевых умений/таксономических знаний; особенно остра эта проблема для плохо изученных тропических регионов. Более того, методы полевой работы (в таких статьях) неадекватно описываются - так что невозможно оценить качество работы и воспроизвести исследование, если потребуется; в разделе «results» собственно биологические данные вытесняются результатами статистических анализов. Пропадает должное внимание к работе предшественников; многие авторы имеют тенденцию игнорировать более ранние работы и цитировать лишь публикуемое сейчас (отчего их предположения и выводы получают ложную новизну).
Автор полагает, что ещё не поздно исправить ситуацию. Нужно «низвергнуть с трона» публикации, прекратить рассматривать их как цель научной работы и единственную меру «выхода» научной деятельности. Для исправления ситуации необходимо также потребовать от редакторов журналов (1) изменить состав требований, описываемых в Guidelines for the authors так, чтобы он включал вещи, важные для оценки полевых исследований; (2) расширить лист вопросов, который получают рецензенты, чтобы он включал вышеназванные параметры качества полевой работы, и рецензенты начинали оценку с них; (3) последовательно отвергать все работы, не удовлетворяющие вышеназванному минимуму. Кроме того, журналам не следует использовать несущественные критерии качества, вроде импакт-факторов.
Введение.
Марсель Ламбрехт и автор по отдельности уже сообщали о проблемах, связанных с использованием искусственных гнездовий в орнитологических исследованиях <>. Эти проблемы, однако, - симптомы более глубоких проблем (ложных моментов) в практике полевой биологии, которые подрывают честность нашей науки, и которые общи для орнитологии <…, включая участников круглого стола на международном орнитологическом конгрессе в Бразилии 2010 г.> и, шире, для натуралистики в целом <>.
В статье автор эскизно описывает эти проблемы: недостатки в плане/организации исследования, способах сообщения данных и процедуре редактирования статей в журналах, определяет возможные причины и предлагает выполнимые решения. В противоположность стандартной научной практике, автор не цитирует конкретные частные примеры этих самых неадекватных практик, хотя каждый случай, описываемый в общем виде, имеет свои конкретные примеры [как говорится, имя, фамилию и отчество]. Сделано это потому, что цель автора - не тыкать пальцем, и не влагать персты в язвы, но только переключить внимание читателя на критическое переосмысление его собственного опыта научной деятельности, который, если автор прав, инфицирован многим из вышеописанного и, повысив внимательность, на это можно неприятно наткнуться. Поскольку автор утверждает, что данные недостатки повсеместны, то будет нечестно пятнать отдельных исследователей.
Проблемы
Цели и средства научного исследования - в напоминание. В первую очередь надо напомнить, как мы изучаем организмы, какова цель нашей работы. Мы изучаем животных для расширения наших знаний о них, их функциональных взаимосвязях с разными компонентами среды, окружения, увеличить наше понимание их биологии. Более того, мы часто используем животных как модель для более широких научных проблем. Мы можем использовать набор средств, таких как оборудование (бинокуляры, самописцы и т.д.), логические конструкции (план и организация исследования, выдвижение и тестирование гипотез) и аналитические техники (статистику, филогенетические сравнения, ДНК-анализ). Важно, что мы обязаны документировать в общедоступной форме наши исследовательские вопросы, логические конструкции, техники использованные для анализа соответствующих природных феноменов и пр. Наша цель, однако, увеличивать знание о животных и понимание их биологии (как максимум, всего живого мира).
Эти общепринятые рекомендации определяют использование упомянутых средств и публикацию результатов (исследований). Чтобы быть тщательным, исследователь должен:
1) верно определять объект исследования и корректно использовать приспособления для сбора данных (скажем, методы учёта численности птиц);
2) полностью описывать задействованные методы, так чтобы позволить воспроизвести протокол исследования;
3) тщательно документировать наблюдения/эксперименты в разделе «результаты» публикации, чтобы сделать возможной независимую оценку качества данных;
4) в разделе «обсуждение» критически относиться к возможным систематическим ошибкам, в т.ч. связанным с предубеждением, вытекающим из принятой точки зрения, принадлежностью к определённой школе и пр. (bias) [а не превращать его в рекламу своего направления или своей теории]. Он должен оценить, насколько широко могут быть экстраполированы результаты данного исследования, где пределы этой экстраполяции, насколько репрезентативен полученный автором массив данных по условиям проведения исследования) для более широкого диапазона условий;
5) отдать должное работавшим ранее (в т.ч. указать, в какой степени их теории и результаты повлияли на твою собственную работу, обусловили постановку вопросов, выбор методов и пр.).
Работы, не соответствующие этим пяти базовым условиям, должны бы отвергаться (в журналах). Но нет, такие работы часто принимают к печати. В чём же дело?
Меняющаяся цель научного исследования? Судя по появляющимся симптомам, публикации из подсобного средства распространения информации делаются главной целью научного исследования [и направленно оформляются так, чтобы их цитировали как можно чаще, пусть и во вред научному содержанию, см.ниже]. Данная «смена фокуса» ответственна за большинство современных проблем (обсуждаемых ниже). Конечно, исследователи обязаны сообщать о своих находках, но перенос главного контроля на этап публикации ослабляет контроль качества на прочих этапах [в т.ч. потому что контроль там более неформален, его трудно измерить цифрой, удобной для предъявления небиологу, например, грантодателю], что на длинной дистанции оказывается контрпродуктивным.
Смена фокуса, видимо, связана с масштабными сдвигами в академической среде [ проникновение в науку практик и представлений из бизнеса и политики, особенно из первого. В.К.]. Мы живём в сильно конкурентной культуре, в которой люди и организации свирепо состязаются за позиции (дающие возможность исследования), гранты и престиж. Полевые биологи - часть этой системы. Теперь их "качество" и эффективность исследований все чаще (иногда исключительно) судят и оценивают по числу публикаций и престижности журналов, в которых публикуются, и это становится всё важнее и важнее, чем фактический научный вклад, который производят эти публикации <>. Кратковременный выигрыш [превалирует и ведёт] к долговременному проигрышу в качестве и прогрессе (научного знания). [эти стимулы вполне действенны - от сдвигов мотивации будущих исследователей («"Among biomedical research trainees at University of California Sam Diego 81% said they would modify or fabricate results to win a grant or publish a paper.", via eager_chromatin) до учащения случаев научного вранья у исследователей актуальных (1-2). Они могут коррумпировать даже учёных «на вершине» их научной карьеры. В.К.]
Прессинг, толкающий публиковать больше статей в более престижных журналах, (с большим импакт-фактором) толкает авторов думать, как эффективней «продать» работу редакторам и рецензентам (выбранного журнала), см. Brischoux Cook 2009 и ссылки там. Редакторы, со своей стороны, стараются повысить престижность журнала, [при оценке статей] начинают принимать во внимание разные вненаучные соображения, например, достаточно ли популярна их тематика, чтобы их процитировали сразу же после опубликования [или нет, и предпочитают первые в ущерб вторым. А надо сказать, критикуемая Весоловски система оценивания научной деятельности, вкупе с электронным доступом к публикациям, повысила забываемость статей, сразу не привлекших внимания. В.К.]. Автор признаёт, что авторы и журналы оч-ч-чень сильно мотивированы «надувать» значимость публикаций, что доказывается их готовностью подавать тему и материал с преувеличениями, использовать «сексуальные» термины, и заголовки, обещающие читателю больше, чем реально может предложить данное исследование (см.ниже). Многие из них всё ещё противостоят этим соблазнам, но всё больше людей, к несчастью, падает жертвой подобных техник убеждения. Действительно ли такие трюки «по продаже» работ обязательно искажают сами исследования, трудно сказать без более тщательного рассмотрения конкретных частных случаев [увы, что эти трюки также распространены у коллег, работающих не в поле, а в лаборатории; это общая напасть. В.К.]. Тем не менее, соблюдая приличия, их не следует поощрять в строгой научной документации.
Преувеличение важности исследования. Мы часто изучаем отдельные виды или сообщества в конкретных географических районах; результаты сильно зависят от контекста, местных особенностей. Их можно обобщать, но лишь в ограниченной степени. Мы понимаем, что проведение аналогичного исследования на другом виде, или на том же, но в другом месте, в другой сезон и пр. может вести к разным результатам. Напротив, исследования на молекулярном уровне дают более инвариантные результаты, достаточно независимые от года анализа и локализации лаборатории. Смена исследуемых видов также часто не ведёт к различиям. Неудивительно, что полевые биологи, чтобы как-то конкурировать с коллегами в белых халатах, начинают повышать свои шансы за счёт «большего хвастовства при подаче работы». Например, заголовок "Репродукция Mus major в зависимости от погоды на двух лесных участках, в 2000-2004 годах" точно описывает характер работы, но не помогает быть принятой в престижном журнале. После небольшой «подтяжки лица» название превращается в «Динамика метапопуляции грызунов (мышей изучали в двух пространственно разделенных точках + темпы воспроизводства там изменялись) и глобальное изменение климата (так как весенняя температура год от году менялась): долгосрочные исследования (работу проводили >3 лет)», увеличивает шансы статьи быть принятой и посланнной рецензентам.
Так, чуть-чуть «подремонтировав» заголовок, можно создать впечатление о статье как сильно более интересной, магически изменив впечатление со «скучная, узкая, построенная на отдельном случае» на «серьезная, новаторская наука». Если столь многое достижимо таким небольшим усилием, то почти невозможно противостоять искушению «раздуть» важность вашего исследования, от претензий, что его результаты более общи (и общеприложимы), чем это есть на самом деле. Обычно используемый для этого трюк - воздерживаться от упоминания видовых названий в заголовках. Вместо этого можно изучать "камышевок Палеарктики" или - лучше - "мигрирующих воробьиных", или - лучше всего - "перелетных птиц". Составленные таким образом заголовки (дезориентируют, поскольку заставляют читателя предположить), что результаты исследований одного вида и в одной местности приложимы ко всем перелетным птицам на всех континентах (а из работы это никак не следует и специально не изучалось). Эти предполагаемые утверждения» нечестны, но реально помогают в "продаже" статей для редакторов или заявки на грант выделяющему их фонду, так что больше и больше исследователей склонны использовать подобные средства.
Дискриминация фаунистических и натуралистических работ. О вкладе [данного исследования] в науку теперь часто судят не только по содержанию, но прежде всего по использованному методу. И некоторые подходы - «описательные» исследования и «исследования естественной истории видов» рассматривают как сорт «низшей науки», не заслуживающий публикации в престижных журналах <>. И наоборот: проверка гипотез в контролируемом эксперименте рассматривается как высшая наука, единственно соответствующая «Научному Методу с большой буквы» и единственно могущая показать причинно-следственные связи. Эта стигматизация полевых дисциплин имеет давние традиции. Эрнст Майр (1997) писал: «Только эксперимент рассматривается как валидный научный метод. Любой другой подход рассматривается как «низшая наука». Но поскольку это дурной вкус называть часть коллег «плохими учёными», неэкспериментальные науки стали именовать «описательными». Некоторые противники [натуралистических исследований] чуть более терпимы и могут признать, что это “тоже наука”, но лишь при условии, что они посвящены проверке гипотез.
Кажется, что сегодня время от времени случается (и происходит всё чаще), что методологический подход, используемый для ответа на научные вопросы, ценится более данных, полученных в ходе исследования. Мы потеряли из виду тот факт, что тщательные натуралистические исследования столь же часто открывают совершенно новые направления. Oliver (1991) очень ясно выразил этот момент: "Эксперименты - средство для получения лишь определенного вида наблюдений, и выдвижение гипотезы - всего лишь шаг в организации наблюдений. Никакая частичная процедура, но лишь научный метод, как он описан во всей своей полноте - валидное средство для проведения исследований. Наблюдения [ранее совсем неизвестных аспектов] естественной истории вида в отсутствие гипотез - совершенно валидный путь научных исследований и часто предпочтительный, если крупное открытие является целью."
Несмотря на то, что раз за разом доказывается, как натуралистические исследования, движимые любопытством, приводили к крупным открытиям, и что интуиция была необходимым компонентом многочисленных прорывов в науке <>, некоторые журналы однозначно исключают описательные работы со своих страниц.
Чарльз Дарвин, предложивший самый важный концепт современной биологии - эволюцию путем естественного отбора - также был преимущественно натуралистом. Его теоретические достижения вытекают из его тщательного наблюдения живого мира. Он ставил верные вопросы, потому что они были порождены необходимостью объяснить наблюдаемые явления, тогда как исследователи, не имеющие солидного опыта натуралиста, часто тратят время впустую, отыскивая найти ответы на неверно поставленные (тривиальные) вопросы или тестируя нерелевантные гипотезы (cм. примеры, представленные Valkiũnas (2005) и Weisman (2008). Модели и матстатистика - сильные средства, если употребляются для облегчения понимания правильно наблюдаемых природных явлений, но используемые в вакууме, они в лучшем случае производят ложные результаты. [это как со статистикой - если мусор на входе (в данных), то будет и мусор на выходе. И постоянно приходится преодолевать наивное убеждение обучающихся этим методам, что сложные программы, вроде анализа временных рядов МЕЗОЗАВР (а тем более филогенетические алгоритмы вроде PAUP), могут сами не только обсчитывать данные, но и выдавать содержательные интерпретации. Увы, многие биологи жаждут переложить на технику умственную работу и содержательный анализ, вплоть до производства окончательных выводов - чтобы взять готовое дерево и сразу в статью. Связано это, понятно, с подспудным желанием по максимуму ужать время до публикации, никак не с неграмотностью. В.К.].
Дискриминация натуралистических, описательных работ исходя из «не того метода» вредна <>. Рецензенты, редакторы и научные фонды одинаково пренебрегают не- экспериментальными научными подходами. Ясно, что равно возможен как бессмысленный/плохо документированный эксперимент, так и плохое описательное исследование, но надо оценивать качество по содержанию, а не методу (что делается единственным критерием для приёма работы).
Отсутствие базовых полевых навыков / таксономических знаний. Минимум требований к выполнению любого полевого исследования - способность проводящего определить свои объекты (умение определять виды и - при необходимости - пол и возраст ) [в тому числе по голосу, следам деятельности и пр. В.К.]. В прошлом, когда натуралисты материал преимущественно собирали себе сами, они были интимно знакомы с биологией «своих» видов и хорошо изучили район исследований, см., например, труды Чарльза Дарвина, Нико Тинберген или более поздние орнитологические примеры у Bijlsma (2010). Эти ученые на деле знали, что они говорят. Они могли оценить качество данных и разумно интерпретировать биологический смысл наблюдений. К сожалению, это требование всё чаще сегодня не выполняется.
Растёт число исследователей, малознакомых со своими объектами <>. Вместо этого, они работают с данными, собранными полевыми ассистентами, знают «свои» виды только как имена на экране компьютера, или проводят фаунистические исследования, не умея определить вид в поле. Последнее особенно остро в богатых видами и плохо изученных тропических регионах. Ученые с недостаточным знанием местной фауны, ограничившись короткими визитами в район исследования, "производят" работы по населению и разнообразию птиц, где пропускается до 2/3 видов, в том числе некоторые из наиболее распространенных из них. Здесь нет никакой гарантии, что отмеченные виды верно определены. Более того, рецензенты, пропускающие такие работы, сами малознакомы с местной фауной или, ещё хуже, не подозревают об отсутствии у них таких знаний [важных для оценки работы].
Неадекватное описание полевых процедур. Раздел «методы» научной статьи должен быть детализирован в достаточной степени, чтобы читатель мог оценить качество работы и повторить исследование при необходимости. К сожалению, сегодня так делается уже не всегда. Меньше и меньше внимания в разделе «Методы» уделяется деталям полевой процедуры. Например, Lambrechts et al. (2010) показали, что процент исследований искусственных гнездовий, где приведены данные по меньшей мере об одной характеристике этих гнездовий, упал с 60% в исследованиях до 92 г. к 30% впоследствии. Сейчас растёт число работ, где вообще не указывается, что исследование выполнено в искусственных гнездовьях.
Падение значимости описания полевых методов представляется вполне понятным - если мы требуем производить заключения общего характера (см. выше), не следует посвящать слишком много внимания таким деталям, как полевые процедуры, используемые в данной местности (это ставит препятствие генерализации результатов). Отсутствие достаточной информации о методах, которыми собирались данные, однако, превращает исследование в виртуальное и беспочвенное. У читателя нет средств оценить, насколько детали техники наблюдения или процедуры эксперимента могли повлиять на результат. Если он воспроизводит исследование и получает противоречащие результаты, ему никто не может сказать, происходит противоречие от различия методов при воспроизведении или отображает реальные биологические различия между местами исследования / объектами.
Читать далее