Несколько недобросовестных экспертов в сообществе могут развалить всю систему оценки научных работ
«В современной научной практике критерием для публикации статьи в научном журнале является ее оценка несколькими экспертами в соответствующей области - они читают присланные в редакцию работы и выносят решение, опубликовать их, отвергнуть или отправить на доработку.
Анализ этого процесса показал, что подобный процесс экспертной оценки научных работ является крайне ненадежным в силу человеческого фактора.
...Авторы новой работы решили проверить, насколько система экспертной оценки устойчива к такому фактору как недобросовестные эксперты. Ученые разработали модель, в которую включили пять типов экспертов: правильные (отклоняют плохие работы и принимают хорошие), альтруисты и мизантропы (соответственно принимают или отклоняют все работы), рационалисты (отклоняют работы, которые могут отвести внимание от их собственных исследований) и случайные (принимают решения случайным образом из-за нехватки квалификации или времени).
Исследователи рассматривали схему, когда каждая новая работа направляется на рассмотрение двум экспертам, случайно выбранным из общего пула. Работа считалась опубликованной, если оба эксперта давали ей положительную оценку. Если один был против, вероятность публикации принималась за 0,5.
После того как ученые "прогнали" модель для 1000 публикаций, они выяснили, что даже небольшой процент рационалистов и/или случайных экспертов способен существенно ухудшить качество отбираемых работ. Когда соотношение рационалистов, правильных и случайных экспертов в пуле составляло 1:1:1, статьи к публикации принимались фактически по случайному принципу »...
источник
Анализ этого процесса показал, что подобный процесс экспертной оценки научных работ является крайне ненадежным в силу человеческого фактора.
...Авторы новой работы решили проверить, насколько система экспертной оценки устойчива к такому фактору как недобросовестные эксперты. Ученые разработали модель, в которую включили пять типов экспертов: правильные (отклоняют плохие работы и принимают хорошие), альтруисты и мизантропы (соответственно принимают или отклоняют все работы), рационалисты (отклоняют работы, которые могут отвести внимание от их собственных исследований) и случайные (принимают решения случайным образом из-за нехватки квалификации или времени).
Исследователи рассматривали схему, когда каждая новая работа направляется на рассмотрение двум экспертам, случайно выбранным из общего пула. Работа считалась опубликованной, если оба эксперта давали ей положительную оценку. Если один был против, вероятность публикации принималась за 0,5.
После того как ученые "прогнали" модель для 1000 публикаций, они выяснили, что даже небольшой процент рационалистов и/или случайных экспертов способен существенно ухудшить качество отбираемых работ. Когда соотношение рационалистов, правильных и случайных экспертов в пуле составляло 1:1:1, статьи к публикации принимались фактически по случайному принципу »...
источник