Публикация в Российской научной газете "Троицкий вариант" об индикаторах оценки научной деятельности
Когда я писал свои посты "Вклад разных стран в науку на основе цитируемости" и "Вклад разных стран в науку на основе цитируемости - интегральные данные", то не придавал им какого-то особого значения. Увидел в британском издании "The Times Higher Education" таблицы с информацией, которая мне как научному работнику показалась интересной - и скопировал их с минимумом собственных комментариев. Однако, тема оказалась "горячей": на посты было дано немало ссылок в других журналах, я сам поучаствовал в нескольких дискуссиях. Некоторые читатели (почему-то среди них преобладали математики) восприняли мои непритязательные посты как пропаганду вредных и чуть ли не ведущих к разрушению науки идей. В итоге я почувствовал необходимость высказаться по теме подробнее.
В результате, с подачи и в соавторстве с nataly_demina (с которой мы в Москве, что называется, развиртуализовались во время моего отпуска) в последнем номере Российской научной газеты "Троицкий вариант", № 14, от 14 октября 2008 г. были опубликованы аж две взаимосвязанные статьи "Научная деятельность и формальные индикаторы" и "Ранжирование научного вклада разных стран на основе импакт-фактора цитируемости" (кстати, в этом номере есть и другие интересные материалы, например, материал Льва Клейна о плагиате и статья-мемуар Михаила Донского о профессии программиста (жизненный цикл которой как творческой деятельности, по его мнению, заканчивается у нас на глазах).
Коль скоро газета пока доступна только в виде единого pdf-файла, я приведу наш текст здесь (с некоторыми изменениями - в частности, с добавлениями, ссылающимися на мой личный опыт, что в газетном варианте вряд ли было уместно).
Научная деятельность и формальные индикаторы
Наука - не спорт, в этой сфере трудно дать однозначное и корректное определение, кто победил и кто проиграл (не говоря о том, что такие вопросы даже не всегда имеют смысл). Тем более трудно ранжировать научные достиже-ния - особенно если речь идет о повседневной научной продукции, а не о действительно выдающихся (и потому достаточно редких) результатах. Тем не менее, и в этой области человеческой деятельности, пусть часто и неявно, но присутствует соревновательный фактор. В конце концов, и за должности, и за финансирование, и за премии, и даже за признание в глазах общественного мнения обычно идет самое настоящее соревнование - и между отдельными учеными, и между лабораториями, кафедрами, институтами и университетами, и даже между странами. И как определяются победители - вопрос не праздный, даже если многие истинные ученые считают ниже своего достоинства этим интересоваться.
Сложившийся за многие годы внутренний механизм определения качества научных результатов в виде экспертного рецензирования публикаций продолжает выполнять свою функцию. Для отдельных статей (особенно на этапе отбора к публикации) этот механизм работает, и альтернативы ему не видно. Более-менее работает и неформальный «гамбургский счет» - специалисты в конкретной научной области обычно знают, кто чего на самом деле стоит и почему. Однако наука все более разрастается, глобализируется, требует всё больше средств из разных источников, приобретает политическое и имиджевое значение, т.е. всё более выходит за свои собственные границы. Соответственно, понимание истинного состояния дел уже не может быть прерогативой узких специалистов некой конкретной научной области. А доверие к экспертам, прямо скажем, далеко от абсолютного не только у широкой публики (значительная часть которой чужда научному мировоззрению, склонна не одобрять трат на кажущуюся им абстрактной науку и не верит никому), не только у правительственной и научной бюрократии (сидящей на финансовых средствах), но даже и у самих научных работников.
Что говорить: в науке, как в любой творческой деятельности, существует и личный субъективизм экспертов, и кумовство, и клановость. Все мы знаем, что рекомендательные письма часто пишутся друзьями претендующего на занятие по конкурсу научной должности; что статьи иногда получают плохие рецензии из-за того, что рецензент пытается затормозить публикацию результатов конкурирующей научной школы; что гранты порой распределяются отнюдь не только на основании объективных достоинств поданных заявок (а с использованием административного ресурса, по принципу «ты мне, я тебе» - и в итоге, в значительной степени, попадают к тем, кто их и распределяет); что пропаганда отдельных научных достижений в СМИ (часто устами тех же уважаемых экспертов) иной раз сводится к возвеличиванию «своего» и замалчиванию «чужого» и т.д. Поэтому неудивительно, что чем дальше, тем больше проявляется интерес к более формальным индикаторам, которые в идеале должны быть способны нивелировать неизбежный субъективизм экспертов и в итоге обеспечить ту самую «объективную» картину.
Проблема, как мы, практики, прекрасно знаем, в том, что формализовать оценку качества научной деятельности чрезвычайно трудно. Это, однако, не мешает все более широкому де-факто использованию некоторых метрик, в первую очередь т.н. «импакт-факторов», основанных на цитируемости научных публикаций. Изначально «импакт-фактор» носил чисто библиометрический характер и прилагался для ранжирования научных журналов (наиболее часто использовалась очень простая формула: импакт-фактор журнала равен частному от деления количества ссылок в текущем году во всех родственных изданиях на статьи, опубликованные в данном журнале в предыдущие 2 года, на общее количество статей, опубликованных в данном журнале в эти предыдущие 2 года). Однако с течением времени подобные индексы стали использоваться и для оценки производительности и качества труда отдельных научных работников, исследовательских подразделений самого разного типа и даже целых стран.
Например, в настоящее время в Великобритании вводится основанная на производных от показателей цитируемости факторах система оценки исследовательской деятельности подразделений всех университетов страны (где британская наука в основном и сосредоточена). По итогам оценки будет осуществляться и бюджетное финансирование (что для британской науки - критично, ибо является главным источником). Решение об этом уже принято, но детали еще обсуждаются, и многие не ожидают от этого ничего хорошего. И неудивительно: недостатки такого рода формальных метрик хорошо известны. Вот совсем недавно получил резонанс специальный Доклад Международного Союза математиков, анализирующий основанные на статистике цитируемости импакт-факторы и предостерегающий от их сколь-либо широкого использования.
Упомянем только наиболее очевидные проблемы с импакт-факторами.
Прежде всего, пока нет общепризнанной (и тем более надлежащим образом обоснованной) методики их расчета - используются разные индексы, а один и тот же может считаться с использованием разных параметров (например, наиболее распространенный индекс - количество ссылок в расчете на одну статью - считается для разного количества лет).
Часто даже для популярных индексов нет согласия в том, как именно их интерпретировать. Неясно, например, как должным образом учитывать личный вклад соавторов (т.е. на самом деле ясно, что формализовать это нельзя).
Более того: пока не существует действительно полной базы данных для их расчета. Наибольшее признание получили три базы: Thomson ISI Essential Science Indicators, Elsevier Scopus и Google Scholar. Кроме того, во многих дисциплинах существуют и специальные базы данных (у математиков - MathSciNet Американского математического общества, у компьютерщиков - CiteSeerX, у медиков - PubMed и т.д.). Все они содержат далекие от полноты и частично несовпадающие данные и соответственно дают разные результаты расчетов. Я имел случай убедиться в этом лично: понадобилось мне заполнить недавно введенную в нашем университете форму "Standard Academic Profile". Согласно методическим указаниям, я должен был "demonstrate national/international recognition based on relevant metrics". Я использовал процедуры расчета каждой из упомянутых баз и получил четыре существенно различающихся результата. Было у них, впрочем, и нечто общее: значение каждого выданного импакт-фактора было существенно меньше посчитанного мною по моей собственной базе (где почти все ссылки учтены).
Посредственная статья, попавшая «в модную струю», может быстро набрать много цитирований, в то время как глубокая статья, опережающая свое время, может ждать своего часа довольно долго. Статья, напечатанная (в том числе и с помощью «дружественных» рецензентов) в популярном издании, может цитироваться много чаще, чем опубликованная в менее престижном издании. Обзорная статья по определению цитируется больше узкоспециальной. Междисциплинарная статья тоже обычно цитируется меньше. А уж если труд опубликован не на английском языке…
Наконец, показатели цитируемости очегнь сильно зависят от конкретной науки - более подробное об этом ниже.
Однако, так или иначе, формальные метрики уже используются и будут еще больше использоваться на практике. Это факт, который невозможно игнорировать. тем более, что и уже упомянутые плюсы их использования очевидны. Научное сообщество, соответственно, заинтересовано в совершенствовании методик их расчета и корректной интерпретации. Очевидно, например, что рассмотрение абсолютных значений импакт-факторов имеет мало смысла: необходимо учитывать многофакторный контекст, и оценки делать в основном относительные. Ясно, что проблематично основывать на цитируемости оценку качества отдельной статьи или труда отдельного ученого (по крайней мере надо для этого учитывать комплекс показателей - помимо числа цитирований на одну статью, смотреть на h-index, g-index, etc). Но сама статистическая природа подобных импакт-факторов позволяет сделать вывод: они должны лучше работать на больших массивах данных, где многие их недостатки нивелируются. И уже поэтому особенно интересно их использовать для оценки состояния науки на уровне государств. Конечно, отдельные выдающиеся достижения могут выламываться из подобной статистики, но усредненные, мэйн-стримовые тенденции должны проявляться вполне наглядно.
Ранжирование научного вклада разных стран на основе импакт-фактора цитируемости (совместно с nataly_demina)
В этой статье мы приведем некоторые результаты расчета импакт-факторов, отражающих место российской науки в контексте мировой. Не претендуя на "научность" нашего материала, мы все же полагаем, что эти результаты более-менее корректно отражают реальность и могут дать инфолрмацмю для размышления. Мы намеренно приводим готовые (не нами рассчитанные) результаты, уже получившие паблисити в авторитетных западных источниках и доступные в Интернете.
Далее приводятся две таблицы (с достаточно очевидными комментариями), которые взяты из моего предыдущего поста на эту тему:
Top 20 countries in Sciences and Social Sciences Based on Impact
RankCountryPapersCitationsImpact
1Switzerland161,8792,323,88914.36
2US2,854,88439,29542713.76
3Denmark88,1551,169,66113.08
4Netherlands222,6412,912,26113.08
5Scotland102,5111,321,42112.89
6Sweden168,2852,094,96412.45
7England654,6398,138,35612.43
8Finland82,395964,60811.71
9Canada397,6124,476,85611.26
10Belgium120,3981,348,24211.20
11Germany738,4348,168,92411.06
12Austria84,433901,23010.67
13Israel1058581,124,73710.62
14Norway60,279637,63410.58
15France528,0835,510,06510.43
16Australia255,4312,565,79210.04
17Italia378,6613,742,9879.88
18New Zealand50,593451,2228.92
19Japan771,0786,717,7708.71
20Spain278,8052,393,2428.58
Увы, Россия в первую двадцатку не попала. И данных о ней в данной публикации нет.То же относится и к Китаю. Вот здесь я обнаружил данные по общему количеству опубликованных статей период с 1 января 1998 г. по 29 февраля 2008 г. Как видно, по этому валовому показателю Китай находится на 6-м месте (511,216 статей), а Россия - на 10-м (262,982 статьи).
Что касается основанного на цитируемости импакт-фактора по этим странам, то мне удалось найти (вот здесь) данные за период с 1 января 1997 г. по 31 августа 2007 г. Очевидно, что ситуация не могла принципиально измениться, поэтому приведу их:
RankCountryPapersCitationsImpact
?China471,8901,894,8104.02
?Russia275,9451,057,9283.83
Очевидно, что обе страны по этому показателю находятся далеко за пределами первой двадцадки.
Конечно, этот интегральный импакт-фактор легко отмести как показывающий «среднюю температуру по больнице». Лучше, однако, поискать другие, более точные аналогии (они есть и для больниц; но упомянем, например, столь популярный общий зачет на олимпийских играх, который при всей своей условности - как сравнить одну золотую медаль футбольной сборной с несколькими, завоеванными одним пловцом? - все же неплохо отражает сравнительное состояние развития спорта в разных странах). Для корректной интерпретации необходимо, в частности, принять во внимание следующие наиболее очевидные факторы:
Имеется специфика в развитии науки в «больших» (США, Англия, Япония, Китай, Россия) и «малых» (Швейцария, Нидерланды, Дания) странах. «Большие» страны стараются развивать практически все основные научные дисциплины. «Малые» страны могут себе позволить концентрировать свои ресурсы не во всех, а в отдельных науках или даже на отдельных направлениях. Это позволяет добиваться значимых (во всяком случае, с точки зрения импакт-фактора) результатов в некоторых «горячих», популярных научных направлениях и обеспечивает этим странах высокие рейтинги.
Интегральный импакт-фактор размывает специфику отдельных наук. Само число изданий (а соответственно, и статей) в разных науках может сильно различаться. К тому же традиционно упомянутые базы учитывают только журнальные статьи. В некоторых науках, в частности в Computer Science, есть такие конференции, которые будут покруче большинства журналов - и по престижности, и по суровости peer-reviewing. Например, в моей специальности симпозиум "Solid Modeling and Applications", не замечаемый базами, котируется выше большинства журналов. Любопытно также, что некоторые конференции (в том числе вполне рядовые) загадочным образом в тот же Scopus попадают.
Кстати, уже наметилась - во всяком случае, в моей области - тенденция: материалы все большего числа конференций публикуются в виде специальных выпусков журналов (причем не избранные "best papers" post-factum, а все принятые - и к началу конференции). Что, видимо, является реакцией на запросы по желательности цитируемости. При том, что процесс рецензирования у некоторых конференций может не достигать принятых для данного журнала стандартов качества, получается, что формально принятые на конференцию статьи становятся "журнальными" (и учитываюься базами!), но фактически таковыми не являются. С другой стороны, идя навстречу пожеланиям научных трудящихся, тот же Scopus уже объявил, что имеет намерение расширить список покрываемых базой конференций. Хорошо ли это - неясно: ведь таким образом размываются границы между публикациями разного уровня.
Необходимо также принимать во внимание, что в разных научных областях типичная научная статья будет набирать очень разное количество ссылок. Например (посмотрите на таблицу 3!), в биологии и медицине средняя статья набирает чуть ли не на порядок больше ссылок, чем в математике и компьютерных науках. Как математиков и компьютерщиков сравнивать с биологами? Возможно, в этом факте - одна из причин того, что именно математическое сообщество наиболее осторожно относится к импакт-факторам (что, повторюсь, видно даже по дискуссиям в моем жж). Лично я работаю в достаточно прикладной области компьютерной науки, где средний показатель цитируемости даже меньше среднего по всей Computer Science - значительная часть потребителей работает в индустрии и сами печатаются не слишком активно. Вот мы напечатали статью в журнале "Leonardo" - ведущем издании в области приложения современных компьютерных технологий к искусству. Журнал очень престижный, процесс рецензирования длительный и суровый. Цитирований - ноль: такова специфика его читателей.
Важно понять, какой период после выхода статьи в свет учитывать при исчислении индексов цитируемости: 2 года? 5? 10? Или вообще не ограничивать? Снова сошлюсь на пример из собственной практики. В 1995 году мы опубликовали статью в журнале "Visual Computer". Проходила она трудно, рецензенты, в частности, отмечали, что даже если материал с теоретической точки зрения интересный, но с практической - безнадежен. Время показало, что эти рецензенты ошибались. Что же с цитированием? Согласно базе Scopus, в первые 5 лет после публикации обнаружилось в сумме 11 ссылок. Зато начиная с 2001 года их число резко возросло (по годам: 12, 8, 11, 25, 20, 15, 12, 13 - еще в незаконченном нынешнем году). Всего Scopus дает 128 журнальных ссылок на эту общепризнанную теперь "seminal paper". Любопытно также, что в неучитываемых базой конференционных статьях (их набралось в конечном итоге около сотни) коллеги начали ссылаться на эту нашу статью практически сразу же: скажем, в 1997 году было 7 таких ссылок, в 1998 году - 20 (для журнальных цитирований Scopus дает соответственно 0 и 3). И как все это трактовать?
Но вернемся (держа в уме сделанные оговорки) к основной теме. Для более корректной интерпретации ранжирования стран по интегральному импакт-фактору, и в частности для более четкого осознания места России в такого рода рейтингах, стоит принять во внимание дополнительные данные. Таблица 3 показывает значения импакт-фактора по отдельным научным дисциплинам для шести значимых научных держав мира - пяти "самых представительных" "больших" и одной (для сравнения) "малой". Для физики и математики данные для всех стран относятся к периоду январь, 1997 г. - декабрь 2007 г. Для компьютерных наук, математики, наук о космосе и социальных наук данные для США, Швейцарии и Китая охватывают период январь 1997 г. - июнь 2007 г., для Японии: январь 1996 г. - октябрь 2006 г., для Англии: январь 1994 г. - декабрь 1994 г., для России: январь 1994 г. - октябрь 2004 г. Как видно, доступные данные для России несколько устарели. Изменились ли они принципиально? Вряд ли.
Страна ФизикаМолекулярная биология и генетикаКомпьютерные наукиМатематикаНауки о космосеСоциальные науки
США12.4733.494.483.8216.774.66
Швейцария13.633.753.623.6714.883.64
Англия10.4832.392.693.7814.853.48
Япония7.6921.541.982.1411.292.61
Китай4.289.051.161.925.262.33
Россия5.696.500.781.244.960.53
Эти данные позволяют принять во внимание специфику отдельных наук. Относительно российской науки прослеживается все та же закономерность: отставание от ведущих научных государств прослеживается по всем дисциплинам и весьма велико.
Еще более показательно сравнение российских показателей со среднемировыми (рассчитанными для 116 стран). Информация в таблице 4 взята из статьи «Наука в России», опубликованной в феврале 2008 г. на сайте ScienceWatch. В ней приводятся данные о той доле, которую занимает российская наука в мировом потоке научных публикаций, охватываемых базой Thomson Scientific за 2002-2006 гг. в области 21 научной дисциплины (посчитаны на основании 115,199 статей, где по крайней мере один автор указал российскую принадлежность). Кроме того, в таблице дается процентное отклонение интегральных импакт-факторов российских публикаций от среднемировых по каждой научной дисциплине.
Научная дисциплинаПроцент количества статей из РоссииОтклонение в процентах значения импакт-фактора от среднемирового
Физика7.46-19
Науки о космосе7.01-51
Гео-науки6.71-53
Химия5.28-64
Математика4.41-39
Процентная доля статей российских авторов, усредненная по всем дисциплинам2.84
Науки о материалах2.81-48
Инженерные науки2.54-28
Молекулярная биология2.25-69
Биология и биохимия2.22-62
Микробиология1.51-40
Науки о растениях и животных1.44-56
Экология и окружающая среда1.08-36
Сельскохозяйственные науки0.97-57
Нейро-поведенческие науки0.66-58
Психология и Психиатрия0.57-64
Компьютерные науки0.54-16
Клиническая медицина0.47-53
Фармакология0.33-27
Иммунология0.33-49
Социальные науки0.33-5
Экономика и бизнес0.25-18
Как видим, наибольший процент научных статей из России, проиндексированных в Web of Science и отражающий валовой фактор, приходится на публикации российских физиков, астрономов и других исследователей космоса, а также гео-наук. то есть по крайней мере эти научные области разрабатываются российскими учеными активно - валовые показатели неплохие (в районе 7% от общемирового числа публикаций). Но, как показывает правая колонка таблицы, интегральный импакт-фактор (число цитат на статью) даже по физике в 2002-2006 гг. был на 19% ниже среднемирового по этой дисциплине (3.07 цитат относительно 3.7 на одну статью). А вот ситуация с науками, в которых валовое количество статей не достигает уровня 1% от общемирового (а среди них такие важные, как поведенческие, компьютерные, микробиология и другие), близка к критической, даже безотносительно к низким значениям импакт-фактора цитирования. Ведь эти валовые цифры означают, что в данных науках место России на мировой научной карте практически не просматривается.
Кстати, авторы статьи «Наука в России» отмечают, что хотя вклад России в кладовую знаний еще далек от среднемирового, но российские ученые показывают более-менее высокий (т.е. более низкий, чем среднемировой, но не сильно) уровень исследований не только в физике, но и в компьютерных науках, а также в социальных науках, экономике и бизнесе. На наш взгляд, этот вывод хоть и приятен для россиян, но вряд ли корректен. Скорее, среднемировые цифры в означенных дисциплинах весьма низки - по сравнению с достигнутыми лидерами в этих науках. К тому же валовое количество российских публикаций в этих науках слишком мало для значимых выводов.
Особый разговор о социогуманитарных дисциплинах. Понятно, что здесь есть своя специфика, связанная, в частности, с большей привязанностью к реалиям, в том чимсле языковым, данной страны. При крайне малой доле российских научных журналов по социогуманитарным наукам в рассматриваемой базе данных и незначительной интегрируемости российских обществоведов в мировую науку эти цифры говорят лишь о низкой степени цити- руемости научных публикаций в этих науках вообще.
Заключение. Как видим, анализ статистики из базы данных научного цитирования Essential Science Indicators, издаваемой компанией Thomson Scientific, свидетельствует о неутешительной для россиян тенденции: российская наука сдает свои позиции даже в области физико-математических и естественных наук. О том, что ситуация критическая, говорят не только сами ученые и научные журналисты, но и российские политики, только выводы делаются разные. Например, вот как не так давно высказался по проблеме «публикации в зарубежных журналах» президент РАН Ю.С. Осипов в интервью «Российской газете» [7]: «...так оценивать работу ученых нельзя. У нас есть уникальные издания, в которых любой ученый сочтет за честь опубликовать работу… В академии и в университетах имеются прекрасные журналы, там печатаются прекрасные работы, но они не переводятся. Словом, делить ученых на тех, кто попал в западный журнал и кто публикуется в России, нельзя… Недавно прочитал высказывание одного нашего биолога, который утверждает, что все сколько-нибудь значимые результаты нужно публиковать за рубежом. Я считаю, что надо очень сильно не любить и не уважать свое отечество, чтобы говорить такую, не побоюсь этого слова, глупость… Нельзя судить об эффективности науки только по числу публикаций, а тем более сравнивать с другими странами».
На наш взгляд, именно в России (где, к слову, даже надлежащее рецензирование научных статей давно перестало быть повсеместным явлением) широкое использование основанных на цитируемости индикаторов было бы весьма полезно, ибо способствовало бы и фактической, и, так сказать, психологической интеграции в мировую науку. Но скоропалительные меры вряд ли помогут повышению интегрального импакт-фактора научных публикаций. Особенно если и среди политического и научного руководства, и среди самих ученых нет полного понимания даже того очевидного факта, что время изолированной за «железном занавесом» «суверенной» науки, способной функционировать на приличном уровне, ушло навсегда. Если ученый не публикуется на языке международного научного общения в тех изданиях, где его могут прочитать зарубежные коллеги, то для мировой науки в большинстве (хотя и не во всех!) научных областей, этого ученого просто не будет существовать.
Для изменений к лучшему необходимы, конечно же, системные меры по изменению сложившихся механизмов функционирования науки в России. Прежде всего, надо обеспечить долгосрочную поддержку лучших научных лабораторий, научных групп через прозрачные конкурсы и программы, предоставить благоприятные условия для создания и деятельности научных грантодающих фондов, помочь интеграции российских ученых и российских научных журналов в мировую науку и, следовательно, в зарубежные базы научного цитирования. Нужно обеспечить интеграцию российского индекса научного цитирования (РИНЦ) с базами данных ESI и Scopus. Словом, требуется длительная и монотонная работа, а не громкие политические заявления о повышении продуктивности и отдачи.
Продолжение темы: Средний индекс цитируемости по отдельным наукам за 11 лет
В результате, с подачи и в соавторстве с nataly_demina (с которой мы в Москве, что называется, развиртуализовались во время моего отпуска) в последнем номере Российской научной газеты "Троицкий вариант", № 14, от 14 октября 2008 г. были опубликованы аж две взаимосвязанные статьи "Научная деятельность и формальные индикаторы" и "Ранжирование научного вклада разных стран на основе импакт-фактора цитируемости" (кстати, в этом номере есть и другие интересные материалы, например, материал Льва Клейна о плагиате и статья-мемуар Михаила Донского о профессии программиста (жизненный цикл которой как творческой деятельности, по его мнению, заканчивается у нас на глазах).
Коль скоро газета пока доступна только в виде единого pdf-файла, я приведу наш текст здесь (с некоторыми изменениями - в частности, с добавлениями, ссылающимися на мой личный опыт, что в газетном варианте вряд ли было уместно).
Научная деятельность и формальные индикаторы
Наука - не спорт, в этой сфере трудно дать однозначное и корректное определение, кто победил и кто проиграл (не говоря о том, что такие вопросы даже не всегда имеют смысл). Тем более трудно ранжировать научные достиже-ния - особенно если речь идет о повседневной научной продукции, а не о действительно выдающихся (и потому достаточно редких) результатах. Тем не менее, и в этой области человеческой деятельности, пусть часто и неявно, но присутствует соревновательный фактор. В конце концов, и за должности, и за финансирование, и за премии, и даже за признание в глазах общественного мнения обычно идет самое настоящее соревнование - и между отдельными учеными, и между лабораториями, кафедрами, институтами и университетами, и даже между странами. И как определяются победители - вопрос не праздный, даже если многие истинные ученые считают ниже своего достоинства этим интересоваться.
Сложившийся за многие годы внутренний механизм определения качества научных результатов в виде экспертного рецензирования публикаций продолжает выполнять свою функцию. Для отдельных статей (особенно на этапе отбора к публикации) этот механизм работает, и альтернативы ему не видно. Более-менее работает и неформальный «гамбургский счет» - специалисты в конкретной научной области обычно знают, кто чего на самом деле стоит и почему. Однако наука все более разрастается, глобализируется, требует всё больше средств из разных источников, приобретает политическое и имиджевое значение, т.е. всё более выходит за свои собственные границы. Соответственно, понимание истинного состояния дел уже не может быть прерогативой узких специалистов некой конкретной научной области. А доверие к экспертам, прямо скажем, далеко от абсолютного не только у широкой публики (значительная часть которой чужда научному мировоззрению, склонна не одобрять трат на кажущуюся им абстрактной науку и не верит никому), не только у правительственной и научной бюрократии (сидящей на финансовых средствах), но даже и у самих научных работников.
Что говорить: в науке, как в любой творческой деятельности, существует и личный субъективизм экспертов, и кумовство, и клановость. Все мы знаем, что рекомендательные письма часто пишутся друзьями претендующего на занятие по конкурсу научной должности; что статьи иногда получают плохие рецензии из-за того, что рецензент пытается затормозить публикацию результатов конкурирующей научной школы; что гранты порой распределяются отнюдь не только на основании объективных достоинств поданных заявок (а с использованием административного ресурса, по принципу «ты мне, я тебе» - и в итоге, в значительной степени, попадают к тем, кто их и распределяет); что пропаганда отдельных научных достижений в СМИ (часто устами тех же уважаемых экспертов) иной раз сводится к возвеличиванию «своего» и замалчиванию «чужого» и т.д. Поэтому неудивительно, что чем дальше, тем больше проявляется интерес к более формальным индикаторам, которые в идеале должны быть способны нивелировать неизбежный субъективизм экспертов и в итоге обеспечить ту самую «объективную» картину.
Проблема, как мы, практики, прекрасно знаем, в том, что формализовать оценку качества научной деятельности чрезвычайно трудно. Это, однако, не мешает все более широкому де-факто использованию некоторых метрик, в первую очередь т.н. «импакт-факторов», основанных на цитируемости научных публикаций. Изначально «импакт-фактор» носил чисто библиометрический характер и прилагался для ранжирования научных журналов (наиболее часто использовалась очень простая формула: импакт-фактор журнала равен частному от деления количества ссылок в текущем году во всех родственных изданиях на статьи, опубликованные в данном журнале в предыдущие 2 года, на общее количество статей, опубликованных в данном журнале в эти предыдущие 2 года). Однако с течением времени подобные индексы стали использоваться и для оценки производительности и качества труда отдельных научных работников, исследовательских подразделений самого разного типа и даже целых стран.
Например, в настоящее время в Великобритании вводится основанная на производных от показателей цитируемости факторах система оценки исследовательской деятельности подразделений всех университетов страны (где британская наука в основном и сосредоточена). По итогам оценки будет осуществляться и бюджетное финансирование (что для британской науки - критично, ибо является главным источником). Решение об этом уже принято, но детали еще обсуждаются, и многие не ожидают от этого ничего хорошего. И неудивительно: недостатки такого рода формальных метрик хорошо известны. Вот совсем недавно получил резонанс специальный Доклад Международного Союза математиков, анализирующий основанные на статистике цитируемости импакт-факторы и предостерегающий от их сколь-либо широкого использования.
Упомянем только наиболее очевидные проблемы с импакт-факторами.
Однако, так или иначе, формальные метрики уже используются и будут еще больше использоваться на практике. Это факт, который невозможно игнорировать. тем более, что и уже упомянутые плюсы их использования очевидны. Научное сообщество, соответственно, заинтересовано в совершенствовании методик их расчета и корректной интерпретации. Очевидно, например, что рассмотрение абсолютных значений импакт-факторов имеет мало смысла: необходимо учитывать многофакторный контекст, и оценки делать в основном относительные. Ясно, что проблематично основывать на цитируемости оценку качества отдельной статьи или труда отдельного ученого (по крайней мере надо для этого учитывать комплекс показателей - помимо числа цитирований на одну статью, смотреть на h-index, g-index, etc). Но сама статистическая природа подобных импакт-факторов позволяет сделать вывод: они должны лучше работать на больших массивах данных, где многие их недостатки нивелируются. И уже поэтому особенно интересно их использовать для оценки состояния науки на уровне государств. Конечно, отдельные выдающиеся достижения могут выламываться из подобной статистики, но усредненные, мэйн-стримовые тенденции должны проявляться вполне наглядно.
Ранжирование научного вклада разных стран на основе импакт-фактора цитируемости (совместно с nataly_demina)
В этой статье мы приведем некоторые результаты расчета импакт-факторов, отражающих место российской науки в контексте мировой. Не претендуя на "научность" нашего материала, мы все же полагаем, что эти результаты более-менее корректно отражают реальность и могут дать инфолрмацмю для размышления. Мы намеренно приводим готовые (не нами рассчитанные) результаты, уже получившие паблисити в авторитетных западных источниках и доступные в Интернете.
Далее приводятся две таблицы (с достаточно очевидными комментариями), которые взяты из моего предыдущего поста на эту тему:
Top 20 countries in Sciences and Social Sciences Based on Impact
RankCountryPapersCitationsImpact
1Switzerland161,8792,323,88914.36
2US2,854,88439,29542713.76
3Denmark88,1551,169,66113.08
4Netherlands222,6412,912,26113.08
5Scotland102,5111,321,42112.89
6Sweden168,2852,094,96412.45
7England654,6398,138,35612.43
8Finland82,395964,60811.71
9Canada397,6124,476,85611.26
10Belgium120,3981,348,24211.20
11Germany738,4348,168,92411.06
12Austria84,433901,23010.67
13Israel1058581,124,73710.62
14Norway60,279637,63410.58
15France528,0835,510,06510.43
16Australia255,4312,565,79210.04
17Italia378,6613,742,9879.88
18New Zealand50,593451,2228.92
19Japan771,0786,717,7708.71
20Spain278,8052,393,2428.58
Увы, Россия в первую двадцатку не попала. И данных о ней в данной публикации нет.То же относится и к Китаю. Вот здесь я обнаружил данные по общему количеству опубликованных статей период с 1 января 1998 г. по 29 февраля 2008 г. Как видно, по этому валовому показателю Китай находится на 6-м месте (511,216 статей), а Россия - на 10-м (262,982 статьи).
Что касается основанного на цитируемости импакт-фактора по этим странам, то мне удалось найти (вот здесь) данные за период с 1 января 1997 г. по 31 августа 2007 г. Очевидно, что ситуация не могла принципиально измениться, поэтому приведу их:
RankCountryPapersCitationsImpact
?China471,8901,894,8104.02
?Russia275,9451,057,9283.83
Очевидно, что обе страны по этому показателю находятся далеко за пределами первой двадцадки.
Конечно, этот интегральный импакт-фактор легко отмести как показывающий «среднюю температуру по больнице». Лучше, однако, поискать другие, более точные аналогии (они есть и для больниц; но упомянем, например, столь популярный общий зачет на олимпийских играх, который при всей своей условности - как сравнить одну золотую медаль футбольной сборной с несколькими, завоеванными одним пловцом? - все же неплохо отражает сравнительное состояние развития спорта в разных странах). Для корректной интерпретации необходимо, в частности, принять во внимание следующие наиболее очевидные факторы:
Кстати, уже наметилась - во всяком случае, в моей области - тенденция: материалы все большего числа конференций публикуются в виде специальных выпусков журналов (причем не избранные "best papers" post-factum, а все принятые - и к началу конференции). Что, видимо, является реакцией на запросы по желательности цитируемости. При том, что процесс рецензирования у некоторых конференций может не достигать принятых для данного журнала стандартов качества, получается, что формально принятые на конференцию статьи становятся "журнальными" (и учитываюься базами!), но фактически таковыми не являются. С другой стороны, идя навстречу пожеланиям научных трудящихся, тот же Scopus уже объявил, что имеет намерение расширить список покрываемых базой конференций. Хорошо ли это - неясно: ведь таким образом размываются границы между публикациями разного уровня.
Но вернемся (держа в уме сделанные оговорки) к основной теме. Для более корректной интерпретации ранжирования стран по интегральному импакт-фактору, и в частности для более четкого осознания места России в такого рода рейтингах, стоит принять во внимание дополнительные данные. Таблица 3 показывает значения импакт-фактора по отдельным научным дисциплинам для шести значимых научных держав мира - пяти "самых представительных" "больших" и одной (для сравнения) "малой". Для физики и математики данные для всех стран относятся к периоду январь, 1997 г. - декабрь 2007 г. Для компьютерных наук, математики, наук о космосе и социальных наук данные для США, Швейцарии и Китая охватывают период январь 1997 г. - июнь 2007 г., для Японии: январь 1996 г. - октябрь 2006 г., для Англии: январь 1994 г. - декабрь 1994 г., для России: январь 1994 г. - октябрь 2004 г. Как видно, доступные данные для России несколько устарели. Изменились ли они принципиально? Вряд ли.
Страна ФизикаМолекулярная биология и генетикаКомпьютерные наукиМатематикаНауки о космосеСоциальные науки
США12.4733.494.483.8216.774.66
Швейцария13.633.753.623.6714.883.64
Англия10.4832.392.693.7814.853.48
Япония7.6921.541.982.1411.292.61
Китай4.289.051.161.925.262.33
Россия5.696.500.781.244.960.53
Эти данные позволяют принять во внимание специфику отдельных наук. Относительно российской науки прослеживается все та же закономерность: отставание от ведущих научных государств прослеживается по всем дисциплинам и весьма велико.
Еще более показательно сравнение российских показателей со среднемировыми (рассчитанными для 116 стран). Информация в таблице 4 взята из статьи «Наука в России», опубликованной в феврале 2008 г. на сайте ScienceWatch. В ней приводятся данные о той доле, которую занимает российская наука в мировом потоке научных публикаций, охватываемых базой Thomson Scientific за 2002-2006 гг. в области 21 научной дисциплины (посчитаны на основании 115,199 статей, где по крайней мере один автор указал российскую принадлежность). Кроме того, в таблице дается процентное отклонение интегральных импакт-факторов российских публикаций от среднемировых по каждой научной дисциплине.
Научная дисциплинаПроцент количества статей из РоссииОтклонение в процентах значения импакт-фактора от среднемирового
Физика7.46-19
Науки о космосе7.01-51
Гео-науки6.71-53
Химия5.28-64
Математика4.41-39
Процентная доля статей российских авторов, усредненная по всем дисциплинам2.84
Науки о материалах2.81-48
Инженерные науки2.54-28
Молекулярная биология2.25-69
Биология и биохимия2.22-62
Микробиология1.51-40
Науки о растениях и животных1.44-56
Экология и окружающая среда1.08-36
Сельскохозяйственные науки0.97-57
Нейро-поведенческие науки0.66-58
Психология и Психиатрия0.57-64
Компьютерные науки0.54-16
Клиническая медицина0.47-53
Фармакология0.33-27
Иммунология0.33-49
Социальные науки0.33-5
Экономика и бизнес0.25-18
Как видим, наибольший процент научных статей из России, проиндексированных в Web of Science и отражающий валовой фактор, приходится на публикации российских физиков, астрономов и других исследователей космоса, а также гео-наук. то есть по крайней мере эти научные области разрабатываются российскими учеными активно - валовые показатели неплохие (в районе 7% от общемирового числа публикаций). Но, как показывает правая колонка таблицы, интегральный импакт-фактор (число цитат на статью) даже по физике в 2002-2006 гг. был на 19% ниже среднемирового по этой дисциплине (3.07 цитат относительно 3.7 на одну статью). А вот ситуация с науками, в которых валовое количество статей не достигает уровня 1% от общемирового (а среди них такие важные, как поведенческие, компьютерные, микробиология и другие), близка к критической, даже безотносительно к низким значениям импакт-фактора цитирования. Ведь эти валовые цифры означают, что в данных науках место России на мировой научной карте практически не просматривается.
Кстати, авторы статьи «Наука в России» отмечают, что хотя вклад России в кладовую знаний еще далек от среднемирового, но российские ученые показывают более-менее высокий (т.е. более низкий, чем среднемировой, но не сильно) уровень исследований не только в физике, но и в компьютерных науках, а также в социальных науках, экономике и бизнесе. На наш взгляд, этот вывод хоть и приятен для россиян, но вряд ли корректен. Скорее, среднемировые цифры в означенных дисциплинах весьма низки - по сравнению с достигнутыми лидерами в этих науках. К тому же валовое количество российских публикаций в этих науках слишком мало для значимых выводов.
Особый разговор о социогуманитарных дисциплинах. Понятно, что здесь есть своя специфика, связанная, в частности, с большей привязанностью к реалиям, в том чимсле языковым, данной страны. При крайне малой доле российских научных журналов по социогуманитарным наукам в рассматриваемой базе данных и незначительной интегрируемости российских обществоведов в мировую науку эти цифры говорят лишь о низкой степени цити- руемости научных публикаций в этих науках вообще.
Заключение. Как видим, анализ статистики из базы данных научного цитирования Essential Science Indicators, издаваемой компанией Thomson Scientific, свидетельствует о неутешительной для россиян тенденции: российская наука сдает свои позиции даже в области физико-математических и естественных наук. О том, что ситуация критическая, говорят не только сами ученые и научные журналисты, но и российские политики, только выводы делаются разные. Например, вот как не так давно высказался по проблеме «публикации в зарубежных журналах» президент РАН Ю.С. Осипов в интервью «Российской газете» [7]: «...так оценивать работу ученых нельзя. У нас есть уникальные издания, в которых любой ученый сочтет за честь опубликовать работу… В академии и в университетах имеются прекрасные журналы, там печатаются прекрасные работы, но они не переводятся. Словом, делить ученых на тех, кто попал в западный журнал и кто публикуется в России, нельзя… Недавно прочитал высказывание одного нашего биолога, который утверждает, что все сколько-нибудь значимые результаты нужно публиковать за рубежом. Я считаю, что надо очень сильно не любить и не уважать свое отечество, чтобы говорить такую, не побоюсь этого слова, глупость… Нельзя судить об эффективности науки только по числу публикаций, а тем более сравнивать с другими странами».
На наш взгляд, именно в России (где, к слову, даже надлежащее рецензирование научных статей давно перестало быть повсеместным явлением) широкое использование основанных на цитируемости индикаторов было бы весьма полезно, ибо способствовало бы и фактической, и, так сказать, психологической интеграции в мировую науку. Но скоропалительные меры вряд ли помогут повышению интегрального импакт-фактора научных публикаций. Особенно если и среди политического и научного руководства, и среди самих ученых нет полного понимания даже того очевидного факта, что время изолированной за «железном занавесом» «суверенной» науки, способной функционировать на приличном уровне, ушло навсегда. Если ученый не публикуется на языке международного научного общения в тех изданиях, где его могут прочитать зарубежные коллеги, то для мировой науки в большинстве (хотя и не во всех!) научных областей, этого ученого просто не будет существовать.
Для изменений к лучшему необходимы, конечно же, системные меры по изменению сложившихся механизмов функционирования науки в России. Прежде всего, надо обеспечить долгосрочную поддержку лучших научных лабораторий, научных групп через прозрачные конкурсы и программы, предоставить благоприятные условия для создания и деятельности научных грантодающих фондов, помочь интеграции российских ученых и российских научных журналов в мировую науку и, следовательно, в зарубежные базы научного цитирования. Нужно обеспечить интеграцию российского индекса научного цитирования (РИНЦ) с базами данных ESI и Scopus. Словом, требуется длительная и монотонная работа, а не громкие политические заявления о повышении продуктивности и отдачи.
Продолжение темы: Средний индекс цитируемости по отдельным наукам за 11 лет