Вклад разных стран в науку на основе цитируемости
Написать этот пост меня сподвигнул недавний пост ivanov_petrov "Вклад стран в науку". Тем более, что тема науки вообще и суверенной российской науки, в частности и в моем жж возникает постоянно. В этом посте я приведу основанные на цитируемости интегральные данные о вкладе ученых разных стран для четырех важнейших наук - физики, молекулярной биологии и генетики
( Read more... )
Поскольку мне и моим коллегам-математикам совершенно очевидно, что индексы цитирования имеют очень слабую корреляцию с существенностью вклада того или иного математика (как я писал в той дискуссии, внимания заслуживают лишь сильные отклонения), вопрос для меня стоит иначе, чем для вас. Какие основания думать, что цитируемость отражает вклад ученого в других науках?
Первые соображения, приходящие в голову, равно применимы ко всем наукам. Группа людей, часто называемая "научной школой", может десятилетиями заниматься легкими и никчемными задачами, порождая огромное количество публикаций и их цитирований внутри "школы". И наоборот, человек может годами или десятилетиями работать над очень трудной проблемой, почти ничего не публикуя. Простой способ увеличить количество публикаций и цитирований - разбить работу на несколько. В конце концов, есть универсальный принцип - если людей начинают оценивать по некоторому параметру, они начинают заниматься оптимизацией этого параметра напрямую, минуя то, что этот параметр призван измерять.
Мне до сих пор непонятно, почему тот метод, который работает в математике - peer review, экспертная оценка - не может работать в других науках.
Честно говоря, я не вижу большого смысла в сравнении стран в противоположность индивидуумам. Сравнивать людей приходится хотя бы для того, чтобы решить, кому дать деньги, кого взять на работу, и т.п. Для стран этих целей нет. Возможно, эти данные тешат чьи-то патриотические чувства, невзирая на то, что наука интернациональна, и ученый все чаще является продуктом нескольких стран. Да и раньше так было: Эйлер - швейцарский, российский, или немецкий математик?. Школьное образование он может получить в одной стране, университетское - в другой, а работать в третьей. И даже работать в одной стране на деньги другой.
Ну уж если хочется сравнивать страны, то, опять же, экспертное мнение представляется гораздо более ценным, чем количество статей.
Reply
Вот в Альбионе есть такая вещь, как RAE (Research Essesment Exercise). Занииающиеся наукой сотрудники университетов представляют до 4-х лучших статей за отчетный период (он бывал и 5, и 7 лет). Затем специальные эксперты оценивали значимость этих статей, подразделение получало оценку по 5-бальной системе, и в зависимости от оценки правительство выделяло подразделению деньги (каждый балл означает огромную разницу в деньгах).
Принято решение в следущем RAE использовать именно индексы цитирования - вместо экспертных оценок. О деталях еще идет публичная дискуссия. Так что для нас эти индексы - вещь совершенно не абстрактная. Они реально используются, и уже поэтому от них не скрыться. Слишком значимые для будущего вывод на основании их делаются. Так что в совершенствовании такого рода индикаторов (для чего необходимы и обсуждения) научные работники должны быть заинтересованы.
Касательно стран. Если некие эксперты говорят, что такая-то область развивается плохо, то от этого можно отмахнуться, даже если эксперты с именами (ну, дескать, не любят они эту страну, вот и принижают). От цифр, посчитанных по универсальной процедуре, отмахнуться сложнее. А значит, и выводы, в том числе практические, правительству делать сподручнее.
Reply
"Они реально используются, и уже поэтому от них не скрыться. "
Мне кажется, с ними надо бороться, а не скрываться от них. Вряд ли к ним следует отноститься в соответствии с древним анекодотом про устав британской :-) армии: если вам не избежать насилия, постарайтесь расслабиться и получить удовольствие.
У индексов цитирования есть не "недостатки", у них есть встроенный потенциал полного разрушения науки и превращения ее в производство статей и цитирований (это уже встречается в прикладных областях - там формальные показатели уже давно играют существенную роль).
Даже если мы возьмем те прикладные науки, в которых мы не ожидаем от научного работника (сказать "ученого" язык не поворочивается) прорывов, а ожидаем аккуратного применения известых методов к практически важным вопросам - индексы цитирования все равно не будут отражать полезность деятельности этого работника. Они будут отражать наличие "школы", связей в журналах, дружеских отношений (я тебя процитирую, а ты - меня), и т.п.
Касательно того, что от цифр отмахнуться сложнее. Возможно. Но если цифры показывают совсем не то, что нас интересует? Может, от них лучше отмахнуться? Если вы поставите цель увеличить количество публикаций или цитирований, то вы ее легко и бысто достигните. Если же вы поставите целью добиться того, чтобы наука в данной стране была на высоком уровне (если она на низком) и имела международную репутацию, то это будет очень трудно и потребует десятилетий.
Несколько парадоксально, индексы цитирования отражают что-то осмысленное только до тех пор, пока ими не пользуются. Постольку, поскольку в математике индексы цитирования пока не используются ни при каком распределении средств (ни при получении грантов, ни при найме), они хоть что-то отражают - при дополнительном анализе (скажем, нужно смотреть на процент самоцитирований - он не должен быть очень большим, но не должен быть и нулевым). Если они станут формальной основой распределения средств, они не будут отражать ничего, поскольку большинство начнет работать именно над увеличением этих показателей. В лучшем случая без большого ущерба исследованиям (скажем, разбивая статьи на несколько), в худшем - вытесняя реальные исследования и людей, которые ими занимаются. Как в квантовой механике, наблюдение изменяет наблюдаемую систему.
Это такая штука, которой можно воспользоваться только один раз, да и то очень осторожно.
Reply
Да, эти другие факторы работают и для уважаемых журналов - все эти "школы", "личные отношения" (как хорошие, так и плохие), связи и пр. Но все это реализуется именно через peer reviewing! Так что практически не так уж и отличаются эти разные процедуры оценки эффективности научной деятельности. Просто на этапе, когда надо (как в этом сасмом RAE) оценивать (в ограниченный период времени!) весьма большой массив информации, и делать это так, чтобы быть более (чем менее) защищенными от апелляций, то удобнеек опираться на те индикаторы, которые УЖЕ инкорпорировали в себя экспертные мнения - на этапе тех самых публикаций.
Собственно, именно экспертные мнения как основу для выделения средств мы и имеем в России. Где в итоге тем, кто не имеет тех самых связей, ывобще ничего не получить.
Reply
Отсечь можно только издания, в которых публикуют на основе рецензий, от тех, в которых просто публикуют. Даже это не всегда является правильным действием - есть первоклассные работы, опубликованные в изданиях без формального рецензирования, и есть работы, опубликованные после чисто формального рецензирования. Более того, есть работы экстра-класса, которые не опубликованы, и даже не написаны, но оказали огромное влияние. Есть работы, сделанные А, но опубликованные Б - и все цитирования достаются Б. Конечно, Б заслуживает признания за его труд, но А - тоже!
Игнорируя эти исключения, мы имеем всего два класса журналов - учитываемые и неучитываемые. Внутри учитываемого класса индексы цитирования не отличают одни цитирования от других, как не отличают и уровень публикаций.
Peer reviewing статей учитывает уровень журнала. Мне не раз доводилось писать - это хорошая работа, но не дотягивает до уровня вашего журнала. Числа игнорируют эти различия.
"делать это так, чтобы быть более (чем менее) защищенными от апелляций,"
Мне несколько удивляет повторяющийся мотив облегчения жизни бюрократам. Мне кажется, что жизнь этим бюрократам нужно усложнить настолько (заставить их читать содержательные отзывы), что их работа будет требовать реальной компетентности, а не только умения сравнить два числа.
"Собственно, именно экспертные мнения как основу для выделения средств мы и имеем в России. Где в итоге тем, кто не имеет тех самых связей, ывобще ничего не получить."
Проблема, видимо, есть, но индексы цитирования - не метод ее решения. Источником проблемы является изолированность российского научного сообщества. Решать ее надо содержательым интегрированием в международное (превращением российских журналов в международные, привлечением иностранных ученых к экспертным оценкам), а не заимствованием модного числового параметра.
Должен признаться, что я совсем не понимаю, как можно ориентироваться на одно число при оценке ученого. Ну не выбираете же вы себе состав френдленты по рейтингу Яндекса. Я думаю, вы и кино смотреть не станете исключительно на том основании, что у него некий рейтинг (скажем, на imdb.com) максимальный.
Reply
А рассуждать об эффективности работы бюрократов можно долго. Что от таких рассуждений меняется? Хотя при peer reviewing дело-то не только в бюрократах, но и в экспертах. Чтобы им делать работу качественно, им нужно время, желание, способность отвлечься от всех привходящих факторов (тех же "школ" и "отношений"). НЕ говоря о компетентности. Вот Вы пишете:
Ну вот видите, в Британии и в других науках работали экспертные оценки.
В том-то и дело, что многие ученые полагали, чо не слишком они "работали". Коллектив представил на суд некой "панели экспертов" опубликованные им за некий период статьи. Получает в ответ некую оценку. Почему она такая - неясно. Что ясно: эти эксперты не имели возможности разбираться в статьях так, как это делали рецензенты до публикации. Поэтому они ориентировались на престижность изданий, на свои представления об актуальности, и Бог весть на что еще. Нет уж, думают многие: по крайней мере я знаю сам, каков мой индекс цитирования. И возможности субъективных манипуляций (на основе которых выделяются ресурсы на следующие 5 лет!) в данном случае будут меньше.
я совсем не понимаю, как можно ориентироваться на одно число при оценке ученого.
А почему обязательно на одно число? Еще раз: применение любых индикаторов надо интерпретировать корректно. Коль скоро одного идеального нет. И не видно на горизонте.
Reply
"Но вот когда речь идет о ситуациях, где нужна оценка больших массивов (множество научных работников и опубликованных статей), то безлично-статистические меры (уже опирающиеся, повторю, на предыдущие экспертные оценки) работают эффективнее."
"Настоящая" наука индивидуальна - индивидуальны и ученые, и их работы. Скажем, как киноактеры и фильмы.
Наряду с ней имеется "индустриальная" наука - деятельность, основанная на применении "научного метода", цель которой - не открытия, а применение здравой методики к более-менее заведомо разрешимым задачам. Такая деятельность безусловно полезна для общества - она реализует достижения собственно науки, но оценивать ее нужно совершенно иначе. По практическому выходу. Люди, занимающиеся такой деятельностью, должны работать в частных компаниях и отчитываться не количеством публикаций, а количеством денег, принесенных компании. Комбинированный вариант - частная компания, выполняющая заказ правительства.
В "индустриальной" науке подвизается огромное количество проходимцев, которые и не получают реальных результатов, и не приносят никакой пользы обществу. Вот они-то и предпочитают формальные числовые индикаторы - потому, что это легко достижимо. Я думаю, что это именно те "ученые", которые полагали, что экспертные оценки "не слишком работали". Если я ошибаюсь в этом, то, наверное, будет нетрудно найти выступление какого-нибудь первоклассного ученого - скажем, лауреата Нобелевской премии и при этом не администратора, который бы выступал за индексы цитирования (который, скажем, выбирает себе сотрудников на основании индекса цитирования). Я бы с интересом ознакомился с аргументацией такого ученого.
Непонимаю я и понятия "эффективности" в контексте науки. В контексте "индустриальной" науки такое понятие есть - это денежная эффективность. Но в контексте более фундаментальной науки такого понятия нет. Конечно, вы можете определить "эффективность" просто как количество цитирований, но это будет неинтересной тавтологией.
Reply
Leave a comment