Вклад разных стран в науку на основе цитируемости
Написать этот пост меня сподвигнул недавний пост ivanov_petrov "Вклад стран в науку". Тем более, что тема науки вообще и суверенной российской науки, в частности и в моем жж возникает постоянно. В этом посте я приведу основанные на цитируемости интегральные данные о вкладе ученых разных стран для четырех важнейших наук - физики, молекулярной биологии и генетики
( Read more... )
"Они реально используются, и уже поэтому от них не скрыться. "
Мне кажется, с ними надо бороться, а не скрываться от них. Вряд ли к ним следует отноститься в соответствии с древним анекодотом про устав британской :-) армии: если вам не избежать насилия, постарайтесь расслабиться и получить удовольствие.
У индексов цитирования есть не "недостатки", у них есть встроенный потенциал полного разрушения науки и превращения ее в производство статей и цитирований (это уже встречается в прикладных областях - там формальные показатели уже давно играют существенную роль).
Даже если мы возьмем те прикладные науки, в которых мы не ожидаем от научного работника (сказать "ученого" язык не поворочивается) прорывов, а ожидаем аккуратного применения известых методов к практически важным вопросам - индексы цитирования все равно не будут отражать полезность деятельности этого работника. Они будут отражать наличие "школы", связей в журналах, дружеских отношений (я тебя процитирую, а ты - меня), и т.п.
Касательно того, что от цифр отмахнуться сложнее. Возможно. Но если цифры показывают совсем не то, что нас интересует? Может, от них лучше отмахнуться? Если вы поставите цель увеличить количество публикаций или цитирований, то вы ее легко и бысто достигните. Если же вы поставите целью добиться того, чтобы наука в данной стране была на высоком уровне (если она на низком) и имела международную репутацию, то это будет очень трудно и потребует десятилетий.
Несколько парадоксально, индексы цитирования отражают что-то осмысленное только до тех пор, пока ими не пользуются. Постольку, поскольку в математике индексы цитирования пока не используются ни при каком распределении средств (ни при получении грантов, ни при найме), они хоть что-то отражают - при дополнительном анализе (скажем, нужно смотреть на процент самоцитирований - он не должен быть очень большим, но не должен быть и нулевым). Если они станут формальной основой распределения средств, они не будут отражать ничего, поскольку большинство начнет работать именно над увеличением этих показателей. В лучшем случая без большого ущерба исследованиям (скажем, разбивая статьи на несколько), в худшем - вытесняя реальные исследования и людей, которые ими занимаются. Как в квантовой механике, наблюдение изменяет наблюдаемую систему.
Это такая штука, которой можно воспользоваться только один раз, да и то очень осторожно.
Reply
Да, эти другие факторы работают и для уважаемых журналов - все эти "школы", "личные отношения" (как хорошие, так и плохие), связи и пр. Но все это реализуется именно через peer reviewing! Так что практически не так уж и отличаются эти разные процедуры оценки эффективности научной деятельности. Просто на этапе, когда надо (как в этом сасмом RAE) оценивать (в ограниченный период времени!) весьма большой массив информации, и делать это так, чтобы быть более (чем менее) защищенными от апелляций, то удобнеек опираться на те индикаторы, которые УЖЕ инкорпорировали в себя экспертные мнения - на этапе тех самых публикаций.
Собственно, именно экспертные мнения как основу для выделения средств мы и имеем в России. Где в итоге тем, кто не имеет тех самых связей, ывобще ничего не получить.
Reply
Отсечь можно только издания, в которых публикуют на основе рецензий, от тех, в которых просто публикуют. Даже это не всегда является правильным действием - есть первоклассные работы, опубликованные в изданиях без формального рецензирования, и есть работы, опубликованные после чисто формального рецензирования. Более того, есть работы экстра-класса, которые не опубликованы, и даже не написаны, но оказали огромное влияние. Есть работы, сделанные А, но опубликованные Б - и все цитирования достаются Б. Конечно, Б заслуживает признания за его труд, но А - тоже!
Игнорируя эти исключения, мы имеем всего два класса журналов - учитываемые и неучитываемые. Внутри учитываемого класса индексы цитирования не отличают одни цитирования от других, как не отличают и уровень публикаций.
Peer reviewing статей учитывает уровень журнала. Мне не раз доводилось писать - это хорошая работа, но не дотягивает до уровня вашего журнала. Числа игнорируют эти различия.
"делать это так, чтобы быть более (чем менее) защищенными от апелляций,"
Мне несколько удивляет повторяющийся мотив облегчения жизни бюрократам. Мне кажется, что жизнь этим бюрократам нужно усложнить настолько (заставить их читать содержательные отзывы), что их работа будет требовать реальной компетентности, а не только умения сравнить два числа.
"Собственно, именно экспертные мнения как основу для выделения средств мы и имеем в России. Где в итоге тем, кто не имеет тех самых связей, ывобще ничего не получить."
Проблема, видимо, есть, но индексы цитирования - не метод ее решения. Источником проблемы является изолированность российского научного сообщества. Решать ее надо содержательым интегрированием в международное (превращением российских журналов в международные, привлечением иностранных ученых к экспертным оценкам), а не заимствованием модного числового параметра.
Должен признаться, что я совсем не понимаю, как можно ориентироваться на одно число при оценке ученого. Ну не выбираете же вы себе состав френдленты по рейтингу Яндекса. Я думаю, вы и кино смотреть не станете исключительно на том основании, что у него некий рейтинг (скажем, на imdb.com) максимальный.
Reply
А рассуждать об эффективности работы бюрократов можно долго. Что от таких рассуждений меняется? Хотя при peer reviewing дело-то не только в бюрократах, но и в экспертах. Чтобы им делать работу качественно, им нужно время, желание, способность отвлечься от всех привходящих факторов (тех же "школ" и "отношений"). НЕ говоря о компетентности. Вот Вы пишете:
Ну вот видите, в Британии и в других науках работали экспертные оценки.
В том-то и дело, что многие ученые полагали, чо не слишком они "работали". Коллектив представил на суд некой "панели экспертов" опубликованные им за некий период статьи. Получает в ответ некую оценку. Почему она такая - неясно. Что ясно: эти эксперты не имели возможности разбираться в статьях так, как это делали рецензенты до публикации. Поэтому они ориентировались на престижность изданий, на свои представления об актуальности, и Бог весть на что еще. Нет уж, думают многие: по крайней мере я знаю сам, каков мой индекс цитирования. И возможности субъективных манипуляций (на основе которых выделяются ресурсы на следующие 5 лет!) в данном случае будут меньше.
я совсем не понимаю, как можно ориентироваться на одно число при оценке ученого.
А почему обязательно на одно число? Еще раз: применение любых индикаторов надо интерпретировать корректно. Коль скоро одного идеального нет. И не видно на горизонте.
Reply
"Но вот когда речь идет о ситуациях, где нужна оценка больших массивов (множество научных работников и опубликованных статей), то безлично-статистические меры (уже опирающиеся, повторю, на предыдущие экспертные оценки) работают эффективнее."
"Настоящая" наука индивидуальна - индивидуальны и ученые, и их работы. Скажем, как киноактеры и фильмы.
Наряду с ней имеется "индустриальная" наука - деятельность, основанная на применении "научного метода", цель которой - не открытия, а применение здравой методики к более-менее заведомо разрешимым задачам. Такая деятельность безусловно полезна для общества - она реализует достижения собственно науки, но оценивать ее нужно совершенно иначе. По практическому выходу. Люди, занимающиеся такой деятельностью, должны работать в частных компаниях и отчитываться не количеством публикаций, а количеством денег, принесенных компании. Комбинированный вариант - частная компания, выполняющая заказ правительства.
В "индустриальной" науке подвизается огромное количество проходимцев, которые и не получают реальных результатов, и не приносят никакой пользы обществу. Вот они-то и предпочитают формальные числовые индикаторы - потому, что это легко достижимо. Я думаю, что это именно те "ученые", которые полагали, что экспертные оценки "не слишком работали". Если я ошибаюсь в этом, то, наверное, будет нетрудно найти выступление какого-нибудь первоклассного ученого - скажем, лауреата Нобелевской премии и при этом не администратора, который бы выступал за индексы цитирования (который, скажем, выбирает себе сотрудников на основании индекса цитирования). Я бы с интересом ознакомился с аргументацией такого ученого.
Непонимаю я и понятия "эффективности" в контексте науки. В контексте "индустриальной" науки такое понятие есть - это денежная эффективность. Но в контексте более фундаментальной науки такого понятия нет. Конечно, вы можете определить "эффективность" просто как количество цитирований, но это будет неинтересной тавтологией.
Reply
Leave a comment