Блеск и нищета современной наукометрии

[yesint]

Многие так или иначе слышали об индексе Хирша. Кто не в курсе: это количественный индекс цитируемости работ ученого, который в теории должен показывать качество и востребованность его научных изысканий. Принцип прост: чем больше тебя цитируют коллеги, тем ты круче и тем более востребованную науку ты делаешь. Меряние пиписьками в виде величины хирша стало модным на западе лет 10 назад (сам индекс придумали в 2005 году), а до нас, как обычно, добралось с опозданием и уже на излете.

Первоначальная идея этого индекса была очень заманчивой: одна единственная циферка позволяла сразу выяснить кто из ученых лучше. Это несказанно понравилось бюрократам и разнообразным околонаучным функционерам, которым теперь не надо было особенно думать и вникать в сложную внутреннюю кухню этих странных ученых - сравнил циферки и сразу все понятно, лепота! Благодаря неусыпным заботам бюрократов индекс Хирша очень скоро стал существенно влиять на карьерное продвижение ученых и на получение ими финансирования, оборудования и прочих плюшек.

Ученые сразу смекнули, что раз на их карьеру и зарплату оказывает влияние не столько непосредственно научная работа, сколько одна единственная заветная циферка, то нужно всеми правдами и неправдами эту циферку себе увеличивать. Увеличить индекс Хирша можно двумя путями:

1. Годами упорно делать очень качественную и востребованную науку, на которую, возможно, будут много ссылаться. Гарантий, естественно никаких т.к. в науке вообще нет никаких гарантий - на то она и "экспедиция в неизведанное".
2. Забить болт на пункт 1 и найти способ "накрутить" себе индекс Хирша.

Угадайте с трех раз, какой из путей стал более популярным. В современном виде индекс хирша практически полностью утратил объективность и мало что говорит об ученом. За прошедшие годы его научились мастерски накручивать и всячески эксплуатировать.

Остап Бендер знал 400 относительно честных способов отъема денег у населения. Количество способов накрутки показателей цитирования у современных ученых куда скромнее, но их тоже хватает. Некоторые из них считаются порицаемыми, но, так сказать, легальными, а некоторые являются откровенным мошенничеством. Граница между этими категориями очень размытая.

Начнем с "легальных" способов накрутки индекса цитирования:

1. "Братская могила" - публикации с огромным числом авторов, большинство из которых к написанию статьи прямого отношения не имело. Выгода состоит в том, что бустится число публикаций и перекрестных ссылок между ними.
2. Злоупотребление самоцитированием. Самоцитирование - вещь необходимая просто в силу того, что однажды разработанный метод никто не будет каждый раз описывать в подробностях заново. Однако оно может выходить за разумные рамки. Типичный способ накрутки - цитировать в каждой своей работе все предыдущие без разбора и необходимости. Метод работает хреново т.к. наукометрические базы давно научились считать рейтинги без самоцитирования.
3. "Дружеская песочница" - несколько научных групп формируют замкнутую экосистему, в которой все постоянно цитируют всех. Ссылки получаются перекрестными и не считаются самоцитированием, хоть и являются им по сути.
4. "Нарезка ломтиками" - каждая статья дробится на мааааленькие кусочки, которые публикуются отдельно. Все ломтики ссылаются друг на друга порождая комбинаторное размножение цитат. Особо эффективно в комбинации с дружеской песочницей.
5. "Магия последнего автора" - последним автором всех работ отдела или лабы в западной научной традиции по умолчанию стоит начальник. Он может участвовать в работе чисто номинально т.к. она проводится в рамках установленной им тематики и/или он дает для нее финансирование. Руководители крупных коллективов так могут фигурировать в 200+ работах в год и набирать огромное количество цитат. В принципе этот подход многие считают даже не накруткой, а просто академической традицией.
6. "Диктат рецензента" - при рецензировании чужих работ рецензент требует от авторов обязательно цитировать его публикации либо указывая в лоб какие работы процитировать, либо более обтекаемо, намекая работы какой группы надо бы упомянуть. Сама по себе эта практика вполне нормальна, но если ею явно злоупотребляют и требуют нерелевантного цитирования, то она становится накруткой.
7. "Выгодный метод подсчета" - разные наукометрические базы данных для одного и того же человека выдают разные индексы цитирования поскольку они по-разному индексируют статьи и ссылки на них. Например, базы данных Scopus и Web of Science не индексируют большинство локальных "мурзилок", низкосортных университетстких вестников и сборников местечковых конференций. Напротив, Google Scholar индексирет буквально все подряд независимо от качества. В результате у типичного украинского вузовского профессора, который публикуется исключительно в своем университетском вестнике, h-индекс по версии Google Scholar может быть 20, а по версии Scopus - ноль. В отчеты идет, естественно, большее число.

Теперь начинаются способы, которые граничат с мошенничеством и академической недобросовестностью:

1. Левые цитаты. Другие авторы по принуждению или договоренности пихают многочисленные цитаты на мошенника в свои статьи, даже если они не имеют никакого отношения к тематике работы. Особо процветает в феодальных университетах, сборниках говноконференций, низкопробных журналах-мурзилках. Широко известны анекдотические примеры, когда составители сборников работ школьников и студентов в каждую из их работ вставляли кучу нерелевантных цитат на себя любимых. Встречаются уникумы, умудряющиеся проворачивать такие фокусы даже в приличных журналах.
2. "Вертикаль власти". Все подчиненные в обязательном порядке включают в соавторы и\или ссылаются на своего шефа или вообще на всю иерархию начальства. От синдрома последнего автора отличается тем, что в этом случае начальство вообще никак в работе не участвует и принуждает подчиненных к этим действиям административными методами или подкупом (премиями за лояльность).
3. "Редакционный рекет". Влиятельные в определенной области науки люди обычно входят в состав редколлегий основных профильных журналов либо имеют в их составе своих корешей и знакомых. По договоренноти или принуждению все статьи, имеющие отношение к деятельности "светила" негласно попадают к нему перед рецензированием. "Светило" либо дает команду отклонить работу чтобы не создавать себе конкуренцию, либо, руками редактора, требует включения в работу ссылок на себя (часто нерелевантных).
4. "Мафиозный клан". Разновидность дружественной песочницы, выходящая за рамки приличия. Представляет из себя закрытый клуб влиятельныз ученых, который "держит" определенную тематику и не допускает публикацию статей в этой области без ссылок на всех его членов. Эффект достигается с помощью редакционного рекета, когда во всех приличных журналах "все схвачено".
5. "Аренда ценных приборов". Довольно часто группа, которой удалось заполучить редкий или чем-то уникальный прибор, "сдает его в аренду" за включение в соавторы и цитирование предыдущих работ. Без согласия на это вас к прибору не допустят, даже если он находится как-бы в общем пользовании. Важно понимать, что этот финт относится к де-факто мошенническим только в том случае, если владельцы прибора ничего сами не делают кроме как разрешают вам померять то, на что вы и так имеете право.
6. "Заимствование авторитета". Нередки ситуации, когда накрутчики включают в свои работы авторитетного (часто пожилого) ученого, поскольку он своим авторитетом повышает цитирование работы. В особо запущенных случаях авторитетный дедушка вообще может не знать, что его туда включили.

Как видите, ученые большие затейники и ничто человеческое им не чуждо.

Есть еще один анекдотичный пример накрутки цитирования, который стоит вынести отдельно, поскольку он является троллингом всей наукометрической системы. Это так называемый "троллинг коллабораций".

Это явление, которое возникло в коллаборациях большого адронного коллайдера в ЦЕРНе и ряде других крупных научных коллективов. В таких коллаборациях работают тысячи людей, которые вносят общий вклад в очень сложные эксперименты на уникальном оборудовании стоимостью сотни миллиардов (!) долларов. Соответственно когда коллаборация получает результат (например, открывает нашумевший бозон Хигса) то надо как-то отметить вклад всех тысяч ее участников. Делается это так: в авторы всех статей пишут всех участников коллаборации в алфавитном порядке. Всех 1000+ человек.

В год коллаборация продуцирует 100-200 публикаций. Соответственно аспирант Вася, который занимается мониторингом состояния какого-то второстепенного болтика экспериментальной установки, будет иметь 20+ статей где использован его болтик. Начальник Васи будет иметь 80+ статей. Начальник побольше - 150+. При этом Вася все "свои" 20 публикаций максимум бегло просматривал, а реально принимал участие в написании хорошо если одной. А дальше все эти работы начинают перекрестно друг на друга ссылаться и индекс цитирования у Васи улетает в космос.

В то же время аспирант Петя, который занимается не коллайдером, а ботаникой, честно корячится и пишет статьи сам. За 3 года аспирантуры он в муках родил 3-4 работы на которые есть 20 ссылок. А у Васи за это время 100 работ и 10000 ссылок! В итоге Петя считает Васю мудаком, а Вася презрительно поплевывает с Олимпа на Петю.

Вопрос: с точки зрения тупого чиновника (которому что коллайдер, что синхрофазотрон - один хрен), кто из них двоих будет считаться более профессиональным и эффективным? Естественно Вася - у него циферка больше. А Петя неэффективен, его надо сократить.

Публикационный троллинг коллабораций привел к тому, что физики-ядерщики имеют совершенно фантастические (и по факту фейковые, да простят меня ядерщики) индексы цитирования, недостижимые для простых смертных. Международная наукометрическая компания Web of Science уже приняла меры и перестала считать метрики цитирования для работ с числом авторов больше 30. Базы Scopus и Google Scholar пока никак на эту ситуацию не реагируют.

В то же время крупные лаборатории в других областях науки просекли фишку и тоже стали применять тактику коллабораций. Многие крупные биологические и медицинские центры тоже стали вписывать во все работы всех сотрудников, кто хоть как-то мыл пробирки для работы или варил кофе.

Нет сомнений, что вскоре тенденция распространится шире и начнутся статьи со всем составом факультета, университета или института ради накрутки индексов цитирования. Собственно, у нас это давно уже практикуется на уровне мусорных университетских вестников, но сейчас эта простая мысль добралась до западных умов и приличных журналов.

Мораль всей этой басни такова:

1. Любой формальный количественный критерий, который прямо влияет на карьерный рост и распределение денег будет рано или поздно скомпрометирован. Его уязвимости будут эксплуатироваться для получения преимущества в конкурентной борьбе.
2. Неспециалисты в принципе не могут объективно оценивать наукометрические показатели и делать на их основе разумные выводы.
3. Отсутсвие индекса Хирша у ученого - повод задуматься. Зашкаливающий индекс Хирша у ученого, особенно не соответствующий его возрасту и званию - повод задуматься.
4. За нарушение академической честности надо наказывать пожизненным изгнанием из профессионального сообщества.