[коллекция] один случай peer review в высокорейтинговом журнале
Среди околонаучной публики и простодушных журналистов распространилась странная мифология о т.наз. "рецензируемых журналах", "peer reivew" и прочих "индексах цитирования".
Мифология основана лишь на общих соображениях и предположениях, абсурдность которых очевидна любому вменяемому взрослому (например, предположение, что рецензент под защитой анонимности остается честным и порядочным).
Настоящие же ученые -- ясен пень -- отталкиваются от аккуратных наблюдений реальности.
Вот одно такое наблюдение мы и хотим здесь зафиксировать для дальнейших ссылок и обсуждения в качестве как бы экспоната этнографической (на самом деле наукоприматологической) коллекции.
Особенность этой истории в том, что там нужно было растолковывать ситуацию чужеземному аспиранту, то есть всё проговаривалось вслух, да еще на иностранном языке. Поэтому след в памяти от этой истории остался крепкий.
В этой истории довольно полно проявились хотя и не все, но многие ключевые особенности процедур анонимного рецензирования.
Попытаемся описать перипетии так, чтобы картина была понятна неспециалисту.
***
Речь пойдет о высокорейтинговом американском физическом журнале Physical Review Letters.
Обсуждаемая статья была написана в 2003 г. и доступна в международном архиве ссылка. Журнальный вариант должен быть на сервере журнала (там текст в угоду рецензентам был испорчен -- см. ниже).
С конца 1980-х гг. активно обсуждалась некая проблема ("определение адронных струй" -- что бы это ни значило).
В 1999 г. мне удалось ее научно решить, но дело нужно было довести до компьютерной программы, которую можно было бы отдать экспериментаторам, работающим на больших ускорителях в Фермилабе, ЦЕРНе и т.п.
Доводкой программы занялся один аспирант в Канаде по имени Эрнест (в итоговом списке авторов есть и третий соавтор -- он унаследован от предварительной версии программы, сделанной еще в России; в описываемых перипетиях он не участвовал).
Эрнест доработал программу, удовлетворив требованиям библиотеки программ при журнале Computer Physics Communications. Соответствующее подробное описание было выложено в архиве (ссылка).
По ходу дела у программы обнаружилось некое замечательное -- и на тот момент уникальное свойство (отличные скоростные характеристики; особо любопытные могут посмотреть формулу 10 в статье).
Это свойство важно для экспериментальных приложений, что сделало работу заведомо прорывной (приходится употреблять это чрезмерно пафосное слово за неимением лучшего; то, что Т.Кун называл "революциями" и "сменами парадигм", отмечая неуместный пафос этих терминов).
В подобных случаях есть традиция публиковать в дополнение к основной подробной работе короткую статью-письмо -- своеобразное объявление о прорыве.
Для такого письма-объявления идеально подходил журнал Physical Review Letters, который традиционно публиковал статьи по этой тематике с самого ее зарождения в 1977 г.
***
Пришлось попотеть, пиша статью, т.к. там жесткие ограничения на объем, но нужно было суметь внятно суммировать основные идеи.
Эрнест с энтузиазмом готовил примеры, картинки и т.п.: было очевидно, что результат хорош, и что статья для этого журнала в самый раз по всем параметрам. Тем более для канадского аспиранта было заманчиво, что журнал североамериканский и высокорейтинговый.
Статью написали, послали в журнал, и стали ждать.
Важно заметить, что обсуждаемый журнал контролируется Американским физическим обществом, и у них четко прописаны сроки и правила рецензирования: в начале статью рассматривают два анонимных рецензента, потом предусмотрена процедура апелляции -- сначала возражения авторов рассматривают те же рецензенты, а на следующем круге -- член редколлегии.
***
В положеный срок Эрнест приходит ко мне чуть ли не в слезах с ответом из журнала: хотя он был настоятельно предупрежден, что анонимные рецензенты такие персонажи, что раньше времени губы раскатывать не стоит, -- но чтобы получить два насквозь и однозначно отрицательных отзыва -- это было для старательного Эрнеста как плевок в лицо.
Быстренько проглядев отзывы и поняв только, что они оба хотя и категоричные, но совершенно бестолковые -- я посоветовал Эрнесту пойти домой к жене и до утра растормозиться.
***
Пристальное разглядывание двух отзывов выявило следующую картину.
Отзыв А, вполне очевидно, принадлежал:
0) теоретику (важные для экспериментаторов пункты были проигнорированы, плюс были придирки к математическому "нутру" -- причем в форму придирок он облек свое очевидное непонимание даже того, что было прописано в статье прямым текстом);
1) немолодому (выпирало знание самых ранних статей на эту тему конца 70-х);
2) знающему тему лишь на уровне "стандартных мемов", не более;
3) с кашей в голове.
Тут интересны пункты 1-3 -- интересны они тем, что совершенно типичны:
Заслуженным ученым всё время приходится рецензировать статьи и проч. по темам, неизбежно находящимся вне их конкретной узкой компетенции.
Считается, что для такого рецензирования достаточно старательно следить за происходящим в сообществе на уровне обзорных статей и т.п. -- вот они и запоминают, честно и старательно, "стандартные мемы" разных тем.
Им кажется, что они таким образом находятся "в курсе", и поэтому статьи они смело рецензируют, проверяя содержание на соответствие тому, что они старательно запомнили из того, что "все говорят".
Это общая практика, и по-другому рецензировать будет просто некому: есть автор, у него есть пара-тройка прямых (часто злобных) конкурентов, а все остальные -- в лучшем случае такие вот старательные наблюдатели.
Разумеется, в результате выходит профанация, потому что все нетривиальные вещи бывают не видны через призму "стандартных мемов" -- и в таком случае рецензент чаще всего реагирует вариацией на тему "все знают, что... а тут черте что...".
Про кашу в голове говорить особо нечего -- достаточно вспомнить своих однокурсников; выборка одного университетского курса достаточно репрезентативна в этом отношении (тут нет ни грамма шутки, причем речь о физическом факультете МГУ, выпуск 1979 г., т.е. о вполне мировом уровне в том, что касается ясности голов).
Коротко говоря, отзыв можно было охарактеризовать как угрюмое ворчанье старпера, полагавшего, что он достаточно знаком с темой, но при чтении статьи увидевшего, что называется, фигу -- при этом в той картине мира, в которой он привык сам себя воображать, вариант его собственной недокомпетентности не предусматривался.
***
Отзыв Б очевидно принадлежал:
0) экспериментатору (под хорошим изложением он понимал чисто прескриптивное описание программы);
1) энергичному деловому челу в расцвете сил (его отзыв имел форму четкого списка из кратких категоричных утверждений);
2) которому нафик не сдались все эти определения-программы, но который не хотел ударить в грязь лицом перед редактором и честно и бодро сделал свою работу (все придирки были чисто формальными и сугубо поверхностными, но без признаков злобы);
3) который хотел выглядеть перед редактором требовательным рецензентом, какие и нужны высокорейтинговому журналу (из предъявленного списка придирок мог следовать вывод о необходимости доработки статьи, но никак не об отлупе).
***
Наутро Эрнесту был предложен такой стратегический план:
-- Несмотря на вроде бы безнадежный двойной отлуп, мы готовим и засылаем в журнал новый вариант статьи.
-- В нем мы полностью учитываем все придирки рецензента Б, даже бессмысленные и вредные.
-- В традиционном абзаце с благодарностями в конце статьи говорим ему особое спасибо (хотя он анонимный, но можно написать "рецензенту Б").
-- В сопровождающем ответном письме мы рвём на себе волосы четко по пунктам его списка -- и одновременно ненавязчиво подчеркиваем его проницательность; а в конце еще раз отдельно благодарим его на максимальном в рамках приличий уровне лести -- это укрепит его репутацию в глазах редактора.
Так как сама статья ему до фонаря, то он будет полностью удовлетворен.
При этом он будет подсознательно благодарен нам за то, что мы подтвердили на виду у редактора его научную крутизну и похвальную требовательность, и будет склонен -- при отсутствии личной к нам злобы -- сделать нам алаверды, т.е. пропустить статью.
-- Из ворчания рецензента А мы берем то, что более-менее понятно: то есть впихиваем в статью дополнительную картинку, о которой он ворчал -- пусть даже она до основного предмета статьи, строго говоря, не относится;
-- на остальное его мутное бухтение мы даем имитацию научной дискуссии, внося, где возможно, поправки в статью, симулируя таким образом добросовестное стремление "учесть разумную критику", и отмечая все пункты в сопровождающем письме с максимально подробным занудством; это даст нам впоследствии возможность утверждать, что мы добросовестно учли всё, что того заслуживало.
Но на самом деле всё это -- всего лишь подготовка позиции для второго раунда, который наступит, если реализуется основной вариант -- рецензент Б даст добро, а рецензент А продолжит бухтеть:
тогда мы решительно "переводим игру в эндшпиль", т.е. требуем вмешательства редактора, одновременно чисто конкретно (хотя и вежливо) обрушиваясь на рецензента А, ссылками и тонкими аргументами демонстрируя свою, превосходящую его, компетентность.
***
Услышав план, Эрнест возмутился: мы ведь испортим статью! ведь дополнительный рисунок съест много места и придется что-то важное выкинуть! станет непонятно! и т.д.
На что ему было сказано примерно таково:
Уметь отделять мух от котлет -- краеугольная компетенция настоящего ученого:
1) Перед Наукой мы чисты: статья в первом варианте висит в arXiv, мы там ничего менять не будем; все, кому надо, ее там и прочтут; а на сервер журнала ходят только за доисторическими статьями.
2) Речь исключительно о твоём PhD, для которого бюрократы от науки записали формальное требование наличия публикаций в этих паразитических "рецензируемых журналах". Ты ничего не можешь тут поделать кроме как постараться удовлетворить этому требованию -- что, в общем, есть твоя обязанность как аспиранта, раз уж ты принял эту "оферту", поступив в аспирантуру.
3) Все изменения в вариант статьи для журнала мы делаем в точном соответствии с замечаниями рецензентов журнала -- им виднее, что они хотят публиковать у себя в журнале -- а мы свой долг выполнили, см. п.1.
Эрнест был ошарашен всем этим.
Но план был приведен в действие -- мы бодро попортили статью и тщательно сконструировали сопровождающую ксиву, имея в виду ее чтение редактором в "эндшпиле".
***
Всё прошло как по нотам: через положенный срок были получены ответы обоих рецензентов.
Рецензент Б просто сообщил, буквально, что "статья стала намного лучше" (Эрнест бегал по этажу, зачитывал это место вслух кому ни попадя, и ржал) -- и "теперь её можно печатать".
Рецензент А продолжал -- как и ожидалось -- угрюмо бухтеть.
И так далее.
Короче, редактор, рассмотрев наши занудные аргументы (научное существо которых он, конечно, вряд ли понял), в итоге принял статью к публикации.
P.S.
Эта публикация, насколько можно было судить, поставила иммигранта Эрнеста на факультете по формальным признакам среди аспирантов вровень с натуральным канадцем, имевшим безупречную историю оценок и грантов чуть ли не с детского сада.
Эрнест без проблем получил своё PhD и -- на выбор -- прекрасные возможности продолжить карьеру.
***
Еще раз: история зафиксирована в качестве экспоната научной коллекции.
Мифология основана лишь на общих соображениях и предположениях, абсурдность которых очевидна любому вменяемому взрослому (например, предположение, что рецензент под защитой анонимности остается честным и порядочным).
Настоящие же ученые -- ясен пень -- отталкиваются от аккуратных наблюдений реальности.
Вот одно такое наблюдение мы и хотим здесь зафиксировать для дальнейших ссылок и обсуждения в качестве как бы экспоната этнографической (на самом деле наукоприматологической) коллекции.
Особенность этой истории в том, что там нужно было растолковывать ситуацию чужеземному аспиранту, то есть всё проговаривалось вслух, да еще на иностранном языке. Поэтому след в памяти от этой истории остался крепкий.
В этой истории довольно полно проявились хотя и не все, но многие ключевые особенности процедур анонимного рецензирования.
Попытаемся описать перипетии так, чтобы картина была понятна неспециалисту.
***
Речь пойдет о высокорейтинговом американском физическом журнале Physical Review Letters.
Обсуждаемая статья была написана в 2003 г. и доступна в международном архиве ссылка. Журнальный вариант должен быть на сервере журнала (там текст в угоду рецензентам был испорчен -- см. ниже).
С конца 1980-х гг. активно обсуждалась некая проблема ("определение адронных струй" -- что бы это ни значило).
В 1999 г. мне удалось ее научно решить, но дело нужно было довести до компьютерной программы, которую можно было бы отдать экспериментаторам, работающим на больших ускорителях в Фермилабе, ЦЕРНе и т.п.
Доводкой программы занялся один аспирант в Канаде по имени Эрнест (в итоговом списке авторов есть и третий соавтор -- он унаследован от предварительной версии программы, сделанной еще в России; в описываемых перипетиях он не участвовал).
Эрнест доработал программу, удовлетворив требованиям библиотеки программ при журнале Computer Physics Communications. Соответствующее подробное описание было выложено в архиве (ссылка).
По ходу дела у программы обнаружилось некое замечательное -- и на тот момент уникальное свойство (отличные скоростные характеристики; особо любопытные могут посмотреть формулу 10 в статье).
Это свойство важно для экспериментальных приложений, что сделало работу заведомо прорывной (приходится употреблять это чрезмерно пафосное слово за неимением лучшего; то, что Т.Кун называл "революциями" и "сменами парадигм", отмечая неуместный пафос этих терминов).
В подобных случаях есть традиция публиковать в дополнение к основной подробной работе короткую статью-письмо -- своеобразное объявление о прорыве.
Для такого письма-объявления идеально подходил журнал Physical Review Letters, который традиционно публиковал статьи по этой тематике с самого ее зарождения в 1977 г.
***
Пришлось попотеть, пиша статью, т.к. там жесткие ограничения на объем, но нужно было суметь внятно суммировать основные идеи.
Эрнест с энтузиазмом готовил примеры, картинки и т.п.: было очевидно, что результат хорош, и что статья для этого журнала в самый раз по всем параметрам. Тем более для канадского аспиранта было заманчиво, что журнал североамериканский и высокорейтинговый.
Статью написали, послали в журнал, и стали ждать.
Важно заметить, что обсуждаемый журнал контролируется Американским физическим обществом, и у них четко прописаны сроки и правила рецензирования: в начале статью рассматривают два анонимных рецензента, потом предусмотрена процедура апелляции -- сначала возражения авторов рассматривают те же рецензенты, а на следующем круге -- член редколлегии.
***
В положеный срок Эрнест приходит ко мне чуть ли не в слезах с ответом из журнала: хотя он был настоятельно предупрежден, что анонимные рецензенты такие персонажи, что раньше времени губы раскатывать не стоит, -- но чтобы получить два насквозь и однозначно отрицательных отзыва -- это было для старательного Эрнеста как плевок в лицо.
Быстренько проглядев отзывы и поняв только, что они оба хотя и категоричные, но совершенно бестолковые -- я посоветовал Эрнесту пойти домой к жене и до утра растормозиться.
***
Пристальное разглядывание двух отзывов выявило следующую картину.
Отзыв А, вполне очевидно, принадлежал:
0) теоретику (важные для экспериментаторов пункты были проигнорированы, плюс были придирки к математическому "нутру" -- причем в форму придирок он облек свое очевидное непонимание даже того, что было прописано в статье прямым текстом);
1) немолодому (выпирало знание самых ранних статей на эту тему конца 70-х);
2) знающему тему лишь на уровне "стандартных мемов", не более;
3) с кашей в голове.
Тут интересны пункты 1-3 -- интересны они тем, что совершенно типичны:
Заслуженным ученым всё время приходится рецензировать статьи и проч. по темам, неизбежно находящимся вне их конкретной узкой компетенции.
Считается, что для такого рецензирования достаточно старательно следить за происходящим в сообществе на уровне обзорных статей и т.п. -- вот они и запоминают, честно и старательно, "стандартные мемы" разных тем.
Им кажется, что они таким образом находятся "в курсе", и поэтому статьи они смело рецензируют, проверяя содержание на соответствие тому, что они старательно запомнили из того, что "все говорят".
Это общая практика, и по-другому рецензировать будет просто некому: есть автор, у него есть пара-тройка прямых (часто злобных) конкурентов, а все остальные -- в лучшем случае такие вот старательные наблюдатели.
Разумеется, в результате выходит профанация, потому что все нетривиальные вещи бывают не видны через призму "стандартных мемов" -- и в таком случае рецензент чаще всего реагирует вариацией на тему "все знают, что... а тут черте что...".
Про кашу в голове говорить особо нечего -- достаточно вспомнить своих однокурсников; выборка одного университетского курса достаточно репрезентативна в этом отношении (тут нет ни грамма шутки, причем речь о физическом факультете МГУ, выпуск 1979 г., т.е. о вполне мировом уровне в том, что касается ясности голов).
Коротко говоря, отзыв можно было охарактеризовать как угрюмое ворчанье старпера, полагавшего, что он достаточно знаком с темой, но при чтении статьи увидевшего, что называется, фигу -- при этом в той картине мира, в которой он привык сам себя воображать, вариант его собственной недокомпетентности не предусматривался.
***
Отзыв Б очевидно принадлежал:
0) экспериментатору (под хорошим изложением он понимал чисто прескриптивное описание программы);
1) энергичному деловому челу в расцвете сил (его отзыв имел форму четкого списка из кратких категоричных утверждений);
2) которому нафик не сдались все эти определения-программы, но который не хотел ударить в грязь лицом перед редактором и честно и бодро сделал свою работу (все придирки были чисто формальными и сугубо поверхностными, но без признаков злобы);
3) который хотел выглядеть перед редактором требовательным рецензентом, какие и нужны высокорейтинговому журналу (из предъявленного списка придирок мог следовать вывод о необходимости доработки статьи, но никак не об отлупе).
***
Наутро Эрнесту был предложен такой стратегический план:
-- Несмотря на вроде бы безнадежный двойной отлуп, мы готовим и засылаем в журнал новый вариант статьи.
-- В нем мы полностью учитываем все придирки рецензента Б, даже бессмысленные и вредные.
-- В традиционном абзаце с благодарностями в конце статьи говорим ему особое спасибо (хотя он анонимный, но можно написать "рецензенту Б").
-- В сопровождающем ответном письме мы рвём на себе волосы четко по пунктам его списка -- и одновременно ненавязчиво подчеркиваем его проницательность; а в конце еще раз отдельно благодарим его на максимальном в рамках приличий уровне лести -- это укрепит его репутацию в глазах редактора.
Так как сама статья ему до фонаря, то он будет полностью удовлетворен.
При этом он будет подсознательно благодарен нам за то, что мы подтвердили на виду у редактора его научную крутизну и похвальную требовательность, и будет склонен -- при отсутствии личной к нам злобы -- сделать нам алаверды, т.е. пропустить статью.
-- Из ворчания рецензента А мы берем то, что более-менее понятно: то есть впихиваем в статью дополнительную картинку, о которой он ворчал -- пусть даже она до основного предмета статьи, строго говоря, не относится;
-- на остальное его мутное бухтение мы даем имитацию научной дискуссии, внося, где возможно, поправки в статью, симулируя таким образом добросовестное стремление "учесть разумную критику", и отмечая все пункты в сопровождающем письме с максимально подробным занудством; это даст нам впоследствии возможность утверждать, что мы добросовестно учли всё, что того заслуживало.
Но на самом деле всё это -- всего лишь подготовка позиции для второго раунда, который наступит, если реализуется основной вариант -- рецензент Б даст добро, а рецензент А продолжит бухтеть:
тогда мы решительно "переводим игру в эндшпиль", т.е. требуем вмешательства редактора, одновременно чисто конкретно (хотя и вежливо) обрушиваясь на рецензента А, ссылками и тонкими аргументами демонстрируя свою, превосходящую его, компетентность.
***
Услышав план, Эрнест возмутился: мы ведь испортим статью! ведь дополнительный рисунок съест много места и придется что-то важное выкинуть! станет непонятно! и т.д.
На что ему было сказано примерно таково:
Уметь отделять мух от котлет -- краеугольная компетенция настоящего ученого:
1) Перед Наукой мы чисты: статья в первом варианте висит в arXiv, мы там ничего менять не будем; все, кому надо, ее там и прочтут; а на сервер журнала ходят только за доисторическими статьями.
2) Речь исключительно о твоём PhD, для которого бюрократы от науки записали формальное требование наличия публикаций в этих паразитических "рецензируемых журналах". Ты ничего не можешь тут поделать кроме как постараться удовлетворить этому требованию -- что, в общем, есть твоя обязанность как аспиранта, раз уж ты принял эту "оферту", поступив в аспирантуру.
3) Все изменения в вариант статьи для журнала мы делаем в точном соответствии с замечаниями рецензентов журнала -- им виднее, что они хотят публиковать у себя в журнале -- а мы свой долг выполнили, см. п.1.
Эрнест был ошарашен всем этим.
Но план был приведен в действие -- мы бодро попортили статью и тщательно сконструировали сопровождающую ксиву, имея в виду ее чтение редактором в "эндшпиле".
***
Всё прошло как по нотам: через положенный срок были получены ответы обоих рецензентов.
Рецензент Б просто сообщил, буквально, что "статья стала намного лучше" (Эрнест бегал по этажу, зачитывал это место вслух кому ни попадя, и ржал) -- и "теперь её можно печатать".
Рецензент А продолжал -- как и ожидалось -- угрюмо бухтеть.
И так далее.
Короче, редактор, рассмотрев наши занудные аргументы (научное существо которых он, конечно, вряд ли понял), в итоге принял статью к публикации.
P.S.
Эта публикация, насколько можно было судить, поставила иммигранта Эрнеста на факультете по формальным признакам среди аспирантов вровень с натуральным канадцем, имевшим безупречную историю оценок и грантов чуть ли не с детского сада.
Эрнест без проблем получил своё PhD и -- на выбор -- прекрасные возможности продолжить карьеру.
***
Еще раз: история зафиксирована в качестве экспоната научной коллекции.