Мой комментарий о новом мировом университетском рейтинге на polit.ru
Забыл сообщить, что неделю назад мы с nataly_demina откликнулись на публикацию свежего рейтинга по версии английского еженедельника Тimes Higher Education. Она в своей части текста на polit.ru обеспечила факты, а я в своей - мнение. Которое сюда и скопирую. Оно не оригинально - я его всю дорогу повторяю: не надо переживать по поводу низких позиций, а надо читать первоисточник, чтобы понять, что, собственно, место в этом рейтинге отражает. Впрочем, мнение мое, как водится, довольно развернутое. Ну и на российских журналистов/экспертов опять ругаюсь: во многих изданиях базисные факты этого рейтинга, касающиеся российских вузов, изложены некорректно (даже новостной флагман лента.ру отличился).
Родной МИФИ, который каким-то образом за год преуспел в улучшении всех показателей (после прошлогоднего сколь сенсационного, столь и странного успеха), пострадал от журналистов больше всех. Его результат вполне успешен, но это происшествие мало кто заметил - и это при возникшей с некоторых пор всеобщей страсти об этих рейтингах переживать. Взять хотя бы такой патриотический телеканал RT, продвигающий светлый образ вставшей с колен России вражеской аудитории: "В прошлом году он попал и в основной рейтинг THE, однако оказался в самом конце и не удержал позиций." Какой-то бред (в каком таком "конце"?!), право слово. Ну а об анализе вообще нигде и речи нет...
Моя часть текста - ниже:
МГУ, Физтех и МИФИ в мировом рейтинге вузов.
....
Комментировать очередные результаты любого из «большой тройки» университетских рейтингов (а помимо рейтинга THE - это «шанхайский» Academic Ranking of World Universities и QS World University Rankings) - задача не слишком благодарная: каждый рейтинг имеет свою систему приоритетов, свою методологию и технологию производства, как следствие - на выходе получается своя иерархия университетов, но разница с предыдущим годом обычно небольшая. Так что поводов для оригинальных выводов не так много. Что и понятно: ситуация в университетах радикально изменяется нечасто.
А если и меняется (например, где-то финансирование по какой-то причине уменьшилось, а где-то выросло, где-то открылся новый исследовательский центр, а где-то начали набирать студентов по новой специальности), то нужны годы, чтобы эти изменения стали видимыми внешнему миру в увеличенных суммах научных грантов, количестве опубликованных статей и в цифрах цитирований. И тем более - в изменении репутации вуза в глазах мирового научно-образовательного сообщества.
Производители рейтингов, заинтересованные в максимальном паблисити, стараются находить информационные поводы, позволяющие погромче презентовать очередную версию их продукта. В сопроводительных материалах и пресс-релизах вы обнаружите массу рассуждений, что, дескать, вузы таких-то стран (а то и целых континентов) продвинулись вверх или вниз, такой-то университет поднялся, а такой упал, и причины этих будто бы многозначительных изменений такие-то и такие-то (рейтинг THE в печатном виде представляет собой цветное глянцевое издание формата А4 на 64 страницах, а на сайте информация еще более подробная).
Получившие эти материалы российские журналисты-новостники, по-быстрому пролистав многочисленные таблицы, соревнуются в придумывании громких и обычно негативистских заголовков (чему способствует уязвленная национальная гордость - мы своим высшим образованием еще с советских времен привыкли гордиться, и печальные результаты иноземных рейтингов вызывают когнитивный диссонанс).
Наконец, в действие вступают статусные «эксперты», пытающиеся сделать глобальные выводы в контексте общегосударственной научно-образовательной политики, поставленной высшей властью задачи в этих заморских рейтингах преуспеть и своих представлений о мировой науке и высшей школе - при том, что некоторые эксперты чтением первоисточников себя не утруждают, а пробелы в фактологии обычно компенсируются взвинченностью формулировок с их уклоном в спекулятивный патриотизм. В итоге, с некоторых пор освещение рейтинговой темы в российских СМИ традиционно носит какой-то нервный характер.
Вот и свежий рейтинг THE уже удостоился таких, например, заголовков: «МГУ опускается все ниже в рейтинге лучших вузов мира» или «МГУ стал единственным российским вузом в западном рейтинге» (к слову, этот сюжет на телеканале «Дождь» содержит фактологические ошибки в каждой второй фразе; впрочем, некоторые другие издания тоже недалеко ушли).
Мое же мнение таково: оснований для переживаний нет. Да, МГУ опустился из первой четверти третьей сотни ("201-225") во вторую ("226-250") четверть (а в опубликованном в прошлом месяце рейтинге фирмы QS - cо 116-го места на 120-е). Те, кто не первый год следит за рейтингами, знают: подобные флуктуации присутствуют всегда и носят вполне статистический характер - методология и технология таковы, что если речь идет не о первых нескольких десятках мест рейтинга, разница в несколько позиций (и даже в несколько десятков - особенно если дело касается третьей или четвертой сотни) значит очень мало.
Собственно, практически всегда непросто понять,почему по сравнению с предыдущим годом некий университет поднялся или опустился на несколько мест (а МГУ отнюдь не единственный пример, например, в последнем рейтинге THE 14 британских университетов улучшили свое положение, а 14 ухудшили).
В сопроводительных материалах THE предлагаются глобальные объяснения - например, увеличение (как в скандинавских и азиатских странах) или уменьшение (как в западно-европейских) государственного финансирования. Но, во-первых, последствия изменения финансовой ситуации проявляются далеко не сразу - уж точно не за один год, а во-вторых, это не объясняет, почему один университет некой страны упал в рейтинге, а другой - поднялся.
Из прилагаемых таблиц легко видеть, как изменились баллы в каждой из интегральных пяти рейтинговых категорий, но почему они изменились, вы поймете только в случае детального изучения фактических данных. А они по большей части не публикуются. Скажем, наиболее преуспевшим английским вузом стал лондонский King’s College, скакнувший с 57-го на 38-е место (абсолютный рекорд среди топ-200 рейтинга).
В комментариях отмечается, что это произошло в основном за счет повышения балла за «Преподавание» (с 53.5 до 56.2). Но как интерпретировать этот факт? Балл в этой категории вычисляется как взвешенная сумма четырех отдельных факторов (экспертные оценки, соотношение числа преподавателей к числу студентов и защищенных «докторских» диссертаций к количеству выпущенных бакалавров и, наконец, доход от учебной деятельности - все с разными весами). Какие из этих факторов изменились, как именно и почему - неизвестно.
Собственно, хорошей иллюстрацией сказанного является прошлогодний случай, когда мой родной МИФИ неожиданно ворвался в рейтинг THE, причем сразу во вторую четверть третьей сотни. Из таблиц было видно, что этот успех достигнут за счет максимального показателя цитируемости, но понять, как именно этого удалось добиться, мы смогли только после ответов производителя рейтинга на наши запросы.
Тут самое время ответить на вопрос, почему МИФИ исчез из рейтинга THE этого года. Выглядит это странно - ведь сохранив максимальную величину цитируемости, наш университет существенно повысил свои показатели в каждой(!) из остальных категорий (таблицы - в первой части статьи на polit.ru, написанной Н. Деминой).
Ответ - если внимательно прочитать материалы THE - таков: никуда МИФИ не исчезал. Цитирую редактора рейтингового приложения “THE” Фила Бэти: «Два российских вуза (речь о МИФИ и МФТИ - В.А.) достигли высоких показателей, что позволяет им с комфортом разместиться в третьей сотне сводного рейтинга, но они из этого рейтинга исключены ввиду своей узко-фокусированной специфики. Их место - в отдельном специализированном рейтинге physical sciences».
Как более подробно разъясняется в редакционном материале «Highly accomplished outcasts», в этом году произошло изменение методологии рейтинга, и вузы с выраженной специализацией право присутствия в сводном рейтинге THE потеряли - независимо от своих показателей. 63-е место МФТИ и 74-е - МИФИ в специализированном рейтинге Top 100 universities for Physical Sciences 2013-14 следует признать успехом.
Думается, в свете этих изменений в методологии самого популярного рейтинга задачу вхождения российских вузов в его первую сотню следует скорректировать. Классические полномасштабные университеты, такие как МГУ, СПбГУ и НГУ, должны бороться за место в сводном рейтинге, но физические, технические, экономические вузы (та же «Вышка») могут сосредоточиться на попадании в специализированные рейтинги - у них просто нет иного выбора (возможно, достойной задачей будет вхождение в топ-50). При этом, МИФИ стоило бы включиться и в соревнование по разделу Engineering & Technology.
Кстати, методика расчета специализированных рейтингов имеет - по сравнению с «основным» - свою специфику. К примеру, для physical sciences удельный вес показателя цитируемости повышен с 30 до 35%, для social sciences он снижен до 25%, а для категории arts and humanities составляет всего 15%. Естественно, что эти отражающие специфику отдельных научных направлений новые цифры цитируемости компенсируются изменением веса других факторов. Надеюсь, что ответственные за рейтинги лица в российских вузах эти изменения отслеживают и принимают во внимание.
В заключение, снова акцентирую необходимость более спокойного отношения к положению российских вузов в мировых рейтингах. В своих предыдущих публикациях о рейтингах (в частности, «Мировой рейтинг и российские эксперты» и «Академический рейтинг университетов мира - 2012: результаты и уроки») я пытался обосновать следующую точку зрения: российские вузы с большим трудом вписываются в любой из мировых рейтингов - по той очевидной причине, что российская система высшего образования де-факто не интегрирована в мировой образовательный рынок (да и в мировое научное пространство интегрирована с большими оговорками) и существует в специфической политико-экономической ситуации. Конечно же, это относится и к университетам многих других стран, которые по разным причинам трудно адекватно сравнивать с вузами развитых западных стран.
Я уже упоминал трудно объяснимую волатильность рейтингов, отражающую, очевидно, несовершенство методологии и технологии их расчета. Налагает отпечаток и специфика подбора экспертов (любопытные подробности можно иногда узнать из случайно возникшего в социальных сетях диалога с официальным представителем производителя одного из рейтингов).
Надо отдать должное создателям рейтинга THE - каждый год они совершенствуют свою методологию и прислушиваются к критике и конструктивным предложениям со стороны. Но имеется важный фактор за пределами их контроля - достоверность и верифицируемость информации, которую предоставляют сами университеты.
Практически вся значимая информация об университетах США, Великобритании и других западных стран находится в публичном доступе, фальсифицировать ее почти невозможно. А вот информация о российских университетах, потребная для расчета рейтингов, открыта далеко не вся, и даже относительно той, которая публично доступна, нет никакой уверенности, что она полностью достоверна.
На примере предоставленных не так давно университетами в МОН данных о средних зарплатах мы знаем, как их руководство может информацией манипулировать. У производителей рейтингов нет возможности верифицировать предоставляемые им сведения. Опять же, это относится не только к России. Вывод очевиден: рейтинговые места могут не полностью отражать реальность, и уже поэтому не стоит придавать им очень уж большое значение.
В то же время, участие в рейтингах для российского высшего образования, безусловно, полезно. Несмотря на настораживающие тенденции в социально-политическом развитии страны вкупе с призывами к «суверенной» изоляции от ценностей развитых западных стран, включенность высшей школы в мировой контекст, присущие рейтингам публичность и соревновательность задают позитивный вектор развития.
Если выделенное ведущим вузам в рамках программы по улучшению рейтингов целевое финансирование будет использовано надлежащим образом (на улучшение инфраструктуры, на стимулирование публикаций в международных научных изданиях с одновременным снижением учебной нагрузки для тех, кто занимается исследовательской работой, на приглашение иностранной профессуры, на стимулирование международных научных связей и т.д.), то можно ожидать медленного, но верного улучшения ситуации.
Родной МИФИ, который каким-то образом за год преуспел в улучшении всех показателей (после прошлогоднего сколь сенсационного, столь и странного успеха), пострадал от журналистов больше всех. Его результат вполне успешен, но это происшествие мало кто заметил - и это при возникшей с некоторых пор всеобщей страсти об этих рейтингах переживать. Взять хотя бы такой патриотический телеканал RT, продвигающий светлый образ вставшей с колен России вражеской аудитории: "В прошлом году он попал и в основной рейтинг THE, однако оказался в самом конце и не удержал позиций." Какой-то бред (в каком таком "конце"?!), право слово. Ну а об анализе вообще нигде и речи нет...
Моя часть текста - ниже:
МГУ, Физтех и МИФИ в мировом рейтинге вузов.
....
Комментировать очередные результаты любого из «большой тройки» университетских рейтингов (а помимо рейтинга THE - это «шанхайский» Academic Ranking of World Universities и QS World University Rankings) - задача не слишком благодарная: каждый рейтинг имеет свою систему приоритетов, свою методологию и технологию производства, как следствие - на выходе получается своя иерархия университетов, но разница с предыдущим годом обычно небольшая. Так что поводов для оригинальных выводов не так много. Что и понятно: ситуация в университетах радикально изменяется нечасто.
А если и меняется (например, где-то финансирование по какой-то причине уменьшилось, а где-то выросло, где-то открылся новый исследовательский центр, а где-то начали набирать студентов по новой специальности), то нужны годы, чтобы эти изменения стали видимыми внешнему миру в увеличенных суммах научных грантов, количестве опубликованных статей и в цифрах цитирований. И тем более - в изменении репутации вуза в глазах мирового научно-образовательного сообщества.
Производители рейтингов, заинтересованные в максимальном паблисити, стараются находить информационные поводы, позволяющие погромче презентовать очередную версию их продукта. В сопроводительных материалах и пресс-релизах вы обнаружите массу рассуждений, что, дескать, вузы таких-то стран (а то и целых континентов) продвинулись вверх или вниз, такой-то университет поднялся, а такой упал, и причины этих будто бы многозначительных изменений такие-то и такие-то (рейтинг THE в печатном виде представляет собой цветное глянцевое издание формата А4 на 64 страницах, а на сайте информация еще более подробная).
Получившие эти материалы российские журналисты-новостники, по-быстрому пролистав многочисленные таблицы, соревнуются в придумывании громких и обычно негативистских заголовков (чему способствует уязвленная национальная гордость - мы своим высшим образованием еще с советских времен привыкли гордиться, и печальные результаты иноземных рейтингов вызывают когнитивный диссонанс).
Наконец, в действие вступают статусные «эксперты», пытающиеся сделать глобальные выводы в контексте общегосударственной научно-образовательной политики, поставленной высшей властью задачи в этих заморских рейтингах преуспеть и своих представлений о мировой науке и высшей школе - при том, что некоторые эксперты чтением первоисточников себя не утруждают, а пробелы в фактологии обычно компенсируются взвинченностью формулировок с их уклоном в спекулятивный патриотизм. В итоге, с некоторых пор освещение рейтинговой темы в российских СМИ традиционно носит какой-то нервный характер.
Вот и свежий рейтинг THE уже удостоился таких, например, заголовков: «МГУ опускается все ниже в рейтинге лучших вузов мира» или «МГУ стал единственным российским вузом в западном рейтинге» (к слову, этот сюжет на телеканале «Дождь» содержит фактологические ошибки в каждой второй фразе; впрочем, некоторые другие издания тоже недалеко ушли).
Мое же мнение таково: оснований для переживаний нет. Да, МГУ опустился из первой четверти третьей сотни ("201-225") во вторую ("226-250") четверть (а в опубликованном в прошлом месяце рейтинге фирмы QS - cо 116-го места на 120-е). Те, кто не первый год следит за рейтингами, знают: подобные флуктуации присутствуют всегда и носят вполне статистический характер - методология и технология таковы, что если речь идет не о первых нескольких десятках мест рейтинга, разница в несколько позиций (и даже в несколько десятков - особенно если дело касается третьей или четвертой сотни) значит очень мало.
Собственно, практически всегда непросто понять,почему по сравнению с предыдущим годом некий университет поднялся или опустился на несколько мест (а МГУ отнюдь не единственный пример, например, в последнем рейтинге THE 14 британских университетов улучшили свое положение, а 14 ухудшили).
В сопроводительных материалах THE предлагаются глобальные объяснения - например, увеличение (как в скандинавских и азиатских странах) или уменьшение (как в западно-европейских) государственного финансирования. Но, во-первых, последствия изменения финансовой ситуации проявляются далеко не сразу - уж точно не за один год, а во-вторых, это не объясняет, почему один университет некой страны упал в рейтинге, а другой - поднялся.
Из прилагаемых таблиц легко видеть, как изменились баллы в каждой из интегральных пяти рейтинговых категорий, но почему они изменились, вы поймете только в случае детального изучения фактических данных. А они по большей части не публикуются. Скажем, наиболее преуспевшим английским вузом стал лондонский King’s College, скакнувший с 57-го на 38-е место (абсолютный рекорд среди топ-200 рейтинга).
В комментариях отмечается, что это произошло в основном за счет повышения балла за «Преподавание» (с 53.5 до 56.2). Но как интерпретировать этот факт? Балл в этой категории вычисляется как взвешенная сумма четырех отдельных факторов (экспертные оценки, соотношение числа преподавателей к числу студентов и защищенных «докторских» диссертаций к количеству выпущенных бакалавров и, наконец, доход от учебной деятельности - все с разными весами). Какие из этих факторов изменились, как именно и почему - неизвестно.
Собственно, хорошей иллюстрацией сказанного является прошлогодний случай, когда мой родной МИФИ неожиданно ворвался в рейтинг THE, причем сразу во вторую четверть третьей сотни. Из таблиц было видно, что этот успех достигнут за счет максимального показателя цитируемости, но понять, как именно этого удалось добиться, мы смогли только после ответов производителя рейтинга на наши запросы.
Тут самое время ответить на вопрос, почему МИФИ исчез из рейтинга THE этого года. Выглядит это странно - ведь сохранив максимальную величину цитируемости, наш университет существенно повысил свои показатели в каждой(!) из остальных категорий (таблицы - в первой части статьи на polit.ru, написанной Н. Деминой).
Ответ - если внимательно прочитать материалы THE - таков: никуда МИФИ не исчезал. Цитирую редактора рейтингового приложения “THE” Фила Бэти: «Два российских вуза (речь о МИФИ и МФТИ - В.А.) достигли высоких показателей, что позволяет им с комфортом разместиться в третьей сотне сводного рейтинга, но они из этого рейтинга исключены ввиду своей узко-фокусированной специфики. Их место - в отдельном специализированном рейтинге physical sciences».
Как более подробно разъясняется в редакционном материале «Highly accomplished outcasts», в этом году произошло изменение методологии рейтинга, и вузы с выраженной специализацией право присутствия в сводном рейтинге THE потеряли - независимо от своих показателей. 63-е место МФТИ и 74-е - МИФИ в специализированном рейтинге Top 100 universities for Physical Sciences 2013-14 следует признать успехом.
Думается, в свете этих изменений в методологии самого популярного рейтинга задачу вхождения российских вузов в его первую сотню следует скорректировать. Классические полномасштабные университеты, такие как МГУ, СПбГУ и НГУ, должны бороться за место в сводном рейтинге, но физические, технические, экономические вузы (та же «Вышка») могут сосредоточиться на попадании в специализированные рейтинги - у них просто нет иного выбора (возможно, достойной задачей будет вхождение в топ-50). При этом, МИФИ стоило бы включиться и в соревнование по разделу Engineering & Technology.
Кстати, методика расчета специализированных рейтингов имеет - по сравнению с «основным» - свою специфику. К примеру, для physical sciences удельный вес показателя цитируемости повышен с 30 до 35%, для social sciences он снижен до 25%, а для категории arts and humanities составляет всего 15%. Естественно, что эти отражающие специфику отдельных научных направлений новые цифры цитируемости компенсируются изменением веса других факторов. Надеюсь, что ответственные за рейтинги лица в российских вузах эти изменения отслеживают и принимают во внимание.
В заключение, снова акцентирую необходимость более спокойного отношения к положению российских вузов в мировых рейтингах. В своих предыдущих публикациях о рейтингах (в частности, «Мировой рейтинг и российские эксперты» и «Академический рейтинг университетов мира - 2012: результаты и уроки») я пытался обосновать следующую точку зрения: российские вузы с большим трудом вписываются в любой из мировых рейтингов - по той очевидной причине, что российская система высшего образования де-факто не интегрирована в мировой образовательный рынок (да и в мировое научное пространство интегрирована с большими оговорками) и существует в специфической политико-экономической ситуации. Конечно же, это относится и к университетам многих других стран, которые по разным причинам трудно адекватно сравнивать с вузами развитых западных стран.
Я уже упоминал трудно объяснимую волатильность рейтингов, отражающую, очевидно, несовершенство методологии и технологии их расчета. Налагает отпечаток и специфика подбора экспертов (любопытные подробности можно иногда узнать из случайно возникшего в социальных сетях диалога с официальным представителем производителя одного из рейтингов).
Надо отдать должное создателям рейтинга THE - каждый год они совершенствуют свою методологию и прислушиваются к критике и конструктивным предложениям со стороны. Но имеется важный фактор за пределами их контроля - достоверность и верифицируемость информации, которую предоставляют сами университеты.
Практически вся значимая информация об университетах США, Великобритании и других западных стран находится в публичном доступе, фальсифицировать ее почти невозможно. А вот информация о российских университетах, потребная для расчета рейтингов, открыта далеко не вся, и даже относительно той, которая публично доступна, нет никакой уверенности, что она полностью достоверна.
На примере предоставленных не так давно университетами в МОН данных о средних зарплатах мы знаем, как их руководство может информацией манипулировать. У производителей рейтингов нет возможности верифицировать предоставляемые им сведения. Опять же, это относится не только к России. Вывод очевиден: рейтинговые места могут не полностью отражать реальность, и уже поэтому не стоит придавать им очень уж большое значение.
В то же время, участие в рейтингах для российского высшего образования, безусловно, полезно. Несмотря на настораживающие тенденции в социально-политическом развитии страны вкупе с призывами к «суверенной» изоляции от ценностей развитых западных стран, включенность высшей школы в мировой контекст, присущие рейтингам публичность и соревновательность задают позитивный вектор развития.
Если выделенное ведущим вузам в рамках программы по улучшению рейтингов целевое финансирование будет использовано надлежащим образом (на улучшение инфраструктуры, на стимулирование публикаций в международных научных изданиях с одновременным снижением учебной нагрузки для тех, кто занимается исследовательской работой, на приглашение иностранной профессуры, на стимулирование международных научных связей и т.д.), то можно ожидать медленного, но верного улучшения ситуации.