Рейтинги вузов в России и Британии
Зайдя после долгого перерыва на сайт родного МИФИ, обнаружил там свежую «новость» под названием «Министерство образования РФ составило рейтинг российских ВУЗов за 2003 год». Оказывается, в только что составленном «рейтинге университетов» МИФИ (который, к моему удивлению, именуется ныне «государственным университетом», а не «техническим», как это было раньше) делит 4-5 места с Университетом Дружбы Народов (после МГУ, СПбГУ и МФТИ). В Британии подобные рейтинги (я немного писал о них здесь) весьма популярны и пользуются большим спросом со стороны потребителя (каковым являются прежде всего абитуриенты и их родители, а также будущие работодатели). Захотелось понять, что есть такое российский рейтинг - в сравнении с британским.
Как выяснилось, российский рейтинг вузов - это документ официальный (утвержден первым замминистра образования), составляемый на основе предоставляемой самими вузами информации. В полном виде Рейтинг Вузов России (разбитых по категориям - технические, экономические, медицинские и т.д.) можно найти здесь. Газета.ru дает выжимку с перечислением лидеров в каждой категории. Получается, что рейтинг вуза - это просто-напросто одно-единственное число, показывающее его место среди родственных вузов. Никаких других фактических данных не приводится. Официальная методика расчета, впрочем, доступна здесь. Вот как ее характеризуют авторы (на характерном псевдонаучном волапюке):
Основу методики составляет структура критериев, соответствующая иерархической декомпозиции сложной глобальной цели системы, содержательно определенной как «Обеспечение соответствия содержания и качества образованимя потребностям граждан и комплексу общественно-государственных требований.
Что это означает на человеческом языке? Вузы предоставляют данные в виде параметров Дi (всего 41 параметр). Даны формулы для расчета 19-ти производных параметров Кj (три - для «интеллектуального потенциала», четыре - для «материальной и информационной базы», четыре - для «социально-культурной базы», четыре - для «подготовки кадров» и последние четыре - для «производства и апробации знаний и технологий»). Магической формулы, позволяющей получить из этих 19 параметров итоговой рейтинг, не приводится. Само собой, фактические значения как исходных параметров Дi, так и производных Кj для конкретных вузов недоступны, а ведь без них итоговой результат имеет мало смысла.
Если начать разбираться в этих формулах содержательно, то становится ясно: все параметры отражают исключительно «валовые» показатели, мало связанные с результами работы вуза. Например, «интеллектуальный потенциал» - это производная от числа преподавателей с учетом наличия у них научных степеней. Учебно-научная состоятельность вуза («производство и апробация знаний и технологий») зависит исключительно от количества выпускаемых учебных пособий (с «утверждающими грифами» такими, сякими и этакими) и от поступающих из разных источников денежных средств (а вот данные по публикациям или изобретениям не фигурируют). Помимо учебников, единственнным параметром, отражающим результаты работы вуза, является число защищенных аспирантами и сотрудниками диссертаций. Кроме количества поступающих на разные формы обучения, ни единого параметра, связанного с качественной характеристикой абитуриентов (например, средний школьный/проходной балл) и выпускников (например, сколько отсеивается в процессе учебы или сколько находят работу - вообще и по специальности) не учитывается.
Вывод: российский рейтинг вузов - это чисто бюрократический документ, который, возможно греет душу подсуетившимся с "правильной" информацией руководителям (проверить эту информацию, предоставляемую теми, кого и оценивают, невозможно - она закрыта), но ни в малейшей степени не отвечает практическим запросам потребителя. Который по идее хочет не просто знать, что такой-то вуз «лучше» другого, но и чем именно лучше (а чем - хуже!). И нуждается в прозрачных и легко интерпретируемых индикаторах, которые можно верифицировать.
Что касается Британии , то официального (т.е. составленного или одобренного государством) рейтинга не существует. Зато имеется целый ряд неофициальных, из которых наиболее популярны рейтинги, составляемые различными качественными газетами. Впрочем, они используют информацию, предоставляемую государственными органами, благо она доступна всем желающим, в том числе и через Интернет.
Рассмотрим для примера рейтинг британских вузов, составленный The Sunday Times. Собственно, это не просто «рейтинг» (т.е. место в общей таблице), а «руководство-путеводитель» (The Sunday Times University Guide 2003), которое в печатном виде выпускается как 56-страничное приложение к газете (а расширенный вариант - отдельной книгой). Помимо собственно League Table с рейтингами и их составляющими, для каждого из 121 университета приводится подробнейшая фактическая информация о многих сторонах деятельности вуза (со ссылками на источники, которые опять же в полном объеме доступны через Интернет).
Собственно числовое значение рейтинга - это взвешенная сумма следующих параметров, пересчитанных в условных единицах:
- Teaching quality (Качество обучения - оценивается не самим вузом, а специальной организацией The Quality Assurance Agency for Higher Education, чьи подробнейшие отчеты доступны всем)
- Research quality (Качество научных исследований - также результат стороннего Research Assessment Exercise)
- A-level points (Проходной балл - т.е школьные оценки поступивших)
- Employment (Процент устроившихся на работу в течение полугода после выпуска)
- First/2:1s awarded (Процент выданных дипломов первой - «с отличием» - и «2:1» - «хороших»- степеней)
- Student/staff ratio (Количество преподавателей в расчете на одного студента)
- Dropout rate (показатель отсева).
Для каждого университета также приводится «профиль» - т.е. фактические значения всех перечисленных индикаторов, дополненных массой других данных - сколько преподавателей, студентов и аспирантов разных категорий и возрастов, студентов из государственных школ и из других стран, из «низших социальных классов», количество предоставляемых университетом мест для проживания (вообще и отдельно для первокусников), рейтинг спортсооружений и т.д. Наконец, приводятся рейтинги конкретных специальностей, по которым готовят в данном университете. На основе этих данных также построены многочисленные специальные таблицы - например, “Top ten for research” или “Worst student/staff ratio”.
В результате, потребитель легко находит ответ на любой конкретный вопрос как в «абсолютном» (т.е. для данного вуза), так и в относительном (университеты можно сравнить по каждому параметру) выражении.
Как выяснилось, российский рейтинг вузов - это документ официальный (утвержден первым замминистра образования), составляемый на основе предоставляемой самими вузами информации. В полном виде Рейтинг Вузов России (разбитых по категориям - технические, экономические, медицинские и т.д.) можно найти здесь. Газета.ru дает выжимку с перечислением лидеров в каждой категории. Получается, что рейтинг вуза - это просто-напросто одно-единственное число, показывающее его место среди родственных вузов. Никаких других фактических данных не приводится. Официальная методика расчета, впрочем, доступна здесь. Вот как ее характеризуют авторы (на характерном псевдонаучном волапюке):
Основу методики составляет структура критериев, соответствующая иерархической декомпозиции сложной глобальной цели системы, содержательно определенной как «Обеспечение соответствия содержания и качества образованимя потребностям граждан и комплексу общественно-государственных требований.
Что это означает на человеческом языке? Вузы предоставляют данные в виде параметров Дi (всего 41 параметр). Даны формулы для расчета 19-ти производных параметров Кj (три - для «интеллектуального потенциала», четыре - для «материальной и информационной базы», четыре - для «социально-культурной базы», четыре - для «подготовки кадров» и последние четыре - для «производства и апробации знаний и технологий»). Магической формулы, позволяющей получить из этих 19 параметров итоговой рейтинг, не приводится. Само собой, фактические значения как исходных параметров Дi, так и производных Кj для конкретных вузов недоступны, а ведь без них итоговой результат имеет мало смысла.
Если начать разбираться в этих формулах содержательно, то становится ясно: все параметры отражают исключительно «валовые» показатели, мало связанные с результами работы вуза. Например, «интеллектуальный потенциал» - это производная от числа преподавателей с учетом наличия у них научных степеней. Учебно-научная состоятельность вуза («производство и апробация знаний и технологий») зависит исключительно от количества выпускаемых учебных пособий (с «утверждающими грифами» такими, сякими и этакими) и от поступающих из разных источников денежных средств (а вот данные по публикациям или изобретениям не фигурируют). Помимо учебников, единственнным параметром, отражающим результаты работы вуза, является число защищенных аспирантами и сотрудниками диссертаций. Кроме количества поступающих на разные формы обучения, ни единого параметра, связанного с качественной характеристикой абитуриентов (например, средний школьный/проходной балл) и выпускников (например, сколько отсеивается в процессе учебы или сколько находят работу - вообще и по специальности) не учитывается.
Вывод: российский рейтинг вузов - это чисто бюрократический документ, который, возможно греет душу подсуетившимся с "правильной" информацией руководителям (проверить эту информацию, предоставляемую теми, кого и оценивают, невозможно - она закрыта), но ни в малейшей степени не отвечает практическим запросам потребителя. Который по идее хочет не просто знать, что такой-то вуз «лучше» другого, но и чем именно лучше (а чем - хуже!). И нуждается в прозрачных и легко интерпретируемых индикаторах, которые можно верифицировать.
Что касается Британии , то официального (т.е. составленного или одобренного государством) рейтинга не существует. Зато имеется целый ряд неофициальных, из которых наиболее популярны рейтинги, составляемые различными качественными газетами. Впрочем, они используют информацию, предоставляемую государственными органами, благо она доступна всем желающим, в том числе и через Интернет.
Рассмотрим для примера рейтинг британских вузов, составленный The Sunday Times. Собственно, это не просто «рейтинг» (т.е. место в общей таблице), а «руководство-путеводитель» (The Sunday Times University Guide 2003), которое в печатном виде выпускается как 56-страничное приложение к газете (а расширенный вариант - отдельной книгой). Помимо собственно League Table с рейтингами и их составляющими, для каждого из 121 университета приводится подробнейшая фактическая информация о многих сторонах деятельности вуза (со ссылками на источники, которые опять же в полном объеме доступны через Интернет).
Собственно числовое значение рейтинга - это взвешенная сумма следующих параметров, пересчитанных в условных единицах:
- Teaching quality (Качество обучения - оценивается не самим вузом, а специальной организацией The Quality Assurance Agency for Higher Education, чьи подробнейшие отчеты доступны всем)
- Research quality (Качество научных исследований - также результат стороннего Research Assessment Exercise)
- A-level points (Проходной балл - т.е школьные оценки поступивших)
- Employment (Процент устроившихся на работу в течение полугода после выпуска)
- First/2:1s awarded (Процент выданных дипломов первой - «с отличием» - и «2:1» - «хороших»- степеней)
- Student/staff ratio (Количество преподавателей в расчете на одного студента)
- Dropout rate (показатель отсева).
Для каждого университета также приводится «профиль» - т.е. фактические значения всех перечисленных индикаторов, дополненных массой других данных - сколько преподавателей, студентов и аспирантов разных категорий и возрастов, студентов из государственных школ и из других стран, из «низших социальных классов», количество предоставляемых университетом мест для проживания (вообще и отдельно для первокусников), рейтинг спортсооружений и т.д. Наконец, приводятся рейтинги конкретных специальностей, по которым готовят в данном университете. На основе этих данных также построены многочисленные специальные таблицы - например, “Top ten for research” или “Worst student/staff ratio”.
В результате, потребитель легко находит ответ на любой конкретный вопрос как в «абсолютном» (т.е. для данного вуза), так и в относительном (университеты можно сравнить по каждому параметру) выражении.