За Единый государственный экзамен 2
Чем хороши цифры, так это тем, что не надо лишних слов. Правильно проведенный расчет с двумя числами в итоге будет убедительней иной сотни предложений. Понятия числами приводятся в норму.
Вот, в своем недавнем посте, посвященном ЕГЭ я высказал мысль о том, что анализируя официальные данные об экзаменах невозможно понять, где истинная картина, а где искажения, которые получаются вследствие разных нарушений. Так и написал:
«И беда в том, что все эти искажения нельзя увидеть из статистики по ЕГЭ. Кривые подстроятся как надо и общая картина все равно останется благостной.»
Однако оказалось, что это не так. Виктор Кромер в комментарии на этот пост прислал ссылку на его статью, в которой он, анализируя официальные данные ЕГЭ 2009 года сумел выделить «коррупционную составляющую» экзамена. По его данным, в среднем 45% школьников незаконно «улучшили» свой результат, приписав себе в среднем 20 тестовых баллов.
Данные впечатляют, но при этом подтверждают всем известное то, что с организацией этого самого Единого государственного экзамена творятся безобразия. Но с цифрами картина получается и объективнее и убедительнее.
Итак, по моим оценкам, полученным из анализа «оперативной» обстановки в относительно небольшой выборке искажения результатов ЕГЭ в 2009 году составило 14%.
По данным Кромера, полученным из статистического анализа всей совокупности результатов экзаменов 1-ой волны 2009 года получается 9%, то есть 0,45 помноженное на 0,2.
По сути эти цифры все одно - как ни крути, картина представляется неприглядной. Выводы разные люди могут делать разные. Виктор Кромер в своей статье (приведу еще раз ссылку http://kromer.newmail.ru/kvv_a_37.pdf) сделал такие:
1. Результаты ЕГЭ 2009 года искажены вследствие несоблюдения регламента процедуры, при этом по отдельным предметам искажено до 60% всех результатов.
2. Вследствие искажения результатов ЕГЭ тестовые баллы по отельным предметам у части испытуемых смещены в сторону увеличения от истинных, соответствующих уровню их подготовки, в среднем на 27 баллов, что вследствие общеизвестности явления вызывает недоверие руководителей образования к высоким тестовым баллам.
3. Влияние и массовость коррупции при проведении процедуры ЕГЭ не позволяют считать результаты ЕГЭ 2009 года пригодными для ранжирования абитуриентов вузов с целью профессионального отбора, поскольку в соответствии с принятым порядком отбора абитуриентов преимущество получают абитуриенты с несоответствующими истинному уровню знаний тестовыми баллами.
4. Анализ распределений предметных тестовых баллов по отдельным регионам России предположительно позволит выявить региональные особенности распределения степени коррупции при проведении ЕГЭ.
5. В основу выводов положены определенные предположения, в частности о линейности шкалы логистической модели Раша и о нормальности распределения уровня подготовки выпускников в логитах. Отказ от этих предположений и выдвижение более слабых, в частности предположение о симметричности распределения уровня подготовки с отказом от нормальности, в силу робастности модели не повлияет на сделанные качественные выводы относительно массового искажения результатов ЕГЭ.
Может быть, кто-нибудь возьмется их опровергнуть?
Вот, в своем недавнем посте, посвященном ЕГЭ я высказал мысль о том, что анализируя официальные данные об экзаменах невозможно понять, где истинная картина, а где искажения, которые получаются вследствие разных нарушений. Так и написал:
«И беда в том, что все эти искажения нельзя увидеть из статистики по ЕГЭ. Кривые подстроятся как надо и общая картина все равно останется благостной.»
Однако оказалось, что это не так. Виктор Кромер в комментарии на этот пост прислал ссылку на его статью, в которой он, анализируя официальные данные ЕГЭ 2009 года сумел выделить «коррупционную составляющую» экзамена. По его данным, в среднем 45% школьников незаконно «улучшили» свой результат, приписав себе в среднем 20 тестовых баллов.
Данные впечатляют, но при этом подтверждают всем известное то, что с организацией этого самого Единого государственного экзамена творятся безобразия. Но с цифрами картина получается и объективнее и убедительнее.
Итак, по моим оценкам, полученным из анализа «оперативной» обстановки в относительно небольшой выборке искажения результатов ЕГЭ в 2009 году составило 14%.
По данным Кромера, полученным из статистического анализа всей совокупности результатов экзаменов 1-ой волны 2009 года получается 9%, то есть 0,45 помноженное на 0,2.
По сути эти цифры все одно - как ни крути, картина представляется неприглядной. Выводы разные люди могут делать разные. Виктор Кромер в своей статье (приведу еще раз ссылку http://kromer.newmail.ru/kvv_a_37.pdf) сделал такие:
1. Результаты ЕГЭ 2009 года искажены вследствие несоблюдения регламента процедуры, при этом по отдельным предметам искажено до 60% всех результатов.
2. Вследствие искажения результатов ЕГЭ тестовые баллы по отельным предметам у части испытуемых смещены в сторону увеличения от истинных, соответствующих уровню их подготовки, в среднем на 27 баллов, что вследствие общеизвестности явления вызывает недоверие руководителей образования к высоким тестовым баллам.
3. Влияние и массовость коррупции при проведении процедуры ЕГЭ не позволяют считать результаты ЕГЭ 2009 года пригодными для ранжирования абитуриентов вузов с целью профессионального отбора, поскольку в соответствии с принятым порядком отбора абитуриентов преимущество получают абитуриенты с несоответствующими истинному уровню знаний тестовыми баллами.
4. Анализ распределений предметных тестовых баллов по отдельным регионам России предположительно позволит выявить региональные особенности распределения степени коррупции при проведении ЕГЭ.
5. В основу выводов положены определенные предположения, в частности о линейности шкалы логистической модели Раша и о нормальности распределения уровня подготовки выпускников в логитах. Отказ от этих предположений и выдвижение более слабых, в частности предположение о симметричности распределения уровня подготовки с отказом от нормальности, в силу робастности модели не повлияет на сделанные качественные выводы относительно массового искажения результатов ЕГЭ.
Может быть, кто-нибудь возьмется их опровергнуть?