ЗНО: иллюзия вменяемости
В августе 2018 года с подачи Тимофея Милованова я заинтересовался результатами и методикой украинского национального выпускного экзамена (ЗНО), почитал свежую отчётность за 2018 год и мне открылся ад. Это комфортный, незаметный такой адок, происходящий весной каждого года во время выпускных экзаменов по всей стране.
Буду говорить только про математику и физику, я эти два предмета преподаю и кое-что в них понимаю. Первый шок: математику для получения аттестата можно не сдавать, она экзамен по выбору! В результате две трети выпускников 2018 года и больше половины выпускников 2019 года математику не сдавали вообще. То есть некие люди в министерстве образования сочли, что выпускники отлично устроятся в жизни без математики. Не торопитесь говорить мне про оценку по математике в аттестате, мы все знаем, как они туда ставятся.
Вторым шоком, именно открывшим двери в ад, оказалась система оценивания: можно успешно сдать экзамен почти ничего не зная. Сейчас объясню, как это делается. Внимание, сосредоточьтесь: в начале теста ЗНО есть тридцать шесть вопросов, где надо выбрать один правильный ответ из пяти предложенных. То есть если просто тыкать в ответы наугад, то в среднем таким перебором можно заработать семь-восемь правильных ответов. Это немного, и в 2018 и в 2019 году восемь верных ответов означали "не склав". Казалось бы, всё хорошо, але є одне "але": для оценки "склав, але погано" в 2018 году надо было всего десять верных ответов, а в 2019 - одиннадцать. Особо удачливые могли наугадывать и десять, и одиннадцать верных ответов и, наверное, такие были. Но есть и более интересная тактика.
Если выпускник приходит на экзамен, умея решать пять-шесть первых вопросов, самых простых, а остальное угадывает перебором, то он получает свой "мабуть погано вчився, але склав, падлюка" с вероятностью примерно 70-75%. Распределение ответов основной массы выпускников есть в отчётах и подтверждает предположение, что большинство выбирало ответы наугад. Очень сходная картина получается по результатам анализа экзамена по физике.
Вид распределения вокруг суммы 10 баллов (верных ответов) в 2018 и 2019 годах, на мой взгляд, говорит о том, что на экзамене по математике примерно от трети до половины экзаменующихся умеют решать всего 5-6 первых задач и угадывают остальные ответы перебором. Для страны, где находится Киевский политех, где работал учителем геометрии Кушнир, где были написаны учебники и задачники Генденштейна и Кирика это, как мне кажется, многовато.
Скорее всего, эта тактика сдачи хорошо известна как среди учителей, так и в министерстве. Она безусловно выгодна и учителям и министерству, так как позволяет получать презентабельные результаты при фактически разваленной работе школ. Чтобы было понятнее, несколько простых цифр: оценку "не склав" по математике в 2018 году получили 18,5% экзаменовавшихся, а в 2019 - 18,1%. Как мне кажется, при несложном исправлении методик оценивания в сторону большей объективности реальный процент не сдавших окажется около 40-50%.
Давать официальную оценку такому результату, высказывать рекомендации и принимать решения входит в служебные обязанности соответствующих должностных лиц, надеюсь, они исправят ситуацию. От себя хочу процитировать Михаила Гельфанда: “Интеллектуальный крах страны наступает не когда некому написать статью в Nature, а когда уже некому прочесть статью в Nature”. Дутые цифры ЗНО этот момент, несомненно, приближают. Всем читавшим спасибо за терпение и желание разобраться.
Подробнее по теме можно почитать тут:
Официальный портал ЗНО с подробными статистическими отчётами за все годы
Разговор о результатах ЗНО-2018, побудивший меня заняться вопросом
Первый из серии моих постов с разбором дырки в оценивании ЗНО-2018
Буду говорить только про математику и физику, я эти два предмета преподаю и кое-что в них понимаю. Первый шок: математику для получения аттестата можно не сдавать, она экзамен по выбору! В результате две трети выпускников 2018 года и больше половины выпускников 2019 года математику не сдавали вообще. То есть некие люди в министерстве образования сочли, что выпускники отлично устроятся в жизни без математики. Не торопитесь говорить мне про оценку по математике в аттестате, мы все знаем, как они туда ставятся.
Вторым шоком, именно открывшим двери в ад, оказалась система оценивания: можно успешно сдать экзамен почти ничего не зная. Сейчас объясню, как это делается. Внимание, сосредоточьтесь: в начале теста ЗНО есть тридцать шесть вопросов, где надо выбрать один правильный ответ из пяти предложенных. То есть если просто тыкать в ответы наугад, то в среднем таким перебором можно заработать семь-восемь правильных ответов. Это немного, и в 2018 и в 2019 году восемь верных ответов означали "не склав". Казалось бы, всё хорошо, але є одне "але": для оценки "склав, але погано" в 2018 году надо было всего десять верных ответов, а в 2019 - одиннадцать. Особо удачливые могли наугадывать и десять, и одиннадцать верных ответов и, наверное, такие были. Но есть и более интересная тактика.
Если выпускник приходит на экзамен, умея решать пять-шесть первых вопросов, самых простых, а остальное угадывает перебором, то он получает свой "мабуть погано вчився, але склав, падлюка" с вероятностью примерно 70-75%. Распределение ответов основной массы выпускников есть в отчётах и подтверждает предположение, что большинство выбирало ответы наугад. Очень сходная картина получается по результатам анализа экзамена по физике.
Вид распределения вокруг суммы 10 баллов (верных ответов) в 2018 и 2019 годах, на мой взгляд, говорит о том, что на экзамене по математике примерно от трети до половины экзаменующихся умеют решать всего 5-6 первых задач и угадывают остальные ответы перебором. Для страны, где находится Киевский политех, где работал учителем геометрии Кушнир, где были написаны учебники и задачники Генденштейна и Кирика это, как мне кажется, многовато.
Скорее всего, эта тактика сдачи хорошо известна как среди учителей, так и в министерстве. Она безусловно выгодна и учителям и министерству, так как позволяет получать презентабельные результаты при фактически разваленной работе школ. Чтобы было понятнее, несколько простых цифр: оценку "не склав" по математике в 2018 году получили 18,5% экзаменовавшихся, а в 2019 - 18,1%. Как мне кажется, при несложном исправлении методик оценивания в сторону большей объективности реальный процент не сдавших окажется около 40-50%.
Давать официальную оценку такому результату, высказывать рекомендации и принимать решения входит в служебные обязанности соответствующих должностных лиц, надеюсь, они исправят ситуацию. От себя хочу процитировать Михаила Гельфанда: “Интеллектуальный крах страны наступает не когда некому написать статью в Nature, а когда уже некому прочесть статью в Nature”. Дутые цифры ЗНО этот момент, несомненно, приближают. Всем читавшим спасибо за терпение и желание разобраться.
Подробнее по теме можно почитать тут:
Официальный портал ЗНО с подробными статистическими отчётами за все годы
Разговор о результатах ЗНО-2018, побудивший меня заняться вопросом
Первый из серии моих постов с разбором дырки в оценивании ЗНО-2018