Теперь о шкалировании, или про Васю и Петю
В ожидании оценок своего чада по математике (ЕГЭ, по сути, для нас закончился) стал я смотреть на систему шкалирования. Тем паче всегда был поклонником разного рода шкалирования, нормирования и прочего…Н-да..
Что я могу сказать? Так жить нельзя! Точнее, «шкалировать».
Я понимаю, что 99% процентов народонаселения, увидев формулу и прочитав слово «логиты», дальше читать не будет и доверится магии «науки».
Смею вас успокоить, чтобы разобраться в сути проблемы, не надо сильно напрягаться. Слово «логиты» использовать не буду!
Засим приступим.
В основе любой системе шкалирования, самой пупер-супер, самой заматематически занудной, лежат некие допущения. Вот и мы пойдем по этому пути. Вспомним «любимую» присказку математиков - «предположим, что…»
Предположим, что есть два ученика: Вася и Петя. Оба гуманитарии с достаточно дисциплинированным интеллектом. Оба замечательно пишут ЕГЭ по русскому. Вася сделал всего 3 ошибки (скажем, по сочинению сняли по балу по критериям, ну эксперты отметили наличие речевой ошибки, недостаточно богатую грамматику, еще какую мелочь) - в тестовых баллах 84 (по нынешнему курсу, 2010г.). Петя же прошел испытание и вовсе без замечаний и стал стобальником! Оговорюсь, я немного упрощу ситуацию и буду полагать, что в начале идут правильные ответы, а ошибки потом. Поверьте, что и при разбросе ошибок по разным разделам, ситуация в принипе не меняется.
Большая между ними разница? Спросите любого учителя, он скажет, что мальчики приблизительно равны. Пете чуть больше повезло: ну там, эксперты были благосклонны, текст достался знакомый и т.д. Спросит любого статистика: статистически ли значима между ними разница (57 из 60, 60 из 60, среднюю и дисперсию посмотрите сами)?. Он скажет вам - нет - вполне сие может укладываться в доверительный интервал. Спросите у любого, кто профессионально занимается тестированием ( на интеллект, достижения и прочего). Он вам скажет, что после определенной границы оценка перестает что-либо значить.
Но мы-то знаем, что согласно результатам ЕГЭ разница между Васей и Петей - уже 16 баллов!
Много это, или мало?
За неимением пока результатов по математике возьмем расчетную (в реальной будет еще веселее, учитывая «западный» С) http://live.mephist.ru/?mid=1273162348.
Вася и Петя - гуманитарии, поэтому математику они сдают не очень. Скажем, Петя решит все задачи В и получит свои «законные» первичные 12 и тестовые - 53. Сколько задач нужно набрать Васе, чтобы сравнятся с Петей? Ведь они соревнуется по сумме ЕГЭ?
В тестовых баллах на 16 больше, т.е. 69, в первичных - больше 19-ти. Ладно, пусть будет на 19. А вот теперь можете спрашивать любого - существенна ли эта разница 12 из 30, и 19 из 30?
Дистанция не просто существенна. Они из разных групп! «Твердый троечник» и практически отличник. По каким критериям не считай. У какого специалиста не спрашивай. Посмотрите, Вася должен решить все задачи В + С1 + С2 + С3! ИМХО, уровень отличника маткласса в крепкой школе. Ни ФМШ, но очень и очень. Понимаете, что произошло? Два мальчика практически равны в русском, в математике один другого опережает на полголовы, а при суммировании результатов - они равны!
Что произошло? Чудо чудное? Нет, об этом давно кричат те, кто хоть что-нибудь понимают в измерениях. Шкала неоднородна! Она сильно разводит оценки на своих краях! Если в середине она худо-бедно работает, то на границах превращает оценку в бессмыслицу! Дистанция на краях не содержательна. Она просто ничего не оценивает. Мы превращаем оценку в лотерею. http://www.nonlin.ru/node/184
Понимают ли это организаторы?
«Понимают», и пускают в оборот аналогию со спортсменом…http://blog-ege.livejournal.com/26583.html
«различия в «силе спортсменов» при приближении к самым высшим достижениям возрастают, хотя различия между занимаемыми ими местами в рейтинге и натуральными показателями (в секундах, сантиметрах, килограммах) сокращаются.»
Как известно любая аналогия хромает. И мало что доказывает сама по себе.
Охо-хо. Спорт, так спорт. В спорте много примеров многоборья. И нигде, никто не увеличивают разницу в натуральных показателях, если речь идет о зачете по нескольким «однородным» видам, дистанциям и т.д. Ни по каким «высшим соображениям различий».
Никто не «скидывает» в биатлоне Бьорндалену минуток 5 в пасьюте (гонке-преследования) за то, что он пробежал спринт быстрее всех! Выиграл секунду, на секунду раньше и побежишь в следующей гонке!
Но ведь, по сути, наши дети бегут несколько гонок! Почему не обеспечены равные условия?
Зачем превращать суммарную оценку по ЕГЭ в «подсчет ангелов на кончике иглы»?
Зачем «придержали» Васю на дистанции?
Подведу итоги.
Первое, со шкалированием надо срочно что-то делать. Применить ли другую модель, или "выбросить" "верхний" диапозон... Но надо что-то делать.
Второе. Запретить простое суммирование результатов ЕГЭ как определение порога для поступления в вузы. Суммирование не просто абсурдно. Оно аморально.
**
Корректности для. Поскольку результаты 2010 по математике стали известны, наш Петя получит за 12 баллов - 56 тестовых очков, а Васе в 2010 году, чтобы «съесть разницу на дистанции» надо набрать 18, т.е. 73 «тестовых». С учетом того, что задача С3 в этом году была не то, чтобы зубодробительной, но несколько муторной, то ничего практически ничего не изменилось: задачу С3 Васе решить таки надо, но можно допустить помарку.
Любую шкалу, особенно ту, которая меряет «человеческое качество», требуется проверять, юстировать и т.д. Почему использующаяся сейчас шкала не подвергается пересмотру? Почему «суммирование» в законе? Разгильдяйство и головотяпство со взлом? Или еще что?