analyst_na
in
predu
Психометрия, или как нас измеряют
Сегодня - небольшой обзор по теме психометрии. Я опишу крошечный, но очень полезный инструмент, который мы используем (и рекомендуем), и дам несколько ссылок на самые разные примеры использования психометрии - для интересующихся этой областью в широком контексте. Начну с того, зачем и как этим пользуемся мы…
Измерений в образовательном процессе хватает - экзамены все сдавали. Да и через компьютерное тестирование, наверняка, каждый проходил в том или ином виде. А при сдаче таких тестов байки про вшей не прокатывают, особенно когда речь идет о проверке уровня знаний - тут или ты знаешь, или нет. Компьютер глупый, он не умеет читать между строк и догадываться. Чего не скажешь про человека, сдающего тест. Тот может включить логику и угадать правильный ответ. В плохо составленных тестах такое прокатывает. Создать хороший тест, который реально проверяет знания, не так-то просто.
Еще в 2013 году вышла наша статья о принципах составления «хороших» тестов, где на примере «сяпавшей по напушке калуши» разбираются некоторые правила. Их у нас действительно с полтора десятка, таких как:
Для проверки объективности вопросов используются методы, «живущие» на стыке математики и психологии. Правда, для их применения нужны данные по уже сдавшим тест людям. И чем больше, тем лучше. Поэтому такие методы используются или при апробации новых тестов, или в процессе работы для мониторинга - тогда правки вносятся «на лету».
Психологическими измерениями занимается раздел психологии (иногда пишут, что раздел статистики) - психометрия или психометрика. Ее методы тесно связаны с тестированием, но чаще всего и шире всего применяются при оценке личностных качеств и способностей - там психологии есть где развернуться. Для тестов на проверку уровня знаний большую часть этого инструментария применять нет смысла.
Но есть пара простых формул, которые весьма полезны. Они помогают выявить слишком сложные или слишком легкие вопросы, которые могут исказить итоговую оценку, а также определить задания, которые слабо влияют на результат. Коротко и доступно упомянутые формулы описаны здесь.
Вычисление коэффициентов решаемости и дискриминативности для нас - почти полностью автоматизированная рутина. Поскольку это внутренняя кухня, то никакого официоза с экспертными заключениями мы не разводим.
Учебный отдел мне прислал пример письма по результатам дежурной проверки одного из новых тестов (цифры реальные):
Этот лот выиграла ВШЭ - по ссылке можно посмотреть и список ожидаемых результатов. Кстати, в Вышке с 2016 года работает Центр психометрических исследований в онлайн-образовании, заявленная цель которого «создание лидирующего европейского центра компетенций в области психометрики онлайн-обучения».
Подытожу: психометрия - солидное научное направление с большим количеством практических инструментов, но для узкой области ДПО и «знаниевых» курсов и тестов есть смысл применять лишь отдельные методы. Правда, эти методы весьма и весьма удобны и эффективны.
Измерений в образовательном процессе хватает - экзамены все сдавали. Да и через компьютерное тестирование, наверняка, каждый проходил в том или ином виде. А при сдаче таких тестов байки про вшей не прокатывают, особенно когда речь идет о проверке уровня знаний - тут или ты знаешь, или нет. Компьютер глупый, он не умеет читать между строк и догадываться. Чего не скажешь про человека, сдающего тест. Тот может включить логику и угадать правильный ответ. В плохо составленных тестах такое прокатывает. Создать хороший тест, который реально проверяет знания, не так-то просто.
Еще в 2013 году вышла наша статья о принципах составления «хороших» тестов, где на примере «сяпавшей по напушке калуши» разбираются некоторые правила. Их у нас действительно с полтора десятка, таких как:
- НЕ используйте в правильных ответах целые фразы из самого курса.
- Старайтесь формулировать правильные и неправильные ответы одинаковыми по длине и стилю.
- Избегайте вопросов с отрицанием. Если все же используете, то отрицание должно быть акцентировано, например, можно написать его ЗАГЛАВНЫМИ буквами.
Для проверки объективности вопросов используются методы, «живущие» на стыке математики и психологии. Правда, для их применения нужны данные по уже сдавшим тест людям. И чем больше, тем лучше. Поэтому такие методы используются или при апробации новых тестов, или в процессе работы для мониторинга - тогда правки вносятся «на лету».
Психологическими измерениями занимается раздел психологии (иногда пишут, что раздел статистики) - психометрия или психометрика. Ее методы тесно связаны с тестированием, но чаще всего и шире всего применяются при оценке личностных качеств и способностей - там психологии есть где развернуться. Для тестов на проверку уровня знаний большую часть этого инструментария применять нет смысла.
Но есть пара простых формул, которые весьма полезны. Они помогают выявить слишком сложные или слишком легкие вопросы, которые могут исказить итоговую оценку, а также определить задания, которые слабо влияют на результат. Коротко и доступно упомянутые формулы описаны здесь.
Вычисление коэффициентов решаемости и дискриминативности для нас - почти полностью автоматизированная рутина. Поскольку это внутренняя кухня, то никакого официоза с экспертными заключениями мы не разводим.
Учебный отдел мне прислал пример письма по результатам дежурной проверки одного из новых тестов (цифры реальные):
- Объем выборки: 378 человек
- Количество вопросов: 20
- Средняя сложность теста: в норме, со сдвигом к легкости (Креш_ср = 0,61)
- Вопрос №3: слабо разделяет (Креш = 0,66, Кдис = 0,32) - рекомендуется заменить
- Вопрос №5: слишком легкий (Креш = 0,78, Кдис = 0,38) - рекомендуется уточнить формулировку
- Вопрос №6: все показатели за пределами нормы (Креш = 0,79, Кдис = 0,28) - требуется заменить вопрос
- Для остальных вопросов показатели в норме
- В образовании за рубежом: специальные экзамены при поступлении в израильские вузы.
- В HR: примеров масса, т.к. здесь есть где разгуляться, но вот один из них, представляющий интересную связку с BigData.
- В политике: британская компания Cambridge Analytica помогла Дональду Трампу выиграть президентские выборы в США.
- В банковской сфере: Сбербанк России планирует в 2018 г. ввести систему оценки кредитоспособности заемщиков по психометрическим моделям.
- В ритейле: и снова с BigData.
Этот лот выиграла ВШЭ - по ссылке можно посмотреть и список ожидаемых результатов. Кстати, в Вышке с 2016 года работает Центр психометрических исследований в онлайн-образовании, заявленная цель которого «создание лидирующего европейского центра компетенций в области психометрики онлайн-обучения».
Подытожу: психометрия - солидное научное направление с большим количеством практических инструментов, но для узкой области ДПО и «знаниевых» курсов и тестов есть смысл применять лишь отдельные методы. Правда, эти методы весьма и весьма удобны и эффективны.