Введение в тестологию

[kovaleva]

Я закончила курс «Введение в тестологию» в Шанинке!!! Нереально собой горжусь. Я даже тест сдала на «четыре», за это мне дали сертификат дивной красоты. Конечно, какие-то вещи я и раньше знала, но теперь я знаю, почему они такие. А о каких-то вещах услышала впервые. Например, о поправке против угадывания для вопросов multiple choice. Надо ли

Comments

[kot_kam]

А что за поправка против угадывания? Или это секрет фирмы и разглашению не подлежит?

[kovaleva]

вроде не запрещали разглашать)) вот:
она называется «формула коррекции баллов»

Х - набранный балл по тесту
N - число заданий

Q=N-X число неправильных ответов

Y - балл после коррекции

Формула для 2 вариантов ответов
Y=X-Q

Формула для 3 вариантов ответов
Y=X-Q/2

Формула для 4 вариантов ответов
Y=X-Q/3

[kot_kam]

Ага, спасибо. Значит, я неправильно понял идею. Я думал, это какой-то ноу-хавчик, позволяющий предохраниться против угадывания при составлении тестов, а речь идет уже о подсчете результатов.

[kovaleva]

это он и есть. роль угадывания снижается до минимума

[hugan]

а можно практический вопрос: ведь в больших тестах есть же принципиальная возможность исследовать различные параметры.. Вы говорите - нельзя проводить с разными целями. А почему именно? Мне казалось, можно же добавить некую "субшкалу" (или просто отдельные исследовательские вопросы) в тест, изначально проводимый, скажем, для сплошной сертификации..? (Тест же - по своей природе конгломерат, а не цельная какая-то последовательная структура..)

[kovaleva]

так испытуемый сдохнет, пока пройдет тест с разными параметрами. там и так довольно много получается, если закладывать на проверку большой материал. по мелочи можно что-то замерить, но все, что замерено по мелочи, оказывается довольно ненадежным.

[hugan]

а, понял, спасибо). Ну да, получится сильно менее оптимально и не сильро более информативно

[tigrenok_t]

Один из героев повести "Девочка из птицелет" любил задавать всем этот вопрос: "Зачем? Зачем ты это делаешь?"

Ведь на самом деле такой верный вопрос.

[kovaleva]

ну да. но очень не хочется отвечать. надо бежать!

[tigrenok_t]

Мне иногда так кажется, что бегу как белка в колесе. Одно понятно зачем делаю, а вот другое-то зачем...

[kovaleva]

ну необходимость кардио тоже никто не отменял

[pv55]

>>Потому что если задача теста - отобрать лучших, это одна история, а если выдать сертификат всем, кто освоил материал на достаточном уровне - то это совсем другая история. ... Мне теперь понятно, не только почему сам ЕГЭ ни о чем

Почему ЕГЭ ни о чем? ЕГЭ именно что о чем. Цель ЕГЭ дифференцировать абитуру по владению предметом. Это вступительные испытания в вузы. Его роль такая же, как и SAT в США.

>> А если мы решили получить представление о творческих способностях, забудьте о тесте вообще.

В вопросах ЕГЭ присутствуют в настоящее время достаточно трудные задания. Ничто не мешает засадить туда задачки международных олимпиад. Только в этом нет надобности. Или Вы считаете, что ЕГЭ -- это не тест?

[kovaleva]

я считаю, что егэ - это тест со смешанными целями. этим и плох. его цель действительно селективная, но при этом одновременно и сертификационная. а самым ярким проявлением невменяемого микса является наличие сочинения в егэ по р.я. это уступка тем, кто хотел замерять творческие способности, что в принципе в тесте невозможно, а также тем, кто хотел замерять ориентацию ученика в общепринятой морали. ну и еще есть проблемы с самой селективной функцией, но про это можно говорить годами.

[pv55]

>> а самым ярким проявлением невменяемого микса является наличие сочинения в егэ по р.я

[kovaleva]

я вас умоляю, в вузы принимали и без егэ. как-то справлялись. поэтому говорить о том, что без егэ невозможно напринимать студентов в вузы, как минимум некорректно. не говоря уже об олимпиадах, творческих заданиях и волшебном обходном пути через колледжи. когда люди хотят принимать абитуриентов без егэ, у них отлично получается.

что касается эссе. то они бывают разные. эссе по обществознанию и эссе по английскому построены по западной схеме и проверяют качество аргументации. и творчество тут не при чем, это тест схемы. а вот эссе по русскому - это уже совсем другой конь. возможно даже сферический. вот такого типа заданий в принципе не может быть в тестах.

если вам показалось, что я хочу отредактировать егэ, то вам показалось. я знаю, почему он введен, кто выгодополучатель, почему он не будет ни отменен, ни скорректирован. меня интересовала структура его порочности, теперь она мне известна, вот и хорошо. а массовому образованию все равно уже не помочь, так что его все равно под какую музыку в белых тапках выносить.

[tovbard]

Зачем - в принципе мой любимый вопрос. Я всегда задаю его и студентам, и клиентам, потому что он самый главный. Пока нет на него ответа, невозможно подобрать нормальное решение.

Абсолютно поддерживаю! При планировании любой передачи знаний использую три вопроса-убийцы:
1. Зачем? (какие цели, какую выгоду хотим получить в результате адаптации новым знанием )
2. Какие критерии успешности? (кто ключевые выгодополучатели и как каждый из них понимает успех, итоговый и промежуточный)
3. Как измерим результат? (как часто и по какой процедуре будем сравнивать итог и желаемое из п.2; что делать если расхождение существенно)

Если на "зачем?" администраторы и айтишники с опытом более-менее отвечают, то буквально каждый раз на втором вопросе обнаруживаются очень интересные подробности. Например, оказывается, что учтены только 2 из 5 стейкхолдеров. Или вообще неизвестно, в каких категориях они понимают успех и процедура контроля результата подобрана наугад. А ведь ничего сложного - обычная инициация проекта, "все это знают, делали десятки раз".

[kovaleva]

да, все так. в обычной жизни, правда, 3 пункт почти не исполним, потому что люди начинают двигать критерии успешности буквально на глазах. особенно когда все вроде бы получается.

[tovbard]

Именно это они и делают :) Основная задача третьего вопроса - показать, что мы решаем сложную административную задачу (управление командой в условиях высокой неопределенности), и источник этой сложности - сами заказчики, которые постоянно меняют требования. Мы можем каждый раз предлагать и реальзовать новый формат проверок, но надо понимать, что это все время и ресурсы. И вообще, мы играем важную роль в решении административных задач, это сильная позиция в переговорах.

Впрочем, с айтишниками достаточно часто получается остановиться на простой модели, например - экспертная оценка, опрос ключевых стейкхолдеров по 3-4 пунктам раз в неделю; если динамика отрицательная - снова садимся и пересматриваем пп 1-3.