О проведении тестов.
Интересная статья про "страшно трудные" и "достаточно легкие" тесты.
Если суммировать, то в страшно трудных тесты, в которых знающий человек может ответить всего на единицы вопросоы, вероятность прохода вдвое менее знающего близка к вероятности прохода более знающего. У знающего ответ всего на один вопрос и угадывавшего все остальные среднее количество правильных ответов будет 50.5, а у знающего вдвое больше (и потому смогшего ответить на два вопроса) - 51.
А вот у легких тестов количество ответов на вопросы у знающего (условно) вдвое больше будет (примерно) в полтора раза больше ответов незнающего (для теста с двумя вариантами один всегда ответит на 100 вопросов правильно, а другой на 50 и еще 25 угадает - среднее получится 75). Это лучше отсеивает кандидатов.
Там же дан совет по улучшению положения: вычитать из суммы правильных ответов некоторое число, связанное с количество неправильных (например, количество неправильных, деленное на число ответов). Тогда оценки для просто знающего и вдвое больше знающего начинают отличаться чуть сильнее.
Что, кстати, напомнило мне о тесте IQ. ;)
Если суммировать, то в страшно трудных тесты, в которых знающий человек может ответить всего на единицы вопросоы, вероятность прохода вдвое менее знающего близка к вероятности прохода более знающего. У знающего ответ всего на один вопрос и угадывавшего все остальные среднее количество правильных ответов будет 50.5, а у знающего вдвое больше (и потому смогшего ответить на два вопроса) - 51.
А вот у легких тестов количество ответов на вопросы у знающего (условно) вдвое больше будет (примерно) в полтора раза больше ответов незнающего (для теста с двумя вариантами один всегда ответит на 100 вопросов правильно, а другой на 50 и еще 25 угадает - среднее получится 75). Это лучше отсеивает кандидатов.
Там же дан совет по улучшению положения: вычитать из суммы правильных ответов некоторое число, связанное с количество неправильных (например, количество неправильных, деленное на число ответов). Тогда оценки для просто знающего и вдвое больше знающего начинают отличаться чуть сильнее.
Что, кстати, напомнило мне о тесте IQ. ;)