Ложись, БОМБА, или Статистика Лучше Экспертов

[assessment_ctr]

Статистический способ сведения оценок КРУЧЕ экспертного сведения! Да, да, Вы не ослышались. Любой самы простецкий математический способ объединения отдельных оценок в итоговую (даже банальное среднее) переигрывает консилиум крутых экспертов. Причем переигрывает с точки зрения прогностической валидности (у машины прогноз точнее). И еще это верно и

Comments

[bakuris]

Очень круто. Но в целом согласуется с когнитивными иллюзиями Канемана, которым подвержены и эксперты. В частности - игнорирование в экспертных прогнозах регрессии к среднему.
Вообще за последние десятилетия появилось много новых данных по психологии принятия решений. Мне кажется, что мы недостаточно учитываем эти данные в проектировании оценочных мероприятий и в преподавании оценки.

[assessment_ctr]

Боря, поддерживаю, это одна тема безусловно. Уверен, что это будет мейнстримом 21 века. Другой вопрос, что ввиду деликатности темы и полной от нее зависимости (все мы подвержены когнитивным искажениям) заниматься ей крайне непросто.

Мы разрабатываем вопрос уже около 3-х лет, и вот, что могу сказать. Оценки в ЦО мало коррелируют с оценками по открытости мышления (нестереотипности мышления, способности принимать решения без влияния когнитивных искажений). Т.е. в поведении эти характеристики выражаются крайне слабо (или скорее не вполне линейно) - эксперты "не видят" эти параметры.

Следовательно, твое предложение учитывать эти параметры при проектировании оценки хорошо теоретически, но крайне непросто с практической точки зрения. Но я десятью руками "за"

[ext_2712907]

Ключевой пункт:

"Эксперты могут использовать результаты статистически агрегированных данных в качестве отправной точки в обсуждении. И при достижении консенсуса эксперты могут вносить в эти оценки изменения (в тех или иных пределах)."

Для того, чтобы отправная точка была данные для статистического анализа нужно собрать. По моим наблюдениям эксперты часто переоценивают свое впечатление :) или просто ленятся делать качественную фиксацию наблюдений, а потом их классификацию. Особенно если эксперт статусный.

Отсюда простой вывод - дисциплина экспертов и качество процедуры сведения имеют принципиальное значение!

[assessment_ctr]

Юра, на 200% согласен. Дисциплина - это основная проблема. Технология НОКО, узаконенная в стандарте, для многих опытных экспертов является чем-то несерьезным. Типа для детей.

Технология - она на то и технология, что её блюсти надо. Меткий глаз - очень опасная штука. Год назад писал про это, ибо мучает ужасно http://assessment-ctr.livejournal.com/8645.html

[hrmru]

у меня тоже был шок в свое время, когда я это понял.
Причем шок больше от того, что я сидел на данным, мог сам прийти к этому выводу, а принял только после Moneyball - шок от собственной тупости
Отсюда возникает вопрос о роли мифов в оценке персонала

[hrmru]

Евгений, давайте еще добавим к математическому сведению оценок экспертов такие вещи как:
1) компетенции будут наполняться индикаторами не экспертами, а машиной
2) вес компетенций будет не экспертами, а машиной наполняться...
И здесь нас ждет тоже много сюрпризов
ну уже сюрпризы есть)

[assessment_ctr]

Эдуард, отличное предложение. Правда тут хорошо бы сначала серьезный evidence, а потом уже шашкой махать. Ну и технологическая сторона не выглядит прозрачной. Поделитесь, как вы видите подобные проекты?

[hrmru]

Евгений, воспринимайте мои слова как прогноз))
а в прогнозах можно и пошалить)
Правда я готов поспорить, что именно так и будет)))) так что про шашку - бабушкин надвое сказала
по поводу технологической стороны - ну вроде все как раз просто объясняется.
надо будет как нибудь на Больших Данных показать