Оценка 360 градусов: кто виноват и что делать?
Оценка 360 градусов - самый неоднозначный метод оценки. Он был создан для развития сотрудников, но постепенно стал применяться в процессах отбора и премирования. Так, в России 43% компаний используют 360 градусов в оценке потенциала (Исследование практик оценки потенциала, 2016).
Такое положение вещей характерно не только для российских компаний. В 48% североамериканских компаниях 360 градусов используется для принятия кадровых решений (3d Group, 2013) - и этот показатель вырос в 2 раза за десять лет. Интересно: при этом все виды вооруженных сил США градусов применяют 360 градусов только для развития (Hardison, 2015).
Большинство исследователей придерживается иной точки зрения на области применения 360 градусов. Они считают, что использование «социальных оценок» в процессах отбора снижает полезность метода к нулю. Сотрудники могут использовать свою оценку как инструмент давления на коллег, или просто ставить всем завешенные баллы.
Недавно произошёл ещё один виток развития дискуссии вокруг 360 градусов. В ведущем журнале по организационной психологии «Industrial and Organizational Psychology» вышло небольшое обсуждение этого метода. Из практиков принимали участие представители PepsiCo, Center for Creative Leadership, Korn Ferry Hay Group. Результаты дискуссии:
1. Участники не дали однозначную оценку использованию 360 в кадровых решениях. Ограничились утверждением, что правильно организованная 360 может использоваться и в принятии решений об отборе, увольнении, назначении.
Но, действительно, оценку 360 градусов часто используют неверно. С точки зрения участников дискуссии, главное зло - это «360 в стол», когда оцениваемые не знают своих результатов и компания никак не использует результаты. Иная пагубная практика - отсутствие цели у 360: результаты используются хаотично или без привязки к цели компании. Всё это связано с отсутствием стандартов применения 360 градусов.
Парадоксально, но те оценщики, которые разрабатывают стандарты, не обращают на 360 особого внимания. Они не считают его методом оценки. В результате, из-за отсутствия стандарта, 360 начинают применять как метод оценки и в каких угодно форматах.
2. Для внедрения стандартов использования 360 необходимо дать определение метода. Участники дискуссии вывели следующие формообразующие характеристики 360 градусов.
a. Это оценка поведения - того, что можно наблюдать в профессиональной деятельности. Это не оценка «внутреннего» - черт, установок, ценностей.
b. Оценка проводится сослуживцами (coworkers) и другими лицами, включёнными в рабочий контекст оцениваемого - клиентами, партнерами. В оценку 360 градусов не могут быть включены члены семьи и друзья оцениваемого.
c. Оценка проводится в количественном формате. Сотрудники оценивают друг друга, используя числовые отметки по компетенциям. Причины:
· Опрос с только открытыми вопросами сделает невозможным сравнение оценок сослуживцев. В ответе каждого из них будут содержаться уникальные критерии оценки.
· Интервью, даже с использованием количественных критериев, вряд ли соберёт достаточное количество сослуживцев для выставления надёжной оценки. Это более затратный метод оценки.
d. Источник для выводов - разница в оценках между оцениваемым и сослуживцами, или между результатами оцениваемого в разные промежутки времени.
e. Обязательный этап оценки - передача результатов оцениваемому.
f. Цель оценки - внедрение изменений на уровне сотрудника, группы и / или компании.
4. Актуальный вопрос по теме 360 градусов - как максимизировать точность оценки? Исследования указывают на следующие факторы:
a. Достаточное количество оценивающих. Удивительно: для достижения оптимального показателя согласованности (0,7) оценок необходимо, минимум, 4 руководителя или 8 коллег (). Пока непонятно, как как помирить это научное открытие с реальностью.
b. Внимательный подход к шкале оценки. Большая часть компаний используют 5-ти балльную шкалу (3D Group, 2013). Но необходимо помнить, что наибольшими показателями надёжности (и разброса значений) обладают шкалы с 7-ю баллами и больше, с текстовым описанием всех категорий оценки, со «смягчённо» описанными низкими баллами. Пример - вместо категории «Низкий», «Никогда» использовать «Практически никогда», «Ниже среднего» (Norwack, 2011). B всё равно остаются оценивающие, которые стабильно ставят завышенные баллы, или используют в основном средние («3) или крайние («1» и «5») значения. Что делать? Один из вариантов - ипсативные опросники, в которых оценивающим необходимо не оценить компетенции по N-балльной шкале, а сравнить их. К примеру, в 360 от ЭКОПСИ оценивающие относят 6 и более индикаторов к 3-м группам - «развито слабо / среде / сильно». В зарубежных исследованиях есть аналогичные попытки уйти от социальной желательности (Brown, Inceoglu & Lin, 2016).
c. Обучение оценивающих. Оценивающие должны хорошо понимать критерии и шкалу оценки. В итоге у них всех складываются более-менее единые представления о оцениваемых критериях, что также повышает согласованность оценок (Ghorpade, 2000).
d. Достаточно чёткие и наблюдаемые индикаторы оценки.
5. Вторая важная тема в 360 - какие «управляемые» факторы влияют на эффективность метода развития? Последний мета-анализ показал, что 360 повышает эффективность сотрудников на значимую, но небольшую величину (Smither, Zaydman, Reilly, 2005). Как её повысить (или хотя бы добиться)?
a. Позволить оцениваемому самому выбирать оценивающих. Это не снизит точность, но поспособствует принятию результатов (Gonder, 2006).
b. Включить в 360 открытые вопросы. Это сделает результаты для оценивающего более «глубокими» и гибкими (Smither & Walker, 2004).
c. Включить поддержку коуча в программу развития после 360 (Thach, 2002). Коуч сможет отслеживать прогресс оцениваемого и поддерживать в изменении.
d. Сделать из 360 постоянный процесс, позволяющий оцениваемому отслеживать свой прогресс.
e. Использовать все факторы, которые повышают точность оценки. Результаты получаются более разнообразными, с большей долей справедливой критики, как следствие - дающие больше пространства для развития. Как это ни странно, но различия между самооценкой и оценкой других повышают развивающий эффект 360 градусов (Ferguson, Wakeling & Bowie, 2015).
Наконец, в последние года 360 обсуждается в тех же терминах, что и управление эффективностью. Исследователи обсуждают, не стоит ли перевести 360 на регулярный формат? Сотрудники на постоянной основе, а не раз в год / полгода, дают обратную связь друг другу. Это обеспечивает их более быстрыми реакциями «среды» на изменения.
Примеры таких технологий - Real Time Feedback (ЭКОПСИ), Butterfly, Hyphen, Impraise, iRevu, Workday, HighGround. Сейчас огромное количество компаний - около 40 - пришли в разработку платформ быстрой обратной связи. Большая часть из них - IT и маркетингово-опросные, а потому они могут в короткий срок разработать красивый продукт. HR-экспертизой обладают немногие.
Вызывает удивление, что зарубежные практики посчитали возможным использовать 360 градусов в принятии кадровых решений. Кажется, что здесь пока много «белых» пятен - нет исследований, как уволенные / оставшиеся на прежних должностях сотрудники реагируют на решение, принятое на основании 360 градусов. Даже если допустить, что сотрудники будут выставлять честные оценки, последствия могут восприниматься весь негативно. Культура обратной связи должна быть развита на очень высоком уровне, чтобы сотрудники принимали кадровые решения по результатам 360 градусов. А пока - повсеместное или даже сколько-нибудь распространённое использование 360 как метода отбора кажется преждевременной практикой.
Читать
1. 3D Group. (2013). Current practices in 360-degree feedback: A benchmark study of North American companies. Emeryville, CA: Data Driven Decisions.
2. Bracken, D. W., Rose, D. S., & Church, A. H. (2016). The evolution and devolution of 360° feedback. Industrial and Organizational Psychology, 9(4), 761-794.
3. Brown, A., Inceoglu, I., & Lin, Y. (2016). Preventing Rater Biases in 360-Degree Feedback by Forcing Choice. Organizational Research Methods, 20, 121-148.
4. Ferguson, J., Wakeling, J., & Bowie, P. (2014). Factors influencing the effectiveness of multisource feedback in improving the professional practice of medical doctors: A systematic review. MBC Medical Education, 14(76), 1-12.
5. Gonder J.N. et al. (2006). The effect of rater selection on rating accuracy. Poster presented at the 21st Annual Conference of the Society for Industrial and Organizational Psychology, May 2006, Dallas, TX.
6. Greguras, G.J. & Robie, C. (1995). A new look at within-rater source interrater reliability of 360-degree feedback ratings. Journal of Applied Psychology, 83, 960-968.
7. Ghorpade, J. (2000). Managing five paradoxes of 360-degree feedback. Academy of Management Executive, 14(1), 140-150.
8. Hardison, C. M., Zaydman, M., Oluwatola, T., Saavedra, A. R., Bush, T., Peterson, H., & Straus, S. G.
(2015). 360-degree assessments: Are they the right tool for the U.S. military? Santa Monica, CA:
Rand.
9. Norwack, K.M. (2011). Why 360 degree feedback doesn’t work and what to do about it. IPAC 2011 Conference.
10. Smither, J., London, M., & Reilly, R. (2005). Does performance improve following multisource feedback? A theoretical model, meta-analysis and review of empirical findings. Personnel Psychology, 58, 33-66.
11. Smither, J. & Walker (2004). Are the characteristics of narrative comments related to improvement in multirater feedback ratings over time? Personnel Psychology, 89, 575-581.
12. Thach, E. C. (2002). The impact of executive coaching and 360 feedback on leadership effectiveness. Leadership & Organization Development Journal, 23(4), 205-214.