Оценка потенциала в ФБР
Нашел интересную статью, в которой описывается процесс отбора в кадровый резерв ФБР. Поскольку ведомства, обеспечивающие госбезопасность, редко когда заслуживают описания в серьёзной литературе, решил поделиться содержанием статьи с вами. Что важно, статья написана не в стиле популярных книг «Я и моё ЦРУ, или Секретные способы вербовки». В ней сухо, по классической структуре описания кейсов (что хотели - что сделали - что получили) описываются проблемы, с которыми столкнулось ведомство, и какие шишки были набиты в процессе их решения. Итак…
О персонале ФБР
В настоящий момент в ФБР работает 36 000 сотрудников, 14 000 из которых - оперативники (англ. special agents). Оперативники работают как в центральном офисе, так и во всех штатах и по миру (FBI, 2014). Возможные специализации оперативника (чтобы возник его образ): контразвездка, контртерроризм, информационная безопасность, анализ разведданных, криминалистика.
О необходимых изменениях
В 90-е начали поступать жалобы от чернокожих оперативников об их дискриминации в процессе отбора в руководители среднего звена. Это, а также события 11-го сентября показали необходимость пересмотра существующей системы отбора. Новая систему отбора в миддл-менеджмент должна была отличаться следующими характеристиками:
- упор на управленческие компетенции, а не только на профессиональные компетенции и данные результативности, как это было раньше.
- по итогам оценки кандидаты должны получить рекомендации по развитию слабых сторон.
- на результат оценки не должны влиять межполовые и межрасовые различия.
- face-валидность, т.е. чтобы используемые инструменты воспринимались участниками как отражающие специфику их работы.
- низкие временные затраты на процесс оценки, отсутствие серьёзных требований к её администрированию. А также дистанционность (чтобы оперативники не возвращались в центральный офис из командировки) и отсутствие компьютера как необходимого ресурса для прохождения самой оценки (не во всех странах есть постоянный и безопасный интернет).
Прежде чем продвинуться дальше, предлагаю вам, дорогие читатели, подумать, какие процедуры оценки можно применить (разработать?) с опорой на эти критерии.
А в ФБР в соответствии с этими критериями была разработана система оценки потенциала, состоящая из двух этапов.
Первый этап
На первом этапе руководитель-заказчик выбирает необходимые компетенции.
Модель лидерских компетенций ФБР включает в себя 8 компетенций:
- Лидерство (Leadership)
- Понимание и влияние (Interpersonal ability)
- Командность (Liaison)
- Расставление приоритетов, планирование и организация (Prioritizing, Planning, and Organizing)
- Решение задач (Problem solving)
- Гибкость / Адаптивность (Flexibility / Adaptability)
- Инициативность / Замотивированность (Initiative / Motivation)
- Навыки коммуникации (Communication) - как это соотносится с Пониманием и влиянием, непонятно.
* К 2015 году (а статья была написана в 2011) некоторые компетенции изменились: https://www.fbijobs.gov/explore-careers/sa-selection.asp
Заказчик выбирает 4 компетенции из этих восьми как основные. Оставшиеся 3 заказчик может выбрать как из модели лидерских компетенций, так и из модели профессиональных компетенций.
Далее оперативники, выразившие желание претендовать на должность, приводят в письменном виде профессиональные ситуации (ситуация - действия - результат), в которых они демонстрировали каждую из компетенций. При этом объём текста на каждую компетенцию строго ограничен (не более 8 строк). Каждый пример далее проверяется супервизором кандидата на достоверность. Наконец, специалисты из HR проставляют баллы поведению кандидата, используя специально разработанную для этого шкалу. Шкала состоит из конретных поведенческих индикаторов, специалисты прошли предварительное обучение по её использованию.
На основании результатов данной процедуры принимается решение о продвижении кандидатов дальше.
Второй этап
Первая попытка: Тесты оценки ситуаций (ТОС, англ. Situational Judgment Test)
Сначала специалисты ФБР разработали ТОС. Но по результатам пилотажного исследования было принято решение далее не использовать ТОС. Причины:
§ Низкая очевидная валидность (даже несмотря на то, что с точки зрения содержательной валидности ситуации соответствовали рабочему контексту). Это обуславливалось ещё и тем, что кандидаты проходили ТОС в paper-and-pencil формате.
§ Сложные механизмы подсчета баллов, непонятные заказчику и кандидату.
Вторая попытка (и удачная): Дистанционная ролевая игра
Было принято решение разработать комплексную ролевую игру. Итоговый вариант процедуры проводится по телефону. Оценка занимает 2,5 часа и включает в себя 6 упражнений, разработанных методом критических инцидентов. В каждом упражнении проверяются сразу несколько компетенций (только лидерские). Каждый кандидат оценивается командой из 4-5 оценщиков, при этом оценщики не имеют никакой информации о кандидате (даже не знают его имени). Что интересно, оценщики не из ФБР, а из сторонней организации.
Процедура оценки
1. Кандидат заходит на сайт ФБР, на котором проходит идентификацию и получает специальный код. В течение двух недель-месяца он может воспользоваться им в своём отделении.
2. В отделении кандидату выдают печатную копию материалов по ролевой игре: цель, контакты, данные о подчинённых, отчеты коллег, собственные записи. По истечению 45 минут ему поступает первый звонок.
3. Ситуации достаточно типичны для оценочных процедур. Пример: кандидат только что вступил на должность руководителя группы оперативников, осуществляющей контроль за районом вымышленного города. Ему звонит один из подчинённых и излагает проблемную ситуацию.
4. После каждого упражнения ролевой игрок (дефис оценщик) проставляет оценку по каждому индикатору внутри компетенции по трехбалльной шкале. Пример:
Каждый ролевой игрок не имеет доступа к результатам оценки, полученным в другом упражнении. При этом каждый принимает участие не более чем в двух упражнениях.
5. Оценки автоматически (статистически) обрабатываются, ставится балл по каждой компетенции и интегральный балл. Материалы оценки (записи звонков) отправляются в ФБР.
6. Автоматически формируются рекомендации по развитию наиболее слабых сторон. Рекомендации в основном касаются развития непосредственно на рабочем месте.
Результаты
§ Качество управленческих решений, измеренное через 2 года после введения данной системы оценки, повысилось на 9,5%.
§ Исследования показали, что оценка стала более справедливой: на её результаты в меньшей степени воздействуют межполовые и межрасовые различия.
Чем примечателен данный кейс:
§ Он является примером (а) информационной открытости ведомства, обеспечивающего безопасность своей страны; (б) того, как в милитаристской, в общем-то, культуре можно построить справедливую систему преемственности.
§ В нём содержится интересный факт - даже содержательно валидный SJT не удовлетворил кандидатов по критерию очевидной валидности.
§ В нем показано использование статистической процедуры сведения результатов оценки. Процедура для наших краев диковинная, но эффективная.
§ Ну и, наконец, ролевая игра по телефону - это просто интересно (пусть и затратно) :)
Читалось и использовалось:
FBI (2014) Today’s FBI: Facts & Figures: 2013-2014. URL: http://www.fbi.gov/stats-services/publications/todays-fbi-facts-figures/facts-and-figures-031413.pdf/view
Grubb, A. D. (2011) Promotional Assessment at The FBI. in Technology-Enhanced Assessment of Talent, ed. Tippins N. T. & Adler S. John Wiley & Sons, Inc.