Дистанционные технологии оценки персонала: прогноз на 2017-2020
Многие представители HR-сообщества говорят о технократической революции в оценке (если не об апокалипсе и замене человека машиной). Что близок час, когда оценка будет полностью автоматизирована с использованием HR-аналитики, машинного обучения и искусственного интеллекта. Традиционные тесты и опросники умрут, а на их место придёт оценка лайков и цифровых записей в социальных сетях. Что люди будут проходить обучение и оценку в виртуальной реальности.
Так ли это? Может, за рубежом оценка действительно шагнула далеко вперёд? Давайте разберёмся в трендах дистанционной оценки, разобрав основные технологии и инструменты.
1. Психометрика - закат эпохи универсальных инструментов
Тесты и опросники - самые используемые инструменты дистанционной оценки. За последние 25 лет в их развитии произошли существенные изменения:
Война с респондентами окончена. Не в пользу последних - социальная желательность побеждена, а банки заданий уже обычное дело. Гонка за «вкусными» конструктами уже не в приоритете - важнее, чтобы модель и способ измерения были понятны. Все современные тенденции помещаются в два класса инструментов:
§ Батареи тестов, созданные под определённую задачу. Такими задачами могут быть выявление HiPo, прогноз безопасного поведения, оценка рабочих специалистов на входе и др. Они "коробочны" - практически не поддаются настройке. В этом их и плюс - компания может использовать инструмент, не ломая голову над собственной моделью оценки; и минус - они могут не учитывать культуру компании или специфичность задачи.
§ Батареи тестов, которые необходимо настраивать под каждую задачу. Основа настройки - HR-аналитика. Настройка может проводиться как отдельно для каждой компании / подразделения, так и быть зашитой в продукт. В первой случае необходимо проводить отдельное исследование. Во втором - исследования уже проведены провайдером, выборки набраны, и HR может выбрать в режиме онлайн «а насколько человек будет эффективен в должности X / Y / N?».
Эти классы инструментов могут пересекаться: "коробочный" инструмент адаптируется к оценке в определённой компании, а настраиваемый инструмент превращается в «коробочный» после определённого объёма выборки.
Уходит время «просто тестов способностей» и «больших личностных опросников». Первые просто малоинформативны. Вторые - слишком информативны и универсальны, так как в результате дают информацию без привязки к конкретной задаче.
Смена парадигмы ярко прослеживается и по рынку психометрики. До последнего момента на нём происходили массовые поглощения и слияния. Основные игроки уже куплены крупными консалтинговыми компаниями:
Если оценивать по динамике последних лет - поглощения открыли тест-девелоперам новые каналы сбыта, но не привели к разработке новых продуктов. Скорее наоборот. По выражению ведущего аналитика рынка оценки Чарльза Хэндела (Bersin, Rocket-Hire), HR-консалтинговые компании привыкли зарабатывать, используя и разрабатывая одни и те же инструменты. Это открыло дорогу технологичным стартапам, в основном североамериканским - Pymetrics, Assessment Innovation, Connect Cubed, Assess First (Франция). Именно они предлагают быструю психометрику, настраиваемую под конкретную задачу.
Идеологический центр бизнес-психометрики перемещается из Великобритании в США. Она становится быстрее и проще.
2. Виртуальные центры оценки и симуляции - на пути к массовому использованию
Тенденция к упрощению инструментов затронула также и центры оценки. Рынок наполняется симуляциями - автоматизированными или полуавтоматизированными упражнениями центра оценки (Virtual assessment center, VAC). Это могут быть упражнения на работу с почтой, индивидуальные видеоконференции с наблюдателем - и даже групповые дискуссии с другими участниками.
Виртуальный ЦО «Web@ssessment» от ECOPSY. Участник выполняет аналитическую презентацию.
Главное отличие от очного ЦО - моделирующие упражнения в VAC ещё более сжаты. По сути, это сокращённые упражнения очного ЦО. Редкое упражнение (подготовка + прохождение) занимает больше 40 минут.
Привлекательность этих инструментов понятна - мы оцениваем навыки и компетенции (читайте: поведение) дистанционно. По сравнению с личностными опросниками это более честная игра: мы не обманываемся, оценивая поведение с помощью самоотчётных инструментов. В ситуации массового отбора менеджеров на входе или в кадровый резерв нам необходимо оценить, в том числе, компетенции. И VAC с этой задачей замечательно справляется. Также VAC дешевле - нет трат на сбор участников и наблюдателей в одном месте, и на написание отчётов «от руки», т.к. отчёты автоматизированы.
Преимущества VAC привлекают инвесторов. В 2014 году ведущая европейская HR-консалтинговая компания BTS купила разработчика виртуальных ЦО - Fenestra. Сумма сделки - $2,1 миллиона. В 2015 году Mercer купила аналогичную компанию калибром поменьше - Censeo. Наконец, в том же году платформа для дистанционного ЦО Pinsight получила инвестиции на сумму €700 тыс.
Понятны и ограничения этих методов:
§ VAC - в основном коробочные продукты, а потому они слабо поддаются кастомизации под конкретную задачу. Если компания обладает уникальными компетенциями - или уникальным наполнением типовых компетенций, или если у неё своя шкала оценки компенций, - всё это будет лишь отчасти учтено в VAC.
§ Симуляции слишком просты, чтобы оценивать старших менеджеров и выше. Их оценка не сводится к автоматизированным и коротким дистанционным упражнениям.
§ VAC требует хорошего интернета.
В России виртуальные центры оценки и симуляции присутствуют в очень ограниченном объёме. Были и есть Web@ssessment (ECOPSY) и ManagerReady (DDI); несколько проектов были реализованы с использованием Pinsight. Низкая популярность VAC связана не только с инертностью рынка - она обусловлена финансовыми причинами:
§ Зарубежные VAC не выдерживают ценовой конкуренции с российским очным ЦО. На это влияет и задемпингованность рынка ЦО, и современный курс, затрудняющий вывод на российский рынок зарубежных продуктов.
§ Российские провайдеры ориентированы на разработку продуктов, которые быстро окупаются. Разработка и продвижение виртуального ЦО - ежегодный вопрос ценой в 5 млн. рублей и выше. Интерес к подобным инвестициям проявляют очень немногие провайдеры.
В ближайшие несколько лет VAC будет двигаться по следующей траектории:
§ Наработка возможностей по быстрой кастомизации - упражнений, компетенций, шкал оценки.
§ Повышение реалистичности при сохранении «сжатости» упражнений - к примеру, за счёт адаптивных ответов в работе с почтой.
§ Сближение с HR-аналитикой на этапе разработки. За счёт технологичности и относительной стандартизированности процедуры VAC ближе к статистике, чем очный ЦО.
§ Постепенное вытеснение очного ЦО из сегмента оценки специалистов и линейных менеджеров.
3. Социальные сети - тишина на фоне шума
Автоматизированная оценка профилей социальных сетей - самая обсуждаемая технология последних лет. Популярностью она обязана тому, что в ней звучит актуальная тема Большого брата, использующего Большие данные. Кажется, что машина может проанализировать лайки и поставить диагноз. И всё это без ведома и участия человека. И в долю секунды. Сильное вмешательство профессионального в личное. И машины уже могут это делать - они способны оценивать:
§ Большую пятёрку: добросовестность, экстраверсию, доброжелательность, эмоциональную стабильность, открытость новому.
§ Временную перспективу. На что ориентируется человек - на прошлое, настоящее или на будущее.
§ Уровень субъективного благополучия.
§ Подходы к обработке информации.
И многое другое. Подробнее: http://www.psychometrics.cam.ac.uk/research/recent-publications
Машины оценивать могут, но пока в оценке персонала этого не делают. Причины:
§ Содержательные. Социальные сети - это в основном личный контекст. В котором мы себя ведём не так, как на работе, в контексте профессиональном. Как соотнести «личное» поведение с поведением в рабочем окружении? Плюс у каждого из нас профиль заполнен с разной степенью полноты - как поступать с теми, у кого лайков / записей недостаточно? Или они создают социально-желательный профессиональный профиль?
§ Организационные и финансовые - связывание профилей в социальных сетях и каких-либо психологических конструктов требует существенных выборок (размером несколько десятков тысяч людей). И ведь на этих людях надо ещё провести опросники и тесты, чтобы прокоррелировать их с лайками и записями. Всё это требует развитой исследовательской инфраструктуры, которой обладают немногие организации в мире.
§ Методически-маркетинговые. Пока нет ни одного исследования, доказывающего связь автоматизированных оценок профилей в социальных сетях со значимыми бизнес-показателями. Компаниям будет сложно заявить о разработке инновационного метода без доказательств его бизнес-эффективности.
§ Этические и юридические. Остаётся нерешённым вопрос: как оценивать человека в его личном контексте? Пока речь идёт о маркетинговых исследованиях - проблем возникнуть не должно. Но результат оценки - это кадровое решение. Насколько верно, что мы оцениваем профессионала по его поведению в кругу друзей и знакомых?
В данный момент развитием данных технологий практически никто не занимается. Известен разве что прогремевший в недавней статье Кембриджский центр психометрики. Но и он пока не работает в HR. Hogan в партнерстве с Receptiviti и Know Your Crew также разрабатывает инструмент оценки цифрового следа, но о нём пока ничего не известно.
В ближайшие года стоит ожидать попыток разрешить описанные проблемы. В первую очередь нужны (а) исследования, связывающие эффективность автоматизированной оценки с бизнес-показателями; (б) способы разрешить этические вопросы. Далее действительно будет стремительный рост этих технологий и их претензия на место тестов и опросников.
4. Виртуальная реальность - только технические навыки
Технологии виртуальной реальности кажутся уделом индустрии развлечений. На самом деле они достаточно давно применяются в обучении техническим навыкам - от ведения боевых действий до проведения хирургических операций. Российские компании также используют тренажёры виртуальной реальности:§ РЖД
§ РУСАЛ
§ Россети
§ Энергетическая компания
В технических навыках оценка приближена к обучению. Алгоритмы оценки очень просты - верна ли последовательность действий, все ли действия были совершены (надеты перчатки, выключено питание), как быстро сотрудник прошёл упражнение. Для производственных и добывающих компаний виртуальная реальность ценна за счёт возможности смоделировать ситуацию, редкую для реальной жизни - поломку, аварию. А далее оценить и скорректировать действия сотрудников.
Но стоит ли ожидать, что виртуальная реальность позволит оценивать более сложные, управленческие навыки и компетенции? В ближайшее десятилетие скорее нет. Конечно, было бы здорово, если участники центра оценки надевали шлемы, попадали в виртуальную комнату, где за их поведением следил автоматизированный наблюдатель.
Но управленческие компетенции требуют как раз «свободного», неалгоритмизированного поведения. По крайней мере, в части речи. Текущие технологии столь несовершенны, что не смогут схватить смыслы речевого поведения. На данный момент технологии остановились на распознавании именно акустической стороны речи. Пример - всем известная Siri. Но в свободном изъяснении наша речь слишком нагружена «смыслом», передающимся через эмоциональные оттенки, паралингвистику. Более подробно читайте тут.
Поэтому в ближайшие 3-5 лет у VR следующие перспективы:
§ Действительно, виртуальные комнаты / комнаты дополненной реальности, в которых участники проходят оценку реальными наблюдателями. Пример технологии, которая сможет реализовать эту задачу, - Microsoft HoloLens. Выгода от её применения - снижение стоимости при сохранении высокой реалистичности оценки. Правда, при этом придётся закупить очки виртуальной или дополненной реальности.
Click to view§ Стандартизированные симуляции - по типу кейс-тестов в видео-формате, только переведённые в VR. Виртуальная реальность будет повышать реалистичность, а значит и точность оценки.
Другая область применения виртуальной реальности в HR, но уже вне оценки - симуляции или презентации, зачастую шутливые, которые знакомят человека с корпоративной культурной и возможностями компании. Пример - Ikea. VR изменит эту область: человек будет надевать шлем и знакомиться с компанией «от первого лица». Пример использования VR в этом направлении - General Mills.
5. Мини-игры в рекрутменте - альтернатива тестам и опросникам
Последние несколько лет наблюдается бум геймифицированных технологий подбора. Это могут быть как простые игры на внимание и память - по сути, более дружелюбные тесты способностей, так и квесты-бродилки-бегалки-стрелялки.
Мини-игра на внимательность / краткосрочную память в игре Firefly Freedom (разработчик - Arctic Shores). Необходимо воспроизвести последовательность, в которой загорелись банки.
«Игры» могут измерять:
§ Интеллектуальные способности - в первую очередь, внимание и скорость реакции.
§ Простые личностные качества - настойчивость, уровень притязаний, склонность к риску.
§ Установки на взаимодействие - коллаборативность, доброжелательность.
Бум произошёл во многом потому, что эти инструменты совершенствуют текущие процессы, а не требуют их перестройки. Их основная сфера применения - найм выпусников. «Игры» сокращают время оценки и за счёт дружелюбного содержания формируют позитивный бренд работодателя. В этом смысле они понятны и приближены к задачам сегодняшнего дня. Плюс они соответствуют текущему уровню развития технологий - практически все стартапы на поле геймифицированного рекрутмента - это разработчики игр или IT-решений, привлекающие HR-консультантов. Исключение - Pymetrics, созданная выпускницами Гарварда. В 2016 году она привлекла $6,1 млн. инвестиций и сейчас активно используется финансовыми компаниями.
Рядовому разработчику казуальных игр выйти на этот рынок может достаточно легко. Поэтому сейчас наблюдается волна низкокачественного геймифицированного продукта в зарубежном рекрутменте. Геймдевелоперы / разработчики web-симуляций для обучения предлагают свои игры, не снабжая их какой-либо валидазацией. Тем самым оставляя их средствами развлечения, а не инструментами отбора. Сверху приведены только те компании, которые предоставляют техническую информацию о своих «играх». Справедливости ради, и эта техническая информация может показаться недостаточно подробной. Но это - сливки. А на молоко лучше пока не смотреть.
В России геймифицированные решения в рекрутменте попросту отсутствуют. Причины:
§ Большая часть российской экономики - производственные и добывающие компании. Массовый найм выпусников не стоит в приоритете этих отраслей, да и Интернет в отдалённых «добывающих» частях России не всегда развит достаточно хорошо.
§ В России сравнительно низкий уровень развития игровой индустрии, что снижает вероятность появления соответствующих разработок.
Но в ближайшие года всё равно стоит ожидать появления геймифицированных решений в российском подборе. Разработка может прийти как из-за рубежа, так и от российских IT-гигантов, интересующихся HR (например, Mail.ru).
В целом «игры» будут развиваться следующим образом:
§ В мировом рекрутменте продолжится рост геймифицированных продуктов. Причём рост как низкокачественных инструментов, не вышедших из гейм-девелопмента, так и валидизированных игр с доказанной эффективностью.
§ Профессиональное сообщество обратит внимание на увеличение количества «игр» в рекрутменте и предъявит к разработчикам требования по разработке, стандартизации и валидизации методик.
§ «Игры» прочно проникнут в отрасли, занимающиеся массовым отбором выпускников - банки, IT, FMCG, консалтинг.
Вместо заключения
Технологический бум, о котором пишут многие HR-консультанты, пока не наступил. Причина не только в отсталости отдельных технологий, но и в запросах бизнеса. Скачок развития переживают только те инструменты, которые не реформируют HR, а подкручивают текущие процессы - геймификация в рекрутменте тому пример. Необходимо дождаться как готовности массового HR использовать технологии, так и готовности самих технологий, чтобы говорить об использовании виртуальной реальности или социальных сетей в оценке.
В перспективе 3-5 лет дистанционая оценка будет развиваться в следующем направлении:
§ Использование сразу батареи инструментов.
§ Снижение требований к времени участников (оценка проводится быстро).
§ Обязательная настройка под задачу на основе HR-аналитики. Составление профиля успеха на позиции.
§ Геймификация и вовлечение участников.
§ Повышение реалистичности процесса оценки.
Источники
Обзорные статьи
1. Tippins, N. T. (2015). Technology and assessment in selection. Annu. Rev. Organ. Psychol. Organ. Behav., 2(1), 551-582.
2. Ryan, A. M., & Ployhart, R. E. (2014). A century of selection. Annual review of psychology, 65, 693-717.
3. Reynolds, D. H., & Rupp, D. E. (2010). Advances in technology-facilitated assessment. Handbook of workplace assessment: Evidence-based practices for selecting and developing organizational talent, 609-641.
4. Статья Hogan «5 трендов в отборе»: http://www.hogan-x.com/wp-content/uploads/sites/2/2016/08/Hogan_X_surveyresults.pdf
Поглощения и инвестиции в HR Tech
1. Список поглощений и инвестиций, 2004-2016 год: http://www.workology.com/hr-tech-trends-technology-acquisitions/
2. Обзор инвестиций, 2014 год: https://techcrunch.com/2014/11/21/investors-are-backing-a-recruiting-revolution/?utm_campaign=Feed:+Techcrunch+(TechCrunch)&utm_medium=feed&ncid=rss&utm_source=feedburner
3. Список всех поглощений SHL CEB и Korn Ferry: http://www.siop.org/tip/july15/KFCEBmap.pdf
4. Список всех поглощений IBM и PwC: http://www.siop.org/tip/april15/SelectedIBMHistory.pdf
Психометрика и игры в рекрутменте
1. Статья в NY Times про геймификацию в оценке: https://www.nytimes.com/2014/01/26/magazine/your-next-job-application-could-involve-a-video-game.html
2. Статья в Американском сообществе по управлению персоналом: https://www.shrm.org/resourcesandtools/hr-topics/talent-acquisition/pages/games-applicants-recruiting.aspx
Виртуальная реальность
1. Результаты анкетирования ведущих VR-разработчиков: http://images.reg.techweb.com/Web/UBMTechweb/%7B3c8dda91-da35-488f-af13-f315cbf563cd%7D_VR_AR_Innovation_Report_August_2016.pdf
2. Обзор возможностей применения VR в оценке: http://www.assessmentcenters.org/Assessmentcenters/media/2016-Bali/40ICACM_Virtual-Reality-Artificial-Intelligence.pdf
3. Aguinas, H., Henle, C. A., & Beaty Jr, J. C. (2001). Virtual reality technology: A new tool for personnel selection. International Journal of Selection and Assessment, 9(1-2), 70-83.
Социальные сети
1. Kosinski, M., Matz, S., Gosling, S., Popov, V., Stillwell, D. (2015). Facebook as a Social Science Research Tool: Opportunities, Challenges, Ethical Considerations and Practical Guidelines. American Psychologist.
2. Статья про социальные сети в оценке в данном блоге: http://assessment.livejournal.com/5512.html
Виртуальные центры оценки и симуляции
1. Исследование конструктной валидности виртуальных ЦО: http://www.assessmentcenters.org/Assessmentcenters/media/2014/2014-Final-Presentations/Traditional-and-Technological-ACs_Gibbons.pdf
2. Howland, A. C., Rembisz, R., Wang-Jones, T. S., Heise, S. R., & Brown, S. (2015). Developing a virtual assessment center. Consulting Psychology Journal: Practice and Research, 67(2), 110.
3. Fetzer, M., & Tuzinski, K. (2013). Simulations for personnel selection. Springer.