Оценка эффективности обучения

[cheaffa]

Результаты тренинга. Они ведь всех интересуют?
Вот  четыре уровня по версии Киркпатрика + всё-таки денежный уровень от другого умного американца:

- Уровень 1 - Реакция (Reaction)
- Уровень 2 - Научение (Learning)
- Уровень 3 - Поведение (Behavior)
- Уровень 4 - Результаты (Results)
- Уровень 5 - Возврат инвестиций (ROI Return on Investment)

Comments

[son_de_la_voix]

А кто вообще сказал, что текучка снизилась благодаря тренингу? И как вообще рассчитана текучка? За какой период? И как пересчитана после тренинга? Единственна достоверная цифра в этом рассчете - это затраты на тренинг.

[son_de_la_voix]

Фраза про "среднее использование назыков в работе" вообще ни о чем. Подразумевается, что без тренинга люди свою работу делать не могли вообще?

[cheaffa]

Два важных пункта:
1. Естественно, на рост продаж или снижение текучки могло повлиять бесконечное множество факторов: от завоза долгожданного айфона последней модели до параноидальной уверенности в наступлении кризиса в ближайшее время.
2. Про расчеты - согласна, они крайне символичные. Это вносит хоть какие-то ориентиры, чем совсем ничего.

"среднее использование назыков в работе" - я бы стала использовать в расчетах средний прирост навыков в работе.

По сабжу - у тебя вызывает огромные сомнения именно эта математическая модель или вообще идея посчитать цифру прибыли от тренинга? Почему?

[son_de_la_voix]

Средний прирост навыков? Они растут как ногти? Как ты их мерить собираешься?

Вносить ложные ориентиры хуже, чем не вносить вообще никаких.

Математическая модель отличается от цифр, взятых с потолка, тем, что ее калибруют на реальных данных. То есть строятся гипотезы, подбираются формулы, потом берутся реальные данные, в модель подаются на вход, а полученные результаты сравниваются с уже известными реальными данными. Так работает моделирование. В приведенном рассчете его нет. Тут взяты с потолка какие-то проценты от каких-то денег. Причем даже на уровне гипотез рассчеты не проходят через проверку на минимальную осмысленность и здравый смысл.

[cheaffa]

Да сложно их мерить, я ж не спорю.

По поводу твоих аргументов - согласна. Это то, как работает моделирование.
Пример расчета по модели, которой уже более 50 лет пользуются во всем мире как единственной разработанной формулой для расчета возврата инвестиций в обучение персонала, возможно, не самый прозрачный. Я и не претендую на научные изыскания в этом посте. Правда, это единственный пример расчета, который мне удалось найти в русскоязычном пространстве. Мне нравится сама идея, что отдачу от тренинга можно посчитать. А тебе? Тебе нравится идея посчитать эффективность тренинга?

[son_de_la_voix]

Ты не говоришь и не читаешь по-английски? Русскоязычное пространство изобилует очень сомнительного качества материалами.

Идея оценки эффективности тренинга мне в принципе нравится, но не в той реализации, которую ты привела в качестве примера.

50 лет пользоваться вот такой вот хренью? ты серьезно? мне вот что-то слабо верится...

[cheaffa]

Мой уровень английского как раз подобрался к уровню, достаточному для чтения специализированной литературы. Сегодня пока разгребала одну статью, нашла 25 бизнес-терминов, которых ещё не было в моем словаре. Примеров в той статье не нашла)) Я понимаю, что пора выходить в англоязычный интернет за ответами на свои вопросы :)

В общем модель выглядит достаточно просто: (доход-расход)/ расход *100 %. Я вполне могу поверить, что ей пользуются 50 лет.
Главный вопрос, конечно, будет стоять в показателях, отражающих доход от тренинга. И вычленении из ряда других факторов. Как ты думаешь, что может быть достоверным показателем?

[son_de_la_voix]

Мне кажется, что доход от трейнинга в общем случае оценить невозможно. Кроме некоторых совершенно конкретных примеров, когда тренинг позволяет изменить позиционирование товара и открыть новую нишу.
Кстати, я тут погуглил быстренько. В тексте говорится про то, как модель Киркпатрика (которой действительно 50 лет) обновлялась и видоизменялась со временем. И в последней модификации она была переобдумана Филипсом в 1997 году. В частности, у него были примерно те же контраргументы что и у меня. В результет, он выделил узкий класс тренингов, к которым можно применять данный способ оценки (кстати, он не численный, то есть фраза про ROI 270% должна интерпретироваться как "тренинг скорее полезен и выгоден"). Текст, который я нашел - на французском, так что приводить его не буду. Но думаю, что ты можешь и сама найти нужную информацию на русском или на английском.

[cheaffa]

Да, Киркпатрик предложил 4 уровня и рьяно утверждает, что померить в деньгах эффект невозможно. А Филлипс предложил вот эту формулу в качестве 5 уровня. И, насколько я тебя поняла, ты с споришь с Филлипсом. Или я не так поняла. А ссылку я бы посмотрела, переводчики никто не отменял.

[son_de_la_voix]

Only those training programs that meet the following criteria should be followed through to Levels 4 and 5 evaluations. Attempting to complete such high level evaluations on every training program within the organization would begin to get quite costly and time consuming. (Phillips and Stone, 2002, p. 29 - 30

[cheaffa]

Оу. В таком случае, применять расчет к управленческому тренингу для начальников цехов было совершенно бессмысленно. Хотя, в целом, жаль - эта идея мне очень нравилась.

[cheaffa]

и проскользнула надежда: а может быть, ты знаком с какими-то другими способами оценить эффективность тренинга?

[son_de_la_voix]

Нет, не знаком. Все тренинги, которые мне известны во Франции, работают примерно по одной и той же схеме. У компании есть определенный бюджет на обучение персонала (например, из рассчета чтобы каждый сотрудник мог получить как минимум один тренинг в два года), сотрудники самостоятельно выбирают то, что им хочется, валидируя выбор у руководства, но как правило руководство позволяет сотрудникам брать то, что нравится. Соответственно, люди идут не на какие-то мифические тренинги по мотивации, а на то, что им приносит реальную выгоду в их карьере - например, позволяет получить технический навык, или пройти новую сертификацию, или попробовать себя в новой роли, полезной для следующей ступени карьеры. Как видишь, при такой схеме приведенный рассчет вообще не имеет смысла.

[cheaffa]

Согласна. При такой системе рассчитывать эффективность будет явным перебором. Но это про внутреннее обучение. А внешнее заказывают для менеджмента, например?

[son_de_la_voix]

Кто говорил внутреннее обучение? И что ты подразумеваешь под словом "внутреннее". Я так понимаю, что речь идет о тренингах, которые организуются сотрудниками компании для других сотрудников той же компании. Если ты о том же, то не вышеописанная схема финансирования действует как раз для внешнего обучения, когда сотрудник хочет получить что-то новое, чему внутри компании он научиться не может. И действует это в равной степени на всех ступенях карьеры. Разве что выбор тем тренингов будет различаться в зависимости от текущих карьерных потребностей каждого.

[ext_1700609]

На самом деле, мало компаний, которые готовы проводить внутренние тренинги. И ещё меньше, которые готовы обучать не только своих, но сотрудников других организаций, или даже - полевых.