Анализ качества обучения персонала: как интерпретировать метрики

Метрики обучения покажут, насколько успешно ваши сотрудники прошли обучение и насколько хороша оказалась работа T&D. Но данные могут ввести в заблуждение, если не учитывать контекст и бизнес-цели.

Зачем замерять эффективность обучения?

Модели оценки эффективности обучения

Почему к метрикам нужно относиться осторожно

Зачем замерять эффективность обучения?

С оценкой окупаемости инвестиций в производство ситуация понятна: экономисты и топ-менеджеры изучили рынок, просчитали риски и расходы, рекламные бюджеты. На окупаемость дали три года. А дальше конкретные цифры продаж скажут, были инвестиции эффективными или нет.

С обучением ситуация менее прозрачная. Что должно стать показателем эффективности программы обучения? Какие промежуточные метрики нужно отслеживать, чтобы вовремя внести изменения в процессы и какой «срок окупаемости» затрат в развитие персонала?

L&D нужны метрики и конкретные цифры чтобы:

Оценить успех той или иной программы;
Определить проблемные точки обучения и потом исправить их;
Замерять эффективность траты бюджета на обучение;
Отслеживать производительность с течением времени;
Прогнозировать какие компетенции потребуются компании;
Проверить насколько обучение соответствует целям организации.

Цели замеров при этом должны быть максимально конкретными. Например, вы решили прокачать soft skills команд и снизить текучку.

Цель «снять напряжение внутри команд» — абстрактная. Более конкретные цели могут выглядеть так: «За полгода снизить напряжение в команде на 20%. Метод замера: входной и итоговый опрос сотрудников». Другой пример цели: «сократить количество увольнений на 15% за 3 квартал».

Модели оценки эффективности обучения

Есть порядка 8 способов измерить насколько та или иная программа была эффективна. Они используют схожие подходы к замерам, имеют свои плюсы и минусы.

Модель	Преимущества	Недостатки
Модель Киркпатрика	4 уровня оценки изменений: эмоционального, когнитивного, поведенческого и ментально-результативного характера. Можно подбирать методы оценки программ.	Нет оценки финансовых показателей. Сложно оценивать «поведение».
Модель Блума	Структурированная модель с возможностью оценки затрат.	Смешиваются понятия из разных областей (например, эмоции и психомоторика). Это усложняет использование.
Модель Стафлебима	Прочная вязка с целями и задачами компании. Можно оценить процесс и результат.	Методическое описание процедур оценки и результатов размыто.
Модель Берна	Ориентация на цели. Можно собрать мнение о программе и оценить результативность.	Сложно оценить длительные программы и обучение высшего менеджмента.

Источник

6 метрик обучения сотрудников

Несмотря на то, что в разных моделях разные подходы к замерам и интерпретациям, можно выделить несколько ключевых.

Средний балл

Метрика, которая покажет, насколько сотрудники поняли информацию.

Формула простая:

Общая сумма баллов / Количество прошедших тест

Например, прошло курс 132 человека, а сумма баллов (по 5-бальной шкале) — 573. Тогда средний балл будет 573/132=4,3. То есть большая часть сотрудников отлично справились с проверкой знаний.

Отсюда же вытекает формула для аттестации:

Количество сдавших тест / Количество прошедших курс × 100%

Пример: 86 / 250 *100% =34,4%

Впрочем, эта метрика может указывать, что вы подобрали слишком простые или слишком сложные вопросы. А может сотрудники недостаточно внимательно отнеслись к программе и прошли её «по диагонали».

Удовлетворённость обучением

Популярная метрика, с которой сталкивался каждый обучающийся. В конце курса человек видит вопрос: «Вы порекомендуете курс коллеге?» и далее оценки от 0 (нет) до 10 (обязательно).

Удовлетворённость можно считать так:

Общее количество баллов / Количество ответов

Например, общая оценка курса 1392 балла. Прошли его 216 сотрудников.

1392/216=6,4

Также можно смотреть на отношение низких (0-5) и высоких оценок (8-10). Теперь вам нужно только определить, почему курс понравился или оставил неприятный осадок.

ROI — стоимость обучения одного сотрудника

Очень простой и понятный показатель, который рассчитается по формуле:

ROI = (доходы после обучения − сумма инвестиций) / сумма инвестиций × 100%

Например, вы потратили на курс продаж 300 000 ₽. После него продажи выросли на 590 000 ₽.

(590 000 - 300 000)/300 000 × 100%= 96%

Получается, что обучение окупило затраты, но ещё не приносит достаточно прибыли.

Для одной компании такие цифры могут приемлемым, для другой полным провалом. Но подсчёт ROI даёт много пищи для размышлений и дальнейших изменений.

ROI можно использовать не всегда. Представим себе фармацевтическую компанию, которая в январе 2020 года стала производить санитайзеры с запахом лаванды. T&D и маркетологи разработали и провели программу обучения. А уже в феврале спрос на санитайзеры превысил все прогнозы и сотрудникам не пришлось использовать полученные знания.

Поэтому ROI обычно используют для долгих и дорогостоящих программ обучения, в которых можно учесть влияние внешних и внутренних факторов.

Эффективность работы

Данная метрика похожа на ROI, но высчитывается не от прибыли. Примером может стать показатель «время обслуживание клиента». Если до обучения оно составляло в среднем 15 минут, а после 11, значит программа оказалась эффективной.

При введении подобной метрики нужно брать в расчёт время, за которое внедряется новое знание.

Например, у вас обновилось программное обеспечение. Менеджеры уверены, что с ним скорость работы техподдержки увеличится. Но сотрудникам нужно время, чтобы привыкнуть к новым кнопкам и логике запросов. Поэтому на отрезке в две недели скорость обслуживания упадёт. Правда ещё через две недели сотрудники раскроют все возможности, скорость обслуживания вернется к прежним значениям и вырастет.

Зачисление и завершение

Это два разных показателя, однако они прочно связаны.

Зачисление на программу — сколько сотрудников записались на курс. И чем больше зачислений, тем лучше. Это значит, что тема интересна, актуальна и нужна. А ещё HR смогли провести правильную коммуникацию.

Завершение программы — сколько сотрудников прошли программу до конца и сдали проверочный тест, если он предусмотрен программой.

Соотношение зачислений к завершениям 100% — идеальный результат, которого можно достичь. А вот показатели меньше 60% — повод задуматься над содержанием и подачей программы.

Вовлеченность

Показатель, который может показать какой процент сотрудников был погружен в обучение.

Для расчёта вовлеченности нужно учитывать активное учебное время, проведенное в LMS, а не просто время нахождения в системе. Так же могут понадобиться данные о среднем балле, количестве зачислений и завершений, обратная связь по итогам курса.

Ещё на итоговые данные по вовлеченности может повлиять улучшение или ухудшение эффективности работы.

Точную формулу для расчёта вовлеченности каждая компания может создать самостоятельно, учитывая особенности корпоративной культуры, внутренних и внешних факторов во время обучения. Например, во время реорганизаций вовлеченность может снизиться, поскольку сотрудники испытывают стресс, и больше внимания уделяют рабочим вопросам.

Почему к метрикам нужно относиться осторожно

Показателей эффективности обучения больше, чем шесть. В подборках можно встретить:

Количество учебных часов на одного тренера
Сколько подразделений охвачено обучением
Количество выпущенных учебных курсов

И множество других.

Но все ли они отвечают целям бизнеса?

Педдизайнер Эндрю Доунс в статье A Shiny Apple Is Not a Tasty Apple отмечает, что некоторые метрики могут оказаться поверхностными.

Количество произведенного контента. Хорошо выглядит в отчётах, но насколько этот контент полезен? Скорей всего у него не будет достаточной глубины и пользы. Возможно, средства на создание нового контента стоило потратить на актуализацию старого и проверенного.
Количество пройденных курсов и положительных оценок. Эта метрика не говорит о качестве содержания. Некоторые программы могли просто отнять время и не принесли никакой пользы.

Доунс предлагает ориентироваться на группу качественных метрик:

Показатели развития сотрудников. Продвижение по карьерной лестнице или внутри компании. Актуально при рескиллинге.
Квалификационные показатели. Сколько сотрудников получили новые навыки, необходимые бизнесу или повысили квалификацию.
Удержание сотрудников. Каков отток сотрудников после внедрения программ обучения.

Ольга Аксёнова, доктор экономических наук, указывает, что L&D и HR — не единственные ответственные за обучение. Линейный руководитель может быть актором, который влияет на метрики обучения.

Например, T&D провел тренинг или программу по эффективным совещаниям и генерации идей. Показатели вовлеченности под 90%, сотрудники поставили высокие оценки, средний балл 4,7. Однако руководитель оказывается не готов к новшествам — они их не понимает и не принимает, придерживается прежних практик. В итоге страдает метрика «Эффективность работы».

Ещё показатели метрик могут меняться с течением времени, поэтому замеры нужно производить с некоторой периодичностью. Например, месяц-три-полгода.

Но несмотря на все нюансы и возможные искажения, которые могут дать показатели, оценка эффективности остаётся важнейшей частью работы L&D и бизнеса компании в целом.