Часть 1: Что это такое?

В первой части своей статьи по оценке тренинговой программы, Мартин Шмаленбах (Martin Schmalenbach) анализирует работу Дональда Киркпатрика (Donald Kirkpatrick) и других специалистов в вопросе создания системы по оценке эффективности тренинга.

На первый взгляд кажется, что по оценке эффективности тренинга написано практически все. Отчасти это так, хотя стоит отметить некоторую неясность вокруг вопроса, в некоторых случаях ощущается явная недосказанность или не точность.

В своей серии статей я постараюсь прояснить некоторые вещи, задавая ключевые вопросы и не уходя от них слишком далеко.

Вопросы

Итак, начнем с ключевых вопросов. Я заимствую некоторые из них у Фреда Нихолса (Fred Nichols), его вопросы проверены временем, будучи сформулированными в начале 1990-х и оставаясь достаточно важными по сей день.

«Оценивать? Оценивать что? Эффективность тренинга? Что вы понимаете под тренингом? Что именно вы хотите оценить? Какой-нибудь конкретный курс обучения? Слушателей? Тренеров? Тренинговый отдел? Или тренинги в целом?»

«Кроме того, почему вы хотите оценить эффективность тренинга? Хотим ли мы проверить его эффективность, т.е. узнать, работает ли он? Если так, то какое эффект должен дать тренинг? Изменить модели поведения? Изменить отношение? Улучшить эффективность работы?»

«Какова продуктивность тренинга? Сколько времени тратится на подготовку и организацию тренинга? Можно ли это время сократить? Можем ли мы провести этот тренинг на рабочих местах или заменить его вовсе другим видом помощи в работе?»

«Каковы затраты на проведение тренинга? Стоит ли он этих денег? Кто считает, что он стоит? На каком основании они так считают? Что мы пытаемся узнать? От кого мы получаем эту информацию?»

Источник:

Вот основные вопросы. В серии своих статей я дам ответы на некоторые из них. Конкретнее, я отвечу на вопрос: когда нужно оценивать эффективность тренинга, и когда ее оценивать не нужно; кто несет ответственность за эффективность; в каком случае наскоро организованный тренинг - это хорошо, а когда – нет; какой подход использовать и когда; где определить минимальный предел или Возврат на инвестиции (ROI).

Определения

Давайте поговорим об определениях. В оценке эффективности тренинга можно выделить два разных аспекта: 1) оценивание самого процесса тренинга или механизмов повышения эффективности тренинга и 2) оценивание конечного продукта или результата тренинга. Кажется, что для разных людей оценка эффективности тренинга означает разные вещи, отсюда некоторая запутанность вопроса.

По ключевым вопросам видно, что ответы на них и смысл ответов зависит от того, кто задает вопрос и почему.

Для акционеров и руководителей компаний показателем потребности провести оценку эффективности тренинга являются ответы на следующие вопросы: «поможет ли тренинг решить мою проблему и/или достичь поставленных целей?» и «стоит ли тренинг таких денег или мне следует вложить свои деньги в другое мероприятие?». Конечным вопросом будет: «Стоило ли это того?»

Для тренеров оценивание эффективности тренинга будет заключаться в ответе на другие вопросы, например, такие: «Был ли тренинг эффективным?» и «Достигнуты ли поставленные цели?»

Для сотрудника компании оценивающими вопросами будут: «Поможет ли мне этот тренинг лучше/быстрее выполнять работу?», «Окажет ли он влияние на развитие моей карьеры?», «Что я здесь делаю?» и «Зачем это мне?»

Многие мысли по оцениванию эффективности тренинга могут быть выполнены теми тремя перечисленными категориями людей, задействованных в процессе тренинга. Не кажется ли вам, что оценка эффективности должна родиться в ходе обсуждения, в котором участвуют все три категории?

Киркпатрик

Если строить систему оценки по вопросам только для одной группы из трех, то, очевидно, что другим двум группам будет невероятно трудно ответить на те же ключевые вопросы.

Для каждой группы должны быть свои соответствующие вопросы. Самый первый обратился к этой проблеме Дональд Килпатрик в конце 1950-х годах, он сформулировал ныне известные 4 уровня.

Уровень 1 – Реакция – какова реакция обучаемого на само обучение?
Уровень 2 – Обучение – что обучаемый усвоил в процессе тренинга?
Уровень 3 – Поведение – как сильно изменилось поведение обучаемого после прохождения обучения?– речь идет о применении полученных навыков и знаний на рабочем месте.
Уровень 4 – Результаты – насколько увеличилась эффективность компании как следствие прохождения обучения?

В своей книге «Оценка программ обучения: Четыре уровня» (Evaluating Training Programs: the Four Levels), вышедшей в 1994 году, Киркпатрик полагал, что оценка результатов на более высоком уровне по шкале успешности, требует значительно больших усилий и ресурсов, чем на более низком уровне, т.е. на уровне 1 оценивать проще и дешевле, чем на уровне 4. Это самый главный аргумент (сделанный Киркпатриком лично) в пользу того, чтобы оценивать тренинг на уровне 1 в 95% случаев, и только в 5-10% оценивать его на уровне 4.

Модель Киркпатрика предлагает оценивать тренинг после его завершения.

Такая модель не позволяет одной из наших трех ключевых групп, а именно заинтересованных лицам и руководителям, принимать информированное решение о вложении средств до того, как эти средства не будут вложены и не будет виден результат тренинга. Только так можно ответить на вопрос: «Стоил ли того тренинг?». Если ответ «нет», то, в любом случае, уже слишком поздно и деньги уже потрачены. Так происходит и с тренингами по обучению «специальным навыкам», и с тренингами, посвященным «навыкам общения».

Уровень 4 важен, прежде всего, для акционеров и руководителей. Им важно, чтобы любое занятие, которое отвлекает сотрудников компании от их рабочих обязанностей, было оправдано, поэтому для них оценка эффективности тренинга необходима, чтобы принять решение о том, стоит вкладывать деньги в это мероприятие или нет.

Это аргумент в пользу проведения оценки эффективности тренинга. Проблема в том, что полная оценка займет очень много времени, и на повседневную работу его не хватит. Поэтому необходимо установить баланс между обычной работой и проведением оценки эффективности тренинга.

4 уровень Киркпатрика подходит для того, чтобы помочь тренерам получить ответы на вопрос, достиг ли тренинг поставленных целей, учит ли он делать то, что было заявлено в начале. Этот же ответ можно получить, попросив участников тренинга ответить на свои ключевые вопросы, но это только после окончание тренинга.

Возврат на инвестиции (ROI)

4 уровень Киркпатрика не дает ответ на вопрос, стоил ли того тренинг. В 1991 году Джек Филипс (Jack Phillips) добавил в эту систему 5-й уровень с названием Возврат на инвестиции (ROI). Вопрос, который задается на этом уровне: оправдал ли тренинг вложенные в него средства?

Пятый уровень, прежде всего, подразумевает, что человек, производящий оценку эффективности тренинга, должен оценить конечный результат работы компании, а также иметь навыки для оценки затрат и прибыли компании.

Такая дополненная модель особенно нравится акционерам и руководителям. Проблема в том, что многие тренинги, которые кажутся полезными для сотрудников, не проходят испытание ROI. Добавления Филипса к модели Киркпатрика не отменяют правило: сначала необходимо провести тренинг, а потом появится возможность оценить его.

Другие модели оценки программ обучения

Другие модели оценки программ обучения выделились из того, что уже было разработано. Они нацелены на оценку тренинга вначале, после внесения изменений, на оценку той ситуации, в которой проводится тренинг или в которой такой тренинг необходим, на оценку результата тренинга и самого процесса обучения.

Например, к таким разработкам относятся: подход по Целям Тайлера (Tyler’s Objectives approach); модель Скривенса (Scrivens), ориентированная на результаты; модель Стафлебима (Stufflebeam’s CIPP); CIRO; натуралистический подход Губа (Guba’s Naturalistic approach) и модель V Брюса Аарона (Bruce Aaron).

Другие теоретики этой сферы, в частности Поль Кирнс (Paul Kearns), статьи которого вы можете найти, стремится упростить некоторые вещи и сделать их более практичными. Кирнс полагает: какую бы изюминку ни содержал ваш процесс оценки, наиболее важным аспектом являются те вопросы, которые вы задаете. Кроме того, он считает, что в процессе оценки лдолжна быть установлена некая исходная линия (т.е. которая поможет достоверно сравнить эффективность тренинга «до» и «после» проведения оценки); что некоторые тренинговые мероприятия должны быть из ряда здравоохранения и безопасности, как это предписано законодательством; что некоторые тренинги являются роскошью для компании и их отсутствие не принесет никакого вреда компании, команде или отдельному человеку не зависимо от профессии и эффективности работы; и что другие тренинги лишь доказывают, что их главной задачей является увеличивать эффективность компании.

* Kirkpatrick, Donald L. (1994),"Evaluating Training Programs: the Four Levels"
San Francisco: Berrett-Koehler Publishers.
* Kirkpatrick, D. L. (1987). Evaluation. In R. L. Craig (Ed.), Training and development handbook. (3rd ed.). New York: McGraw-Hill

Часть 2

Во второй части серии статей по оценке эффективности тренинга, Мартин Шмаленбах рассматривает подходы к этой проблеме, разработанные после Киркпатрика.

Помимо широко известной работы Киркпатрика существует еще несколько подходов к оценке тренинга. Каждый из них имеет свои положительные стороны.

Наиболее значимыми подходами можно назвать Целевой подход Тайлера (Tyler’s Objectives Approach); Модель Скривенса, нацеленная на результат (Scriven's Focus On Outcomes); модель Стафлебима CIPP (Stufflebeam), которая расшифровывается следующим образом: Context evaluation (Контекстное оценивание), Input evaluation (Оценивание на входе), Process evaluation (Оценивание процесса) и Product evaluation (Оценивание продукта); похожая схема CIRO: Content evaluation (Оценивание контента), Input evaluation (Оценивание на входе), Reaction evaluation (Оценивание реакции), Outcome evaluation (Оценивание результата); натуралистический подход Губа (Guba’s Naturalistic Approach) и Модель V Брюса Аарона (Bruce Aaron’s V Model).

Тайлер полагает, что одной из главных проблем в области образования является то, что образовательные программы «определяют свои цели НЕчетко». Под «целями» он имеет в виду задачи обучения. Этот целевой подход лежит в основе того, что предложил Тайлер. Его процесс оценки состоит из следующих шагов:

1. Постановка обширных целей и задач.
2. Классификация этих целей и задач.
3. Определение целей и задач в терминах поведения.
4. Поиск ситуаций, в которых можно проверить, насколько цели достигнуты.
5. Разработка или отбор техник оценивания.
6. Собирание данных, касающихся эффективности обучения.
7. Сравнение данных об эффективности обучения с данными об эффективности достижения желаемых моделей поведения.

Различие в эффективности должны вести к внесению изменений в программу, затем цикл оценивания повторяется.

Это очень напоминает Уровень 3 модели Киркпатрика, только гораздо подробнее. Я полагаю, что оценивание непосредственно тренинга/обучения начинается где-то между шагами 3 и 5. Если возможно, проведите предварительное оценивание по пункту 1-3. На шаге 7 вы сможете сравнить модели поведения после проведения мероприятия с теми, которых вы бы хотели добиться обучением, а не с теми, которые были до обучения.

Однако поведенческие цели и задачи в рамках этой модели кажутся практически не связанными с результатами, влияющими на эффективность обучения в терминах ROI (возврат на инвестиции). О влиянии на модели поведения других факторов, таких как культура, структура, цели и т.д. у Тайлера ничего не сказано.

Модель Скривенса, нацеленная на результат, требует внешнего оценщика, который не должен быть осведомлен о поставленных перед обучением целях и задачах. Он должен определить стоимость и ценность программы обучения на основе результатов.

С одной стороны, это удобно, особенно когда акцент ставится на эффективности работы компании – проверить эффективность программы проще тогда, когда перед глазами эффективность отдельного сотрудника или эффективность достижения поставленных целей. Но в этом случае могут возникнуть проблемы с необъективностью оценщика, а также с определением степени подробности проводимой оценки. Эта модель по определению не может предсказать результаты обучения и также не может использоваться для расчета коэффициента ROI, так как она практически не имеет отношение к определению корневых причин низкой эффективности или нежелательных моделей поведения.

Модель Стафлебима CIPP известна как системная модель. Она состоит из четырех основных компонентов:

Интересно, что эта модель изучает и сам процесс, и его результат. Однако оценивание вероятных результатов непосредственно перед обучением не проводится, следовательно, модель не годится для оценки ROI без дальнейшей доработки.

В отличие от моделей Филипса и Киркпатрика в рамках данной модели требуется взглянуть на эффективность процесса, а это скорее относится к «валидизации», чтобы не путать с «оцениванием», т.е. акцент ставится на результате. Достигла ли она своих целей?

Модель CIRO, разработанная Бердом, охватывает несколько уровней модели Киркпатрика, а именно Уровень 1 и спорный Уровень 4 в том случае, если результаты обучения выражены в терминах коммерческого эффекта. Основными компонентами являются Контент, Вход, Реакция и Результат. Во многих отношениях эта модель очень похожа на модель CIPP и, как мне кажется, точно так же грешит недостатком деталей и рекомендации по тому, как использовать каждый из четырех основных компонентов.

Можно доказать, что модели CIPP и CIRO следуют за Киркпатриком и Филипсом в использовании контрольных групп и предварительных оценок способов улучшения тренинга экспертами в соответствующей области для того, чтобы при повторении процесса обучения дать ответ на вопросы ценности тренинга и правильного использования ограниченных ресурсов.

«Модель V» (V Model) разработана Брюсом Аароном (Bruce Aaron). Основанием для нее служит тот же подход, который используется в области информационных технологий при разработке программного обеспечения.

Представьте букву латинского алфавита «V». Ее левая сторона символизирует анализ и разработку. Проходя ее сверху вниз, вы определяете свои «бизнес-потребности» (уровень 1), затем «требования к работе оборудования» (уровень 2) и «требования к эффективности работы сотрудников» (уровень 3). В самой нижней точке, где соединяются левая и правая половины, вы находите «результирующую эффективность». Правая сторона буквы символизирует измерение и оценку. Двигаясь сверху вниз, вы определяете «коэффициент возврата на инвестиции (ROI)/бизнес-результаты» (уровень 1). Двигаясь по ней сверху вниз, вы придете к «состоянию оборудования» (уровень 2) capability status’, а затем «влияние человеческого фактора» (уровень 3).

Продумывается связь между всеми элементами модели и парными элементами с разных сторон буквы-модели, стоящих на одном уровне. Фактически, речь идет о симбиозе анализа и разработки, измерения и оценки.

Модель V разработана для оценки ROI, тем не менее, это не очевидно, что ROI и оценка могут быть спрогнозированы до внедрения решения; ценность модели становится спорной, даже в том случае, если использование модели после проведения мероприятия прояснит некоторые детали.

Последняя модель о которой мы говорим, это Модель Губа & Линкольна основывается на взаимном сотрудничестве заинтересованных лиц.