Оценка эффективности обучения. Модель Дональда Киркпатрик
По материалам информационного бюллетеня компании "Процесс Консалтинг"
То, что произошло с американцем Дональдом Кирпатриком, бывает довольно редко. Полвека назад он предложил концептуальный подход к оценке тренинговых программ, который стал классическим. Любой специалист по оценке сегодня просто обязан знать четыре уровня оценки "по Киркпатрику".
Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, однако его модель оценки тренингов остается одной из базовых, а его книги – наиболее цитируемыми. Классик и ныне здравствует, хотя уже отошел от активного бизнеса. Он сделал блестящую карьеру; написал несколько книг, ставших бестселлерами и принесших ему мировую известность; был президентом одного из самых авторитетных профессиональных объединений тренеров и консультантов в мире – American Research and Development Society (ARSD). Сегодня Дональд Киркпатрик продолжает заниматься общественной работой и поддерживает контакты с профессиональным сообществом. Он продолжает публиковать статьи и выступать с лекциями и семинарами на крупнейших форумах.
Итак, что же предложил Киркпатрик?..
Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов:
Определение потребностей. Постановка целей. Определение предметного содержания. Выбор участников обучения. Формирование оптимального расписания. Подбор соответствующего помещения. Подбор соответствующих преподавателей. Подготовка аудиовизуальных средств. Координация программы. Оценка программы. Почему нужно проводить оценку? Автор указывает три основных причины: Оправдать существование отдела обучения, показав, какой вклад делает этот от-дел в достижение целей и задач организации. Принять решение о том, продолжать или прекратить тренинговую программу. -Получить информацию о том, как улучшить тренинговую программу в будущем. Сам Киркпатрик считает, что в большинстве случаев оценка проводится для того, чтобы понять, как повысить эффективность тренинга, какими способами можно его улучшить. В связи с этим предлагается ответить на следующие 8 вопросов: В какой мере содержание тренинга соответствует потребностям участников? Является ли выбор преподавателя (Киркпатрик использует здесь слово "лидер", которое по-русски имеет совершенно другое значение) оптимальным? Использует ли преподаватель наиболее эффективные методы для поддержания интереса участников, передачи им знаний, формирования у них навыков и установок? Являются ли условия для проведения обучения удовлетворительными? Устраивает ли участников расписание занятий? Способствуют ли аудиовизуальные средства улучшению коммуникации и поддержанию интереса участников? Была ли координация программы удовлетворительной? Что еще может быть сделано для улучшения программы? Отметим, что все вопросы кроме первого и последнего сформулированы автором как закрытые (предполагающие ответы "да" или "нет"). С точки зрения формулирования вопросов задания для проведения оценки такая форма вопросов хороша далеко не всегда. Однако мы придерживаемся авторского текста.
Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга – изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты "листами для улыбки" (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности. Более сложная и глубокая оценка не проводится, потому что ее не считают срочной или важной, никто не знает, как ее провести, руководство не требует этого, люди чувствуют себя в безопасности и не видят нужды "копать" глубже, есть много вещей, которые для них более важны или которыми они предпочитают заниматься. Четыре уровня Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения (тренинга). Он пишет: "Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию. Ни один из уровней не может быть пропущен просто потому, чтобы сконцентрировать на том, что тренер считает наиболее важным" (надо заметить, что многие специалисты не согласны с этим утверждением Киркпатрика). Вот знаменитые четыре уровня по версии автора: Уровень 1 – Реакция (Reaction) Уровень 2 – Научение (Learning) Уровень 3 – Поведение (Behavior) Уровень 4 – Результаты (Results) Реакция
Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Дел в том, что участие в таких тренингах бывает обязательным. У людей просто нет выбора. Руководство компании определяет необходимость данного тренинга и обязывает сотрудников принимать в нем участие. Казалось бы, в этом случае, нужно говорить о реакции руководства. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам. Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга. Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. По мнению Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения. Научение
Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).
Поведение
На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. Киркпартик рекомендует в этих случаях кроме оценки реакции и научения проверить наличие следующих условий: Желание участников изменить поведение. Наличие у участников знаний о том, что и как делать. Наличие соответствующего социально-психологического климата. Поощрение участников за изменение поведения. Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов "климата": запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата – вовлечение руководителей в разработку учебных программ.
Результаты
К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров.
Киркпатрик настаивает на том, что результаты не следует измерять в деньгах. Он считает, что перечисленные выше изменения могут, в свою очередь, приводить к увеличению прибыли. Киркпатрик пишет: "Меня разбирает смех, когда я слышу, что профессиональные тренеры должны уметь показывать выгоду для клиента в терминах возврата на инвестиции в тренинг. То же самое я думаю о связи между тренинговыми программами и прибылью. Вы только представьте себе все факторы, которые влияют на прибыль! И можете добавить их к списку факторов, влияющих на возврат на инвестиции".
По мнению Киркпатрика, оценка на этом уровне – самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов: если возможно, использовать контрольную группу (не проходившую обучение), проводить оценку через некоторое время, чтобы результаты стали заметны, проводить оценку до и после программы (если это возможно), провести оценку несколько раз в ходе программы, сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью). Как построена книга Киркпатрика Kirkpatrick, D. L. (1998). Evaluating training programs: the four levels. San Francisco: Berrett-Koehler Publishers, Inc.
Книга разделена на две неравные части. Первая – описание 4-уровневой модели, теория (примерно 70 страниц). Вторая часть (около 200 страниц) – подробный разбор нескольких конкретных случаев (case studies) и примеры инструментов, используемых для проведения оценки на разных уровнях.
---------------------
