В данной статье рассматриваются возможности корректного получения оценки сотрудника, часто называемой "рейтингом". Предлагаются также методы оценки достоверности рейтинга, постановка задачи оценки денежных затрат на работу по оцениванию при заданном уровне достоверности.

Я решил написать эту статью, потому что почти везде и почти всегда сталкивался (и сталкиваюсь!) с "рейтингом" в виде взвешенной суммы:

R = S wi ri (1) где ri - оценка сотрудника по i-му критерию,
wi - вес i-го критерия.

Беда в том, что эта формула не всегда дает верный результат! Неискушенного читателя это утверждение обычно приводит в недоумение. Следуют заявления вроде того, что приведенная формула "соответствует здравому смыслу", или "отвечает интуитивному представлению о сравнительном качестве сотрудников" и т.п. Однако, все не так очевидно.

Обратимся, прежде всего, к оценкам. Условно разделим оценки на "объективные" и "экспертные". Эксперта упрощенно можно рассматривать как некий "измерительный прибор". Возникает вопрос о точности, с которой этот "прибор" может измерять. Ответ на этот вопрос дан в классической работе Миллера (Г. Миллер. Магическое число семь плюс минус два. Инженерная психология. - М.: Прогресс, 1964). Там показано, что эксперт чаще всего не способен различать более 7 градаций. Однако, сплошь и рядом приходится сталкиваться с ситуацией необоснованного использования шкал размерностью выше 7. Например, очень популярна 10-балльная шкала.

Нередки попытки получить от эксперта информацию в такой форме, в которой он не может дать ее с достаточной надежностью. Последние результаты исследований по этому вопросу приведены в книге: Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. - М.: Физматлит, 1996.

Не менее серьезные проблемы связаны с критериями. Прежде всего, не всегда удается обосновать тот набор критериев, который необходим и достаточен для решения конкретной задачи оценивания. Может показаться, что набор критериев "естественно" возникает в каждой конкретной задаче. Но, увы, это далеко не так.

Еще сложнее обстоит дело с весами критериев. Можно даже сказать, что веса критериев – самое тонкое место в проблеме критериального анализа. Чаще всего веса назначают, исходя из интуитивного представления о сравнительной важности критериев. Однако исследования показывают, что человек (эксперт) не способен непосредственно назначать критериям корректные численные веса. Необходимы специальные процедуры получения весов.

Итак, при серьезном рассмотрении выходит, что и оценки по критериям и сами критерии с их весами зачастую имеют весьма сомнительное происхождение. Вне поля критики осталась одна операция суммирования. Неужели и она может подвести? Еще как! Оказывается, что операция суммирования в данном случае не всегда корректна! В классической книге американских математиков Р.Л. Кини и Х. Райфа "Принятие решений при многих критериях: предпочтения и замещения" (Москва, изд-во "Радио и связь", 1981) строго доказано, что подобная формула корректна только тогда, когда все критерии попарно независимы по предпочтению. Что такое "зависимость" критериев, какие виды зависимости бывают, и что из этого следует – все это выходит за рамки данной статьи.

Более того, оказывается, что сумма оценок основана на следующем неявном постулате: "низкая оценка по одному критерию может быть компенсирована высокой оценкой по другому". Однако, этот постулат верен отнюдь не всегда. Например, пусть качество оператора ввода текстов оценивается двумя критериями: 1) скорость ввода (символов в минуту) и 2) среднее количество ошибок на страницу текста. Очевидно, что ухудшение качества ввода (увеличение количества ошибок) не может быть компенсировано увеличением скорости ввода. Можно даже сказать, что в области оценки персонала такая ситуация типична. Скажем, недостаток компетентности не может быть компенсирован повышенным уровнем активности. Скорее наоборот! Вспомним шутливое изречение: "Кто может быть хуже дурака? Дурак с инициативой!"

В итоге, можно сказать, что ценность подобных "рейтингов" не дотягивает даже до ценности выеденного яйца, которое само по себе все же имеет цену, хотя бы как минеральное удобрение. Более того - они даже вредны, поскольку дают искаженную картину реальности.

Почему же происходят все эти неприятности? Почему с таким постоянством применяется формула (1)? Ответ очевиден - кадровики и консультанты не знакомы с корректными методами построения рейтингов.

Причем речь идет не только о численных методах. Понятно, что слово "математический" прежде всего ассоциируется с понятием "число". Однако, современная математика научилась оперировать не только числами. Как пишет профессор А.И.Орлов: "С начала 70-х годов под влиянием запросов прикладных исследований в технических, медицинских и социально- экономических науках в России активно развивается статистика объектов нечисловой природы, известная также как статистика нечисловых данных или нечисловая статистика. В создании этой сравнительно новой области прикладной математической статистики приоритет принадлежит российским ученым."

Нетрудно показать, что при оценивании персонала применимы как числовые так и нечисловые (например, ранговые) подходы. Только делать это надо грамотно, подбирая подходящий метод к конкретной ситуации. Поскольку рамки статьи не позволяют рассмотреть все подходы, сосредоточим внимание только на численных методах, а точнее - на одной числовой модели. Определение терминов

Не являясь специалистом по работе с персоналом, я все же для определенности вынужден уточнить используемую мной терминологию. Надеюсь, специалисты простят мне возможные "художества".

Когда говорят "оценка" подразумевают использование какого-либо инструмента измерения. Оценить по существу означает измерить . Если мы оцениваем, к примеру, квартиру, то мы пытаемся "измерить" ее в денежных единицах. Что же измеряют при оценивании персонала? Условно можно считать, что измеряется некоторое "качество" сотрудника. Это качество определяется одним или несколькими критериями. Дадим следующие определения.

Оценивание - процедура получения числа, выражающего "качество" сотрудника. Условимся называть это число рейтингом сотрудника.

Объект оценивания - сотрудник предприятия.

Субъекты оценивания:

В случае использования компьютерного тестирования можно условно считать субъектом оценивания также автора (авторов) теста. Оценку сослуживцев коллегами, начальниками и подчиненными назовем взаимооценкой .

Критерии - факторы, показатели, определяющие "качество" сотрудника.

Примеры критериев:

ЛПР - "лицо, принимающее решение" (или группа таких лиц). Этой аббревиатурой будем обозначать тех руководителей предприятия и кадровых служб, которые будут принимать все ответственные решения, связанные с организацией и проведением работ по оценке сотрудников. Уточнение задачи оценивания

Прежде всего зададимся вопросом: сколько рейтингов мы хотим получить? Один интегральный (обобщенный) или несколько частных? Например, можно получить два частных рейтинга: 1) рейтинг профессиональных качеств и 2) рейтинг качеств личности. Стоит ли объединять их в один обобщенный? При этом важен и другой вопрос: можно ли корректно построить обобщенную оценку на основе частных? На второй вопрос ответ есть: можно. Область прикладной математики, в которой исследуются и развиваются подобные методы, получила наименование "Decision Science" (в русскоязычной литературе часто переводится как "Поддержка принятия решений"). Что же касается первого вопроса, то, вообще говоря, однозначного ответа на него нет. Все определяется целью оценивания. Для определенности, в данной статье условимся считать, что нам нужен один обобщенный рейтинг.

Достоверность оценивания

При обсуждении любого рейтинга неизменно встает вопрос о его достоверности. В этом разделе я без доказательства опишу один математически корректный способ оценки достоверности рейтинга.

Прежде всего займемся взимооценкой. Предложим всем сотрудникам предприятия заполнить следующую анкету.

Таблица 1.

Перечислите сотрудников, которых Вы знаете
Профессиональные качества	Качества личности
Знаю очень хорошо:	Знаю очень хорошо:
(фамилии)	(фамилии)
...	...
Знаю хорошо:	Знаю хорошо:
(фамилии)	(фамилии)
...	...
Знаю удовлетворительно:	Знаю удовлетворительно:
(фамилии)	(фамилии)
...	...

На основе таких анкет можно построить базу данных, содержащую степень знания сотрудниками друг-друга. Будем считать, что степень знания - это безразмерная величина в диапазоне от 0 (полное незнание) до 1 (абсолютно полное знание). Договоримся, что абсолютным знанием не может обладать никто и никогда. Тогда, к примеру, можно предложить такую шкалу:

Таблица 2

степень знания	числовой эквивалент
очень высокая	0,9
высокая	0,7
средняя (невысокая)	0,5

Заметим, что низкая степень знания или отсутствие такового нас не интересуют и поэтому не рассматриваются.

Если мы собираемся использовать взаимооценку, то очевидно, во-первых, что чем выше степень знания субъектов оценивания об объекте, тем выше достоверность оценки.

Далее, пусть некоторого сотрудника Х будут оценивать N других сотрудников. Тогда нам понадобиться также следующая таблица.

Таблица 3

Субъект оценивания	степень знания объекта X	степень доверия ЛПР
Субъект-1	p1	t1
...	...	...
Субъект-N	pn	tn

Нетрудно заметить, что в последней таблице появилась новая величина - степень доверия ЛПР. Определим ее как безразмерную величину в диапазоне от 0 (отсутствие доверия) до 1 (полное доверие). Будем считать, что эта величина выражает степень доверия ЛПР к степени знания конкретного субъекта о конкретном объекте. Например, в последней таблице величина t1 выражает степень доверия ЛПР к тому, что степень знания субъектом-1 объекта Х равна p1. Поскольку каждый объект оценивания в данной технологии оценивается несколькими субъектами, то для сведения набора степеней доверия объекта оценки к одной (интегральной) степени доверия нам потребуется соответствующая функция. Обозначим ее как

V = f (p,t) , (2)

т.е. аргументами функции являются наборы степеней знания и степеней доверия.

Важно отметить, что функция (2) позволяет не только получить интегральную степень доверия для каждого объекта оценивания, но и рассчитать обобщенную степень доверия для всей работы. Полученную таким образом величину можно рассматривать как степень достоверности рейтинга.

Я догадываюсь, что в этом месте у большинства читателей может возникнуть вопрос: для чего весь этот "огород"? Нельзя ли, к примеру, обойтись без такой неочевидной величины, как t ? Рискую огорчить большинство читателей, но должен со всей ответственностью заявить, что все, что приведено выше и все, что появится далее - не бред распоясавшихся математиков, а тщательно продуманная и выверенная схема. Все, что может показаться излишним - на самом деле жестко требуется для обеспечения корректности оценивания.

Критерии: их шкалы и веса

Ясно, что набор критериев оценки управленцев не может совпадать с набором критериев для оценки рабочих и/или специалистов. Стало быть, для каждого типа объекта оценивания должен быть разработан перечень критериев оценки объектов этого типа. Технологию формирования наборов критериев оставим за рамками данной статьи. Отметим только, что набор критериев должен быть достаточно стабилен, чтобы имелась возможность сравнивать рейтинги, полученные в разное время. Вообще говоря, однократный рейтинг полезен разве что для аутплейсмента (принятия решений по сокращению штатов). В остальных случаях интерес представляет именно динамика рейтинга.

Также существенно для нас и то, что для каждого критерия, по которому предполагается получать экспертную оценку, должна быть разработана шкала. Причем, если нет возможности четкой привязки градаций шкалы к какому-то объективному показателю, число градаций не должно превышать 7-ми. Каждая градация шкалы должна иметь содержательное значение (расшифровку). Приведу пример шкалы для критерия "степень владения профессиональными навыками".

Таблица 4

Значение градации	Балл
очень высокая	5
высокая	4
средняя	3
низкая	2
очень низкая	1

Перейдем к весам критериев. Как отмечалось выше, веса критериев – самое тонкое место в проблеме критериального оценивания. Чаще всего веса назначают, исходя из интуитивного представления о сравнительной важности критериев. Однако исследования показывают, что человек (эксперт, ЛПР) не способен непосредственно назначать критериям корректные численные веса. Более того, есть данные, (они еще не опубликованы) которые свидетельствуют о том, что человек не может корректно назначать веса даже на базе нечисловых шкал. В рамках прикладной дисциплины Decision Science разработаны надежные методы получения весов критериев, однако их рассмотрение выходит за рамки данной статьи.

Читателям с хорошей математической подготовкой, желающим познакомиться с последними результатами в этой области, рекомендую статью В.В.Подиновского "Количественная важность критериев" (Автоматика и телемеханика, №5, 2000 г).

Об одном методе получения численных весов критериев все же следует упомянуть. Метод, о котором пойдет речь, особенно интересен и полезен в том случае, если задача выявления сравнительной важности критериев ставится как отдельная, самостоятельная проблема. В этом случае, наряду с оценками по критериям, каждый субъект оценивания должен выставить каждому объекту, который он оценивает, некую интегральную оценку. Такая "оценка сотрудника в целом" выставляется отдельно от оценок по критериям и никак не должна на них опираться. Если мы говорим "отличный работник" и не детализируем эту оценку, то можно считать, что мы дали человеку некую интегральную оценку. Если у нас есть набор таких интегральных оценок и набор оценок по критериям, то существуют корректный математический метод, позволяющий на основе только этой информации получить веса критериев. Причем, в рамках метода можно получить также оценку надежности численных значений весов.

Предложение авторам статей и книг