Актуальной задачей при формировании различного рода экспертных комиссий является отбор кандидатов для работы в их составе. Для решения этой задачи предложена методика, позволяющая определять такие свойства эксперта, влияющие на его качество, как компетентность, деловитость и заинтересованность.
Методика носит комбинированный характер, совмещая в себе эвристический (оценку эксперта со стороны его непосредственного начальника) и документальный (соответствие эксперта определённым формальным показателям) методы. Определение качества эксперта при этом выполняется по формуле
, (1)
где kкомп. – компетентность эксперта;
kдел. – деловитость эксперта;
kзаинт. – заинтересованность эксперта;
wкомп. – вес коэффициента компетентности эксперта;
wдел. – вес коэффициента деловитости эксперта;
wзаинт. – вес коэффициента заинтересованности эксперта;
Компетентность эксперта определяется по формуле
(2)
где
(3)
Kк.ном. – номинальный уровень компетенции;
Kк.нач. – уровень компетенции эксперта по оценке его начальника.
Наименования факторов и их весов приведены в табл. 2.
Таблица 1
Веса факторов, влияющих на качество эксперта
|
Свойство эксперта |
Вес свойства |
|
Компетентность |
|
|
Деловитость |
|
|
Уверенность |
|
|
Заинтересованность |
Относительные веса свойств, влияющих на качество эксперта, значения коэффициентов факторов, влияющих на номинальную компетентность эксперта, и их относительные веса были определены с помощью экспертного опроса.
Методика проведения опроса заключалась в следующем. Экспертам (из числа лиц профессорско-преподавательского состава и научных сотрудников академии), привлечённым к опросу, выдавались анкеты с табл. 1 и 2, в пустующих клетках которых – вес свойства и вес фактора (для табл. 1), значение фактора (для табл. 2), Эксперты должны были проставить оценки из соответствующих их внутренним ощущениям диапазонов вербально-числовой шкалы Харрингтона (табл. 3) [1, 2].
При этом для исключения двусмысленности толкования оцениваемым свойствам, опрашиваемым были даны определения оцениваемых свойств.
Таблица 2
Факторы, влияющие на номинальную компетентность эксперта
|
Фактор |
Вес фактора |
Значение фактора |
||
|
низкий уровень |
средний уровень |
высокий уровень |
||
|
Образование, kобр |
высшее образование (ВО) |
ВО и курсы повышения квалификации |
ВО и военная академия (второе ВО) |
|
|
Научная квалификация, учёная степень, kнк.ст. |
уч. степень отсутствует |
кандидат наук |
доктор наук |
|
|
Научная квалификация, учёное звание, kнк.зв. |
уч. звание отсутствует |
доцент |
профессор |
|
|
Должность, kдолжн. |
начальник лаборатории, старший научный сотрудник отдела, старший преподаватель, преподаватель |
начальник (зам. нач.) кафедры (отдела), профессор кафедры, доцент |
начальник (зам. нач.) управления |
|
|
Стаж, kстаж. |
до 5 лет |
от 5 до 10 лет |
свыше 10 лет |
|
|
Источник информации, kинф. |
интуиция эксперта |
опыт работы по данному направлению |
проведение исследований по данному направлению |
|
Таблица 3
Вербально-числовая шкала Харрингтона
|
№ п/п |
Описательная интенсивность оцениваемого показателя |
Числовое значение |
|
1 |
Очень высокая |
0,8 ≤ А < 1,0 |
|
2 |
Высокая |
0,63 ≤ А < 0,8 |
|
3 |
Средняя |
0,37 ≤ А < 0,63 |
|
4 |
Низкая |
0,2 ≤ А < 0,37 |
|
5 |
Очень низкая |
0,0 ≤ А < 0,2 |
Аудитория опроса составила 41 человек по свойствам, влияющим на качество эксперта, и 33 человека по факторам, влияющим на компетентность эксперта (разница в количестве объясняется тем, что часть таблиц были заполнены неверно и потому были исключены из рассмотрения).
Таким образом, по каждому из оцениваемых свойств (факторов) было получено четыре вида оценок (непосредственная оценка, нормированная оценка, ранг и стандартизованный ранг).
Выявление группового мнения производилось для каждой из видов оценок по следующим средним (таблицы 6 и 8):
– среднему арифметическому
;
– среднему геометрическому
;
– медиане Ме (при ранжировании оценок по возрастанию (убыванию) оценка, занимающая в выборке центральное положение для нечётного числа оценок, и оценка равная полусумме двух центральных оценок выборки для чётного);
– моде Мо (наиболее часто встречающейся оценке).
При этом по каждой из средних осуществлялось ранжирование оцениваемых факторов, рассчитывалась сумма рангов по всем средним и на основе суммы рангов осуществлялось итоговое ранжирование RRi, которое принималось в качестве мнения экспертов. Расстановка рангов осуществлялась по следующему принципу: первый ранг присваивался наиболее, а максимальный ранг – наименее значимому свойству (фактору).
Оценивание согласованности мнений экспертов проводилось по нормированным оценкам с помощью коэффициента вариации Vi:
, (4)
где σ – среднеквадратическое отклонение:
– среднее арифметическое i-го фактора:
При оценивании согласованности мнений (табл. 5 и 7) исходили из следующих соотношений:
– Vi < 0,2 – согласованность хорошая;
– Vi < 0,3 – удовлетворительная;
– Vi > 0,3 – неудовлетворительная.
Оценивание веса отдельных свойств производилось на основе сумм рангов по средним по формуле
, (5)
где
,
Ri – сумма рангов по средним для i-го свойства.
Соответственно, на этапе отбора это свойство не рассматривается, а его весомость в равных долях распределяется между оставшимися свойствами (табл. 4).
Таблица 4
Веса факторов влияющих на качество эксперта
|
Свойство эксперта |
Вес свойства |
|
|
Компетентность |
0,46 |
0,5 |
|
Деловитость |
0,18 |
0,23 |
|
Уверенность |
0,14 |
– |
|
Заинтересованность |
0,22 |
0,27 |
Результаты опроса по свойствам, влияющим на качество эксперта (столбец 2 табл. 4), показывают, что, с точки зрения опрошенных, определяющим свойством эксперта является его компетентность (вес 0,46), которая с большим отрывом занимает 1-е место. Такие свойства, как желание работать (заинтересованность) и деловитость, обеспечивающие полноту раскрытия этого базового свойства занимают 2-е и 3-е места (веса 0,22 и 0,18) соответственно. Также имеет значение и уверенность эксперта (4-е место, вес 0,14) в сделанной им оценке. Практика проведения экспертных опросов показывает, что, как правило, чем более эксперт уверен в своей оценке, тем более она приближается к истинной оценке (т.е. тем более она достоверна) [3]. Отметим, что в формуле (1) такое свойство эксперта, как уверенность, отсутствует, связано это с тем, что на этапе отбора экспертов оценить это свойство невозможно, так как уверенность (неуверенность) эксперта проявляется после его знакомства с предметом оценивания и всеми имеющимися материалами по нему.Только тогда эксперт может оценить вынесенное им суждение с точки зрения своей уверенности в нём [4].
Таким образом, цель опроса достигнута, получены согласованные оценки, по относительной важности свойств эксперта, влияющих на его качество (табл. 4), а также по весомости и значениям коэффициентов факторов, влияющих на его компетентность (табл. 9).
Таблица 5
Оценка согласованности мнений экспертов по свойствам, влияющим на качество эксперта
|
№ п/п |
Свойства эксперта |
Среднее арифм. |
Дисперсия |
Среднее квадратическое отклонение |
Коэффициент вариации |
|
|
D |
σ |
V |
||
|
1 |
Компетентность |
0,306268 |
0,001991 |
0,04462 |
0,145688 |
|
2 |
Деловитость |
0,233763 |
0,001302 |
0,036079 |
0,154338 |
|
3 |
Уверенность |
0,227274 |
0,001451 |
0,03809 |
0,167597 |
|
4 |
Заинтересованность |
0,232695 |
0,00286 |
0,053481 |
0,229834 |
Таблица 6
Результаты опроса по оцениванию свойств, влияющих на качество эксперта
|
№ п/п |
Свойства эксперта |
Сумма рангов по средним |
Ранг по сумме рангов |
Вес свойства |
|
Ri |
RRi |
Wi |
||
|
1 |
Компетентность |
17 |
1 |
0,46 |
|
2 |
Деловитость |
43 |
3 |
0,18 |
|
3 |
Уверенность |
55 |
4 |
0,14 |
|
4 |
Заинтересованность |
36 |
2 |
0,22 |
|
Σ |
151 |
10 |
1 |
Таблица 7
Оценка согласованности мнений экспертов по факторам, влияющим на компетентность эксперта
|
№ п/п |
Свойства эксперта |
Ср. арифм. |
Дисперсия |
СКО |
Коэф. вариации |
|
|
D |
σ |
V |
||
|
1 |
Образование |
0,210344 |
0,001355 |
0,036811 |
0,175005 |
|
2 |
Учёная степень |
0,174366 |
0,00095 |
0,030819 |
0,176748 |
|
3 |
Учёное звание |
0,141483 |
0,001486 |
0,038548 |
0,272454 |
|
4 |
Должность |
0,116986 |
0,001904 |
0,043639 |
0,373027 |
|
5 |
Стаж |
0,179085 |
0,001356 |
0,036823 |
0,205617 |
|
6 |
Источник инф. |
0,177737 |
0,002234 |
0,047269 |
0,265947 |
Таблица 8
Результаты опроса по оцениванию факторов, влияющих на компетентность эксперта
|
№ п/п |
Свойства эксперта |
Сумма рангов по средним |
Ранг по сумме рангов |
Вес свойства |
|
Ri |
RRi |
Wi |
||
|
1 |
Образование |
16 |
1 |
0,41 |
|
2 |
Учёная степень |
49 |
4 |
0,13 |
|
3 |
Учёное звание |
76 |
5 |
0,09 |
|
4 |
Должность |
94 |
6 |
0,07 |
|
Стаж |
48 |
3 |
0,14 |
|
|
Источник инф. |
40 |
2 |
0,16 |
|
|
Σ |
323 |
21 |
1 |
Результаты опроса по факторам, влияющим на компетентность эксперта (табл. 9), показывают, что главным из них является образование (вес фактора 0,41), значимость которого существенно превышает весомость таких факторов, как источник информации (0,16), стаж работы (0,14) и учёная степень (0,13), наименее значимы – учёное звание (0,09) и должность (0,07).
Таблица 9
Факторы, влияющие на номинальную компетентность эксперта
|
Фактор |
Вес фактора |
Значение фактора |
||
|
низкий уровень |
средний уровень |
высокий уровень |
||
|
Образование, kобр |
wобр = 0,41 |
высшее образование (ВО) |
ВО и курсы повышения квалификации |
ВО и военная академия (второе ВО) |
|
0,76 |
0,83 |
1 |
||
|
Научная квалификация, учёная степень, kнк.ст. |
wнк.ст. = 0,13 |
уч. степень отсутствует |
кандидат наук |
доктор наук |
|
0 |
0,77 |
1 |
||
|
Научная квалификация, учёное звание, kнк.зв |
wнк.зв = 0,09 |
уч. звание отсутствует |
доцент |
профессор |
|
0 |
0,78 |
1 |
||
|
Должность, kдолжн. |
wдолжн. = 0,07 |
начальник лаборатории, старший научный сотрудник отдела, старший преподаватель, преподаватель |
начальник (зам. нач.) кафедры (отдела), профессор кафедры доцент, |
начальник (зам. нач.) управления |
|
0,64 |
0,82 |
1 |
||
|
Стаж, kстаж. |
wстаж. = 0,14 |
до 5 лет |
от 5 до 10 лет |
свыше 10 лет |
|
0,47 |
0,78 |
1 |
||
|
Источник информации, kинф. |
wинф. = 0,16 |
интуиция эксперта |
опыт работы по данному направлению |
проведение исследований по данному направлению |
|
0,48 |
0,89 |
1 |
||
Значения коэффициентов вариации, приведённые в табл. 5 и 7, показывают, что мнения экспертов по большинству оцениваемых свойств и факторов согласованы, за исключением такого фактора, как «должность. Так как речь идёт о самом малозначимом из всех рассматриваемых факторов, отсутствием согласованности по нему можно пренебречь [5].