Научный журнал
Фундаментальные исследования
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,118

МЕТОДИКА ПРОВЕДЕНИЯ ЭКСПЕРТНОГО ОПРОСА ПО ОЦЕНИВАНИЮ СВОЙСТВ И ФАКТОРОВ, ВЛИЯЮЩИХ НА КАЧЕСТВО И КОМПЕТЕНТНОСТЬ ЭКСПЕРТОВ

Ситков Р.А. 1 Щельников В.Н. 1 Петрушин И.Е. 1
1 ФГБВОУ ВО «Военно-космическая академия имени А.Ф. Можайского»
С целью качественного отбора кандидатов для работы в составе различного рода экспертных комиссий предложена методика, позволяющая определять такие свойства эксперта, влияющие на его качество, как компетентность, деловитость и заинтересованность. Приведены результаты экспертного опроса, проведенного авторами с целью определения относительных весов свойств, влияющих на качество эксперта, значений коэффициентов факторов, влияющих на номинальную компетентность эксперта, и их относительных весов. Описан порядок проведения экспертного опроса. По каждому из оцениваемых свойств (факторов) было получено четыре вида оценок (непосредственная оценка, нормированная оценка, ранг и стандартизованный ранг). Получены согласованные оценки по относительной важности свойств эксперта, влияющих на его качество, а также по весомости и значениям коэффициентов факторов, влияющих на его компетентность.
вербально-числовая шкала Харрингтона
экспертный опрос
мода
медиана
среднее геометрическое
компетентность
1. Азгальдов Г.Г., Костин А.В., Садовов В.В. Квалиметрия для всех: Учебное пособие. – М.: ИД ИнформЗнание, 2012. – 165 с.
2. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. – М.: Статистика, 1980. – 263 с.
3. Кудрина В.Г., Липатова Е.Л., Гончарова О.В. Экспертные оценки в здравоохранении – М.: РМАПО, 2010. – 39 с.
4. Литвак Б.Г. Экспертные оценки и принятие решений. – М.: Патент, 1996. – 271 с.
5. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. – М.: Экономика, 1974. – 151 с.

Актуальной задачей при формировании различного рода экспертных комиссий является отбор кандидатов для работы в их составе. Для решения этой задачи предложена методика, позволяющая определять такие свойства эксперта, влияющие на его качество, как компетентность, деловитость и заинтересованность.

Методика носит комбинированный характер, совмещая в себе эвристический (оценку эксперта со стороны его непосредственного начальника) и документальный (соответствие эксперта определённым формальным показателям) методы. Определение качества эксперта при этом выполняется по формуле

sitk01.wmf, (1)

где kкомп. – компетентность эксперта;

kдел. – деловитость эксперта;

kзаинт. – заинтересованность эксперта;

wкомп. – вес коэффициента компетентности эксперта;

wдел. – вес коэффициента деловитости эксперта;

wзаинт. – вес коэффициента заинтересованности эксперта;

Компетентность эксперта определяется по формуле

sitk02.wmf (2)

где

sitk03.wmf (3)

Kк.ном. – номинальный уровень компетенции;

Kк.нач. – уровень компетенции эксперта по оценке его начальника.

Наименования факторов и их весов приведены в табл. 2.

Таблица 1

Веса факторов, влияющих на качество эксперта

Свойство эксперта

Вес свойства

Компетентность

 

Деловитость

 

Уверенность

 

Заинтересованность

 

Относительные веса свойств, влияющих на качество эксперта, значения коэффициентов факторов, влияющих на номинальную компетентность эксперта, и их относительные веса были определены с помощью экспертного опроса.

Методика проведения опроса заключалась в следующем. Экспертам (из числа лиц профессорско-преподавательского состава и научных сотрудников академии), привлечённым к опросу, выдавались анкеты с табл. 1 и 2, в пустующих клетках которых – вес свойства и вес фактора (для табл. 1), значение фактора (для табл. 2), Эксперты должны были проставить оценки из соответствующих их внутренним ощущениям диапазонов вербально-числовой шкалы Харрингтона (табл. 3) [1, 2].

При этом для исключения двусмысленности толкования оцениваемым свойствам, опрашиваемым были даны определения оцениваемых свойств.

Таблица 2

Факторы, влияющие на номинальную компетентность эксперта

Фактор

Вес

фактора

Значение фактора

низкий

уровень

средний уровень

высокий уровень

Образование,

kобр

 

высшее

образование (ВО)

ВО и курсы повышения квалификации

ВО и военная академия

(второе ВО)

     

Научная квалификация,

учёная степень,

kнк.ст.

 

уч. степень

отсутствует

кандидат

наук

доктор

наук

     

Научная квалификация,

учёное звание,

kнк.зв.

 

уч. звание

отсутствует

доцент

профессор

     

Должность,

kдолжн.

 

начальник лаборатории, старший научный сотрудник отдела, старший преподаватель, преподаватель

начальник (зам. нач.) кафедры (отдела), профессор кафедры, доцент

начальник

(зам. нач.) управления

     

Стаж, kстаж.

 

до 5 лет

от 5 до 10 лет

свыше 10 лет

     

Источник

информации, kинф.

 

интуиция

эксперта

опыт работы по данному направлению

проведение исследований по данному направлению

     

Таблица 3

Вербально-числовая шкала Харрингтона

№ п/п

Описательная интенсивность оцениваемого показателя

Числовое значение

1

Очень высокая

0,8 ≤ А < 1,0

2

Высокая

0,63 ≤ А < 0,8

3

Средняя

0,37 ≤ А < 0,63

4

Низкая

0,2 ≤ А < 0,37

5

Очень низкая

0,0 ≤ А < 0,2

Аудитория опроса составила 41 человек по свойствам, влияющим на качество эксперта, и 33 человека по факторам, влияющим на компетентность эксперта (разница в количестве объясняется тем, что часть таблиц были заполнены неверно и потому были исключены из рассмотрения).

Таким образом, по каждому из оцениваемых свойств (факторов) было получено четыре вида оценок (непосредственная оценка, нормированная оценка, ранг и стандартизованный ранг).

Выявление группового мнения производилось для каждой из видов оценок по следующим средним (таблицы 6 и 8):

– среднему арифметическому

sitk04.wmf;

– среднему геометрическому

sitk05.wmf;

– медиане Ме (при ранжировании оценок по возрастанию (убыванию) оценка, занимающая в выборке центральное положение для нечётного числа оценок, и оценка равная полусумме двух центральных оценок выборки для чётного);

– моде Мо (наиболее часто встречающейся оценке).

При этом по каждой из средних осуществлялось ранжирование оцениваемых факторов, рассчитывалась сумма рангов по всем средним и на основе суммы рангов осуществлялось итоговое ранжирование RRi, которое принималось в качестве мнения экспертов. Расстановка рангов осуществлялась по следующему принципу: первый ранг присваивался наиболее, а максимальный ранг – наименее значимому свойству (фактору).

Оценивание согласованности мнений экспертов проводилось по нормированным оценкам с помощью коэффициента вариации Vi:

sitk06.wmf, (4)

где σ – среднеквадратическое отклонение:

sitk07.wmf – среднее арифметическое i-го фактора:

При оценивании согласованности мнений (табл. 5 и 7) исходили из следующих соотношений:

– Vi < 0,2 – согласованность хорошая;

– Vi < 0,3 – удовлетворительная;

– Vi > 0,3 – неудовлетворительная.

Оценивание веса отдельных свойств производилось на основе сумм рангов по средним по формуле

sitk08.wmf, (5)

где

sitk09.wmf,

Ri – сумма рангов по средним для i-го свойства.

Соответственно, на этапе отбора это свойство не рассматривается, а его весомость в равных долях распределяется между оставшимися свойствами (табл. 4).

Таблица 4

Веса факторов влияющих на качество эксперта

Свойство эксперта

Вес свойства

Компетентность

0,46

0,5

Деловитость

0,18

0,23

Уверенность

0,14

Заинтересованность

0,22

0,27

Результаты опроса по свойствам, влияющим на качество эксперта (столбец 2 табл. 4), показывают, что, с точки зрения опрошенных, определяющим свойством эксперта является его компетентность (вес 0,46), которая с большим отрывом занимает 1-е место. Такие свойства, как желание работать (заинтересованность) и деловитость, обеспечивающие полноту раскрытия этого базового свойства занимают 2-е и 3-е места (веса 0,22 и 0,18) соответственно. Также имеет значение и уверенность эксперта (4-е место, вес 0,14) в сделанной им оценке. Практика проведения экспертных опросов показывает, что, как правило, чем более эксперт уверен в своей оценке, тем более она приближается к истинной оценке (т.е. тем более она достоверна) [3]. Отметим, что в формуле (1) такое свойство эксперта, как уверенность, отсутствует, связано это с тем, что на этапе отбора экспертов оценить это свойство невозможно, так как уверенность (неуверенность) эксперта проявляется после его знакомства с предметом оценивания и всеми имеющимися материалами по нему.Только тогда эксперт может оценить вынесенное им суждение с точки зрения своей уверенности в нём [4].

Таким образом, цель опроса достигнута, получены согласованные оценки, по относительной важности свойств эксперта, влияющих на его качество (табл. 4), а также по весомости и значениям коэффициентов факторов, влияющих на его компетентность (табл. 9).

Таблица 5

Оценка согласованности мнений экспертов по свойствам, влияющим на качество эксперта

№ п/п

Свойства

эксперта

Среднее арифм.

Дисперсия

Среднее квадратическое отклонение

Коэффициент

вариации

sitk10.wmf

D

σ

V

1

Компетентность

0,306268

0,001991

0,04462

0,145688

2

Деловитость

0,233763

0,001302

0,036079

0,154338

3

Уверенность

0,227274

0,001451

0,03809

0,167597

4

Заинтересованность

0,232695

0,00286

0,053481

0,229834

Таблица 6

Результаты опроса по оцениванию свойств, влияющих на качество эксперта

№ п/п

Свойства

эксперта

Сумма рангов по средним

Ранг по сумме рангов

Вес свойства

Ri

RRi

Wi

1

Компетентность

17

1

0,46

2

Деловитость

43

3

0,18

3

Уверенность

55

4

0,14

4

Заинтересованность

36

2

0,22

 

Σ

151

10

1

Таблица 7

Оценка согласованности мнений экспертов по факторам, влияющим на компетентность эксперта

№ п/п

Свойства

эксперта

Ср. арифм.

Дисперсия

СКО

Коэф. вариации

sitk11.wmf

D

σ

V

1

Образование

0,210344

0,001355

0,036811

0,175005

2

Учёная степень

0,174366

0,00095

0,030819

0,176748

3

Учёное звание

0,141483

0,001486

0,038548

0,272454

4

Должность

0,116986

0,001904

0,043639

0,373027

5

Стаж

0,179085

0,001356

0,036823

0,205617

6

Источник инф.

0,177737

0,002234

0,047269

0,265947

Таблица 8

Результаты опроса по оцениванию факторов, влияющих на компетентность эксперта

№ п/п

Свойства

эксперта

Сумма рангов по средним

Ранг по сумме рангов

Вес свойства

Ri

RRi

Wi

1

Образование

16

1

0,41

2

Учёная степень

49

4

0,13

3

Учёное звание

76

5

0,09

4

Должность

94

6

0,07

 

Стаж

48

3

0,14

 

Источник инф.

40

2

0,16

 

Σ

323

21

1

Результаты опроса по факторам, влияющим на компетентность эксперта (табл. 9), показывают, что главным из них является образование (вес фактора 0,41), значимость которого существенно превышает весомость таких факторов, как источник информации (0,16), стаж работы (0,14) и учёная степень (0,13), наименее значимы – учёное звание (0,09) и должность (0,07).

Таблица 9

Факторы, влияющие на номинальную компетентность эксперта

Фактор

Вес

фактора

Значение фактора

низкий уровень

средний уровень

высокий уровень

Образование,

kобр

wобр = 0,41

высшее

образование (ВО)

ВО и курсы повышения квалификации

ВО и военная академия (второе ВО)

0,76

0,83

1

Научная квалификация, учёная степень, kнк.ст.

wнк.ст. = 0,13

уч. степень

отсутствует

кандидат

наук

доктор

наук

0

0,77

1

Научная квалификация, учёное звание, kнк.зв

wнк.зв = 0,09

уч. звание

отсутствует

доцент

профессор

0

0,78

1

Должность, kдолжн.

wдолжн. = 0,07

начальник лаборатории, старший научный сотрудник отдела, старший преподаватель, преподаватель

начальник (зам. нач.) кафедры (отдела), профессор кафедры доцент,

начальник

(зам. нач.) управления

0,64

0,82

1

Стаж, kстаж.

wстаж. = 0,14

до 5 лет

от 5 до 10 лет

свыше 10 лет

0,47

0,78

1

Источник

информации, kинф.

wинф. = 0,16

интуиция

эксперта

опыт работы по данному направлению

проведение исследований по данному направлению

0,48

0,89

1

Значения коэффициентов вариации, приведённые в табл. 5 и 7, показывают, что мнения экспертов по большинству оцениваемых свойств и факторов согласованы, за исключением такого фактора, как «должность. Так как речь идёт о самом малозначимом из всех рассматриваемых факторов, отсутствием согласованности по нему можно пренебречь [5].


Библиографическая ссылка

Ситков Р.А., Щельников В.Н., Петрушин И.Е. МЕТОДИКА ПРОВЕДЕНИЯ ЭКСПЕРТНОГО ОПРОСА ПО ОЦЕНИВАНИЮ СВОЙСТВ И ФАКТОРОВ, ВЛИЯЮЩИХ НА КАЧЕСТВО И КОМПЕТЕНТНОСТЬ ЭКСПЕРТОВ // Фундаментальные исследования. – 2016. – № 11-5. – С. 944-948;
URL: http://fundamental-research.ru/ru/article/view?id=41281 (дата обращения: 21.11.2018).

Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»
(Высокий импакт-фактор РИНЦ, тематика журналов охватывает все научные направления)

«Фундаментальные исследования» список ВАК ИФ РИНЦ = 1.252