Широкое применение экспертных методов контроля качества продукции и услуг в различных отраслях промышленности ставит задачу определения качества принимаемых решений по результатам контроля экспертов и экспертной комиссии.
Контроль качества продукции и услуг в основном проводится по ряду показателей. Например, качество пищевых продуктов определяется по ряду органолептических показателей, как вкус, цвет, запах и т.п. В этом случае производится комплексирование показателей качества [1-2]. Комплексирование может быть произведено по результатам измерения, как отдельного эксперта, так и экспертной комиссии, т.е. как по результатам однократного измерения показателей качества, так и по результатам многократного измерения. По результатам комплексирования возможны решения вида:
- в случае однократного измерения двух объектов экспертизы,
, 
, ...,
- в случае многократного измерения двух объектов экспертизы и ранжированный ряд , ..., - в случае многократного измерения нескольких объектов экспертизы, где 
- комплексный показатель качества i-го объекта экспертизы.
Целью данного исследования является определение качества принимаемых решений по результатам комплексирования показателей качества.
Метод исследования - аналитический.
Результаты исследования. При комплексировании показателей качества производится математическое действие с показателями качества. В общем случае результат комплексирования определяется по формуле:
(1)
При допущении, что единичные показатели независимы, стандартное отклонение результата комплексирования 
можно вычислить по формуле:
(2)
В случае однократного измерения двух объектов экспертизы стандартные отклонения результатов комплексирования равны между собой, так как равны между собой стандартные отклонения результатов измерения единичных показателей качества. Следовательно, качество решения по результатам комплексирования вида независимо от способа получения комплексных показателей характеризуется значимостью различия между ними и зависит от значимости различия между единичными показателями качества, которые могут быть определены на основе априорной информации о вероятности правильного решения эксперта. Следовательно, показателем качества решения по результатам комплексирования вида будет вероятность правильного решения эксперта Pэ.
Естественно, что априорная вероятность правильного решения эксперта не должна быть ниже некоторого предельно допустимого значения Рэ.доп.
В случае многократного измерения двух объектов экспертизы стандартные отклонения нескольких однократных решений по результатам комплексирования , , ..., можно вычислить по формуле (2), и по критерию Фишера [1-2] найти значимость их различия. В этом случае качество однократных решений по результатам комплексирования будет характеризоваться выбранной доверительной вероятностью. Или же можно определить вероятность правильного составления ранжированного ряда экспертной комиссией, которая будет равна:
(3)
где Рэki - вероятность правильного i-го решения экспертной комиссии; Рэk - вероятность правильного решения экспертной комиссии; l - количество принимаемых решений экспертной комиссией.
Следовательно, качество нескольких однократных решений может характеризоваться выбранной доверительной вероятностью или же вероятностью правильного решения экспертной комиссии.
Для проверки правильности составления ранжированного ряда (принятия решения) можно воспользоваться различными критериями, разработанными в теории экспертных методов измерений. К числу таких критериев относятся:
-
критерий для особого объекта, когда какой-то объект особенно интересен в эксперименте парных сравнений;
-
критерий для проверки эквивалентности двух особых объектов;
-
критерий для наибольшего значения («победителя»);
-
общий критерий эквивалентности;
-
метод наименьшей значимой разности;
-
критерий множественного сравнения для размахов;
-
метод суждения о контрастах значений [3].
Обзор этих критериев показывает, что для проверки правильности составления ранжированного ряда наиболее подходит общий критерий эквивалентности в сочетании со следующими критериями:
-
метод наименьшей значимой разности;
-
критерий для проверки эквивалентности двух особых объектов;
-
критерий множественного сравнения для размахов;
-
метод суждений о контрастах значений.
При проверке правильности составления ранжированного ряда (принятия решения) сначала по общему критерию эквивалентности необходимо определить значимость различия между членами ранжированного ряда. Если есть значимое различие между членами ранжированного ряда, то следует проверять значимость различия между каждыми двумя соседними членами ранжированного ряда.
Общий критерий эквивалентности аналогичен F-критерию. Выдвигаются две гипотезы.
Нулевая гипотеза:
- средние вероятности предпочтения i-го объекта перед j-м равны между собой, кроме j = i.
Альтернативная гипотеза:
- не все средние вероятности предпочтения равны между собой.
Для проверки нулевой гипотезы выбирают желаемый уровень значимости α. При небольших экспериментах находят сумму квадратов рангов 
и сравнивают с критическим значением по таблице критических значений для суммы квадратов очков 
.
Для больших экспериментов находят величину
и сравнивают ее с верхней критической точкой уровня α χ2 - распределения с (m - 1) степенями свободы. Если наблюдаемое значение или Dn больше критического значения, то нулевая гипотеза отклоняется в пользу альтернативной, т.е. не все средние вероятности предпочтения равны между собой [3].
В этом случае возникает необходимость проверки значимости различия между двумя соседними членами ранжированного ряда. Для этого можно воспользоваться критерием для проверки эквивалентности двух особых объектов или методом наименьшей разности, методом суждения о контрастах значений. Суть этих критериев состоит в проверке значимости различия между двумя объектами. Выдвигаются две гипотезы:
нулевая:
- объекты равнозначны;
альтернативная: 
- объекты неравнозначны.
Для проверки нулевой гипотезы по критерию для проверки эквивалентности двух особых объектов выбирают желаемый уровень значимости α и находят величину mc, наименьшее целое значение числа m, для которого 
не превосходит α. Величину mc находят по таблице критических значений для разности между очками двух заранее заданных объектов при малом объеме выборки [3]. При больших объемах mc находят по следующим формулам:
- при уровне значимости α = 0,01;
- при уровне значимости α = 0,05,
где 
.
Если 
, то принимают альтернативную гипотезу.
Метод наименьшей значимой разности заключается в следующем. Находят критическое значение mc двустороннего критерия для двух особых объектов, как при проверке эквивалентности, и считают, что объекты значимо различаются, если каждая пара значений отличается на mc или больше. Величину mc также находят по таблице критических значений для разности между очками двух заранее заданных объектов при малом объеме выборки для двустороннего критерия [4]. При больших объемах mc для двустороннего критерия находят по следующим формулам:
- при уровне значимости α = 0,01;
- при уровне значимости α = 0,05.
При проверке значимости различия между двумя объектами методом суждения о контрастах значений выбирают два любых члена ранжированного ряда и определяют их разность - контраст:
где 
, 
, - сумма рангов, проставленных всеми экспертами j-му и l-му члену ранжированного ряда, соответственно; n - количество экспертов.
Далее вычисляют величины:
1) 
2) 
где r - количество одновременно сравниваемых членов ранжированного ряда; Lj = 1;
3) ψDn,c.
При сравнении двух членов ранжированного ряда r = 2.
Величина Dn,c соответствует верхней критической точке уровня α χ2 - распределения с (m - 1) степенями свободы. Если 
, то контраст считается значимым [5].
Критерий множественного сравнения для размахов был предложен Тьюки и основан на размахе значений, полученных для m объектов.
Выбирают желаемый уровень значимости α. Находят положительное целое число Rβ(α), такое, что
(4)
где вероятности вычисляются при условии выполнения нулевой гипотезы о равенстве сравниваемых объектов. При небольших экспериментах для получения Rβ(α) необходимо воспользоваться таблицей критических значений Rβ(α) для множественного критерия сравнения размахов. При больших экспериментах находят верхнюю критическую точку уровня α Wt,α [6]. И находят некоторую величину R* из уравнения
Если R+ - наименьшее целое число, равное или большее, чем R*, превышает 
, то из уравнения (4) получают β и Rβ(α). В противном случае полагают, что Rβ(α) = R*. Любая парная разность, равная или большая, чем Rβ(α), считается значимой.
Таким образом, качество результата измерения в виде ранжированного ряда может характеризоваться выбранным уровнем значимости или заданной вероятностью при применении критериев математической статистики.
Выводы
Следовательно, качество решения по результатам комплексирования в случае однократного измерения двух объектов экспертизы характеризуется вероятностью правильного решения эксперта, а в случае многократного измерения двух объектов экспертизы будет характеризоваться выбранной доверительной вероятностью. Качество составления ранжированного ряда по результатам комплексирования в случае однократного измерения может быть определено на основе априорной информации о достоверности решения эксперта, в случае многократного измерения характеризуется выбранным уровнем значимости или заданной вероятностью.
Рецензенты:
-
Данилов М.Б., д.т.н., профессор, заведующий кафедрой «Технология мясных и консервированных продуктов» Восточно-Сибирского государственного университета технологии и управления, г. Улан-Удэ;
-
Хамнаева Н.И., д.т.н., профессор, заведующая кафедрой «Социальный и технологический сервис» Восточно-Сибирского государственного университета технологии и управления, г. Улан-Удэ.
Работа поступила в редакцию 03.09.2012.