Вопросы качества образования, его понимания, трактовки и установления критериев, индикативных показателей и оценки эффективности управления качеством решаются со стороны различных научных направлений.
В рамках данной статьи хотелось бы осветить потенциал использования комбинации диаграммы причинно-следственных связей (диаграмма Исикавы), диаграммы Парето и экспертного метода нормирования.
Диаграмма Исикавы – инструмент, обеспечивающий системный подход к определению фактических причин возникновения проблем. Она помогает определить все факторы, влияющие на проблему или желаемый результат. Создание диаграммы лучше всего осуществлять во время мозговой атаки.
Диаграмма Исикавы представляет собой структурную наглядную схему. Она иллюстрирует различные причины, их влияние на процесс, сортирует их и показывает их взаимосвязи. Для каждого следствия существует ряд причин. Нужно сгруппировать их по категориям. Этот прием необходим для определения возможных причин возникновения проблемы или выяснения факторов, ведущих к улучшению. Каждая из линий, нанесенная на схему, должна представлять собой в зависимости от ее положения либо причину, либо следствие: предыдущая линия по отношению к последующей всегда выступает как причина, а последующая как следствие.
Рис. 1. Пример диаграммы Исикавы по причинам, влияющим на результаты контроля успеваемости
В общем случае существуют уже рассмотренные выше шесть возможных причин тех или иных результатов: материал (material), оборудование (machine), измерение (measurement), метод (method), люди (man), менеджмент (management). Возможен и релевантный по отношению к объекту оценки подход к выделению факторов (рис. 1).
Ценность такой диаграммы, безусловно, возрастает, если приведена не только группировка факторов, но их весовое значение, т.е. доля вклада каждого фактора и группы факторов в результат (показатель качества или проблему). Для этих целей мы предлагаем метод нормирования или последовательного сравнения [8].
Расчет весов факторов диаграммы Исикавы производится в рамках иерархических уровней и обособленно для факторов конкретной ветви-группы (подветви-подгруппы).
Факторы Ф1 – Фn, подлежащие экспертной оценке, оцениваются в рамках любой шкалы, размеченной в процентах или относительных величинах от 0 до 1, или в любой другой (например, 5-балльной) шкале.
Результаты опроса нескольких экспертов сводятся в матрицу опроса размером m*n, где m – количество экспертов, n – количество факторов.
Затем производится следующая последовательность действий:
Шаг 1. Рассчитывается сумма весов, даваемых i-м экспертом всем факторам:
.
Шаг 2. Рассчитывается относительный вес j-го фактора на основании оценки i-го эксперта:
.
Шаг 3. рассчитывается результирующий вес j-го фактора:
.
Рассмотрим расчет весов на небольшом примере. Выделены две группы факторов, влияющих на результаты контроля успеваемости. В таблице приведены результаты опроса четырех экспертов о степени важности трех факторов группы «Форма, средства и методики контроля», оцененные в 100-балльной шкале.
Матрица опроса
Эксперт |
Фактор |
||
Качество контрольных материалов |
Субъективность процедуры оценивания |
Методика оценки |
|
1 |
60 |
20 |
20 |
2 |
40 |
20 |
30 |
3 |
70 |
40 |
50 |
4 |
40 |
80 |
50 |
Рис. 2. Расчет результирующих относительных весов
Иллюстрируем применение метода нормирования в MS Excel. Рассчитываем последовательно суммы баллов по всем экспертам (столбец Е на рис. 2), относительные веса всех факторов по каждому эксперту (ячейки В11:В14 на рис. 2) и результирующие относительные веса факторов (ячейки B15:D15).
Полученные веса свидетельствуют, что наиболее важным в группе факторов «Форма, средства и методика контроля» является качество контрольных материалов (0,43), затем субъективность процедуры оценки (0,29), и на последнем месте с минимальным отрывом – методика оценки (0,28). Сумма весов равна единице.
Расчет весов групп факторов основан на той же последовательности действий экспертного метода нормирования. При этом следует учитывать, что сами группы факторов, скорее всего, окажутся не равнозначными, а значит, полученные весовые значения факторов должны быть пересчитаны с учетом веса групп факторов. Например, если в результате расчетов получилось, что группа факторов «Форма, средства и методика контроля» получила по оценкам экспертов вес 0,4, то итоговые значения весов всех факторов должны быть пересчитаны путем умножения исходных оценок на 0,4: качество контрольных материалов: 0,43*0,4 = 0,172; субъективность процедуры оценки: 0,29*0,4 = 0,116; методика оценки: 0,28*0,4 = 0,112. Сумма весов в данном случае равна 0,4.
По результатам проведенной оценки диаграмма Исикавы будет выглядеть как на рис. 3 (оценку факторов «Методика преподавания» оставляем читателю для самостоятельных расчетов).
Аналогично проводится расчет весовых коэффициентов факторов группы «Методика преподавания».
Анализ причин и их весов приводит к пониманию сложившейся ситуации и определению первоочередных действий для улучшения качества анализируемого процесса, т.е. складывается план действий: причины, которые нужно устранить в первую очередь, во вторую и т.д. Если система стабильна, то все факторы примерно в равной степени влияют на вариации результатов.
Появление среди этих факторов доминирующих причин нарушает стабильность системы, качество ухудшается, поведение системы становится непрогнозируемым.
При использовании экспертных методов всегда встает вопрос о согласованности мнений экспертов. Для проведения такой оценки можно рекомендовать коэффициент конкордации Кендала. Расчету по данному коэффициенту предшествует перевод балльных оценок, полученных от экспертов в ранги. Как известно, низкая согласованность экспертов может свидетельствовать о наличии коалиций в группе экспертов с противоположными взглядами на проблему. Как показывает практика, обычно коалиции образуются экспертами, имеющими схожие роли (например, роли администрации, преподавателей и т.д.) в образовательной системе, а значит, появляется возможность рассмотреть проблему с нескольких позиций.
Для этого можно «расщепить» диаграмму Исикавы, пересчитав веса сообразно коалиционным оценкам. Однако более наглядной как для сопоставления коалиционных мнений, так и для выделения факторов-причин проблемы, требующих первоочередного внимания, является диаграмма Парето.
Диаграмма Парето является графическим отображением правила Парето. В менеджменте качества применение этого правила показывает, что значительное число несоответствий и дефектов возникает из-за ограниченного числа причин. Коротко правило Парето формулируется так: «20 % причин создают 80 % проблем, поэтому надо найти эти причины». Данный подход позволяет рационально распределить силы и ресурсы.
Для ее построения предлагаем воспользоваться данными экспертной оценки. В качестве примера представим диаграмму по результатам продемонстрированной выше оценки методом нормирования (рис. 4).
Рис. 3. Диаграмма Исикавы с рассчитанными относительными весами факторов
Рис. 4. Пример диаграммы Парето
Как видно из диаграммы, по групповому мнению экспертов, наиболее важными факторами, влияющими на результаты контроля успеваемости, являются причины, связанные с качеством учебных материалов, использованием современных образовательных технологий, качеством контрольных материалов и субъективностью процедуры оценки.
Сегодня оценка управления качеством образования непосредственно связана с внедрением процессного подхода, принятием решений, основанных на фактах, а также оценкой взаимодействия субъектов образовательного процесса в целях обеспечения стабильного режима его функционирования, перевода в новое качественное состояние и выхода в позицию развития. Рассмотренный фрагмент методики демонстрирует потенциальные возможности для реализации данных аспектов управления качеством, достаточно легко воспроизводится программно, при этом указанная последовательность процедуры обработки экспертной информации может быть дополнена другими методами и инструментами качества.
Рецензенты:
Шепелёв С.Д., д.т.н., доцент, декан инженерно-технологического факультета Челябинской государственной агроинженерной академии, г. Челябинск;
Дмитриев М.С., д.т.н., профессор кафедры автомобильного транспорта, информационных технологий и методики обучения техническим дисциплинам Профессионально-педагогического института Челябинского государственного педагогического университета, г. Челябинск.
Библиографическая ссылка
Курзаева Л.В., Овчинникова И.Г., Чичиланова С.А. К ВОПРОСУ О СОВЕРШЕНСТВОВАНИИ МЕТОДИКИ ОЦЕНКИ ЭФФЕКТИВНОСТИ РЕШЕНИЯ ЗАДАЧ УПРАВЛЕНИЯ КАЧЕСТВОМ ОБРАЗОВАНИЯ НА ОСНОВЕ ЭКСПЕРТНОЙ ИНФОРМАЦИИ // Фундаментальные исследования. – 2015. – № 6-3. – С. 473-478;URL: https://fundamental-research.ru/ru/article/view?id=38644 (дата обращения: 10.02.2025).