Научный журнал

Фундаментальные исследования

ISSN 1812-7339

"Перечень" ВАК

ИФ РИНЦ = 1,674

• Авторы
• Резюме
• Файлы
• Ключевые слова
• Литература

Курзаева Л.В. 1 Овчинникова И.Г. 2 Чичиланова С.А. 3

---

1 ФГБОУ ВПО «Магнитогорский государственный технический университет им. Г.И. Носова»

2 НОУ ВПО «Институт бизнеса психологии и управления»

3 ФГБОУ ВПО ЧГАА «Челябинская государственная агроинженерная академия»

Поиск путей решения проблемы оценки эффективности управления качеством образования и образовательными системами в силу ее сложности и многоаспектности осуществляется разными научными направлениями: педагогикой, менеджментом, прикладной статистикой и многими другими. В рамках настоящей статьи авторы представляют фрагмент разрабатываемой методики оценки эффективности решения задач управления качеством образования на основе экспертной информации. В основу методики положены два «инструмента качества» – причинно-следственная диаграмма и диаграмма Парето, дополненные экспертным анкетным методом нормирования. Комплексное использование указанных инструментов и методов позволяет перечислить все факторы, влияющие на качество образовательного процесса, определить степень их влияния, а также выявить наиболее значимые факторы и факторы, требующие первоочередных мер. При этом в работе затрагиваются вопросы, связанные с согласованностью мнений экспертов.

Статья в формате PDF

2954 KB

диаграмма Исикавы

диаграмма Парето

экспертные методы

1. Курзаева Л.В. Дистанционный курс «Основы математической обработки информации»: электронный учебно-методический комплекс //Хроники объединенного фонда электронных ресурсов «Наука и образование». – 2014. – Т. 1, № 12 (67). – С. 117.

2. Курзаева Л.В. Инструменты сопряжения требований системы профессионального образования и рынка труда к конкурентоспособности ИТ-специалиста /Л.В. Курзаева // II Всероссийская научно-практическая конференция «Информационные технологии в образовании XXI века (ИТО-XXI)»: сборник научных трудов. Т. 1. – М.: НИЯУ «МИФИ», 2012. – С. 37–40.

3. Курзаева Л.В. Международный опыт управления качеством образования на основе рамочных структур / Л.В.  Курзаева, И.Г. Овчинникова //«Научная дискуссия: вопросы социологии, политологии, философии, истории»: материалы VI международной заочной научно-практической конференции. Часть II (17 октября 2012 г.). – М.: Изд. «Международный центр науки и образования», 2012. – С. 51–56.

4. Курзаева Л.В. Психолого-педагогический инструментарий оценки и диагностики результатов обучения личности по направлениям подготовки в сфере ИТ: метод. Рекомендации / Л.В. Курзаева, И.Г. Овчинникова, Г.В. Слепухина. – Магнитогорск: МаГУ, 2013. – 40 с.

5. Курзаева Л.В. Структурно-функциональная модель развития конкурентоспособности будущего ИТ-специалиста в процессе профессиональной подготовки в вузе: организационно-управленческий аспект / Л.В. Курзаева // Современные проблемы науки и образования. – 2012. – № 6; URL: http://www.science-education.ru/106-7424 (дата обращения 12.06.2015).

6. Овчинникова И.Г. Исследование уровней формирования результатов обучения в системе профессионального образования Челябинской области вуза / И.Г. Овчинникова, Л.В. Курзаева // Спрос и предложение на рынке труда и рынке образовательных услуг в регионах России: сб. докладов по материалам Девятой Всероссийской научно-практической Интернет-конференции (31 октября–1 ноября 2012 г.). – Кн. III. – Петрозаводск: ПетрГУ, 2012. – С. 228–237.

7. Овчинникова И.Г. Мониторинг образовательного процесса вуза / И.Г. Овчинникова, Л.В. Курзаева, И.В. Полякова // Современные проблемы науки и образования. – М., 2009. – № 11. – С. 82–85.

8. Овчинникова И.Г. Оценка эффективности образования личности вуза / И.Г. Овчинникова, В.А. Беликов, Л.В. Курзаева // Социальное партнерство в профессиональном образовании: материалы всероссийской науч.-практ. конф., Магнитогорск, 12 янв. 2010 г. – Магнитогорск: МГППК, 2010. – С. 178–187.

9. Овчинникова И.Г., Курзаева Л.В. Математическое обеспечение информационной системы рейтинговой оценки учреждений высшего профессионального образования // Гуманитарные и социально-экономические науки. – 2012. – № 4. – С. 98–103.

Вопросы качества образования, его понимания, трактовки и установления критериев, индикативных показателей и оценки эффективности управления качеством решаются со стороны различных научных направлений.

В рамках данной статьи хотелось бы осветить потенциал использования комбинации диаграммы причинно-следственных связей (диаграмма Исикавы), диаграммы Парето и экспертного метода нормирования.

Диаграмма Исикавы – инструмент, обеспечивающий системный подход к определению фактических причин возникновения проблем. Она помогает определить все факторы, влияющие на проблему или желаемый результат. Создание диаграммы лучше всего осуществлять во время мозговой атаки.

Диаграмма Исикавы представляет собой структурную наглядную схему. Она иллюстрирует различные причины, их влияние на процесс, сортирует их и показывает их взаимосвязи. Для каждого следствия существует ряд причин. Нужно сгруппировать их по категориям. Этот прием необходим для определения возможных причин возникновения проблемы или выяснения факторов, ведущих к улучшению. Каждая из линий, нанесенная на схему, должна представлять собой в зависимости от ее положения либо причину, либо следствие: предыдущая линия по отношению к последующей всегда выступает как причина, а последующая как следствие.

Рис. 1. Пример диаграммы Исикавы по причинам, влияющим на результаты контроля успеваемости

В общем случае существуют уже рассмотренные выше шесть возможных причин тех или иных результатов: материал (material), оборудование (machine), измерение (measurement), метод (method), люди (man), менеджмент (management). Возможен и релевантный по отношению к объекту оценки подход к выделению факторов (рис. 1).

Ценность такой диаграммы, безусловно, возрастает, если приведена не только группировка факторов, но их весовое значение, т.е. доля вклада каждого фактора и группы факторов в результат (показатель качества или проблему). Для этих целей мы предлагаем метод нормирования или последовательного сравнения [8].

Расчет весов факторов диаграммы Исикавы производится в рамках иерархических уровней и обособленно для факторов конкретной ветви-группы (подветви-подгруппы).

Факторы Ф1 – Фn, подлежащие экспертной оценке, оцениваются в рамках любой шкалы, размеченной в процентах или относительных величинах от 0 до 1, или в любой другой (например, 5-балльной) шкале.

Результаты опроса нескольких экспертов сводятся в матрицу опроса размером m*n, где m – количество экспертов, n – количество факторов.

Затем производится следующая последовательность действий:

Шаг 1. Рассчитывается сумма весов, даваемых i-м экспертом всем факторам:

.

Шаг 2. Рассчитывается относительный вес j-го фактора на основании оценки i-го эксперта:

.

Шаг 3. рассчитывается результирующий вес j-го фактора:

.

Рассмотрим расчет весов на небольшом примере. Выделены две группы факторов, влияющих на результаты контроля успеваемости. В таблице приведены результаты опроса четырех экспертов о степени важности трех факторов группы «Форма, средства и методики контроля», оцененные в 100-балльной шкале.

Матрица опроса

Рис. 2. Расчет результирующих относительных весов

Иллюстрируем применение метода нормирования в MS Excel. Рассчитываем последовательно суммы баллов по всем экспертам (столбец Е на рис. 2), относительные веса всех факторов по каждому эксперту (ячейки В11:В14 на рис. 2) и результирующие относительные веса факторов (ячейки B15:D15).

Полученные веса свидетельствуют, что наиболее важным в группе факторов «Форма, средства и методика контроля» является качество контрольных материалов (0,43), затем субъективность процедуры оценки (0,29), и на последнем месте с минимальным отрывом – методика оценки (0,28). Сумма весов равна единице.

Расчет весов групп факторов основан на той же последовательности действий экспертного метода нормирования. При этом следует учитывать, что сами группы факторов, скорее всего, окажутся не равнозначными, а значит, полученные весовые значения факторов должны быть пересчитаны с учетом веса групп факторов. Например, если в результате расчетов получилось, что группа факторов «Форма, средства и методика контроля» получила по оценкам экспертов вес 0,4, то итоговые значения весов всех факторов должны быть пересчитаны путем умножения исходных оценок на 0,4: качество контрольных материалов: 0,43*0,4 = 0,172; субъективность процедуры оценки: 0,29*0,4 = 0,116; методика оценки: 0,28*0,4 = 0,112. Сумма весов в данном случае равна 0,4.

По результатам проведенной оценки диаграмма Исикавы будет выглядеть как на рис. 3 (оценку факторов «Методика преподавания» оставляем читателю для самостоятельных расчетов).

Аналогично проводится расчет весовых коэффициентов факторов группы «Методика преподавания».

Анализ причин и их весов приводит к пониманию сложившейся ситуации и определению первоочередных действий для улучшения качества анализируемого процесса, т.е. складывается план действий: причины, которые нужно устранить в первую очередь, во вторую и т.д. Если система стабильна, то все факторы примерно в равной степени влияют на вариации результатов.

Появление среди этих факторов доминирующих причин нарушает стабильность системы, качество ухудшается, поведение системы становится непрогнозируемым.

При использовании экспертных методов всегда встает вопрос о согласованности мнений экспертов. Для проведения такой оценки можно рекомендовать коэффициент конкордации Кендала. Расчету по данному коэффициенту предшествует перевод балльных оценок, полученных от экспертов в ранги. Как известно, низкая согласованность экспертов может свидетельствовать о наличии коалиций в группе экспертов с противоположными взглядами на проблему. Как показывает практика, обычно коалиции образуются экспертами, имеющими схожие роли (например, роли администрации, преподавателей и т.д.) в образовательной системе, а значит, появляется возможность рассмотреть проблему с нескольких позиций.

Для этого можно «расщепить» диаграмму Исикавы, пересчитав веса сообразно коалиционным оценкам. Однако более наглядной как для сопоставления коалиционных мнений, так и для выделения факторов-причин проблемы, требующих первоочередного внимания, является диаграмма Парето.

Диаграмма Парето является графическим отображением правила Парето. В менеджменте качества применение этого правила показывает, что значительное число несоответствий и дефектов возникает из-за ограниченного числа причин. Коротко правило Парето формулируется так: «20 % причин создают 80 % проблем, поэтому надо найти эти причины». Данный подход позволяет рационально распределить силы и ресурсы.

Для ее построения предлагаем воспользоваться данными экспертной оценки. В качестве примера представим диаграмму по результатам продемонстрированной выше оценки методом нормирования (рис. 4).

Рис. 3. Диаграмма Исикавы с рассчитанными относительными весами факторов

Рис. 4. Пример диаграммы Парето

Как видно из диаграммы, по групповому мнению экспертов, наиболее важными факторами, влияющими на результаты контроля успеваемости, являются причины, связанные с качеством учебных материалов, использованием современных образовательных технологий, качеством контрольных материалов и субъективностью процедуры оценки.

Сегодня оценка управления качеством образования непосредственно связана с внедрением процессного подхода, принятием решений, основанных на фактах, а также оценкой взаимодействия субъектов образовательного процесса в целях обеспечения стабильного режима его функционирования, перевода в новое качественное состояние и выхода в позицию развития. Рассмотренный фрагмент методики демонстрирует потенциальные возможности для реализации данных аспектов управления качеством, достаточно легко воспроизводится программно, при этом указанная последовательность процедуры обработки экспертной информации может быть дополнена другими методами и инструментами качества.

Рецензенты:

Шепелёв С.Д., д.т.н., доцент, декан инженерно-технологического факультета Челябинской государственной агроинженерной академии, г. Челябинск;

Дмитриев М.С., д.т.н., профессор кафедры автомобильного транспорта, информационных технологий и методики обучения техническим дисциплинам Профессионально-педагогического института Челябинского государственного педагогического университета, г. Челябинск.

Библиографическая ссылка