Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

TO AN ISSUE OF METHODOLOGY IMPROVEMENT OF ASSESSMENT OF EFFICIENCY OF PROBLEM SOLUTION FOR MANAGING EDUCATION QUALITY ON THE BASIS OF EXPERT INFORMATION

Kurzaeva L.V. 1 Ovchinnikova I.G. 2 Chichilanova S.A. 3
1 FSBEI HVE «Magnitogorsk State Technical University named after G.I. Nosov»
2 PEI HVE «Institute of Business Psychology and Management»
3 FSBEI HVE «Chelyabinsk State Agroengineering Academy»
2954 KB
Finding the ways to solve the problem of evaluating the effectiveness of education quality and educational systems due to the complexity and diversity is carried out by different scientific directions: pedagogy, management, applied statistics and many others. Within the present article, the authors deal with a fragment of the developed methodology for assessing the efficiency of solving the problems of education quality management on the basis of expert information. The technique is based on two «tools of quality» – cause and effect diagram and Pareto diagram, supplemented by an expert questionnaire method of rationing. The comprehensive use of these given tools and techniques enables you to list all the factors that affect the quality of the educational process, to determine the extent of their impact, and also to identify the most important factors and those factors that require urgent action. Wherein, in this article the issues related to the expert opinion consistency are involved.
Ishikawa diagram
Pareto diagram
expert methods
1. Kurzaeva L.V. Distancionnyj kurs «Osnovy matematicheskoj obrabotki informacii»: jelektronnyj uchebno-metodicheskij kompleks // Hroniki obedinennogo fonda jelektronnyh resursov Nauka i obrazovanie. 2014. T. 1, no. 12 (67). рр. 117.
2. Kurzaeva L.V. Instrumenty soprjazhenija trebovanij sistemy professionalnogo obrazovanija i rynka truda k konkurentosposobnosti IT-specialista /L.V. Kurzaeva // II Vserossijskaja nauchno-prakticheskaja konferencija «Informacionnye tehnologii v obrazovanii XXI veka (ITO-XXI)»: sbornik nauchnyh trudov. T. 1. M.: NIJaU «MIFI», 2012. рр. 37–40.
3. Kurzaeva L.V. Mezhdunarodnyj opyt upravlenija kachestvom obrazovanija na osnove ramochnyh struktur / L.V. Kurzaeva, I.G. Ovchinnikova //«Nauchnaja diskussija: voprosy sociologii, politologii, filosofii, istorii»: materialy VI  mezhdunarodnoj zaochnoj nauchno-prakticheskoj konferencii. Chast II (17 oktjabrja 2012 g.). M.: Izd. «Mezhdunarodnyj centr nauki i obrazovanija», 2012. рр. 51–56.
4. Kurzaeva L.V. Psihologo-pedagogicheskij instrumentarij ocenki i diagnostiki rezultatov obuchenija lichnosti po napravlenijam podgotovki v sfere IT: metod. Rekomendacii / L.V.  Kurzaeva, I.G. Ovchinnikova, G.V. Slepuhina. Magnitogorsk: MaGU, 2013. 40 р.
5. Kurzaeva L.V. Strukturno-funkcionalnaja model razvitija konkurentosposobnosti budushhego IT-specialista v processe professionalnoj podgotovki v vuze: organizacionno-upravlencheskij aspekt / L.V. Kurzaeva // Sovremennye problemy nauki i obrazovanija. 2012. no. 6; URL: http://www.science-education.ru/106-7424 (data obrashhenija 12.06.2015).
6. Ovchinnikova I.G. Issledovanie urovnej formirovanija rezultatov obuchenija v sisteme professionalnogo obrazovanija Cheljabinskoj oblasti vuza / I.G. Ovchinnikova, L.V. Kurzaeva // Spros i predlozhenie na rynke truda i rynke obrazovatelnyh uslug v regionah Rossii: sb. dokladov po materialam Devjatoj Vserossijskoj nauchno-prakticheskoj Internet-konferencii (31 oktjabrja–1 nojabrja 2012 g.). Kn. III. Petrozavodsk: PetrGU, 2012. рр. 228–237.
7. Ovchinnikova I.G. Monitoring obrazovatelnogo processa vuza / I.G. Ovchinnikova, L.V. Kurzaeva, I.V. Poljakova // Sovremennye problemy nauki i obrazovanija. M., 2009. no. 11. рр. 82–85.
8. Ovchinnikova I.G. Ocenka jeffektivnosti obrazovanija lichnosti vuza / I.G. Ovchinnikova, V.A. Belikov, L.V. Kurzaeva // Socialnoe partnerstvo v professionalnom obrazovanii: materialy vserossijskoj nauch.-prakt. konf., Magnitogorsk, 12 janv. 2010 g. Magnitogorsk: MGPPK, 2010. рр. 178–187.
9. Ovchinnikova I.G., Kurzaeva L.V. Matematicheskoe obespechenie informacionnoj sistemy rejtingovoj ocenki uchrezhdenij vysshego professionalnogo obrazovanija // Gumanitarnye i socialno-jekonomicheskie nauki. 2012. no. 4. рр. 98–103.

Вопросы качества образования, его понимания, трактовки и установления критериев, индикативных показателей и оценки эффективности управления качеством решаются со стороны различных научных направлений.

В рамках данной статьи хотелось бы осветить потенциал использования комбинации диаграммы причинно-следственных связей (диаграмма Исикавы), диаграммы Парето и экспертного метода нормирования.

Диаграмма Исикавы – инструмент, обеспечивающий системный подход к определению фактических причин возникновения проблем. Она помогает определить все факторы, влияющие на проблему или желаемый результат. Создание диаграммы лучше всего осуществлять во время мозговой атаки.

Диаграмма Исикавы представляет собой структурную наглядную схему. Она иллюстрирует различные причины, их влияние на процесс, сортирует их и показывает их взаимосвязи. Для каждого следствия существует ряд причин. Нужно сгруппировать их по категориям. Этот прием необходим для определения возможных причин возникновения проблемы или выяснения факторов, ведущих к улучшению. Каждая из линий, нанесенная на схему, должна представлять собой в зависимости от ее положения либо причину, либо следствие: предыдущая линия по отношению к последующей всегда выступает как причина, а последующая как следствие.

kurz1.tif

Рис. 1. Пример диаграммы Исикавы по причинам, влияющим на результаты контроля успеваемости

В общем случае существуют уже рассмотренные выше шесть возможных причин тех или иных результатов: материал (material), оборудование (machine), измерение (measurement), метод (method), люди (man), менеджмент (management). Возможен и релевантный по отношению к объекту оценки подход к выделению факторов (рис. 1).

Ценность такой диаграммы, безусловно, возрастает, если приведена не только группировка факторов, но их весовое значение, т.е. доля вклада каждого фактора и группы факторов в результат (показатель качества или проблему). Для этих целей мы предлагаем метод нормирования или последовательного сравнения [8].

Расчет весов факторов диаграммы Исикавы производится в рамках иерархических уровней и обособленно для факторов конкретной ветви-группы (подветви-подгруппы).

Факторы Ф1 – Фn, подлежащие экспертной оценке, оцениваются в рамках любой шкалы, размеченной в процентах или относительных величинах от 0 до 1, или в любой другой (например, 5-балльной) шкале.

Результаты опроса нескольких экспертов сводятся в матрицу опроса размером m*n, где m – количество экспертов, n – количество факторов.

Затем производится следующая последовательность действий:

Шаг 1. Рассчитывается сумма весов, даваемых i-м экспертом всем факторам:

kur01.wmf.

Шаг 2. Рассчитывается относительный вес j-го фактора на основании оценки i-го эксперта:

kur02.wmf.

Шаг 3. рассчитывается результирующий вес j-го фактора:

kur03.wmf.

Рассмотрим расчет весов на небольшом примере. Выделены две группы факторов, влияющих на результаты контроля успеваемости. В таблице приведены результаты опроса четырех экспертов о степени важности трех факторов группы «Форма, средства и методики контроля», оцененные в 100-балльной шкале.

Матрица опроса

Эксперт

Фактор

Качество контрольных материалов

Субъективность процедуры

оценивания

Методика оценки

1

60

20

20

2

40

20

30

3

70

40

50

4

40

80

50

kurz2.tif

Рис. 2. Расчет результирующих относительных весов

Иллюстрируем применение метода нормирования в MS Excel. Рассчитываем последовательно суммы баллов по всем экспертам (столбец Е на рис. 2), относительные веса всех факторов по каждому эксперту (ячейки В11:В14 на рис. 2) и результирующие относительные веса факторов (ячейки B15:D15).

Полученные веса свидетельствуют, что наиболее важным в группе факторов «Форма, средства и методика контроля» является качество контрольных материалов (0,43), затем субъективность процедуры оценки (0,29), и на последнем месте с минимальным отрывом – методика оценки (0,28). Сумма весов равна единице.

Расчет весов групп факторов основан на той же последовательности действий экспертного метода нормирования. При этом следует учитывать, что сами группы факторов, скорее всего, окажутся не равнозначными, а значит, полученные весовые значения факторов должны быть пересчитаны с учетом веса групп факторов. Например, если в результате расчетов получилось, что группа факторов «Форма, средства и методика контроля» получила по оценкам экспертов вес 0,4, то итоговые значения весов всех факторов должны быть пересчитаны путем умножения исходных оценок на 0,4: качество контрольных материалов: 0,43*0,4 = 0,172; субъективность процедуры оценки: 0,29*0,4 = 0,116; методика оценки: 0,28*0,4 = 0,112. Сумма весов в данном случае равна 0,4.

По результатам проведенной оценки диаграмма Исикавы будет выглядеть как на рис. 3 (оценку факторов «Методика преподавания» оставляем читателю для самостоятельных расчетов).

Аналогично проводится расчет весовых коэффициентов факторов группы «Методика преподавания».

Анализ причин и их весов приводит к пониманию сложившейся ситуации и определению первоочередных действий для улучшения качества анализируемого процесса, т.е. складывается план действий: причины, которые нужно устранить в первую очередь, во вторую и т.д. Если система стабильна, то все факторы примерно в равной степени влияют на вариации результатов.

Появление среди этих факторов доминирующих причин нарушает стабильность системы, качество ухудшается, поведение системы становится непрогнозируемым.

При использовании экспертных методов всегда встает вопрос о согласованности мнений экспертов. Для проведения такой оценки можно рекомендовать коэффициент конкордации Кендала. Расчету по данному коэффициенту предшествует перевод балльных оценок, полученных от экспертов в ранги. Как известно, низкая согласованность экспертов может свидетельствовать о наличии коалиций в группе экспертов с противоположными взглядами на проблему. Как показывает практика, обычно коалиции образуются экспертами, имеющими схожие роли (например, роли администрации, преподавателей и т.д.) в образовательной системе, а значит, появляется возможность рассмотреть проблему с нескольких позиций.

Для этого можно «расщепить» диаграмму Исикавы, пересчитав веса сообразно коалиционным оценкам. Однако более наглядной как для сопоставления коалиционных мнений, так и для выделения факторов-причин проблемы, требующих первоочередного внимания, является диаграмма Парето.

Диаграмма Парето является графическим отображением правила Парето. В менеджменте качества применение этого правила показывает, что значительное число несоответствий и дефектов возникает из-за ограниченного числа причин. Коротко правило Парето формулируется так: «20 % причин создают 80 % проблем, поэтому надо найти эти причины». Данный подход позволяет рационально распределить силы и ресурсы.

Для ее построения предлагаем воспользоваться данными экспертной оценки. В качестве примера представим диаграмму по результатам продемонстрированной выше оценки методом нормирования (рис. 4).

kurz3.tif

Рис. 3. Диаграмма Исикавы с рассчитанными относительными весами факторов

kurz4.wmf

Рис. 4. Пример диаграммы Парето

Как видно из диаграммы, по групповому мнению экспертов, наиболее важными факторами, влияющими на результаты контроля успеваемости, являются причины, связанные с качеством учебных материалов, использованием современных образовательных технологий, качеством контрольных материалов и субъективностью процедуры оценки.

Сегодня оценка управления качеством образования непосредственно связана с внедрением процессного подхода, принятием решений, основанных на фактах, а также оценкой взаимодействия субъектов образовательного процесса в целях обеспечения стабильного режима его функционирования, перевода в новое качественное состояние и выхода в позицию развития. Рассмотренный фрагмент методики демонстрирует потенциальные возможности для реализации данных аспектов управления качеством, достаточно легко воспроизводится программно, при этом указанная последовательность процедуры обработки экспертной информации может быть дополнена другими методами и инструментами качества.

Рецензенты:

Шепелёв С.Д., д.т.н., доцент, декан инженерно-технологического факультета Челябинской государственной агроинженерной академии, г. Челябинск;

Дмитриев М.С., д.т.н., профессор кафедры автомобильного транспорта, информационных технологий и методики обучения техническим дисциплинам Профессионально-педагогического института Челябинского государственного педагогического университета, г. Челябинск.