Среди актуальных задач стоящих перед современным образованием на сегодняшний день во всем мире, особую важность имеют не только развитие новых образовательных форм и технологий, но и повышение качества образования, за счет внедрения качественных образовательных систем опирающихся на последние достижения в области телекоммуникаций и компьютерных средств представления информации.
Современные автоматизированные обучающие системы (АОС) включают в себя компоненты в виде сущностей (обучаемый, оценка) и хранилищ (информация по учащемуся, образовательные ресурсы), при этом назначение такой системы, это предоставление доступа к образовательным ресурсам, обучение и контроль знаний на основании контекста взаимодействия учащегося с системой. Таким образом, АОС охватывают целый класс программных систем, от сетевого компьютерного учебника или сервера с базой данных методических материалов до сложных и многофункциональных систем дистанционного обучения [1].
В настоящее время, управление качеством представляется как интегрированный процесс на протяжении всего жизненного цикла системы, который обеспечивает создание качественного продукта по мере продвижения разработки. При этом оценка качества определяется как набор характеристик системы, относящихся к ее способности удовлетворять установленные и предполагаемые потребности клиентов. Любая АОС представляет собой программный комплекс, качество которого может быть определено согласно Международным стандартам ISO 9000, 9001, 9002 и 9003 [2], которые содержат требования к системе качества и определяют различные модели его обеспечения на различных этапах производственного цикла.
Сравнительный анализ специализированных аспектов качества предложенный в данной работе для АОС и системный подход к проблеме дают возможность предложить иерархическую систему показателей качества, одновременно учитывающих как общие требования к программным системам, так и специализированные требования, обусловленные областью применения этих систем в образовательном процессе.
Метод экспертных оценок, используемый в данной работе, для реализации поставленных задач, позволит определить значимость и удельный вес каждого показателя исследуемой системы в общей согласованной иерархии, а автоматизированная система позволит производить данный анализ и принимать решения о выборе АОС в образовательном процессе соответствующих предъявляемым требованиям. Итак, для того чтобы провести подобного рода экспертизу потребуются модель качества АОС, экспертная группа и автоматизированная система обработки результатов работы аттестационной комиссии.
В данном случае под моделью качества понимается совокупность наиболее существенных качественных показателей (факторов) в достаточной степени характеризующих АОС.
К общим факторам относятся:
- функциональность - как набор функций, реализующих установленные или предполагаемые потребности пользователей;
- корректность - соответствие реализации системы ее спецификации и непротиворечивости;
- интерфейс - как средство общения с пользователями системы;
- открытость - характеризующая модифицируемость системы;
- адаптивность - характеризующая возможности системы учитывать особенности конкретной личности учащегося и его потребности в обучении;
- интеллектуальность - характеризующая представление учебного материала с использование моделей знаний с целью формирования для каждого обучаемого индивидуальной стратегии и тактики обучения;
- комфортность - характеризующая удобность использования АОС;
- современность - характеризующая степень использования современных информационных технологий представления информации и систем связи на текущий момент времени;
- эффективность - характеризующая обучающие свойства системы, позволяющие предоставлять достоверные знания, умения и навыки по освоению различных образовательных курсов.
Для оценки дидактической эффективности АОС рассматриваются полнота отражения программы учебного курса, систематичность и последовательность изложения материала; степень усвояемости материала.
Для оценки методической эффективности необходимо исследовать наличие методического обеспечения; формы применения для самостоятельной работы, лекционных демонстраций, лабораторных работ.
Для определения значимости выше перечисленных показателей качества, в данной работе использовался метод экспертных оценок. На основании оценок, данных экспертами, определялись значимость и удельный вес каждого показателя.
Модель качества АОС, представляет собой иерархическую структуру, предназначенную для изучения взаимодействия ее элементов и их воздействия на систему в целом. Главной задачей при анализе иерархий является определение влияния отдельных факторов различных уровней иерархии на общую цель.
Практика принятия решений связана с взвешиванием альтернатив, каждая из которых удовлетворяет некоторому набору желаемых целей. Задача состоит в выборе той альтернативы, которая наиболее полно удовлетворяет всю совокупность целей.
Для того чтобы оценить альтернативы составляется таблица, позволяющая произвести сравнительный анализ. Для этого необходимо сформулировать требования, предъявляемые к АОС, исходя из этих требований, производится предварительный отбор нескольких автоматизированными обучающими систем, из которых впоследствии будет сделан окончательный выбор оптимального варианта.
Далее необходимо получить оценки экспертов о значимости тех или иных показателей качества, для этого необходимо определить весовые коэффициенты, учитывающие степень влияния каждого фактора, именно от их правильной величины зависит достоверность результатов анализа.
После того, как определили важность показателей, можно переходить к оценке обучающих систем с помощью метода анализа иерархий.
Метод анализа иерархий - это метод обработки экспертных суждений относительно важности тех или иных показателей (критериев). Согласно этому методу выбираются критерии, эксперты определяют их приоритеты на основе выбранной шкалы оценок и после выполнения ряда математических операций производится сравнение факторов по всем критериям с целью определения наилучшего по всем показателям, данный метод разработан американским ученым Томасом Саати и впервые был опубликован в 1980 году [3,4].
С помощью метода анализа иерархий оценим АОС и выберем те, которые в наибольшей степени соответствуют поставленным целям.
Допустим, что n видов АОС рассматриваются группой экспертов. Предположим, что цели группы следующие:
1. высказать суждения об относительной важности критериев;
2. гарантировать такой процесс получения суждений, который позволит количественно интерпретировать суждения по всем программным средствам.
Пусть необходимо выбрать решение стоящей перед исследователем проблемы из множества 
.
В качестве критериев эффективности приняты 
.
Выбор решения осуществляется в следующем порядке:
1. По данным экспертных суждений, основанных на попарных сравнениях важности критериев эффективности рассматриваемых обучающих систем, составляется обратно симметричная матрица W:
W = 
(1).
После оценки экспертами критерии выставляются согласно шкале приведенной в таблице 1 по степени важности тех или иных показателей.
2. Вычисляются координаты собственного вектора матрицы W. При этом может быть использован приближенный метод, реализуемый следующим образом:
- вычисляется произведение всех элементов каждой строки, и извлекаются корни k-той степени из них;
- проводится нормировка полученных значений, т.е. деление на их сумму.
Полученные значения являются координатами вектора приоритетов для критериев эффективности: 
(2).
3. Проверяется согласованность матрицы. Она может быть проведена следующим образом:
- матрица W умножается на вектор
. - Получается вектор
(3); - вычисляется выражение
(4), оно и принимается в качестве приближенной оценки 
; - далее вычисляется индекс согласованности ИС =
(5).
Чем меньше это число, тем больше согласованность экспертных оценок. Если индекс согласованности велик, необходимо провести пересмотр суждений экспертов посредством взаимного соглашения и пересмотр взглядов в ходе открытого обсуждения.
Таблица 1. Описание шкалы оценки важности
|
Степень важности |
Определение |
Объяснение |
|
1 |
Одинаковая значимость |
Два действия вносят одинаковый вклад в достижение цели |
|
3 |
Некоторое преобладание значимости одного действия перед другим (слабая значимость) |
Опыт и суждение дают легкое предпочтение одному действию перед другим |
|
5 |
Существенная или сильная значимость |
Опыт и суждение дают сильное предпочтение одному действию перед другим |
|
7 |
Очень сильная или очевидная значимость |
Предпочтение одного действия пред другим очень сильно. Его превосходство практически явно |
|
9 |
Абсолютная значимость |
Свидетельство в пользу предпочтения одного действия другому в высшей степени убедительны |
|
2, 4, 6, 8 |
Промежуточные значения между соседними значениями шкалы |
Ситуация, когда необходимо компромиссное решение |
|
Обратные величины приведенных выше чисел |
Если действию i при сравнении с действием j приписывается одно из приведенных выше чисел, то действию j при сравнении с i приписывается обратное значение |
Обоснованное предположение |
Если согласованность приемлема, то первый этап выбора решения закончен. Приемлемой можно считать согласованность в том случае, если отношение согласованности (ОС) не превышает 0,1.
Отношением согласованности называют результат деления индекса согласованности на средний случайный индекс, т.е. индекс согласованности, сгенерированной случайным образом методом Монте-Карло обратно симметричной матрицы.
Средние случайные индексы для матриц различных порядков приведены в таблице 2.
Таблица 2. Средние случайные индексы
|
Порядок матрицы |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
|
Средний ИС |
0 |
0.58 |
0.9 |
1.12 |
1.24 |
1.32 |
1.44 |
1.45 |
1.49 |
Если согласованность приемлема, то первый этап выбора решения можно считать законченным.
4. На последующих k этапах проводится определение приоритетов решений относительно каждого из критериев эффективности. Получаются векторы:
(6).
Координаты этих векторов образуют матрицу:
Х = 
(7).
5. Определяется окончательное распределение приоритетов для всех рассматриваемых решений путем перемножения матриц:
Х*W=
= 
(8).
После анализа обучающих систем и методик получения экспертных оценок была создана автоматизированная система, позволяющая рассчитывать значимость того или иного показателя и выбирать обучающую систему, соответствующую предъявляемым требованиям.
Данная система предназначена для одного человека - оператора, который будет вводить оценки экспертов в программу расчета после того, как экспертиза была завершена.
Таким образом, в данной работе была разработана автоматизированная система, позволяющая обеспечить оценку различных автоматизированных обучающих систем по различным показателям качества.
Достоинство рассмотренного метода, лежащего в основе разработки данной системы состоит в том, что проведение сравнения двух объектов по одному критерию не вызывает затруднений, поэтому составление матрицы попарных сравнений является несложной операцией. Процесс вычислений также несложен, но в результате находится ответ на весьма непростой вопрос. Однако, несмотря на строгость и объективность математических методов, полученный результат не следует рассматривать как абсолютную истину, так как проведение попарных сравнений содержит значительный элемент субъективизма. Ведь их проводят вполне конкретные люди.
Применение данной системы, позволит более детально проанализировать особенности рассматриваемых АОС и более объективно определить лучшие виды обучающих систем.
СПИСОК ЛИТЕРАТУРЫ
- Гусева А.И. Оценка качества распределенных обучающих систем /А.И. Гусева. - М.: Препринт /МИФИ, 006-2002, 2002. - 32 с.
- Общее руководство качеством и стандарты по обеспечению качества. Часть 3: «Руководящее указание по применению ИСО 9001 при разработке, постановке и обслуживанию программного обеспечения», М.: ВНИИС, 1995.
- Бешелев, С.Д. Математико-статистические методы экспертных оценок /С.Д. Бешелев, Ф.Г. Гурвич. - М.: Статистика, 1980. - 262 с.
- Саати, Т. Принятие решений. Метод анализа иерархий /Т. Саати. - М.: Радио и связь, 1993. - 315 с.