Решение проблем управления качеством высшего образования в России осуществляется в разных направлениях: развитие теоретических основ управления качеством в сфере образования (квалитология образования); стандартизация (создание государственных образовательных стандартов и систем менеджмента качества на основе международных стандартов); создание и развитие государственно-общественных механизмов управления качеством (аттестация, лицензирование, аккредитация); теоретико-методологические исследования в области оценки состояния образования и тенденций его развития. Приоритетная роль в развитии систем качества в высшей школе должна быть отведена объективному оцениванию, обеспечивающему научную основу для анализа результатов обучения, функционирования, развития систем управления качеством образования.
Для оценки качества академической подготовки студентов, осуществляемой в российских вузах в рамках комплексной проверки деятельности образовательного учреждения, а также при принятии решения об аккредитации используются различные модели. Решения, принимаемые на основе информации, полученной при использовании разных моделей, могут существенно отличаться.
Под измерением в квалиметрии понимается однозначное количественное выражение качества в единицах и масштабе выбранной шкалы измерения. В результате такого измерения определяется количественная величина качества, выраженная показателем качества. Показателями качества академической подготовки студентов являются результаты выполнения ими совокупности заданий-индикаторов, направленных на выявление знаний и умений использовать эти знания в различных ситуациях.
Цель исследования: определить методические механизмы квалиметрического оценивания эффективности подготовки ИТ-профессионалов в вузе в условиях информационной образовательной среды.
Основная часть
На сегодняшний день существует несколько моделей оценивания качества академической подготовки студентов, но все они, разумеется, имеют недостатки. Некоторые из них:
1) неустойчивость порогового значения;
2) использование только двух уровней качества («аттестован» или «не аттестован»);
3) не учитывается разное количество заданий в разделах;
4) не учитывается различный уровень сложности заданий;
5) из-за небольшого количества вопросов в тестах возникает несоответствие уровня подготовки студента требованиям государственного образовательного стандарта.
Проанализировав все эти недостатки, мы пришли к выводу, что необходимо использовать некую синтезированную модель, созданную с учетом как положительного, так и отрицательного опытов, использующую квалиметрический подход в оценке качества. При этом необходимо определить, что принять за эталон качества, как измерять отдельные свойства, составляющие качество, какие показатели включить в состав, как их оценивать. Важно, чтобы модель комплексного показателя качества учитывала значимость и допустимые пределы изменения показателей отдельных свойств в той степени, которая соответствует реальным условиям профессиональной деятельности.
Кроме того, внедрение федеральных государственных образовательных стандартов высшего профессионального образования (ФГОС ВПО) третьего поколения приводит к изменению образовательной политики и практики работы всех высших учебных заведений в соответствии с компетентностным подходом. В этих условиях понятие качества академической подготовки студентов расширяется: теперь это совокупность знаний, умений, навыков и владений – компетенции.
В предлагаемой нами модели использован комплексный метод оценки уровня качества. Комплексный показатель компетентности выпускника определяется как совокупность показателей сформированности компетенций по дисциплинам, составляющим обязательный минимум содержания основной образовательной программы подготовки выпускника по действующему ФГОС ВПО. Показатели уровня качества академической подготовки студентов по дисциплине определяются при прохождении студентом тестирований. Все задания разбиты на группы тестов в соответствии с разделами содержания дисциплин предметной подготовки. Таким образом, показатели, получаемые в результате прохождения студентом тестов, равноценны и могут принимать значения от 0 % до 100 %. Обозначим основные показатели:
● Pij – показатель теста. Определяется при прохождении выпускником тестирования по j-ой i-го блока дисциплине. Pij (0–100 %);
● в зависимости от количества часов, отводимых ФГОС ВПО на изучение, i-му блоку присваивается определенный коэффициент весомости Vi (0–1,0), j-ой дисциплине i-го цикла – Vij (0–1,0);
● показатель Sij = Pij·Vij – показатель уровня сформированности компетенций по j-ой дисциплине i-го цикла. Sij (0–100);
● показатель 
– показатель уровня сформированности компетенций по i-го блока. C∈(0–100);
● показатель 
– показатель уровня сформированности компетенций выпускника инженерного вуза.
Вес блока ООП направления подготовки определяется в соответствии с количеством часов, отводимым для его изучения ФГОС ВПО третьего поколения (табл. 1):
Определившись со структурой каждого блока ООП, можно приступать к вычислению веса его составляющих – дисциплин с опорой на ФГОС ВПО третьего поколения и основную образовательную программу. Так, например, на профессиональный цикл отводится 95–105 зачетных единиц трудоемкости (ЗЕТ), следовательно, веса V43j каждой составляющей дисциплины в области профессионального цикла определяется, как отношение часов, отводимых для изучения дисциплины, к числу 2700 (3708 час = 2700 час + 1008 час / 108 = 75 + 28 ЗЕТ, где 1008 час (28 ЗЕТ) отводится на дисциплины по выбору) (табл. 2, рис. 2).
Такая модель не требует определения порогового значения; учитывается вес каждого цикла и дисциплины; уровни качества определяются не понятиями «аттестован» или «не аттестован», а показателем компетентности, позволяющим судить о степени компетентности или некомпетентности.
Безусловно, измеряя и оценивая качество подготовки специалиста, невозможно учесть практически бесконечное многообразие его профессионально значимых характеристик. Из этого многообразия необходимо выбрать только те свойства, которые имеют отношение к удовлетворению определенных общественных и профессиональных потребностей.
Систему параметров для квалиметрического оценивания будем определять на основе обязательного минимума содержания основной образовательной программы подготовки выпускника по действующему ФГОСу. Так как каждый блок является совокупностью дисциплин, то параметрами в нашей модели выступят именно эти дисциплины, содержание и объем которых определены в программе.
Таблица 1
Распределение часов в циклах
|
№ |
Название блока |
ЗЕТ |
|
|
min |
max |
||
|
Б1 |
Гуманитарный, социальный и экономический циклы |
30 |
40 |
|
Б2 |
Математический и естественно-научный циклы |
65 |
75 |
|
Б3 |
Профессиональный цикл |
95 |
105 |
|
Б4 |
Физическая культура |
2 |
2 |
|
Б5 |
Учебная и производственная практики |
12 |
15 |
|
Б6 |
Итоговая государственная аттестация |
12 |
12 |
|
Общая трудоемкость основной образовательной программы |
240 |
||
Рис. 1. Модель квалиметрического оценивания качества академической подготовки выпускника инженерного вуза
Рис. 2. Определение показателей уровня академической подготовки выпускника инженерного вуза по каждой дисциплине профессионального цикла Б3
Так как ФГОС определяет количество зачетных единиц/часов для изучения каждого блока и дисциплины в зависимости от направления, то мы остановимся на квалиметрическом оценивании качества академической подготовки выпускника направления 230700.62 – «Прикладная информатика по профилю Прикладная информатика в экономике».
Определившись со структурой каждого цикла, можно приступать к вычислению веса его составляющих – дисциплин с опорой на ООП. Из учебного плана устанавливаем количество часов по профессиональному блоку дисциплин Б3, следовательно, веса V3j каждой составляющей компетенции в Б3 определяется, как отношение часов, отводимых для изучения дисциплины, к общему числу часов Б3. Аналогичную процедуру проделываем для остальных блоков. В результате иерархическое дерево свойств составлено, определены веса всех свойств. Следующий шаг в квалиметрическом оценивании – определение индивидуальных для каждого студента показателей по всем свойствам (компетенциям и их составляющим).
Как уже было сказано ранее, более надежной, оперативной и объективной формой педагогического контроля, по сравнению с традиционными формами, являются тесты. Их применение дает ряд преимуществ:
● единообразие процедуры проведения и оценки выполнения задания;
● объективность контроля;
● сравнимость результатов;
● возможность использования сравнительных оценок, позволяющих ранжировать обучаемых по уровню имеющихся у них знаний;
● высокая дифференцированность оценки.
Наряду с этим можно отметить сложность и трудоемкость разработки тестов и тестовых заданий и в связи с этим вероятность получения необъективных оценок в случае непрофессионально составленных тестов. Во избежание этого было принято решение определять индивидуальные показатели студента по компетенциям и их составляющим при помощи тестов системы Moodle, используемых для проведения процедуры внутривузовского тестирования студентов. С точки зрения тестирующей технологии, система обладает следующими возможностями:
● создание вопросов шести различных типов (выбор одного ответа, выбор нескольких ответов, пропуски, соответствие, перетаскивание, правда/ложь);
● указание уровня сложности вопросов;
● указание количества вопросов из всей базы вопросов, темы, уровня сложности;
● установка времени тестирования (тест без учета времени, время устанавливается на весь тест, время вычисляется в зависимости от кол-ва и сложности вопросов);
● указание порядка ответов на вопросы (студент отвечает на вопросы в произвольном порядке и может изменить свой ответ, либо студент отвечает на вопросы в заданном порядке и не может изменить свой ответ);
● указание настройки перемешивания вопросов и ответов;
● указание цены вопросов по 10-балльной системе;
● использование одних и тех же вопросов в составе разных тестов;
● создание отчетов.
Таблица 2
Веса дисциплин профессионального цикла
|
№ п/п |
Название дисциплины |
ЗЕТ |
Часы |
Vij |
Pij |
Sij |
|
1 |
Теория вероятностей и математическая статистика |
4 |
144 |
0,027 |
4 |
0,108 |
|
2 |
Дискретная математика |
2 |
72 |
0,014 |
1 |
0,014 |
|
3 |
Теория систем и системный анализ |
2 |
72 |
0,014 |
1 |
0,014 |
|
4 |
Информатика и программирование |
5 |
180 |
0,034 |
4 |
0,135 |
|
5 |
Численные методы |
3 |
108 |
0,020 |
4 |
0,081 |
|
6 |
Статистика |
5 |
180 |
0,034 |
5 |
0,169 |
|
7 |
Интернет-технологии |
4 |
144 |
0,027 |
3 |
0,081 |
|
8 |
Автоматизированная обработка статистических данных |
4 |
144 |
0,027 |
4 |
0,108 |
|
9 |
Статистические пакеты |
4 |
144 |
0,027 |
4 |
0,108 |
|
10 |
Методы оптимизации |
9 |
324 |
0,061 |
4 |
0,243 |
|
11 |
Математическое программирование |
9 |
324 |
0,061 |
3 |
0,182 |
|
12 |
Вычислительные системы, сети и телекоммуникации |
6 |
216 |
0,041 |
3 |
0,122 |
|
13 |
Операционные системы |
3 |
108 |
0,020 |
1 |
0,020 |
|
14 |
Программная инженерия |
7 |
252 |
0,047 |
3 |
0,142 |
|
15 |
Информационные системы и технологии |
6 |
216 |
0,041 |
4 |
0,162 |
|
16 |
Проектирование информационных систем |
6 |
216 |
0,041 |
4,5 |
0,182 |
|
17 |
Проектный практикум |
8 |
288 |
0,054 |
1 |
0,054 |
|
18 |
Базы данных |
6 |
216 |
0,041 |
3 |
0,122 |
|
19 |
Информационная безопасность |
3 |
108 |
0,020 |
1 |
0,020 |
|
20 |
Эконометрика |
5 |
180 |
0,034 |
4 |
0,135 |
|
21 |
Введение в направление |
3 |
108 |
0,020 |
1 |
0,020 |
|
22 |
Объектно ориентированный анализ и программирование |
5 |
180 |
0,034 |
4 |
0,135 |
|
23 |
Технологии доступа к данным |
2 |
72 |
0,014 |
1 |
0,014 |
|
24 |
Разработка клиентских приложений |
3 |
108 |
0,020 |
1 |
0,020 |
|
25 |
Разработка web-приложений |
5 |
180 |
0,034 |
5 |
0,169 |
|
26 |
Моделирование бизнес-процессов |
4 |
144 |
0,027 |
4,5 |
0,122 |
|
27 |
Архитектура предприятия |
2 |
72 |
0,014 |
1 |
0,014 |
|
28 |
Управление жизненным циклом информационных систем |
3 |
108 |
0,020 |
4 |
0,081 |
|
29 |
1С-Программирование |
4 |
144 |
0,027 |
4 |
0,108 |
|
30 |
Эффективность информационных технологий |
3 |
108 |
0,020 |
3 |
0,061 |
|
31 |
Нечеткая логика и нейронные сети |
3 |
108 |
0,020 |
1 |
0,020 |
|
32 |
Экономика бизнес-процессов предприятий и организаций |
4 |
144 |
0,027 |
4 |
0,108 |
|
33 |
Пакеты прикладных программ (MathCAD) |
3 |
108 |
0,020 |
4 |
0,081 |
|
34 |
Математические методы финансового анализа |
3 |
108 |
0,020 |
1 |
0,020 |
|
Всего: |
5328 |
1 |
Заключение
Главное достоинство системы Moodle – возможность заполнения лекциями, справочниками, ЦОР и глоссариями для подготовки студентов к тестированию. При этом подготовка и само тестирование могут быть запланированы на определенную дату и происходить централизованно, либо с возможностью продолжения и неограничены во времени и пространстве.
После завершения апробации и получения всех необходимых показателей перешли к проверке эффективности технологии квалиметрического оценивания качества академической подготовки выпускников направления «Прикладная информатика» путем сопоставления результатов тестирования экспериментальной группы и баллов, полученных студентами по завершении изучения дисциплины. Таким образом, обработка экспериментальных данных показала, что показатель профессиональной компетентности отличается от среднего значения баллов рейтинга. Более того, он демонстрирует не текущие, а остаточные знания, которыми обладает выпускник на момент окончания вуза.
Проверка на эффективность технологии квалиметрического оценивания профессиональных компетенций студентов проходила на базе Набережночелнинского института (филиала) ФГАОУ ВПО «Казанского (Приволжский) федерального университета» при оценивании компетенций. Была проведена стандартизация оценочных средств, определение надежности и валидности технологии оценивания.
Опытно-экспериментальная работа по внедрению модели и технологии квалиметрического оценивания профессиональных компетенций позволила скорректировать содержание обучения по формированию проектно-конструкторской компетенции, повысить мотивацию студентов и обеспечить объективное, валидное, ценностное уровневое представление результатов образовательной деятельности профессиональной подготовки студентов и выпускников. Эффективность результатов доказана статистическими методами обработки результатов педагогических исследований.
Рецензенты:
Розенцвайг А.К., д.т.н., профессор кафедры математических методов в экономике Набережночелнинского института (филиала) КФУ, г. Набережные Челны;
Кризский В.Н., д.ф.-м.н., профессор, доцент, кафедра автоматизации и управления Набережночелнинского института (филиала) КФУ, г. Набережные Челны.
Работа поступила в редакцию 01.04.2015.