Системный мониторинг качества образовательного процесса и его результатов становится особенно актуальным в условиях модернизации образовательной системы, развития федеральной системы тестирования и введения единого государственного экзамена. Создание информационных баз данных о состоянии всех элементов системы позволяет проводить различные виды анализа (корреляционный, дисперсионный, факторный, сравнительный, динамический, дидактический и др.) и делать выводы об эффективности функционирования всей образовательной системы, составляющих ее подсистем, выбирать направления и способы управления ими.
В общем случае мониторинг в образовании можно определить как систему постоянного сбора данных, их обработки, анализа и интерпретации с целью обеспечения общества и системы образования достоверной, достаточно полной, дифференцированной по уровням использования и значимой информацией о соответствии процессов и результатов образования нормативным требованиям, происходящих переменах в образовании и прогнозируемых тенденциях [2]. Другими словами, можно сказать, что мониторинг – это стандартизированное наблюдение за образовательным процессом и его результатами, позволяющее создавать историю состояния объекта во времени, количественно оценивать изменение субъектов обучения и состояния образовательной системы, определять и прогнозировать направления их развития [8]. К элементам мониторинга в образовании можно отнести объекты и субъекты мониторинга, показатели, инструментарий, системы накопления, анализа и переработки информации, методы педагогической интерпретации и форматы предъявления результатов, базы данных, программно-инструментальные средства обработки данных, методики осуществления прогнозов дальнейшего развития образовательной системы и входящих в нее элементов [1].
В России за период с 2001 по 2013 г. в ходе федерального эксперимента по введению единого государственного экзамена практически создана принципиально новая контрольно-оценочная система с использованием инновационных возможностей теории, техники и технологии массового тестирования для аттестации выпускников школ, педагогических кадров и самих учебных заведений. Одной из основных целей введения ЕГЭ является формирование системы объективной оценки подготовленности выпускников, поскольку его введением обеспечивается единство требований к знаниям выпускников и преемственность на разных ступенях образования, сопоставимость и сравнимость результатов как по горизонтали в однотипном ряду образовательных учреждений, так и по вертикали, вплоть до общероссийского уровня [3].
Работа с образовательной статистикой единого государственного экзамена по математике осуществляется с помощью системы управления базы данных. Основные функции СУБД – это описание структуры базы данных, обработка данных и управление данными. Среди разработчиков базы данных (БД) большой популярностью пользуется реляционная СУБД Access, входящая в состав пакета Microsoft Office 2010. Дружественный интерфейс и простота настройки, эффективные средства создания таблиц, форм, запросов, интеграция с другими приложениями пакета, средства организации работы с базами данных и защита информации – вот далеко не полный перечень достоинств этого приложения.
На сегодняшний день существует много способов разработки БД. У каждого из них есть свои достоинства и недостатки. Наиболее актуальной программой для разработки БД сегодня является Microsoft Access 2010 [3, 11, 12]. На наш взгляд, она наиболее подходит для реализации статистической обработки результатов массового тестирования, в частности, единого государственного экзамена по математике в регионе. Ввиду простоты способа реализации эта программа является наиболее распространенной среди разработчиков небольших БД, которые, как мы предполагаем, будут оптимально взаимодействовать с другими программами.
Выборка данных из таблиц, автоматизация операций по обновлению и изменению таблиц осуществляется с помощью запросов с параметрами: перекрестного запроса, подсчитывающего сумму, среднее число значений и другие статистические расчеты; запрос SQL, запроса на изменения, запроса к базе данных как некоторой команды на выбор, просмотр, изменение, создание или удаление данных. С помощью запросов реализуются возможности [7]:
– собирать воедино информацию из нескольких таблиц с учетом существующих связей;
– выбирать, какие поля и в какой последовательности будут включены в результатную таблицу;
– учитывать, какая часть результатной информации будет отображена;
– манипулировать данными (например, запросы на изменения);
– формировать различные отчеты.
Результаты работы запроса программа формирует как отчеты базы данных, которые уже непосредственно используются для представления данных, выводимых в наглядной форме.
В Access используется то же самое графическое приложение, что и в Microsoft Word, Excel, Power Point и Project. Это позволяет создавать сотни типов графиков и диаграмм, настраивая их исходя из конкретных потребностей. Можно создавать гистограммы, линейчатые, круговые, поверхностные и другие диаграммы, как двухмерные, так и трехмерные. Значения могут отображаться в столбцах или секторах круговых диаграмм. Можно разворачивать изображения диаграмм так, чтобы они воспроизводились под любым удобным углом зрения. Это позволяет осуществлять анализ и интерпретацию статистической информации. Предусмотрены все возможности, обеспечивающие связь с Internet, сохранение таблиц, запросов, форм и отчетов в формате HTML. Соответствующий мастер позволяет даже новичку перенести коды HTML из объекта на Web-страницу, делая их доступными для использования всем, кто путешествует по Internet! Гиперссылки позволяют получать доступ к данным, которые размещены на Web-странице, прямо из форм Access.
В Access в полной мере реализовано управление реляционными базами данных. Система поддерживает первичные и внешние ключи и обеспечивает целостность данных на уровне ядра (что предотвращает несовместимые операции обновления или удаления данных). Кроме того, таблицы в Access снабжены средствами проверки допустимости данных, предотвращающими некорректный ввод вне зависимости от того, как он осуществляется, а каждое поле таблицы имеет свой формат и стандартные описания, что существенно облегчает ввод данных. Access поддерживает все необходимые типы полей, в том числе текстовый, числовой, счетчик, денежный, дата/время, МЕМО, логический, гиперссылка и поля объектов OLE [10, 12, 13]. Как реляционная СУБД Access обеспечивает доступ ко всем типам данных и позволяет использовать одновременно несколько таблиц базы данных.
Эти положения явились достаточным основанием для выбора программного обеспечения Access для создания статистических баз данных.
Массовое тестирование обучающихся, разновидностью которого является единый государственный экзамен, имеет своей целью измерение качества обучения как на этапе государственной аттестации, так и на промежуточных этапах, и особую важность представляют правильная интерпретация результатов, дальнейшее их использование для формирования управленческих выводов, повышение качества и, в целом, управление качеством образования в образовательном учреждении, в муниципалитете и в регионе. Особое значение при этом придается последнему компоненту измерений – обработке результатов с целью представления их в форме, удобной для пользователей, и интерпретации согласно задачам педагогического контроля [14].
Образовательная статистика формируется как на федеральном, так и на региональном, территориальном и школьном уровнях. Как правило, данные массового тестирования являются репрезентативными и могут обеспечить наиболее достоверную картину качества обучения по различным предметным областям и образовательным системам. Они систематизируются и выдаются в одинаковом формате для объектов наблюдения всех уровней. В нашем исследовании выбрана математика, так как этот предмет обязателен для всех выпускников, соответственно, существует возможность использования генеральной выборки всех выпускников региона, что способствует объективизации результатов анализа. В Республике Саха (Якутия) элементы мониторинга результатов ЕГЭ вводятся с 2001 года, когда появилась возможность получать репрезентативные данные единого государственного экзамена, сравнивать статистические данные массовых педагогических измерений в целом в Российской Федерации.
Для анализа результатов ЕГЭ по улусам и районам использованы таблицы по уровням выполнения, в которых отмечены улусы, и проценты выполнения (табл. 1). Улусы и районы также распределены и по определению их отклонения от средних показателей по РС (Я) (рис. 1).
Таблица 1
Распределение по уровням подготовки выпускников
Уровень подготовки |
Отличный |
Хороший |
Удовлетв. |
Неудовлетв |
63–100б |
48–60б |
24–40б |
0–20б |
|
РС(Я) 2012 |
771 |
2468 |
7017 |
646 |
% выпускников РС(Я) |
7,1 % |
22,6 % |
63,4 % |
5,9 % |
РС(Я) 2013 |
1160 |
2766 |
5359 |
333 |
% выпускников РС(Я) |
12,1 % |
28,8 % |
55,7 % |
3,5 % |
Рис. 1. Распределение выпускников РС (Я) по уровням выполнения
База данных создана для статистической обработки результатов единого государственного экзамена по математике в Республике Саха (Якутия), позволяющей интерпретировать результаты массового тестирования по математике. Сначала при создании базы предусмотрено, сколько таблиц, графиков, диаграмм и т.д. будет в базе данных, какие данные будут храниться в каждой таблице, как будут связаны таблицы между собой.
Ниже приведена подробная процедура планирования и создания базы данных [1, 7].
1. Планирование и первичное определение данных:
– определение предварительного имени базы данных – мониторинг;
– определение списка информационных блоков, который нужно периодически извлекать из базы данных (каждый блок представлен одной таблицей);
– создание таблиц в режиме Мастера с помощью программы Miсrosoft Access;
– создание структуры базы, то есть основных таблиц: всего создано 14 таблиц;
– распределение полей генеральной выборки по базовым таблицам.
2. Непосредственное создание базы данных:
– оформление на основе созданных таблиц соответствующих запросов;
– создание форм, как одного из основных средств для работы с базами данных в Access, которые используются для ввода новых записей (строк таблиц), просмотра и редактирования уже имеющихся данных, задания параметров запросов и вывода ответов на них и др. В качестве исходной таблицы мы выбрали таблицу «Общие результаты по РС(Я)», в качестве метода создания форм использовали Мастер форм;
– выбор форм представления отчета с помощью Мастера форм (в столбец, ленточную, табличную или выровненную) и стиля оформления, как набора различных фоновых рисунков с соответствующим подбором шрифтов и форм полей;
– создание отчетов с помощью Мастера отчетов, их группировка и сортировка;
– модификация отчетов: выбор команды Просмотр позволяет увидеть, как будет выглядеть распечатанный отчет.
Анализ качества образования, основанный на данных ЕГЭ, основан на том, что измерение уровня учебных достижений выпускников предельно стандартизовано по процедуре проведения, осуществляется с помощью единых КИМ, а результаты ЕГЭ характеризуются высокой объективностью и сопоставимостью [4, 5, 9]. Эти преимущества позволяют зафиксировать адекватные количественные оценки учебных достижений выпускников, осуществить сравнение по ряду показателей эффективности работы однотипных образовательных структур, сопоставить и рассмотреть эти показатели в динамике.
С практической целью нами был проведен общий анализ результатов ЕГЭ по математике выпускников 2013 года школ Республики Саха (Якутия) по распределенной базе данных по 1 и 2 частям контрольно-измерительных материалов:
I. Часть 1 содержала 14 заданий с кратким ответом, предназначенных для определения математических компетентностей выпускников образовательных учреждений, реализующих программы среднего (полного) общего образования на базовом уровне. Анализ проводился согласно таблице соответствия проверяемых требований к заданиям базового уровня В1-В14.
В качестве примера продемонстрируем типы, характеристику, проверяемые требования, примеры и процент выполнения задания B2:
Тип задания. Задание на чтение графика функции.
Характеристика задания. Задание, моделирующее реальную или близкую к реальной ситуацию. График характеризует изменение в зависимости от времени некоторой величины (температуры, стоимости акций и т.д.) (рис. 2). Как правило, в задании требуется найти наибольшее (наименьшее) значение этой величины, разность между наибольшим и наименьшим значением (возможно за определенный период времени).
При невозможности введения данных мониторинга по уровню выполнения всех заданий приведем обобщенные данные по результатам выполнения части В, представляемой программой в форме столбцевой диаграммы (рис. 3).
II. Задания части 2 отнесены к повышенному уровню, за их полное решение требовалось выставление 2 баллов (С1-С4) и 3 баллов (С3-С4), а также высокому уровню, за решение которых выставлялись 4 балла (С5-С6). Ниже для иллюстрации приведены лишь отдельные данные мониторинга на примере задания С2, представлявшего собой классическую стереометрическую задачу на нахождение геометрической величины (угла или площади сечения).
Рис. 2
Рис. 3. Общий результат выполнения заданий B1-B14
Таблица 2
Данные по выполнению задания С2 в разные годы
Баллы |
Задание С2 2013 г. |
Задание С2 2012 г. |
Задание С2 2011 г. |
Задание С2 2010 г. |
1 балл |
924 (9,6 %) |
192 (1,8 %) |
421 (3,8 %) |
381 (3,2 %) |
2 балла |
237 (2,4 %) |
204 (1,9 %) |
834 (7,6 %) |
492 (4,2 %) |
Таблица 3
Результаты выполнения заданий из области С1-С6
Баллы |
Задание С1 |
Задание С2 |
Задание С3 |
Задание С4 |
Задание С5 |
Задание С6 |
1 балл |
1352 (14,1 %) |
924 (9,6 %) |
386 (4,0 %) |
90 (0,9 %) |
100 (1,04 %) |
466 (4,9 %) |
2 балла |
1115 (11,6 %) |
237 (2,4 %) |
59 (0,6 %) |
328 (3,4 %) |
30 (0,31 %) |
120 (1,3 %) |
3 балла |
202 (2,1 %) |
40 (0,4 %) |
17 (0,17 %) |
29 (0,3 %) |
||
4 балла |
16 (0,16 %) |
8 (0,08 %) |
В целом по заданиям С1-С6 получены данные, указанные в нижеследующей таблице (табл. 3).
Мы привели данные по генеральной выборке, база данных позволяет получать эти данные на разных уровнях, то есть на уровне отдельно сгруппированных образовательных учреждений, на уровне конкретного образовательного учреждения. При планировании и создании базы возможно частное задание получения данных в форме таблиц, графиков, диаграмм, представляющих интерес для данного пользователя. Общие статистические данные регионального, муниципального уровня и уровня образовательного учреждения открыты, поскольку не имеют персонифицированных данных. Это позволяет получать данные для анализа результатов педагогических измерений при заданных условиях, представляющих интерес для конкретного пользователя, будь то образовательное учреждение, получающее конкретные результаты отдельных классов, или муниципалитет, имеющий возможность сравнения результатов разных образовательных учреждений и принятия управленческих решений для коррекции образовательной ситуации, или регион в целом, выставляющий обобщенные данные для указанных целей.
Программа достаточно удобна и проста в использовании, позволяет варьировать запросы и получать именно те данные, которые нужны для анализа. Пользователями данной базы могут быть разные категории педагогических работников: учителя информатики, управленческие работники уровня образовательного учреждения и муниципального органа управления образованием. На основании аналитической работы с образовательной статистикой возможны принятие обоснованных управленческих решений и достоверный прогноз оптимальных направлений развития системы образования.
Рецензенты:
Ефремова Н.Ф., д.п.н., профессор, зав. кафедрой «Педагогические измерения», ДГТУ, г. Ростов-на-Дону;
Власова Е.З., д.п.н., зав. кафедрой, профессор, РГПУ им. А.И. Герцена, г. Санкт-Петербург.
Работа поступила в редакцию 28.01.2015
Библиографическая ссылка
Третьякова Т.В., Павлова Р.С. ОРГАНИЗАЦИЯ МОНИТОРИНГА КАЧЕСТВА ОБУЧЕНИЯ МАТЕМАТИКЕ НА ОСНОВЕ РЕЗУЛЬТАТОВ ЕДИНОГО ГОСУДАРСТВЕННОГО ЭКЗАМЕНА // Фундаментальные исследования. – 2015. – № 2-1. – С. 156-161;URL: https://fundamental-research.ru/ru/article/view?id=36636 (дата обращения: 17.08.2024).