В настоящее время педагогические измерения и педагогическое тестирование имеют в России существенный потенциал развития. Тестовая технология сдачи экзамена по химии студентами нехимических направлений используется в Томском политехническом университете в течение последних 5 лет. В 2010 году данная технология была применена к студентам-химикам и сразу стали очевидны достоинства и недостатки, а также отличительные особенности тестовой формы экзамена от классической. Классический экзамен состоял из двух частей: практической, представленной 10 заданиями, и теоретической, заключающейся в устной беседе студента с преподавателем. Недостатком данной методики проведения экзамена является его длительность и отсюда накапливающаяся усталость, как у студента, так и у преподавателя, а также высокая доля субъективности в оценке знаний студента. Известно, что проведение экзамена в тестовом виде является независимой и наиболее объективной формой итоговой аттестации знаний студента [1, 2]. Кроме того, тестовая технология привела к сокращению времени проведения экзамена, сократив временные затраты преподавателя на проверку заданий. Негативными сторонами экзамена в тестовом виде могут быть: низкое качество контрольно-измерительных материалов, а также нестандартные приёмы, примененные студентами в качестве сторонней помощи, как то: списывание, использование сотовой техники, выход в интернет. Последний фактор легко устраняется требованием максимальной письменной мотивации ответов. В данной работе проанализировано качество тестовых материалов и даны рекомендации по их усовершенствованию.
Экзаменационный билет по общей химии состоял из двух частей: части А, содержащей 15 заданий с выбором ответа и части В, представленной 7 заданиями с закрытым (на дополнение) ответом. Порядок следования заданий соответствовал кодификатору, имеющему следующую структуру:
Кодификатор элементов содержания экзаменационного билета по общей химии
А1 Классы, номенклатура неорганических соединений
А2 Основные законы химии
А3 Строение атома
А4 Периодическая система и периодичность свойств элементов
А5 Химическая связь (метод молекулярных орбиталей)
А6 Комплексные соединения
А7 Основы химической термодинамики
А8 Химическое равновесие
А9 Химическая кинетика
А10 Электрохимия (гальванические элементы)
А11 Реакции ионного обмена
А12 Водородный показатель
А13 Гидролиз солей
В1 Химическая связь (метод валентных связей)
В2 Термохимические расчеты
В3 Химическая кинетика
В4 Окислительно-восстановительные реакции
В5 Электрохимия
В6 Расчетная задача по уравнению реакции
В7 Растворы электролитов и неэлетролитов
В части В задание В1 представлено тестами на выбор нескольких правильных дистракторов из множества, например:
В1 Для молекулы IF5 характерно:
-
sp3d2 тип гибридизация атомных орбиталей йода;
-
октаэдрическая форма молекулы;
-
наличие π-связей;
-
валентный угол, равный 90о;
-
наличие несвязывающих электронных пар;
-
наличие ковалентных неполярных связей.
Ответ: _____________. (Запишите цифры в порядке возрастания)
Все остальные задания являются тестами с закрытым ответом, например:
В3 При t = 100 °С реакция заканчивается за 4 секунды, а при t = 70 °С за 108 секунд. Температурный коэффициент реакции равен _______.
В4 Расставьте коэффициенты с использованием метода полуреакций:
MnSO4 + Br2 + NaOH → → Na2MnO4 + NaBr + ...
Сумма все коэффициентов равна _____.
Статистический анализ результатов тестирования. Оценка качества тестовых материалов
В зимнюю сессию 2010 г. было проведено тестирование 200 студентов первого курса химических направлений по общей химии.
Для анализа тестовых материалов была составлена матрица тестовых результатов, вычислены Rj и Yi, матрица упорядочена по убыванию.
Распределение заданий по трудности представлено на рис. 1.
Рис. 1. Распределение тестовых заданий по трудности
Из рис. 1 видно, что в тесте отсутствуют легкие задания с коэффициентом трудности ниже 0,3; 15 заданий, а именно: А3; А11; А1; А13; А9; А5; А2; А6; А10; А7; А8; В4; А12; А4; В3 являются средней трудности, с коэффициентом от 0,3 до 0,7; 5 заданий относятся к трудным (В2; В6; В5; В1; В7). Известно, что оптимальный тест должен содержать 20 % легких заданий, 70 % - средней сложности и 10 % - сложных, данный тест не сбалансирован по уровням трудности. Первоначально тест компонуется согласно уровням трудности в кодификаторе. При дальнейшей доработке следует добиться плавности графика трудности заданий: убрать имеющиеся ступеньки и резкие скачки.
Оценка дифференцирующей способности тестовых материалов
Дифференцирующая способность задания заключается в способность различать слабых и сильных студентов. Рассмотрим дифференцирующую способности как разность между долей правильных ответов хорошо подготовленных и слабо подготовленных групп студентов.
Анализ результатов тестирования (рис. 2) студентов показал, что одно задание В5 обладает низкой дифференцирующей способностью (менее 0,3), 19 заданий имеют дифференцирующую способность выше 0,3 (А1; А2; А3; А4; А5; А6; А7; А8; А9; А10; А11; А12; А13; В1; В2; В3; В4; В6; В7). Для объяснения низких значений дифференцирующей способности следует проанализировать распределение доли правильных ответов хорошо и слабо подготовленных студентов (рис. 3).
Рис. 2. Дифференцирующая способность заданий
Рис. 3. Доля выполнения заданий сильными и слабыми студентами
В тесте встретилось одно задание (В5) с низкой дифференцирующей способностью, поскольку данное задание и плохо и хорошо подготовленные студенты решить не могут. Это задание проверяет умение студентов записывать продукты окислительно-восстановительного взаимодействия веществ и уравнивать реакции методом полуреакций.
Расчет корреляционной матрицы
Расчет корреляционной матрицы позволяет оценить тестовые свойства заданий. Корреляционные матрицы представлены коэффициентами корреляции заданий друг с другом, а также с суммой баллов. Чем выше коэффициент корреляции задания с суммой баллов, тем выше шансы заданий называться тестовыми и попасть в тест. Говорят о системности задания. Квадрат корреляции задания с суммой баллов, представленный в процентах (коэффициент детерминации) указывает на вклад задания в общую дисперсию тестовых баллов. Задания с нулевой (ниже 0,2) корреляцией, так же как задания с отрицательными значениями, из теста удаляются, как не выдержавшие эмпирической проверки. В нашем тесте таких заданий нет.
Из гистограммы (рис. 4) следует, что задания А3, А5 и В4 вносят большой вклад в общую дисперсию баллов, таким образом, данные задания обладают хорошей дифференцирующей способностью, то есть по ответам на такие задания как А3, А5, В4 и, скажем, А8 (в сумме это около 100 %) можно судить, насколько хорошо усвоен материал. При оценке корреляции заданий друг с другом необходимо принимать во внимание, что не должно быть сильных корреляций (К больше 0,7), так как в этом случае задания проверяют «одно и то же». В случае присутствия в тесте двух заданий с одинаковыми значениями трудности и дифференцирующей способностью одно из заданий убирается, поскольку такие задания могут рассматриваться как параллельные. Анализ показал, что в нашем тесте таких заданий нет. Желательно, чтобы между заданиями были низкие корреляции (К меньше 0,2). Задания в анализируемом тесте проходят этот критерий.
Значение коэффициента надежности теста показывает, насколько можно доверять полученным результатам, если коэффициент надежности выше 0,8, то данные получены с высокой надежностью. Чем больше данное значение, тем уже доверительный интервал для истинного балла. Коэффициент надежности теста, вычисленного по формуле Кьюдера-Ричардсона, равен 0,82.
Рис. 4. Детерминация с суммарным тестовым баллом
Описательные статистики
Описательные статистики - это статистические показатели, которые характеризуют свойства распределения тестового балла: меры центральной тенденции (мода, медиана, среднее); меры вариации (размах, дисперсия, стандартные отклонения, коэффициент вариации); меры симметричности и островершинности кривой (асимметрия, эксцесс).
Мода - наиболее часто встречающееся значение. Из гистограммы (рис. 5) видно, что это 8 баллов.
Рис. 5. Частотное распределение тестового балла
Медиана - это значение, которое делит всю совокупность пополам. Расчет медианы показал, что 50 % студентов имеют тестовый балл меньше 9, что свидетельствует о низком уровне подготовки студентов по общей химии.
Расчетная величина, показывающая разность между максимальным и минимальным тестовым баллов, называется размахом. Это грубая характеристика вариации (изменчивость), ею удобно пользоваться при сравнении результатов нескольких групп. Размах нашего теста равен 19.
Важнейшим показателем при апробации тестов является дисперсия, в нашем случае она равна 17,96. Если при повторной апробации дисперсия увеличилась, то качество тестового материала улучшилось, то есть тест стал лучше дифференцировать студентов по уровню подготовленности. Такое сопоставление результатов тестирования студентов следует провести в следующем году, осуществив предварительную корректировку тестов.
Коэффициент вариации, характеризующий степень однородности тестового балла, равен 43,8 %, что свидетельствует о высокой вариации и неоднородности данных. Значение коэффициента вариации в дальнейшем будет использоваться для сравнения нескольких тестирований.
Показатель симметричности кривой, в нашем случае равный 0,12, может принимать значения от -3 до +3. В случае отрицательных значений говорят о смещении влево, в случае положительном - вправо, при «о» - симметрично. Положительная асимметрия указывает на то, что тест является легким, при отрицательной - трудным. По полученному результату можно говорить об отсутствии асимметрии.
Эксцесс, равный -0,6, является показателем островершинности кривой, он может принимать значения от -3 до +3. В случае отрицательных значений говорят о плосковершинной кривой, при положительной - об островершинной кривой, при 0 - средневершинной (нормальной кривой). Полученная нами кривая имеет некоторую тенденцию двувершинности, т.е. тестируемые состоят из двух не явно разделенных групп - ничего не знающих и «средне» знающих студентов. На этапе измерения отрицательные значения говорят о неоднородности данных, на этапе апробации- о хорошей дифференцирующей способности теста. (В нашем тесте все задания кроме одного - В5, имеют допустимый коэффициент дифференцирующей способности). Необходимо выровнять тест по трудности заданий.
Таким образом, анализ результатов тестирования студентов химических направлений и специальностей по общей химии, а также качества тестовых заданий показал:
-
среди экзаменуемых в большей степени присутствуют студенты со средним уровнем подготовленности;
-
студенты слабо усвоили тему «Электрохимические процессы», не умеют производить количественные расчеты;
-
необходимо увеличить долю легких заданий;
-
тестовые задания являются ликвидными и обладают высокой дифференцирующей способностью;
-
необходимо переработать задание В5, обладающее низкой дифференцирующей способностью.
Рецензенты:
-
Курина Л.Н., д.х.н., профессор Томского государственного университета, г. Томск;
-
Погребенков В.М., д.т.н., профессор Томского политехнического университета, г. Томск.
Работа поступила в редакцию 06.09.2011.