В данной статье проводится анализ взаимосвязи баллов ЕГЭ по русскому языку и баллов за грамотность в итоговом сочинении, то есть насколько грамотность абитуриента может влиять на получение высокого балла ЕГЭ.
В 2014–2015 учебном году по поручению Президента Российской Федерации В.В. Путина [5] после длительного перерыва в число обязательных выпускных испытаний вошло итоговое сочинение, которое по желанию абитуриента может дополнительно быть оценено вузом (от 0 до 10 баллов) и учтено в качестве индивидуального достижения при поступлении.
Для оперативной обработки сочинений абитуриентов использовался программный продукт собственной разработки (рис. 1). Программа по заданным пользователем параметрам: фамилии, имени, отчеству и номеру документа, удостоверяющего личность абитуриента, осуществляет запрос федеральной базы данных по заданным имени пользователя и паролю и автоматически скачивает найденные материалы в архиве в формате *.zip во временный каталог. Далее программа распаковывает содержащиеся в архиве изображения (копии страниц сочинения абитуриента) и выводит их на экран пользователю. Пользователю предоставляется возможность последовательного просмотра изображений, отметки и печати выбранных страниц. В случае отсутствия запрошенных данных в федеральной базе данных на экран пользователя выводится сообщение с ошибкой поиска по заданным параметрам.
Критерии оценивания итогового сочинения разрабатывались вузами самостоятельно.
Юго-Западный государственный университет выбрал за критерий оценку грамотности: «При этом 10 баллов назначается при отсутствии ошибок в сочинении / наличии одной ошибки. За каждую последующую ошибку оценка уменьшается на 1 балл. При наличии 11 и более ошибок баллы не начисляются» [6]. Учитывались все виды ошибок: от орфографических и пунктуационных до речевых и фактических. Этот критерий был выбран как один из наиболее прозрачных при оценивании сочинения. При таком подходе любой абитуриент может увидеть, за что снят каждый балл.
Грамотность – это один из 5 критериев для получения зачета за итоговое сочинение в школе: «Незачет» ставится, если речевые, грамматические, а также орфографические и пунктуационные ошибки, допущенные в сочинении, затрудняют чтение и понимание текста (в сумме более 5 ошибок на 100 слов)» [2]. При рекомендованном объеме сочинения 350 слов имеем допустимый для зачета уровень – 17–18 ошибок.
Анализ взаимосвязи баллов ЕГЭ по русскому языку и баллов за грамотность в итоговом сочинении должен показать, насколько грамотность абитуриента может влиять на получение высокого балла ЕГЭ.
Для анализа подобной взаимосвязи на основе 1509 поданных в ЮЗГУ заявлений, в которых абитуриент пожелал учесть свое сочинение в качестве индивидуального достижения, были проанализированы две случайные величины:
1. Полученный абитуриентом балл на ЕГЭ по русскому языку (рис. 2).
2. Полученный абитуриентом балл в ЮЗГУ за грамотность в итоговом сочинении (рис. 3).
Очевидно, что данные величины распределены нормально. Всплеск на рис. 3 слева обусловлен тем фактом, что 0 баллов – это минимальный балл, который выставлялся при наличии 11 и более ошибок. Но 11 ошибок – это, к сожалению, не максимальное количество ошибок, допущенных отдельными абитуриентами. Поэтому в крайнем слева столбце просто аккумулированы все значения, когда количество ошибок более 11, что повлияло на частоту появления балла «0» в распределении случайной величины.
Рис. 1. Исходная форма программного продукта для обработки итогового сочинения абитуриента
Рис. 2. Гистограмма распределения баллов ЕГЭ по русскому языку абитуриентов, подавших заявления в ЮЗГУ
Рис. 3. Гистограмма распределения баллов за итоговое сочинение абитуриентов, подавших заявления в ЮЗГУ
Таблица 1
Коэффициент корреляции Спирмена
|
Случайные величины |
Размер выборки |
Коэффициент корреляции Спирмена |
Уровень статистической значимости (p-level) |
|
Результат ЕГЭ, Балл за грамотность в сочинении |
1509 |
0,287449 |
0,000000 |
Для исследования взаимосвязи результата ЕГЭ по русскому языку и балла за грамотность в итоговом сочинении был рассчитан ранговый коэффициент корреляции Спирмена (табл. 1).
Коэффициент корреляции 0,287449 позволяет сделать вывод о слабой взаимосвязи между исследуемыми величинами. А уровень статистической значимости p = 0,000 показывает высокую значимость полученной корреляции.
Таким образом, можно сделать вывод о том, что балл ЕГЭ абитуриента по русскому языку и балл за грамотность в итоговом сочинении не связаны. То есть высокий балл ЕГЭ не гарантирует получения высокого балла за грамотность в итоговом сочинении, и наоборот.
График рассеивания хорошо иллюстрирует полученный результат (рис. 4).
Здесь на графике рассеивания по оси Х отложены значения баллов за грамотность в итоговом сочинении (от 0 до 10), по оси Y – значения баллов ЕГЭ по русскому языку абитуриентов ЮЗГУ. По графику видно, что вне зависимости от балла за грамотность балл ЕГЭ может быть как низким, так и высоким.
Рис. 4. График рассеивания относительно возможной линии корреляции исследуемых величин
Таблица 2
Значение U-критерия Манна – Уитни
|
Случайная величина |
Сумма рангов для «низкого» результата ЕГЭ |
Сумма рангов для «высокого» результата ЕГЭ |
U |
Z |
p-level |
Объем выборки с «низким» результатом ЕГЭ |
Объем выборки с «высоким» результатом ЕГЭ |
|
Грамотность |
138970 |
212571 |
50980 |
–10,7 |
0,00 |
419 |
419 |
Рис. 5. Диаграмма размаха уровня грамотности при низком и высоком результатах ЕГЭ по русскому языку абитуриентов ЮЗГУ
Полученную слабую взаимосвязь между баллом ЕГЭ и грамотностью в итоговом сочинении подтверждает также U-критерий Манна – Уитни. Для этого исходная выборка результатов ЕГЭ была разбита на 2 (объем каждой из них – 419):
1) низкий результат (от 40 до 65 баллов);
2) высокий результат (от 79 до 100 баллов).
Соответственно, цель данного критерия – выявить, есть ли различия в уровне грамотности в выборках с низким и высоким результатами ЕГЭ. И согласно полученным данным (табл. 2), различия среди этих выборок незначительны. То есть уровень грамотности абитуриента не зависит от полученного балла ЕГЭ.
Отсутствие значимых различий в уровне грамотности при низком и высоком результатах ЕГЭ отражено на рис. 5. Несмотря на то, что квартильный размах при высоких результатах все же выше в диаграмме с высокими результатами, чем при низких результатах, размах первой выборки примерно такой же, как и второй.
Таким образом, в результате анализа полученных данных можно сделать следующие выводы.
Во-первых, полученный выпускником балл на ЕГЭ по русскому языку никак не отражает его уровень грамотности. Это было подтверждено и низким коэффициентом корреляции, и U-значением критерия Манна – Уитни. Также показательны случаи, когда абитуриент с невысоким баллом 65 за ЕГЭ получает максимальный балл 10 за грамотность, а абитуриенты с высокими баллами 100 и 98 за ЕГЭ получают 2 и 0 баллов соответственно за грамотность в итоговом сочинении (это 9 и более 11 ошибок!).
Во-вторых, уровень грамотности абитуриентов снизился. Согласно нормам оценок и знаний по русскому языку 45 % сегодняшних абитуриентов (680 человек) не сдали бы экзамен на положительную оценку (3 и выше), т.к. совершили более 8 ошибок в итоговом сочинении.
В-третьих, обозначилась проблема выпускников школ, связанная с изучением и применением на практике правил русского языка. У школьников снизилась мотивация к изучению правил [1], т.к. проверка знаний проходит в форме теста, без полного озвучивания формулировок. И даже в части С при написании эссе грамотность – это не ключевой критерий оценки. Возможно, школьник настолько натренирован на распознавание применения правила в каком-то конкретном тестовом случае, что в измененной форме в своем же сочинении он не замечает, когда требуется использовать данное правило.
В-четвертых, при проверке было выявлено большое число речевых ошибок. То есть значительная часть выпускников не умеет корректно и грамотно формулировать мысли при написании авторского текста. Это влечет за собой проблемы с речью, поскольку уже сейчас при устных ответах у абитуриентов, поступающих по собеседованию в вуз (на базе профессионального образования), и у нынешних студентов при ответе у доски или на устном экзамене возникает проблема в формулировании основных определений и правил. Школьники «отвыкают говорить», им проще что-то решить без объяснений.
Работа выполнена в рамках гранта Президента Российской Федерации МК-5226.2015.8.
Рецензенты:
Локтионова О.Г., д.т.н., профессор, проректор по учебной работе, ФГБОУ ВО «Юго-Западный государственный университет», г. Курск;
Атакищев О.И., д.т.н., профессор, проректор по перспективным исследованиям, ФГБОУ ВО «Юго-Западный государственный университет», г. Курск.