Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

EVALUATION OF QUALITY OF ENTRANTS’ TRAINING IN THE ADMISSION TO THE UNIVERSITY BY RESULTS OF CENTRALIZED TESTS AND FINAL ESSAY

Zarubina N.K. 1 Ovchinkin O.V. 1 Pykhtin A.I. 1
1 Southwest State University
This article is dedicated to the correlation analysis between results of centralized tests of Russian language and marks of literacy of final essay, which could be taken into account as an individual achievement in the admission to the university since this year. The coefficient of correlation of this relation is 0,287449. This result shows weak correlation between observable variates with the high significance level correlation value (p < 0,05). The Mann-Whitney U test also confirms this conclusion: there are no significant differences between low results (40–65 marks) and high results (79–100 marks) of centralized tests in level of literacy of final essay. Thus, level of literacy of entrant doesn’t have an influence on result of centralized test of Russian language. Accordingly, high result of centralized test is not a guarantee of high level of literacy.
admission to the university
entrant
rating
coefficient of correlation
1. Dobritsa V.P., Zarubina N.K., Skripkina E.V. O testirovanii kak forme kontrolya znanii studentov. Sbornik trudov Mezhdunarodnoi nauchno-prakticheskoi konferentsii «Sovremennye problem vysshego obrazovaniya. Kursk, SWSU, 2015. рр. 184–189.
2. Metodicheskie rekomendatsii dlya ekspertov, uchastvuyuschikh v proverke itogovogo sochineniya (izlozheniya). Available at: http://www.fipi.ru/sites/default/files/file/itog_soch/metod_ rekomendacii _experts.pdf.
3. Ovchinkin O.V. Strukturno-funktsionalnaya organizatsiya programmnykh sredstv podderzhki prinyatiya reshenii pri prieme v vuz na vtoroi i posleduyuschie kursy. Izvestiya Yugo-Zapadnogo gosudarstvennogo universiteta. Seriya Upravlenie, vychislitelnaya tekhnika, informatika. Meditsinkoe priborostroenie. 2012, Vol. 2, no. 3, pр. 345–350.
4. Ovchinkin O.V., Pykhtin A.I., Emelyanov S.G. Funktsionalnaya model protsessa priema v vuz na vtoroi i posleduyuschie kursy. Informatsionnye sistemy i tekhnologii. 2013, Vol. 6(80), pр. 24–32.
5. Poruchenie Pr-2699, p.2b. Perechen poruchenii po itogam zasedaniya Soveta pri Prezidente po culture i iskusstvy ot 17 noyabrya 2013. Available at: http://www.kremlin.ru/acts/assignments/ orders/19647.
6. Pravila priema na obuchenie po obrazovatelnym programmam vysshego obrazovaniya – programmam bakalavriata, programmam spetsialiteta, programmam magistratury na 2015/16 uchebnyi god v YUZGU. Available at: http://ee.swsu.ru/rules.php
7. Pykhtin A.I. Algoritm prognozirovaniya prokhodnogo balla pri prieme v vuz na pervyi kurs obucheniya. Sbornik naychnykh trudov po materialam Mezhdunarodnoi nauchno-prakticheskoi konferentsii «Razvitie nauki i obrazovaniya v sovremennom mire». 2015, no. 6, pр. 67–68.
8. Pykhtin A.I., Emelyanov I.P. Kontseptsiya organizatsii priema v vuzy na osnove provedeniya edinogo vserossiiskogo konkursa po napravleniyam podgotovki i spetsialnostyam. Izvestiya Yugo-Zapadnogo gosudarstvennogo universiteta. 2013, Vol. 2(47), pр. 86–88.

В данной статье проводится анализ взаимосвязи баллов ЕГЭ по русскому языку и баллов за грамотность в итоговом сочинении, то есть насколько грамотность абитуриента может влиять на получение высокого балла ЕГЭ.

В 2014–2015 учебном году по поручению Президента Российской Федерации В.В. Путина [5] после длительного перерыва в число обязательных выпускных испытаний вошло итоговое сочинение, которое по желанию абитуриента может дополнительно быть оценено вузом (от 0 до 10 баллов) и учтено в качестве индивидуального достижения при поступлении.

Для оперативной обработки сочинений абитуриентов использовался программный продукт собственной разработки (рис. 1). Программа по заданным пользователем параметрам: фамилии, имени, отчеству и номеру документа, удостоверяющего личность абитуриента, осуществляет запрос федеральной базы данных по заданным имени пользователя и паролю и автоматически скачивает найденные материалы в архиве в формате *.zip во временный каталог. Далее программа распаковывает содержащиеся в архиве изображения (копии страниц сочинения абитуриента) и выводит их на экран пользователю. Пользователю предоставляется возможность последовательного просмотра изображений, отметки и печати выбранных страниц. В случае отсутствия запрошенных данных в федеральной базе данных на экран пользователя выводится сообщение с ошибкой поиска по заданным параметрам.

Критерии оценивания итогового сочинения разрабатывались вузами самостоятельно.

Юго-Западный государственный университет выбрал за критерий оценку грамотности: «При этом 10 баллов назначается при отсутствии ошибок в сочинении / наличии одной ошибки. За каждую последующую ошибку оценка уменьшается на 1 балл. При наличии 11 и более ошибок баллы не начисляются» [6]. Учитывались все виды ошибок: от орфографических и пунктуационных до речевых и фактических. Этот критерий был выбран как один из наиболее прозрачных при оценивании сочинения. При таком подходе любой абитуриент может увидеть, за что снят каждый балл.

Грамотность – это один из 5 критериев для получения зачета за итоговое сочинение в школе: «Незачет» ставится, если речевые, грамматические, а также орфографические и пунктуационные ошибки, допущенные в сочинении, затрудняют чтение и понимание текста (в сумме более 5 ошибок на 100 слов)» [2]. При рекомендованном объеме сочинения 350 слов имеем допустимый для зачета уровень – 17–18 ошибок.

Анализ взаимосвязи баллов ЕГЭ по русскому языку и баллов за грамотность в итоговом сочинении должен показать, насколько грамотность абитуриента может влиять на получение высокого балла ЕГЭ.

Для анализа подобной взаимосвязи на основе 1509 поданных в ЮЗГУ заявлений, в которых абитуриент пожелал учесть свое сочинение в качестве индивидуального достижения, были проанализированы две случайные величины:

1. Полученный абитуриентом балл на ЕГЭ по русскому языку (рис. 2).

2. Полученный абитуриентом балл в ЮЗГУ за грамотность в итоговом сочинении (рис. 3).

Очевидно, что данные величины распределены нормально. Всплеск на рис. 3 слева обусловлен тем фактом, что 0 баллов – это минимальный балл, который выставлялся при наличии 11 и более ошибок. Но 11 ошибок – это, к сожалению, не максимальное количество ошибок, допущенных отдельными абитуриентами. Поэтому в крайнем слева столбце просто аккумулированы все значения, когда количество ошибок более 11, что повлияло на частоту появления балла «0» в распределении случайной величины.

pic_31.tif

Рис. 1. Исходная форма программного продукта для обработки итогового сочинения абитуриента

pic_32.tif

Рис. 2. Гистограмма распределения баллов ЕГЭ по русскому языку абитуриентов, подавших заявления в ЮЗГУ

pic_33.tif

Рис. 3. Гистограмма распределения баллов за итоговое сочинение абитуриентов, подавших заявления в ЮЗГУ

Таблица 1

Коэффициент корреляции Спирмена

Случайные величины

Размер выборки

Коэффициент корреляции Спирмена

Уровень статистической значимости (p-level)

Результат ЕГЭ, Балл за грамотность в сочинении

1509

0,287449

0,000000

Для исследования взаимосвязи результата ЕГЭ по русскому языку и балла за грамотность в итоговом сочинении был рассчитан ранговый коэффициент корреляции Спирмена (табл. 1).

Коэффициент корреляции 0,287449 позволяет сделать вывод о слабой взаимосвязи между исследуемыми величинами. А уровень статистической значимости p = 0,000 показывает высокую значимость полученной корреляции.

Таким образом, можно сделать вывод о том, что балл ЕГЭ абитуриента по русскому языку и балл за грамотность в итоговом сочинении не связаны. То есть высокий балл ЕГЭ не гарантирует получения высокого балла за грамотность в итоговом сочинении, и наоборот.

График рассеивания хорошо иллюстрирует полученный результат (рис. 4).

Здесь на графике рассеивания по оси Х отложены значения баллов за грамотность в итоговом сочинении (от 0 до 10), по оси Y – значения баллов ЕГЭ по русскому языку абитуриентов ЮЗГУ. По графику видно, что вне зависимости от балла за грамотность балл ЕГЭ может быть как низким, так и высоким.

pic_34.tif

Рис. 4. График рассеивания относительно возможной линии корреляции исследуемых величин

Таблица 2

Значение U-критерия Манна – Уитни

Случайная величина

Сумма рангов для «низкого» результата ЕГЭ

Сумма рангов для «высокого» результата ЕГЭ

U

Z

p-level

Объем выборки с «низким» результатом ЕГЭ

Объем выборки с «высоким» результатом ЕГЭ

Грамотность

138970

212571

50980

–10,7

0,00

419

419

pic_35.tif

Рис. 5. Диаграмма размаха уровня грамотности при низком и высоком результатах ЕГЭ по русскому языку абитуриентов ЮЗГУ

Полученную слабую взаимосвязь между баллом ЕГЭ и грамотностью в итоговом сочинении подтверждает также U-критерий Манна – Уитни. Для этого исходная выборка результатов ЕГЭ была разбита на 2 (объем каждой из них – 419):

1) низкий результат (от 40 до 65 баллов);

2) высокий результат (от 79 до 100 баллов).

Соответственно, цель данного критерия – выявить, есть ли различия в уровне грамотности в выборках с низким и высоким результатами ЕГЭ. И согласно полученным данным (табл. 2), различия среди этих выборок незначительны. То есть уровень грамотности абитуриента не зависит от полученного балла ЕГЭ.

Отсутствие значимых различий в уровне грамотности при низком и высоком результатах ЕГЭ отражено на рис. 5. Несмотря на то, что квартильный размах при высоких результатах все же выше в диаграмме с высокими результатами, чем при низких результатах, размах первой выборки примерно такой же, как и второй.

Таким образом, в результате анализа полученных данных можно сделать следующие выводы.

Во-первых, полученный выпускником балл на ЕГЭ по русскому языку никак не отражает его уровень грамотности. Это было подтверждено и низким коэффициентом корреляции, и U-значением критерия Манна – Уитни. Также показательны случаи, когда абитуриент с невысоким баллом 65 за ЕГЭ получает максимальный балл 10 за грамотность, а абитуриенты с высокими баллами 100 и 98 за ЕГЭ получают 2 и 0 баллов соответственно за грамотность в итоговом сочинении (это 9 и более 11 ошибок!).

Во-вторых, уровень грамотности абитуриентов снизился. Согласно нормам оценок и знаний по русскому языку 45 % сегодняшних абитуриентов (680 человек) не сдали бы экзамен на положительную оценку (3 и выше), т.к. совершили более 8 ошибок в итоговом сочинении.

В-третьих, обозначилась проблема выпускников школ, связанная с изучением и применением на практике правил русского языка. У школьников снизилась мотивация к изучению правил [1], т.к. проверка знаний проходит в форме теста, без полного озвучивания формулировок. И даже в части С при написании эссе грамотность – это не ключевой критерий оценки. Возможно, школьник настолько натренирован на распознавание применения правила в каком-то конкретном тестовом случае, что в измененной форме в своем же сочинении он не замечает, когда требуется использовать данное правило.

В-четвертых, при проверке было выявлено большое число речевых ошибок. То есть значительная часть выпускников не умеет корректно и грамотно формулировать мысли при написании авторского текста. Это влечет за собой проблемы с речью, поскольку уже сейчас при устных ответах у абитуриентов, поступающих по собеседованию в вуз (на базе профессионального образования), и у нынешних студентов при ответе у доски или на устном экзамене возникает проблема в формулировании основных определений и правил. Школьники «отвыкают говорить», им проще что-то решить без объяснений.

Работа выполнена в рамках гранта Президента Российской Федерации МК-5226.2015.8.

Рецензенты:

Локтионова О.Г., д.т.н., профессор, проректор по учебной работе, ФГБОУ ВО «Юго-Западный государственный университет», г. Курск;

Атакищев О.И., д.т.н., профессор, проректор по перспективным исследованиям, ФГБОУ ВО «Юго-Западный государственный университет», г. Курск.