Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

QUALITY GUARANTEE OF COMPETENCY-BASED TRAINING IS IN RELIABILITY ASSESSMENT OF STUDENTS’ ACHIEVEMENTS

Efremova N.F. 1
1 Don State Technical University
Recently in professional education increasing attention has been given to monitoring students’ progress as it is recognized that the guarantee of quality education is closely linked with the qualitative evaluation of its results. An objective assessment of learning outcomes provides opportunities for real analysis of the state of all structural elements of the educational process: organizational support of management, quality of teaching, content and methods of training, educational achievements of students, quality of educational systems and quality assessment tools. Evaluation process provides measures aimed at the formation and development of competencies. To do this, universities should create an independent evaluation system of students’ achievements. Assessment activity in a competence-based approach is particularly important due to a significant increase in time given to an independent work of students and the need for systematic monitoring of the results. It is shown that the assessment of competences is a very difficult task in both theoretical and practical aspects, it requires special training in theory and practice of educational measurement, and especially when designing and implementing competence-oriented tasks which can be successfully used both for training and evaluation.
competence
quality of education
competence-oriented tasks
1. Declan Kennedy. Writing and using learning outcomes: a practical guide. Declan Kennedy, Aine Hyland, Norma Ryan Writing and Using Learning Outcomes: a Practical Cuide (transl. Tarasyuk L.N.) http://www.bolognahandbook.
2. Efremova N.F. Competencies in education: development and evaluation. M.: National education. 2012. 416 p.
3. Efremova N.F. Assessment of quality of students’ traning in the framework of the requirements of the state educational standard of higher professional education: the creation of a Fund assessment tools for the evaluation of students of higher education institutions in implementation of competence-oriented OOP VPO new generation: the Installation of organizational-methodical materials thematic seminar cycle / N.F. Efremova, V.G. Kazanovich. M.: ICPKPS, 2010. 36 p.
4. Zvonnikov V.I., Chelyshkova M.B. Assessment of quality of students’ traning in the framework of the requirements of the state educational standard of higher professional education: the creation of a Fund assessment tools for the evaluation of students of higher education institutions in implementation of competence-oriented OOP VPO new generation: the Installation of organizational methodical materials thematic seminars cycle. M.: ICPKPS, 2010. 30 p.
5. Competence-oriented tasks: design and application in the educational process. Uch.-method. the allowance / Ed. by N.F. Efremova. M.: National education. 2013. 208 p.
6. The letter of the Ministry of education and science of the Russian Federation no. AK-895/05 10.06.2013 «On the new version of the Federal state educational standard of higher professional education» with the approved layout the GEF HBO.
7. Bloom B.S., Engelhart M.D., Furst E.J., Hill W. and Krathwohl D. (1956) Taxonomy of educational objectives. Volume I: The cognitive domain. New York: McKay.

Потребность общества в специалистах, готовых эффективно действовать за пределами учебных задач, актуализирует поиск и развитие новых направлений модернизации системы образования и систем контроля его результатов. В целом в профессиональном образовании происходит переход от логики усвоения содержания к логике достижения результата в виде системы компетенций. Основная идея компетентностного обучения заключается в том, чтобы студенты усваивали не отдельные разрозненные знания, умения и навыки, а развивали способность и готовность к деятельности в стандартных и несандартных ситуациях, используя теоретические знания и практические навыки. Поэтому в ФГОС ВПО заданы требования не к обязательному минимуму содержания образования, а к результатам освоения образовательных программ, выраженным дескрипторами в форме компетенций (профессиональных и общекультурных). Пороговые уровни их сформированности устанавливаются каждым вузом самостоятельно. Таким образом ответственность за гарантированно качественное обучение лежит на образовательных организациях, которыми разрабатываются и утверждаются основная образовательная программа и весь оценочный инструментарий к ней, создаются фонды оценочных средств для всех компетенций, заявленных в образовательной программе [6].

Следует отметить, что в последнее время непрерывно увеличиваются потребности в объективной оценке знаний и компетенций, растет требование к качеству педагогических измерителей и оценочных процедур. При этом в оценивании результатов компетентностного обучения все большее значение придается самооцениванию студентами достигнутого уровня, когда на основе рефлексивных суждений каждый студент может самостоятельно осуществлять и корректировать образовательную траекторию своей учебной деятельности. В значительной степени этому способствует широкое применение разного рода компетентностно-ориентированных заданий (КОЗ). Практика показывает, что представление студентов о возможных вариантах профессиональной деятельности и об инструментальной основе различных видов этой деятельности КОЗ обеспечивают не только при контроле, но и в учебном процессе. Результативное выполнение подобных заданий создает условия не только для глубокого осмысления студентами программного материала, но и открывает преподавателям возможности расширить рамки учебной программы, стимулирует самообразование и саморазвитие студентов, формирует их способности в будущем успешно реализовать себя в условиях современной экономики, где востребованными и успешными становятся люди, подготовленные мыслить и действовать самостоятельно.

Основная часть. На сегодня в системе высшего образования дидактические материалы с готовыми к внедрению в процесс обучения оценочными средствами практически отсутствуют, а имеющиеся средства характеризуются низкой надежностью. Поэтому преподаватели вынуждены самостоятельно разрабатывать специальные задания для формирования и оценивания компетенций по своей дисциплине или на межпредметном содержании. При этом использование компетентностно-ориентированных заданий позволяет изменять не только характер работы студентов, но позицию и характер деятельности самого преподавателя, ибо способность сконструировать и использовать КОЗ позволяет оценивать и его профессиональую компетентность. Требование измеримости и сопоставимости уровней сформированности в отношении компетенций как предмета контроля результатов обучения составляет на сегодняшний день наивысшую трудность, практически во всех вузах страны существует серьезная проблема: нет специалистов, понимающих суть компетентностного обучения, умеющих создавать для него условия, конструировать и применять КОЗ, в целом имеется острая потребность в специалистах в области педагогических измерений и разработки надежных педагогических оценочных инструментов. Основная трудность связана с тем, что компетенции формируются и проявляются только в деятельности обучающихся, а следовательно, эту деятельность необходимо планировать и организовывать. Именно профессионализм преподавателя позволяет обеспечивать формирование мотивов и стимулов в задании, конструирование форм предъявления результатов как последовательности действий студентов на пути выполнения КОЗ. Определение оцениваемых аспектов компетенций и составление задач на основе выбранных аспектов как раз и является показателем профессионализма преподавателя, обеспечивающего поиск источников и ситуаций для компетентностных заданий, позволяющих организовать и направлять планируемую деятельность студентов. При этом следует учитывать, что КОЗ содержательно должно быть интересно студенту, должно увлекать (мотивировать) его для поиска решения и выполнения задания.

При конструировании оценочного процесса, прежде всего, следует определиться с его целью, ответив на ряд вопросов: что оценивать; для чего, чем и как оценивать; какую долю в контроле должны занимать оценка знаний и оценка компетенций; какие оценочные процедуры и средства разрабатывать и использовать на разных этапах обучения; как использовать полученные результаты? Для ответов на эти вопросы и обеспечения надежного оценивания компетенций необходимо провести ряд предварительных действий:

– описать результаты в простых и однозначных терминах, чтобы они были понятны студентам, преподавателям, коллегам, работодателям и внешним экспертам. Такие требования к написанию результатов достаточно четко изложены в работе D. Kennedy [1];

– создать сквозную программу промежуточных (поэтапных / по курсам обучения) комплексных испытаний (аттестаций) в вузе на соответствие подготовки студентов ожидаемым результатам освоения компетентностно-ориентированной ООП ВПО;

– оценить, реально ли достичь результатов образования имеющимися ресурсами и в пределах отведенного времени;

– разработать КОЗ и создать возможности формирования и оценивания компетенций с их помощью [2].

Рассмотрим подробнее, что отличает компетентностное от традиционного задания, какие его особенности способстуют достижению положительных результатов:

– это задание деятельностное, требующее использования для его решения спектра учебных достижений обучающегося: предметные умения (понятийный аппарат, объяснение действий, подбор моделей, создание собственного алгоритма действий), умения работать с информацией, поиск путей достижения цели, исследовательские (или методологические) умения, устную и письменную коммуникацию и др.; прежде всего, оно позволяет формировать и развивать универсальные общеучебные действия, базируясь на содержании образования, требуя применения накопленных знаний в практической деятельности для решения конкретной учебной проблемы;

– оно моделирует реальную или квазиреальную (учебную) ситуацию, требующую найти решение и представить его в заданном виде, включает студентов в решение этой ситуации, позволяет искать решения как индивидуально, так и групповым способом;

– строится на актуальном, а потому и интересном для студентов учебном материале, требует поиска информации в дополнительных источниках, отбора и структуризации необходимой информации для решения проблемы;

– имеет свою специфическую структуру, обеспечивающую организацию целенаправленных действий обучающихся в процессе выполнения заданий, поиска решения и предоставления ответа в стандартизированном виде, может требовать презентации решения, каждая составляющая КОЗ подчиняется определенным требованиям, обусловленным тем, что они организуют деятельность студентов, а не воспроизведение учебной информации.

Составные части компетентностно-ориентированного задания имеют четкие названия: стимул, задачная формулировка, источник информации, бланки для выполнения задания и бланк для ответов, инструмент проверки (модельный ответ, ключ как эталон выполнения задания, шкала оценивания). Более подробно структуру КОЗ и примеры отдельных заданий в различных предметных областях можно найти в работах отечественных авторов [3–5].

Одна из особенностей КОЗ заключается в том, что они не проверяют знания, а сосредоточены на проверке умений пользоваться знаниями, а потому в структуре КОЗ обязательным элементом является источник информации, который содержит интересную в профессиональном плане информацию, необходимую и достаточную студенту для успешной деятельности по выполнению задания. Он должен быть эффективным, позволять выполнить задание при минимальных затратах времени, иметь различный характер взаимоотношений информации (совпадение информации, содержащейся в одном источнике, с информацией, которая содержится в другом источнике; подчинение одной информации другой; пересечение одной и другой информации; противоречие и противопоставление одной информации другой, различные типы прямой и косвенной информации). При работе студентов с КОЗ актуальными остаются задачи формирования знаний, умений и навыков (ЗУН), так как без ЗУН компетенции не формируются. Но справедливо и то, что без компетенций знания не проявляются. Чтобы компетентностно-ориентированное задание было валидным и надежным, выявляло не знания, а именно умения ими пользоваться, преподаватель должен быть уверен, что успешность деятельности обучающихся не зависит от того, располагают ли студенты тем или иным знанием, по возможности отбирать такие источники, которые до момента работы над заданием им не были знакомы. Следует конструировать как можно больше заданий на одном и том же источнике (или комплекте источников), максимально используя все его возможности.

В зависимости от содержания дисциплины и особенностей формируемых компетенций конструирование соответствующего компетентностно-ориентированного задания может приобретать некоторую специфичность.

Во-первых, компетенции многофункциональны и надпредметны, обладают интегративной природой, кумулируют в себя ряд умений и знаний, мотивацию и ценностные ориентации. Поэтому необходима разработка комплексных КОЗ с включением материала из различных предметных областей, многомерного шкалирования и специальных методов интеграции рейтинговых баллов по различным количественным и качественным шкалам.

Во-вторых, освоение компетенций во многом предопределено доминантой способностей обучающихся, что приводит к необходимости использования отдельных психодиагностических методик в процессе аттестации. Опыт зарубежных стран, где психологи участвуют в оценивании компетенций в образовании, говорит о сложности оценивания личностных характеристик обучающихся, их глубоко латентной природе.

В-третьих, компетенции обнаруживаются только в реальном действии (на которое влияют мотивы, цели и намерения испытуемых), их формирование также происходит только в процессе деятельности, совершаемой в определенной ситуации. Поэтому при оценивании уровня освоения компетенций необходимо включать студентов в мотивированную учебно-познавательную реальную или квазиреальную деятельность, максимально приближенную к их будущей профессиональной детальности и отслеживать не только результат, но и процесс выполнения задания.

В-четвертых, при интерпретации оценок результатов обучения целесообразно принимать во внимание, что формирование компетенций является производной многих факторов: содержания образования, организации процесса обучения, технологий и методов обучения, стиля взаимодействия преподавателей со студентами, качества системы контроля в вузе, вовлеченности студентов в образовательный процесс, создания условий для самоконтроля и рефлексии, общего характера практик и стажировок и т.п. Способность к самоконтролю и самооценке – необходимое условие компетентностного обучения и признак сформированности студента как специалиста в данной области. Поэтому при конструировании оценочных средств необходимо учитывать и возможность рефлексивных суждений студента о результатах своей работы, например посредством технологической карты самооценивания достижений.

В-пятых, при компетентностном обучении задачу оценки уровней сформированности компетенций могут выполнять не только представители академического сообщества, но и работодатели, широкое участие которых предусматривается в итоговой государственной аттестации и/или при сертификации квалификаций выпускников, а также при сертификации качества основных образовательных программ. Именно с работодателями изначально согласуется модель компетенций специалиста, на основе которой для разработки оценочных средств создается карта компетенций.

Для оценки каждой из заявленных к оцениванию компетенций разрабатываются комплекты заданий, по результату выполнения которых можно судить об уровне ее развития и степени освоения учебного материала модуля или нескольких модулей (многокомпонентные комплексные междисциплинарные задачи). Эта работа требует согласованных действий большого числа преподавателей, руководства вуза и кафедр.

Конструирование КОЗ состоит из ряда основных этапов:

– определение цели применения оценочного средства и его вида, соотнесенного с оцениваемой компетенцией (компетенциями);

– формирование и обучение коллектива разработчиков, теоретическая и практическая подготовка к созданию КОЗ;

– разработка спецификации и плана КОЗ, поиск ситуации, соответствующей содержанию дисциплины и задаче оценивания компетенции(й);

– экспертиза спецификации и плана КОЗ;

– разработка стимула, задачной формулировки, источника информации, таблиц, ключей, модельных ответов и оценочных шкал выполнения КОЗ;

– экспертиза заданий и оценочных шкал, оценка содержательной валидности КОЗ (желательно с привлечением работодателей);

– разработка инструкций и указаний для студентов по выполнению заданий и организаторов по вопросам применения КОЗ;

– проведение апробации КОЗ, проверка и формирование матрицы данных для анализа результатов;

– отработка структуры и формы оценочного листа, содержащего критерии оценки соответствия уровней сформированности компетенций требованиям оценочной процедуры;

– обработка результатов математико-статистическими методами;

– оценка надежности, содержательной и конструктной валидности КОЗ;

– анализ и интерпретация результатов, коррекция КОЗ;

– внесение изменений в схему шкалирования результатов после коррекции КОЗ по результатам апробации.

Достижение каждой цели раскрывается через систему действий обучающихся, необходимых для решения задач, при этом каждая последующая категория задач должна кумулировать в себя освоение компетенций при решении предыдущих задач. Описание и разработка оценочных средств, в том числе и компетентностных, согласно ФГОС строятся на таксономии целей Б. Блума, в которой выделены шесть основных учебных целей: знание, понимание, применение, анализ, синтез, оценка [7]. Приведенные на основе таксономии Б. Блума уровни и действия студентов согласованы с уровнями освоения компетенций, а 42 возможных начала формулировок заданий представлены в виде клише «конструктора задач» в таблице.

Заключение

Надежная и систематическая оценка учебных достижений обучающихся научно-обоснованными педагогическими измерителями, процедурами и методами, анализ деятельности образовательных организаций на этой основе должны проводиться с целью определения проблемных зон обучения и их перевода в зоны передового опыта и гарантии обеспечения качества обучения молодежи как важного экономического ресурса страны. При проектировании современного оценочного процесса следует ориентироваться на компьютерные технологии, стандартизированные оценочные материалы и машиночитаемые бланки ответов. Это позволит оперативно формировать электронные банки образовательной статистики; объединять и дробить информацию по различным выборкам обучающихся; сравнивать их достижения между собой; определять статистические параметры оценочных материалов и критерии достижения результатов; формировать объективные шкалы оценок; комплектовать индивидуальный портфолио студента по результатам систематического оценивания в течение всего периода обучения в вузе; в целом освободить преподавателей от рутинной работы по организации и проведению контроля, направив их усилия на разработку оценочных средств и методик организации самостоятельной работы студентов.

Конструктор задач на развитие и оценку компетенций

Знание

Понимание

Применение

Анализ

Синтез

Оценка

1. Назовите основные части…

8. Объясните причины того, что…

15. Изобразите информацию графически...

22. Раскройте особенности…

29. Предложите новый (иной вариант…)

36. Ранжируйте … и обоснуйте…

2. Сгруппируйте вместе все…

9. Обрисуйте в общих чертах шаги, необходимые для того, чтобы…

16. Предложите способ, позволяющий…

23. Проанализируйте структуру… с точки зрения…

30. Разработайте план, позволяющий (препятствующий)…

37. Определите, какое из решений является оптимальным для…

3. Составьте список понятий, касающихся…

10. Покажите связи, которые, на ваш взгляд, существуют между…

17. Сделайте эскиз рисунка (схемы), который показывает…

24. Составьте перечень основных свойств, характеризующих с точки зрения…

31. Найдите необычный способ, позволяющий…

38. Оцените значимость… для...

4. Расположите в определённом порядке…

11. Постройте прогноз развития…

18. Сравните… и…, а затем обоснуйте…

25. Постройте классификацию на основании…

32. Придумайте ситуацию, которая…

39. Определите возможные критерии оценки…

5. Изложите в форме текста…

12. Прокомментируйте положение о том, что…

19. Проведите (разработайте) эксперимент, подтверждающий ...

26. Найдите в тексте (модели, схеме и т.п.) то, что…

33. Предложите новую (свою) классификацию …

40. Выскажите критические суждения о…

6. Вспомните и напишите…

13. Изложите иначе (переформулируйте) идею о том, что…

20. Проведите презентацию…

27. Сравните точки зрения… и … на…

34. Напишите возможный сценарий развития…

41. Оцените возможности… для…

7. Прочитайте самостоятельно…

14. Приведите пример того, что (как, где)…

21. Рассчитайте на основании данных о…

28. Выявите принципы, лежащие в основе…

35. Изложите в форме… своё мнение (понимание)…

42. Проведите экспертизу состояния…

Все эти формы деятельности не могут быть полезными и эффективными без подготовки соответствующих специалистов в области педагогических измерений: тестологов, аналитиков, интерпретаторов данных образовательной статистики, организаторов оценочных процессов. Поэтому можно отметить, что философии системного и преемственного оценивания образовательных достижений обучающихся и использования надежной образовательной информации в управлении качеством обучения еще только предстоит стать базовой философией управления по результатам в профессиональном образовании. Только при создании надежной оценочной системы в вузе можно обеспечить компетентностное обучение студентов и гарантии его качества.

Рецензенты:

Власова Т.И., д.п.н., профессор, зав. кафедрой «Теория и методика профессионального образования» Донского государственного технического университета, г. Ростов-на-Дону;

Третьякова Т.В., д.п.н., директор Департамента по обеспечению качества образования, Северо-Восточный федеральный университет им. М.К. Аммосова, г. Якутск.

Работа поступила в редакцию 23.10.2014.