Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

METHOD FOR COMPETENCY GAP ANALYSIS OF A UNIVERSITY GRADUATE

Tselykh A.A. 1
1 Southern Federal University
The research aims at the development of quantitative methods for competency gap analysis of a university graduate. Research methodology: methods of knowledge engineering, mathematical apparatus of a fuzzy set theory. Key results of the research are a typology of competency gaps as well as a method for competency gap analysis based on the operations of set difference and the similarity measure for fuzzy sets. In a situation when both quantitative and qualitative parameters are used to describe the level of knowledge and skills of a university graduate, we suggest a combined similarity measure. Suggested method for system estimation of a competence level allows for not only quantitative comparison of a graduate’s and specialist’s (profile of a position) competence models, but also development and implementation of an individual program aimed at bridging the competency gap.
gap analysis
competence
fuzzy set
ontology
1. Antonov A.A., Biryukova A.A., Grigoriev V.K. Osobennosti situatsii «razryva potoka znaniy» v informatsionnom obschestve // Distantsionnoe i virtualnoe obuchenie. 2012. no. 2. рр. 43–54.
2. Bershtein L.S., Bozhenyuk A.V. Nechetkie grafy i gipergrafy. M.: Nauchnyi mir, 2005. 256 p.
3. Bershtein L.S. Karelin V.P., Tselykh A.N. Modeli i metody prinyatiya resheniy v integrirovannykh intellektualnykh sistemah. Monografiya. Rostov-na-Donu, 1999. 268 p.
4. Kofman A. Vvedenie v teoriyu nechetkih mnozhestv. Moskva, Radio i svyaz, 1982. 432 p.
5. Melikhov A.N., Bershtein L.S. Konechnye chetkie i rasplyvchatye mnozhestva. Chast 2. Rasplyvchatye mnozhestva: Uchebnoe posobie. Taganrog, 1981. 90 p.
6. Tselykh A.N., Tselykh A.A., Kotov E.M. Metody intellektualnogo analiza dannykh v sistemakh prinyatiya resheniy. Taganrog, 2013. 129 p.
7. Brewster, C. Mind the Gap: Bridging from Text to Ontological Knowledge. PhD Thesis. University of Sheffield, 2008.
8. Fensel, D., Facca, F.M., Simperl E.P.B, and Toma, I. Semantic Web Services. Springer, 2011. рр. 1–357.
9. Lin, C., Yeh, J.-M., and Tseng, S.-M. Case Study on Knowledge-Management Gaps. // J. Knowledge Management. 2005. Vol. 9, no. 3. рр. 36–50.
10. McBriar, I., Smith, C., Bain, G., Unsworth, P., Magraw, S., and Gordon, J.L. Risk, Gap and Strength: Key Concepts in Knowledge Management. In Proceedings of Knowledge-Based Systems, 2003. рр. 29–36.

Понятие «разрыв» (gap) сегодня является трендовым и используется в самых различных сочетаниях [1, 9, 10], одно из которых – разрыв в знаниях (knowledge gap). Анализ разрыва в знаниях и навыках (knowledge and skill gap analysis), разрыва в компетенциях (competency gap analysis) как метод системной оценки уровня знаний и навыков (компетенций) позволяет не только количественно сравнить модель компетенций выпускника и модель компетенций специалиста (профиль должности), но также разработать и реализовать индивидуальную программу развития знаний и навыков (компетенций) с целью устранения разрыва (bridging the gap).

Поскольку отдельные компетенции совершенствуются и развиваются во время обучения, их можно считать входными и выходными данными процесса обучения [8]. Действительный разрыв в компетенциях – это разность между входной компетенцией, то есть тем, что обучающийся знает до начала изучения учебного модуля, и выходной компетенцией, то есть тем, что он (она) знает после завершения обучения. Формальный разрыв в компетенциях является разрывом между компетенцией, необходимой для начала изучения модуля, и результирующей компетенцией – компетенцией проектируемых результатов изучения модуля.

На этапе входного контроля остаточных знаний можно выявить, имеется ли изначальный разрыв в компетенциях, то есть существует ли разница между тем, что обучающийся знает, приступая к изучению модуля, и тем, что ему (ей) нужно было знать для допуска к изучению. Итоговой оценкой можно выявить, действительно ли обучающийся приобрел ту или иную компетенцию. Если нет, то возникает разрыв в результирующих компетенциях, то есть имеется разница между целевыми результирующими компетенциями и выходным набором компетенций данного обучающегося.

Прямой разрыв в компетенциях – это разница между тем, что обучающийся уже знает, и тем, что он (она) собирается узнать. Обратный разрыв в компетенциях – это разница между тем, что обучающийся уже знает, и тем, что он (она) должен (должна) знать.

Таким образом, разница между моделью компетенций выпускника (специалиста) и профилем его текущей должности – это обратный разрыв в компетенциях. Разница между моделью компетенций выпускника (специалиста) и профилем желаемой должности – это прямой разрыв в компетенциях.

Как правило, прямой разрыв в компетенциях чаще ассоциируются со стратегическими потребностями в обучении, а обратный разрыв в компетенциях – с оперативными потребностями в обучении. Обратный разрыв в компетенциях часто появляется в связи с тем, что сотрудники уходят из компании, и их заменяют сотрудники, которые не полностью знают и умеют то, что им следует знать и уметь, чтобы быть полноценной заменой.

Целью настоящего исследования является разработка количественных методов оценки разрыва в компетенциях выпускника вуза.

Методология исследования: методы инженерии знаний, математический аппарат теории нечетких множеств.

Метод оценки разрыва в компетенциях на основе нечетких множеств

Пусть модель компетенций выпускника задана нечетким множеством zelyhl01.wmf. Каждый элемент множества есть пара, на первом месте которой стоит значение функции μAX → [0, 1], называемой функцией принадлежности элементов из X множеству zelyhl02.wmf, а на втором месте – элемент x ∈ X, для которого определена эта функция [2]. Значение каждой отдельной функции принадлежности характеризует степень обладания некоторой компетенцией. Примем, что в множество не включаются элементы <μA(x), x>, для которых μA(x) = 0. Аналогичным образом пусть нечетким множеством zelyhl03.wmf задана модель компетенций специалиста (профиль должности).

В случае, когда выпускник должен обладать «идеальными» компетенциями μA(x) = 1, разрыв в компетенциях будет соответствовать дополнению множества zelyhl04.wmf

zelyhl05.wmf

где zelyhl06.wmf

Разрыв в компетенциях между моделью компетенций выпускника и моделью компетенций специалиста будет соответствовать разности множеств zelyhl07.wmf и zelyhl08.wmf

zelyhl09.wmf

где zelyhl10.wmf [4, 5].

Для получения точечной оценки сходства модели компетенций выпускника и профиля должности обратимся к отношению сходства нечетких множеств.

Среди большого числа мер сходства наиболее широкое распространение получили следующие.

Мера сходства по Лукасевичу:

zelyhl11.wmf

мера сходства по Заде:

zelyhl12.wmf

В приведенных формулах zelyhl13.wmf и zelyhl14.wmf – нечеткие ситуации, определенные на базовом множестве признаков xi ∈ X, zelyhl15.wmf, которые, в свою очередь, могут принимать как количественные (числовые), так и качественные (лингвистические) значения, обусловливающие применение той или иной формулы.

В первом случае целесообразно воспользоваться мерой сходства по Лукасевичу, имеющей смысл расстояния между элементами, а во втором – мерой сходства по Заде, используемой при выполнении операций над логическими переменными и высказываниями.

В случае, когда в описании ситуаций одновременно присутствуют и количественные, и качественные параметры, целесообразно применять комбинированную меру сходства

zelyhl17.wmf,

в которой конкретные значения коэффициента b ∈ [0, 1] выбираются экспертами исходя из содержательного смысла используемых параметров, zelyhl18.wmf – мера сходства по Лукасевичу, zelyhl20.wmf – мера сходства по Заде [3, 6].

Результаты определения сходства нечетких множеств с использованием комбинированной меры сходства, меры сходства по Лукасевичу и по Заде приведены на рисунке, а, б и в соответственно, где пунктирами изображены функции принадлежности элементов заданных нечетких множеств, а сплошной линией обозначены графики функций, получаемых в результате вычислений.

а pic_34.wmf бpic_35.wmfвpic_36.wmf

Результаты определения сходства нечетких множеств с использованием различных мер

Очевидно, что комбинированная мера сходства может включать в себя сочетания различных мер сходства zelyhl20.wmf, что позволяет обрабатывать нечеткие ситуации, характеризуемые различными наборами признаков, носящих как объективный, так и субъективный характер.

Анализ разрыва в компетенциях на основе онтологий

В настоящее время не существует единой общепринятой модели или онтологии компетенций – в разных источниках используются различные модели [7].

Однако имеется несколько устоявшихся стандартов для обмена данными о компетенциях, например, IMS RCDEO и HrXML.

Формат HrXML имеет особое значение для практических целей, поскольку он является результатом усилий бизнеса в направлении единой спецификации обмена данными о компетенциях.

Стандарт RDCEO (Reusable Definition of Competency or Educational Objective) обеспечивает возможность одинакового понимания компетенций, являющихся частью образовательной деятельности, предпосылкой к обучению либо конечным результатом обучения.

В нашем случае предлагается принять за онтологию компетенций верхнего уровня общую модель компетенций (GSC, Generic competency model) [8], которая предоставляет необходимые определения на высоком уровне абстракции и подлежит расширению и адаптации к конкретным задачам. Другие онтологии могут импортировать и использовать GCS для адаптации или создания собственных моделей.

Можно допустить, что индивиды либо обладают, либо не обладают определенной компетенцией или элементом компетенции. Если же компетенции подлежат оценке и измерению, нужно принимать во внимание степень обладания компетенцией.

Распространенные подходы к оценке компетенций используют ординарную (порядковую) шкалу для измерения уровней компетенции. Такая шкала состоит из переменных, которые могут быть упорядочены по количественному признаку, но при этом абсолютные значения или интервал между ними измерить невозможно. Общепринятой шкалы или инструмента измерения уровней компетенций не существует.

В GSC класс Measurement Scale позволяет представлять различные шкалы или способы измерения. Класс Integer Measurement Scale предоставляет общий подход для использования подмножества целых чисел для представления уровней обладания компетенцией. У каждой шкалы есть ряд уровней, например, некоторые линейные шкалы используют уровни ноль, два, три, четыре и пять. Типы шкал измерения наряду с порядковыми включают в себя целочисленные шкалы. В целочисленных шкалах арифметические операции над значениями допустимы, а для порядковых шкал это, как правило, не обязательно.

Еще одна категория шкал измерения – двухполюсные шкалы, представленные классом Bipolar Measurement Scale. Их особенность заключается в том, что имеются уровни, считающиеся отрицательными, то есть компетенция либо не присутствует вовсе, либо индивиду свойственны факторы, подавляющие данную компетенцию. Например, порядковая линейная шкала может быть выражена уровнями «превосходно», «полное выполнение», «адекватно», «неэффективно» и «контрпродуктивно». Последние два уровня отрицательны, и это имеет значимые последствия при проведении расчетов и принятии решений. У двухполюсных шкал в GSC выделяется логическая функция highest Fail Level, которая возвращает наилучшее отрицательное значение (в предыдущем примере – «неэффективно»).

Для анализа разрыва в компетенциях во многих случаях требуются вычислительные алгоритмы, превосходящие возможности OWL + SWRL. В GCS выходное значение алгоритма расчета разрыва в компетенциях представляется множеством экземпляров Competency Amount, выраженным в соответствии с некоторой шкалой Measurement Scale.

Такой способ расчета разрыва в компетенциях можно использовать для целевого обучения, а также для планирования индивидуальной траектории обучения. В первом случае возможно применение данного алгоритма для отбора тех выпускников вуза, которые в максимальной степени обладают соответствующим набором компетенций с целью их приоритетного обучения и восполнения разрыва в компетенциях. Во втором случае сам индивид может запросить оценку разрыва в компетенциях для конкретной должности. Заметим, что и требования профиля должности, и компетенции индивида должны быть выражены в одинаковых (или совместимых) шкалах измерения.

Алгоритмы для расчета разрыва в компетенциях также должны учитывать возможность компенсирования компетенций. Под компенсированием подразумевается то, что низкий уровень определенной компетенции может быть компенсирован избытком другой компетенции, или то, что недостатки некоторых индивидов могут быть компенсированы более высоким уровнем компетенции у других индивидов.

Еще одна ситуация, в которой имеет место компенсирование компетенций – замена некоторых невыполненных требований к компетенциям другими компетенциями. GCS предоставляет возможность для описания замен такого рода через логическую функцию similar To. Оценка схожести компетенций может учитываться таким образом, чтобы для компенсации использовались только компетенции, схожие с компенсируемой компетенцией. Отношение is ConcreteInstance Of можно считать частной формой такого сходства.

Рассматриваемая модель GCS представляет собой общую модель компетенций, которую можно использовать для решения поставленной задачи количественной оценки разницы между моделью компетенций выпускника и моделью компетенций специалиста (профилем должности). GCS содержит базовые понятия и отношения между компетенциями, что позволяет осуществлять логический вывод, используя несколько шкал измерения. Программные Java-библиотеки предоставлены в рамках проекта LUISA.

Заключение

Основными результатами исследования являются типология разрывов в компетенциях выпускника вуза и метод оценки разрывов на основе операций дополнения и разности и меры сходства нечетких множеств.

На данный момент разработчиками проводятся работы по отображению существующих баз данных компетенций и навыков в онтологию GCS и по формированию коллекции алгоритмов для расчета разрыва в компетенциях. Данная коллекция алгоритмов должна стать основой дальнейших экспериментов с целью применения предложенного подхода для решения реальных практических задач. Расширения GSC позволят создать открытую библиотеку моделей, которые можно многократно использовать или адаптировать для конкретных задач.

Работа подготовлена в рамках Программы стратегического развития ФГБОУ ВПО «Московский государственный юридический университет имени О.Е. Кутафина (МГЮА)»; НИР «Разработка методологии и моделей системы управления учебным (учебно-методическим) и научным содержанием (контентом) в деятельности Университета в условиях цифровой научно-образовательной и социальной среды», проект 2.5.1.1.

Рецензенты:

Ромм Я.Е., д.т.н., профессор, заведующий кафедрой информатики, ФГБОУ ВПО «Таганрогский государственный педагогический институт имени А.П. Чехова», г. Таганрог;

Финаев В.И., д.т.н., профессор, заведующий кафедрой систем автоматического управления, ФГАОУ ВПО «Южный федеральный университет», г. Таганрог.

Работа поступила в редакцию 15.01.2014.