Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

EVALUATION OF THE EFFICIENCY OF SCIENTIFIC ACTIVITIES OF UNIVERSITY TEACHERS USING CLUSTER ANALYSIS

Sokolova E.V. 1 Begicheva S.V. 1
1 Ural State University of Economics
The purpose of the article is to propose a method for evaluating the effectiveness of the scientific activity of the university teaching staff. The authors propose to single out existing structures among teachers and divide the totality of employees into homogeneous groups - clusters and then evaluate the activities of teaching staff groups with similar values of scientometric indicators. Intellectual analysis of scientometric indicators of teachers was performed on the data of one of the institutes of the Ural State University of Economics. To assess the effectiveness of the teachers’ scientific activity, the main scientometric indicators were identified, which became the criteria for further classification of the teaching staff, namely, the assessment of the total experience of scientific activity, the Hirsch index, the number of publications and citations of different levels for the entire period of scientific activity and a limited period (2017-2021 years), as well as the share in the total amount of achievements of works affiliated with the Ural State University of Economics. Clustering made it possible to assess the current situation and identify possible positive trends in the development of scientometric indicators of university staff. The results obtained in the course of the study will help the University management to make scientifically based management decisions to improve the performance of the scientific activity of the organization.
research activity
scientometric indicators
cluster analysis
scientific activity efficiency
academic rankings

Конкурентоспособность любой бизнес-единицы определяется в большей мере наличием особых ресурсов и возможностей, использование которых недоступно конкурентам. Такими ресурсами для высшего учебного заведения являются не только материально-техническая база, наличие аспирантуры, международные связи и престиж организации в целом, но и научные заслуги ученых, преподающих в вузе. По этой причине университеты имеют особые требования к эффективности научно-исследовательской деятельности профессорско-преподавательского состава, анализируя вклад каждого преподавателя в продвижение университета в академических рейтингах [1].

Достижение нового уровня развития научно-исследовательской и инновационной деятельности является одной из стратегических задач развития Уральского государственного экономического университета (УрГЭУ) на период с 2021 по 2030 г. Уральский государственный экономический университет, занимающий уверенное место среди экономических вузов России, стремится укрепить научные позиции и стать конкурентоспособным субъектом инновационной инфраструктуры Уральского макрорегиона. В «Проекте стратегии развития УРГЭУ на 2021−2030 гг.» шагом к решению этой масштабной задачи названо развитие наукометрической деятельности университета для обеспечения роста публикационной активности, одним из путей решения определен контроль наукометрических показателей научно-педагогических работников.

Цель исследования – предложить метод оценки эффективности научной деятельности профессорско-преподавательского состава вуза путем оценки деятельности групп ППС со схожими значениями наукометрических показателей.

Материал и методы исследования

Работы, посвященные оценке эффективности научных исследований сотрудников вузов, можно разделить на два типа. В статьях первого типа сравнивается эффективность научной деятельности различных университетов [2-4]. Второй тип подобных исследований посвящен сравнению эффективности различных факультетов в рамках одного университета [5-7]. В нашем исследовании был проведен анализ, основанный на данных наукометрических показателей институтов, входящих в состав УрГЭУ, с целью оценки вклада в научную работу вуза групп преподавателей, объединенных по схожим характеристикам научно-исследовательской деятельности.

Надо отметить, что, несмотря на достаточное количество работ, посвященных вопросам оценки эффективности научной деятельности профессорско-преподавательского состава, не существует четко определенного списка наукометрических показателей, одинаково применимых ко всем исследователям, вне зависимости от рода деятельности, специализации и страны [8]. Минимальным набором индексов библиографических баз данных, которые используются для этой цели, являются [9]: (1) количество публикаций автора; (2) количество цитирований работ автора; (3) индекс Хирша автора.

На наш взгляд, совокупность приведенных выше показателей не дает полной оценки эффективности научно-исследовательской деятельности. В существующих исследованиях зачастую упускается показатель «продолжительность научной деятельности автора», который следует отсчитывать с момента опубликования автором первого научного труда. Мы считаем, что включение этого индикатора необходимо в силу наличия проблемы, заключающейся в заведомо проигрышном положении начинающих специалистов по сравнению с более опытными коллегами. Если допустить занижение достижений молодых исследователей при одинаковом подходе к оценке наукометрических показателей этих ученых, то возрастает риск потери начинающего исследователя. Принимая во внимание этот довод, для оценки эффективности научно-исследовательской деятельности сотрудников одного из институтов УрГЭУ были сформированы следующие группы показателей: группа I, включающая показатели оценивания за весь период научной деятельности преподавателя, и группа II, состоящая из показателей за пятилетний период. Группа I включает: (1) продолжительность научной деятельности; (2) общее количество публикаций в базе данных РИНЦ; (3) доля публикаций в базе данных РИНЦ, аффилированных с УрГЭУ; (4) индекс Хирша по публикациям в РИНЦ за весь период; (5) общее количество цитирований работ автора из публикаций, входящих в РИНЦ. Группа II включает: (6) количество публикаций в базе данных РИНЦ; (7) количество публикаций в журналах из перечня ВАК; (8) количество публикаций в международных базах данных Web of Science и Scopus, аффилированных с УрГЭУ; (9) количество цитирований работ автора из публикаций, входящих в Web of Science и Scopus; (10) количество цитирований работ автора из публикаций, входящих в РИНЦ.

Для анализа были отобраны показатели научных достижений 128 сотрудников, работающих в УрГЭУ по основному месту работы, данные по показателям группы II содержат результаты периода с 2017 по 2021 г. Внешние совместители были исключены из выборки из-за низкого процента аффилированности их публикаций с университетом.

Анализ наукометрических показателей преподавателей института проводился с применением метода кластерного анализа. Задача кластеризации позволяет выделить существующие структуры и разбить совокупность объектов на однородные группы. В силу небольшого размера выборки было решено использовать иерархический кластерный анализ. Из списка методов образования кластеров был выбран метод Уорда. Метод представляется эффективным при необходимости выделения кластеров малого размера, что позволит наиболее точно сгруппировать преподавателей института в однородные кластеры. Инструментальным средством для проведения кластеризации являлся IBM SPSS STATISTICS.

Результаты исследования и их обсуждение

На рисунке 1 приведена дендрограмма, отражающая результаты кластеризации данных за пятилетний период с 2017 по 2021 г. Согласно дендрограмме, возможно провести распределение преподавателей по двум, четырем или пяти кластерам. После анализа состава кластеров для указанных трех случаев было решено выделить пять кластеров.

missing image file

Рис. 1. Дендрограмма, полученная при кластеризации данных за пятилетний период

Средние значения показателей научной деятельности сотрудников института по кластерам за пятилетний период

Показатель оценки

Кластеры

№5

№4

№3

№2

№1

 

Количество наблюдений

54

44

20

5

5

1

Продолжительность научной деятельности

14,5

16,6

19,95

29,6

29,6

2

Общее количество публикаций в базе данных РИНЦ

28,6

70

132,3

171,2

308,2

3

Доля публикаций в базе данных РИНЦ, аффилированных с УрГЭУ

81%

89%

89%

68%

91%

4

Индекс Хирша по публикациям в РИНЦ

3,2

5,4

8,85

16,4

20,2

5

Общее количество цитирований работ автора из публикаций, входящих в РИНЦ

59

163,2

391,15

1106,2

2139

6

Количество публикаций в базе данных РИНЦ, 2017-2021 гг.

14,4

37

68,3

71,4

144,2

7

Количество публикаций в журналах из перечня ВАК, 2017-2021 гг.

2,9

7,9

14,85

13,2

31,2

8

Количество публикаций в международных базах данных Web of Science и Scopus, аффилированных с УрГЭУ, 2017-2021 гг.

1,54

6,1

7,3

14,2

15,2

9

Количество цитирований работ автора из публикаций, входящих в Web of Science и Scopus, 2017-2021 гг.

0,1

6,1

3,7

6,8

7,6

10

Количество цитирований работ автора из публикаций, входящих в РИНЦ, 2017-2021 гг.

43,8

143,7

329,3

842,8

1481,2

В таблице приведены профили кластеров. В таблице кластеры расположены в порядке убывания средних значений наукометрических показателей сотрудников, формирующих кластеры. Таким образом, в первый кластер вошли сотрудники с самыми высокими значениями наукометрических показателей, далее средние значения показателей постепенно снижаются от кластера к кластеру.

Наивысшие показатели имеют сотрудники, сформировавшие кластер №1. Это профессора со стажем научной деятельности около 30 лет, которые смогли за годы научной деятельности наработать базу публикаций, составляющую в среднем 308 ед. в РИНЦ, и занять весомое место в своих направлениях исследований, что отобразилось на уровне цитируемости – минимум 1179 цитирований в РИНЦ за весь период научной деятельности. Около 50% публикаций авторов, входящих в кластер №1, были опубликованы за последние пять лет, что говорит о непрекращающейся интенсивной работе. Особенно необходимо заметить, что 91% из общего числа публикаций данных авторов аффилированы с УрГЭУ и имеют значимость для повышения показателей университета в целом.

Представителей кластера №2 отличает от представителей кластера №3 уровень цитируемости (1106 ед. за весь период научной деятельности, 843 ед. за период с 2017 по 2021 г., 7 ед. в международных базах данных) и количество публикаций за 2017-2021 гг. (71 ед. в РИНЦ, 13 ед. в международных базах данных).

Кластер №3 насчитывает 20 сотрудников. В основном это доценты и профессора, имеющие в среднем 329 цитирований за последние пять лет; 132 публикации РИНЦ (55% из которых приходится на последние пять лет); около 15 публикаций в журналах, входящих в ВАК; около 7 публикаций в международных базах данных и 4 цитирования на публикации в международных базах данных.

Кластер №4 состоит на 70% из доцентов, 20% старших преподавателей и 10% профессоров. Преподаватели из кластера №4 имеют в среднем 70 публикаций в РИНЦ за все время, более 60% которых написаны с аффилиацией УрГЭУ за последние пять лет, 163 цитирования и примерно 6 публикаций в международных базах данных (для сравнения – в кластере №5 этот показатель – менее 2 ед.). Для перехода в кластер №3 преподавателям кластера №4 не хватает количества цитирований, публикаций ВАК и публикаций в международных базах данных.

В состав самого многочисленного кластера №5 входят 2 профессора, 30 доцентов, 16 старших преподавателей, 6 ассистентов. Часть преподавателей, составляющих кластер, ведет научную деятельность не более последних десяти лет, что отражается и на количестве публикаций – в среднем 17 ед. в РИНЦ, и на их цитируемости – около 26 ед. за 5 лет. Оставшуюся часть преподавателей на 85% составляют доценты, которые ведут научную деятельность около 19 лет. Количество публикаций – в среднем 32 ед. за 5 лет, или количество цитирований – в среднем 80 ед. за весь период, недостаточно для того, чтобы перейти в следующий кластер.

Далее было решено уточнить распределение преподавателей в наиболее крупных кластерах (№3, №4, №5) и дополнительно разделить на их подкластеры. Кластеризация каждого из указанных кластеров была выполнена также с применением иерархического кластерного анализа с применением метода Уорда. Так, в третьем кластере было выделено три подкластера. В подкластер с номером 3.1 вошли преподаватели кластера 3 с лучшими результатами научной деятельности, в подкластер 3.3 – сотрудники с самыми низкими показателями научной активности в рамках кластера 3. Подкластеры кластеров 4 и 5 пронумерованы аналогично. Будем считать, что каждый сотрудник заинтересован в продвижении в кластеры с более высокими значениями показателей.

Для исследования возможных тенденций развития результатов научной деятельности сотрудников Уральского государственного экономического университета требовалось выделить возможные позитивные пути продвижения в рамках кластеров пятилетнего периода. Следовало оценить разность средних показателей кластеров и выявить коэффициент, на который необходимо повысить научные достижения сотрудника для перехода в вышестоящий кластер.

Для удобства исследования тенденций развития результатов научной деятельности сотрудников Уральского государственного экономического университета были составлены структурные модели, отображающие текущее распределение сотрудников по кластерам и подкластерам и возможности продвижения сотрудников в кластеры с более высокими показателями научной деятельности. Распределение сотрудников по кластерам и возможности перехода из кластера в кластер отображены на рисунке 2.

missing image file

Рис. 2. Распределение по кластерам преподавателей по данным за пятилетний период

Самый вероятный позитивный вариант развития для сотрудника – это переход в рамках собственного кластера. Такие переходы обозначены на рисунке 2 зелеными стрелками. Подобные переходы возможны при увеличении наукометрических показателей сотрудника в среднем в 1,8 раза.

Переходы в следующий кластер, обозначенные на рисунке 2 синей стрелкой, могут быть осуществлены из первого подкластера предыдущего кластера при увеличении результатов в среднем в 1,5 раза. В зависимости от номера кластера можно выделить приоритетные показатели, которые в большей степени влияют на место в конкретном кластере, однако преподавателям рекомендуется развивать собственные наукометрические показатели всесторонне, без выделения отдельных направлений.

Маловероятен переход преподавателя с позиции в определенном кластере на ту же позицию вышестоящего кластера, однако это возможно при повышении собственных наукометрических показателей в среднем в 2,5 раза. Если для перехода из кластера №5 в кластер №4 или из кластера №4 в кластер №3 это еще осуществимо, то резкий переход из кластера №3 в кластер №2, или из кластера №2 в кластер №1 труднореализуем в силу высоких показателей преподавателей, входящих в лучшие кластеры. На структурной модели подобные переходы выделены красными и черными стрелками.

Описанные выше положительные переходы между кластерами возможны, и фактические случаи перехода можно выявить и проанализировать, сравнив результаты кластеризации за пятилетний и трехлетний периоды. Отследив перемещения отдельных сотрудников между кластерами с течением времени, можно обнаружить общие тенденции развития наукометрических показателей сотрудников института и выявить наиболее активных и перспективных сотрудников в определенной научной области.

Заключение

Исследование показало, что объединение преподавателей в группы со схожими характеристиками помогает справедливо оценить научные достижения сотрудников в текущем периоде. Ни занимаемая должность, ни стаж научной деятельности не являются гарантом попадания в тот или иной кластер. Необходимо задуматься о причинах того, почему некоторые преподаватели с высоким стажем научной деятельности оказались в кластерах с низкими показателями. В то же время часть сотрудников, работающих на невысоких должностях и не имеющих большого стажа научной деятельности, была распределена в кластеры с высокими показателями. Именно эти специалисты и их труды станут основой достижений УрГЭУ в научной сфере в дальнейшем и должны особенно поддерживаться в настоящем. Ранжирование преподавателей по кластерам поможет руководству вуза оценить соотношение затраченных ресурсов и полученных результатов, а также пересмотреть распределение средств, возможностей и ожиданий между подразделениями.