Актуальность этой темы обусловлена наличием следующих тенденций в современной научно-образовательной среде: реформирование системы образования, увеличение доли негосударственных учебных заведений, стремление к получению объективной картины деятельности профессорско-преподавательского состава (ППС) через использование количественных параметров, снижение субъективных взглядов и мнений [1, 3, 4, 5].
Современный высокотехнологичный мир требует эффективно функционирующего человека, сложившаяся социально-экономическая ситуация нуждается в максимальном раскрытии и совершенствовании человеческого ресурса [1, 4, 5]. В связи с этим высокая нагрузка ложится на систему образования, которая стоит в авангарде целенаправленного развития научно-культурного общества [3, 5]. Уровень состояния образовательной системы, соответствие требуемым целям, а также результативность деятельности преподавателя занимают ключевое положение в этом процессе. Кроме того, само государство озабочено состоянием и качеством образования граждан, а также работой специалистов, которые ее оказывают [4, 5].
При анализе качества образования обучающихся, степени владения полученными знаниями, навыками, умениями, независимо от специализации образовательного учреждения, необходимо периодически оценивать деятельность профессорско-преподавательского состава [1, 3, 4, 5].
В процессе решения этой важной задачи перед исследователем стоит одна большая цель – определить эффективность труда работника в сфере образования – педагога. Выбор четких критериев оценки, стандартизация процедуры, объективность, надежность метода, гибкость и адаптивность к различным ситуациям в работе являются залогом правильного подхода к данному вопросу [1, 3].
Конечной целью системы оценки эффективности труда профессорско-преподавательского состава является интенсификация его работы, чему способствует, по мнению разработчиков данной системы, установление рейтинга эффективности, определяемого на основе анализа основных показателей профессиональной педагогической деятельности [3, 5].
Исходя из актуальности данной тематики, целью исследования являлась разработка системы оценки результативной деятельности ППС через определение рейтинга эффективности, определяемого на основе анализа основных показателей профессиональной педагогической деятельности.
Общий объем собственного исследования составили 120 преподавателей высшего учебного заведения в возрасте от 30 до 45 лет, из них 75 преподавателей вуза.
База исследования: ЛГУ им. А.С. Пушкина (Таймырский филиал).
Экспериментальные материалы, полученные в ходе исследования, подвергались статистической обработке по стандартным программам для персональных компьютеров («SPSS», «STATISTICA-6»).
Этапы создания системы оценки
Работа группы экспертов, в которую вошли сотрудники учебного управления и представители всех факультетов вуза, была разделена на следующие этапы:
- Определение перечня критериев, используемых для оценки деятельности ППС.
- Структурирование критериев с учетом их значимости.
- Определение формул расчета критериев.
- Установление значимости критериев в группах.
- Формирование списка первичных показателей, используемых для расчета критериев.
- Определение источников первичной информации.
- Подготовка исходных данных для расчета рейтинга.
- Выбор метода расчета обобщенной оценки ППС.
- Расчет обобщенных оценок деятельности ППС университета.
- Расчет рейтинга ППС.
- Анализ результатов оценки ППС.
- Автоматизация подготовки и обработки исходной информации.
Первые восемь этапов являются подготовительными, причем четыре из них требуют достижения общего согласия.
В рамках этой задачи диссертационного исследования актуальной является проблема надежности основных факторов, определяющих эффективную составляющую деятельности ППС, в зависимости от занимаемой должности. Критериев оценки деятельности ППС достаточно много, и поэтому они были объединены в следующие группы:
- учебная работа;
- научная работа;
- методическая работа;
- работа со студентами.
Очевидно, что приоритеты указанных групп критериев должны быть универсальными для всех представителей ППС. В рамках данной работы оценивались следующие категории ППС вуза:
- преподаватель, не имеющий ученой степени;
- доцент, имеющий ученую степень кандидата наук;
- профессор;
- заведующий кафедрой;
- декан факультета.
Для оценки веса каждой группы показателей проводился анализ весовых коэффициентов (весов) отдельных показателей и их градаций, полученными методом экспертной оценки. Данные экспертной оценки были подвергнуты процедуре нормирования по каждой категории и для каждого раздела, что позволило обеспечить автономность системы весов в пределах каждого показателя (категории, раздела) и тем самым значительно облегчило работу по возможной их корректировке в процессе эксплуатации системы.
При назначении весов соблюдались следующие правила:
- Наименее значимой группе показателей приписывается значение единицы.
- Точность назначения весов по всей системе одинакова и равна 0,5.
- Веса нормируются внутри каждой группы ППС.
- Вариационный размах не является функцией от числа ступеней градаций.
- Соблюдалось правило: вес показателей обратно пропорционален частоте их появления в практике работы преподавателя.
Данные по весам разделов Индексной системы представлены в табл. 1.
Таблица 1
Веса разделов Индексной системы
|
Номер раздела п/п |
Весовой индекс |
|
1 |
0,35 |
|
2 |
0,24 |
|
3 |
0,20 |
|
4 |
0,21 |
Индексная система сравнительной оценки эффективности деятельности ППС – это модульная индексная система количественной оценки.
Каждому преподавателю по каждому показателю ставится в соответствие его индивидуальный индекс, представляющий собой количественное значение (объем) показателя (с учетом градаций и их весов), нормированное его средним среди всех ППС вуза. Таким образом, по смыслу частный индекс преподавателя по данному показателю – это место преподавателя, которое он занял по этому показателю среди всей группы ранжированных по данному показателю ППС. Такой же смысл имеют и частные индексы преподавателя по подразделам и категориям.
Индивидуальный индекс преподавателя по каждому разделу вычисляется как нелинейная сумма его частных индексов по всем показателям данного раздела (с учетом весовых коэффициентов подразделов и категорий), нормированная суммарным частным индексом среди всех ППС.
Итоговый индекс преподавателя есть нелинейная сумма его индивидуальных индексов по всем разделам, нормированная максимальным итоговым индексом среди всех ППС и переведенная в систему Z оценок.
Расчет интегрального индекса осуществляется на основе матрицы первичных данных, которую каждый обследуемый преподаватель заполняет лично. Каждому показателю в этой матрице соответствует удельный вес в баллах, на который умножается численное значение интегрального показателя.
При обработке результатов оценки эффективности по индексной системе сравнительной оценки деятельности ППС подсчитывается количество баллов в соответствии с указаниями. Полученные первичные оценки переводят в шкалу стэнов. Основные наукометрические характеристики технологии оценки эффективности работы ППС рассчитаны на выборке 120 преподавателей Таймырского филиала ЛГУ им. А.С. Пушкина. Средний возраст обследуемых 48 лет. Основные показатели по методике оценки эффективности по индексной системе сравнительной оценки деятельности ППС представлены в табл. 2.
Таблица 2
Основные показатели по методике оценки эффективности по индексной системе сравнительной оценки деятельности ППС
|
Наименование шкалы |
М |
Median |
Mode |
Min |
Max |
S |
Ex |
|
Интегральный показатель эффективности ППС |
149,331 |
136,000 |
Mult. |
75,000 |
312,000 |
35,857 |
0,697 |
Примечания: М – среднее арифметическое; Median – медиана; Mode – мода; Min – минимум; Max – максимум; S – стандартное отклонение; Ex – эксцесс.
Пунктовый анализ оценки эффективности по системе сравнительной оценки деятельности ППС при сопоставлении интегральной рейтинговой оценки, экспертной оценки, самооценки и оценки студентов представлен на рисунке.
Как следует из рисунка, наиболее высокими возможностями обладают технологии экспертной и интегральной оценок. Это делает в настоящее время данные технологии наиболее перспективными и позволяет рекомендовать их для оценки эффективности деятельности преподавательского состава в вузе.
По результатам пунктового анализа можно сделать вывод о том, что методика рейтинговой оценки эффективности по индексной системе сравнительной оценки деятельности ППС имеет высокий уровень надежности (α-Кронбаха = 0,968) – внутренней согласованности. Все пункты высоко коррелируют с внешними критериями эффективности (в диапазоне 0,513–0,868). При удалении любого пункта надежность методики снижается (табл. 3–4).
Табл. 4 содержит основные статистические показатели для шкалы: средние, дисперсии и корреляции.
В рамках метода анализа надежности были применены два критерия пригодности: коэффициент α-Кронбаха (Chronbach), обозначаемого буквой α (альфа), и метод «половинного расщепления» (spilt-half relablty).
Применение нами α-Кронбаха основано на модели, предполагающей наличие большей дисперсии у достаточного надежного инструмента оценки эффективности: чем надежнее тест, тем большая чувствительность (различительная способность) пунктов теста (экспертная оценка).
Коэффициент α является мерой внутренней согласованности, или однородности, измерительной шкалы. Как правило, а лежит в пределах от 0 до 1, однако может принимать и отрицательные значения. Последние свидетельствуют о том, что часть элементов, или пунктов, шкалы измеряет противоположные величины. Чем ближе коэффициент α к 1, тем выше внутренняя согласованность системы заданий. Коэффициент мы рассматривали как показатель корреляции между измеренными признаками для оценки критерия эффективности.
Сравнение технологий оценки эффективности профессиональной деятельности персонала вуза
Таблица 3
Статистики пригодности
|
Альфа Кронбаха |
Альфа Кронбаха, основанная на стандартизованных пунктах |
Количество пунктов |
|
0,692 |
0,692 |
48 |
Таблица 4
Сводка статистик пункта
|
Среднее |
Минимум |
Максимум |
Размах |
Максимум / Минимум |
Дисперсия |
Количество пунктов |
|
|
Средние пунктов |
0,554 |
0,456 |
0,643 |
0,165 |
1,376 |
0,002 |
48 |
|
Дисперсии пунктов |
0,254 |
0,289 |
0,254 |
0,054 |
1,076 |
0,000 |
48 |
|
Межпунктовые ковариации |
0,023 |
‒0,043 |
0,154 |
0,254 |
‒2,276 |
0,004 |
48 |
|
Межпунктовые корреляции |
0,178 |
‒0,254 |
0,665 |
0,976 |
‒2,267 |
0,045 |
48 |
Проведенные исследования позволяют сделать вывод о том, что методика расчета эффективности деятельности преподавателя имеет высокую надежность, конструктную валидность и может применяться для расчета эффективности деятельности преподавателя в условиях деятельности в вузе.
Рецензенты:
Дергунов А.В., д.м.н., профессор кафедры патологической физиологии, ВМедА им. С.М. Кирова, г. Санкт-Петербург;
Сысоев В.Н., д.м.н., профессор кафедры психофизиологии, ВМедА им. С.М. Кирова, г. Санкт-Петербург.
Работа поступила в редакцию 04.06.2014.