Современное научное сообщество в последние годы стало обращать больше внимания на качество публикуемых статей. Поэтому рецензирование используется издателями для отбора и оценки представленных рукописей, кроме того, оно помогает убедиться в точности и достоверности предложенного материала и достичь следования стандартам, принятым в конкретной области или науке в целом. Следовательно, процесс рецензирования играет важную роль в повышении качества публикуемой информации. Публикация статей низкого качества отрицательно влияет на репутацию научного журнала. Кроме того, научные публикации, не прошедшие рецензирование, часто воспринимаются с недоверчивостью профессионалами во многих областях.
При подготовке очередного выпуска журнала главному редактору в сжатые сроки необходимо обрабатывать большое количество поступивших в редакцию статей и рецензий.
Частичная автоматизация этого процесса позволяет сократить временные и трудовые затраты редактора в процессе отбора статей. Разработка и внедрение математической модели для системы поддержки принятия решения (СППР) предоставляет возможность оценить статьи на основании стандартизированных результатов рецензирования.
Анализ интеллектуальной собственности по теме «Организация документооборота и системы поддержки принятия решения в издательской деятельности» выявил отсутствие систем поддержки принятия решения, применяемых для автоматизации процесса принятия статьи в издательской деятельности [10].
Математическое обеспечение СППР
Исходными данными для работы СППР являются экспертные балльные оценки, начисленные для семи независимых критериев, принадлежащих к входному множеству оценок X = {x1, x2, …, x7}, наиболее влияющих на уровень качества статьи (табл. 2).
Таблица 1
Характеристика критериев качества статьи
|
Критерий |
Название |
Описание |
|
х1 |
Актуальность |
Проблематика статьи должна представлять интерес для научного сообщества в плане текущего развития науки и техники |
|
х2 |
Научность |
В статье рассматриваются научные аспекты решаемой задачи |
|
х3 |
Новизна |
Результаты должны обладать научной новизной |
|
х4 |
Завершенность |
Статья должна охватывать цикл целостного исследования, т.е. она должна начинаться постановкой задачи, а завершаться – достоверным решением этой задачи |
|
х5 |
Обоснованность |
Представленные результаты должны быть обоснованы с помощью того или иного научного инструментария: математическим выводом, экспериментально, математическим моделированием и т.п., с тем, чтобы можно было считать их достаточно достоверными |
|
х6 |
Структурированность |
Статья должна содержать общепринятые в научных публикациях разделы (при необходимости и подразделы). Разделы должны быть посвящены актуальности темы исследования, анализу состояния вопроса, постановке решаемой задачи, методике исследования, полученным результатам, примерам, обсуждению практического использования результатов, выводам (заключению)) |
|
х7 |
Четкость формулировок |
Результаты, представленные в статье, должны быть сформулированы в виде научных положений, четко определяющих существо вклада в науку |
Особенность критериев x1–x7 состоит в том, что все они имеют качественный характер, т.е. не имеют точного количественного измерения. Следовательно, при оценке одного и того же показателя несколькими экспертами могут возникать разные мнения. Поэтому необходимо выполнить переход от качественных измерений к количественным. Этот переход осуществляется по диалектическому закону Ф. Энгельса «Взаимного перехода количественных изменений в качественные» [14]. Суть этого закона в том, что, несмотря на существенные различия, количество и качество – это части одного целого, представляющие собой стороны одного и того же предмета. Это единство называется мерой и представляет собой границу, определяющую пределы возможного количественного изменения в рамках данного качества. Удобство такого подхода состоит в том, что разные по смыслу частные показатели определяются как лингвистические переменные (табл. 2).
Таким образом, для поступившей в редакцию статьи каждый из критериев оценивается тремя рецензентами по десятибалльной шкале. После этого для каждого критерия по формуле (1) рассчитывается средний балл, который определяется как отношение суммы баллов по критерию к количеству рецензий. Полученные значения среднего суммарного балла округляются до целых.
(1)
где 
– средний суммарный балл по каждому критерию; 
– сумма баллов по критерию; 
– количество рецензий. Значения среднего суммарного балла принадлежат интервалу T = [1; 10].
После расчета значения среднего суммарного балла для каждого критерия в зависимости от функции принадлежности устанавливают в соответствие одно из лексических терм-множеств, которые определяют его уровень качества (табл. 3). Пороговые значения для выделенных функций принадлежности устанавливаются редакцией журнала.
Таблица 2
Мера качества критериев оценки статей
|
Качественный показатель |
Мера |
Обозначение |
|
Низкий |
От 1 до 3 баллов |
Tн = {tн | 1 ≤ tн ≤ 3} |
|
Средний |
От 4 до 7 баллов |
Tс = {tc | 4 ≤ tc ≤ 7} |
|
Высокий |
От 8 до 10 баллов |
Tв = {tв | 8 ≤ tв ≤ 10} |
Таблица 3
Терм-множества уровней качества статьи
|
Терм-множества |
Функция принадлежности |
Описание параметров |
Вид функции принадлежности |
|
rн Низкий (Н) |
(cн = 3, dн = dс) |
сн = max{tн} – максимальное пороговое значение меры для низкого уровня качества критерия |
Z-линейная |
|
rс Средний (С) |
(cс = cн, dс = 4, aс = 7, bс = bв) |
dc = min{tc} и ac = max{tc} – минимальное и максимальное пороговое значение меры для среднего уровня качества критерия |
Трапецеидальная |
|
rв Высокий (В) |
(aв = ас, bв = 8) |
bв = min{tн} – минимальное пороговые значения меры для низкого уровня качества критерия |
S-линейная |
Уровень качества критериев характеризуется терм-множеством R = {rн, rc, rв}, принимающим значения rн – низкий уровень качества, rс – средний, rв – высокий. Выбор трехуровневой шкалы оценки качества обусловлен тем что из области психологии известно, что в кратковременной (рабочей) памяти человека одновременно удерживается 7 ± 2 понятий (от 5 до 9) [8]. Поэтому в связи с большим количеством обрабатываемых критериев целесообразно использовать именно трехуровневую шкалу оценки качества.
Графическое представление функции принадлежности для выделенных уровней качества показано на рис. 1.
Функции принадлежности µziri(xk) характеризуют субъективную меру (в диапазоне [0; 1]) уверенности редактора в том, что значение среднего суммарного балла для критерия хk соответствует нечеткому терму ri.
Рис. 1. Функции принадлежности для i-го критерия
Таблица 4
Рекомендации по оценке частных показателей качества статьи
|
Показатель |
Уровни оценки качества |
||
|
rн |
rc |
rв |
|
|
x1 |
Уровень проделанной работы ниже среднего |
Рассмотренная в статье проблема полностью раскрыта в работах других авторов |
Рассмотрены важные современные проблемы. Исследуемая тематика недостаточно раскрыта в работах других авторов |
|
x2 |
В работе отсутствуют научные аспекты |
Научные аспекты решаемой проблемы рассмотрены недостаточно |
В статье обширно рассмотрены научные аспекты решаемой проблемы |
|
x3 |
Уровень проделанной работы ниже среднего |
В работе рассмотрены перспективные идеи |
В статье описаны оригинальные идеи |
|
x4 |
Отсутствует постановка проблемы и заключение |
Заключение не завершено |
Статья охватывает цикл целостного исследования |
|
x5 |
Результаты не подтверждены |
Изложенные результаты подтверждены частично |
Представленные результаты полностью подтверждены научным инструментарием |
|
x6 |
Работа не содержит деления на разделы |
В работе отсутствует заключение или введение |
Статья содержит все общепринятые в научных публикациях разделы |
|
x7 |
Уровень проделанной работы ниже среднего |
Результатов исследования сформулированы неоднозначно |
Результаты, представленные в статье, сформулированы в виде положений |
Для снижения уровня субъективизма при рассмотрении статей рецензентами разработаны рекомендации по оценке частных показателей определения их уровня качества (табл. 4).
Уровень качества статьи характеризуется выходным терм-множеством Y = {y1, y2, y3}, принимающим значения: y1 – низкий уровень качества, y2 – средний, y3 – высокий. Оценка качества статьи происходит на основе базы знаний с правилами типа «ЕСЛИ – ТО» и, установленных для каждого критерия уровней качества. База знаний, используемая при оценке статей, содержит большое количество правил (37 = 2187 правил), поэтому для удобства ее представления правила со сходными наборами элементов объединены в группы (рис. 2).
Рис. 2. База знаний системы оценки статей
Рассмотрим группу правил № 26, выделенную на рис. 2 черным цветом: по значениям среднего суммарного балла по каждому критерию статья получила четыре низких оценки, две средних и одну высокую, следовательно, ее уровень считается низким.
Результатом работы СППР является выбор альтернативы (отклонить, доработать, одобрить), наиболее соответствующей качеству статьи (низкое, среднее, высокое). Рекомендации для дальнейшей работы со статьей после определения ее уровня качества представлены в табл. 5.
Таблица 5
Рекомендации по работе со статьями
|
Уровень качества |
Рекомендация |
|
y1 |
Отклонить материалы без возможности доработки |
|
y2 |
Отправить статью автору на доработку. Необходимо произвести доработку по всем критериям, уровень которых оценен как низкий |
|
y3 |
Одобрить статью к печати без доработок |
Предлагаемые рекомендации позволяют главному редактору повысить уровень работоспособности за счет увеличения скорости обработки рукописей и рецензий, поступающих в редакцию.
По результатам тестовой эксплуатации разработанного алгоритма СППР в редакции журнала «Ab ovo… (С самого начала…)» (Том второй за 2014 год) из 35 представленных в редакцию на рассмотрение рукописей 19 статей были отобраны для печати, 16 статей были отклонены без возможности доработки по причине низкого уровня качества. Следует отметить, что более 70 % статей из числа одобренных в процессе предиздательской подготовки отправлены авторам на доработку и только 30 % из них приняты без доработок.
Выводы
1. Аналогов СППР, применимых для рецензирования статей в результате исследования интеллектуальной собственности, не было выявлено, большинство существующих систем только автоматизируют взаимодействие авторов, редакции и рецензентов. Однако внедрение СППР в издательскую систему такого рода помогает сократить временные затраты редакторов при отборе сообщений.
2. Выявлены и охарактеризованы критерии, влияющие на уровень качества статьи (актуальность, научность, новизна, завершенность, обоснованность, структурированность, четкость формулировок). Рассмотрены особенности их оценки при переходе от качественной шкалы измерения к количественной.
3. Определена формула для расчета среднего суммарного балла по каждому выявленному критерию и функции принадлежности, ставящие в соответствие рассчитанное значение с лексическим терм-множеством, характеризующим качество статьи.
4. Внедрение рассмотренного алгоритма в автоматизированную информационную систему научного журнала позволит частично автоматизировать процесс рецензирования. Это способствует сокращению временных затрат на отбор материалов к публикации редактором. Кроме того, предложенная типизация процесса рецензирования, за счет использования единой системы критериев, мер качества и рекомендаций по их оцениванию позволяет снизить уровень субъективизма рецензентов и отобрать лучшие статьи для публикации в журнале.