Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,074

SYSTEM OF SUPPORT OF DECISION-MAKING FOR THE ASSESSMENT OF QUALITY OF ARTICLES OF THE SCIENTIFIC MAGAZINE

Logunova O.S. 1 Ilina E.A. 1 Okzhos K.M. 1
1 Nosov Magnitogorsk State Technical University
Настоящая статья посвящена принципу работы системы принятия решения для оценки качества статей на этапе их рецензирования. В работе предложен список типовых критериев для процесса рецензирования и предъявления рекомендаций, позволяющий снизить уровень субъективизма при оценивании статьи рецензентами. Также изложены указания по работе со статьями в соответствии с их уровнем качества. Исходя из этого, был разработан алгоритм работы системы оценивания статей, основой которого являются правила, содержащиеся в базе знаний, и уровень качества средней оценки для каждого из предложенных критериев. Описанный алгоритм можно использовать для реорганизации и частичной автоматизации процесса рецензирования при создании электронной формы научного журнала. Использование предложенного алгоритма способствует сокращению временных затрат редактора в процессе отбора статей.
The present article is devoted to the principle of work of system of decision-making for an assessment of quality of articles at a stage of their reviewing. In work the list of standard criteria for process of reviewing and presentation of recommendations the subjectivity level allowing to lower is offered, at estimation of article by reviewers. Instructions on work with articles according to their level of quality are also stated. Proceeding from it, the algorithm of work of system of estimation of articles which basis are the rules containing in the knowledge base and a level of quality of an average assessment for each of the offered criteria was developed. The described algorithm can be used for reorganization and partial automation of process of reviewing at creation of an electronic form of the scientific magazine. Use of the offered algorithm promotes reduction of time expenditure of the editor in the course of selection of articles.
system of support of decision-making
reviewing
quality of article
criteria of reviewing
estimation of scientific articles
1. Atkinson R. Psihologija pamjati [Memory psychology]. Moscow, CheRo, 2000. 816 p.
2. Vasilev V.I., Borshhenko Ja.A. Sovremennye nauchnye issledovanija i innovacii–Modern scientific researches and innovations. 2012, no. 3, available at: http://web.snauka.ru/issues/2012/03/10235.
3. Danilin K. E. Diada ili triada [Dyad or triad]. Riga, 1974. 76 p.
4. Larichev O.I., Petrovskij A.V. Itogi nauki i tehniki–Results of science and equipment, 1987, vol. 21, pp. 131–164.
5. Logunova O.S., Ilina E.A. Matematicheskoe i programmnoe obespechenie sistem v promyshlennoj i socialnoj sferah-Mathematical and the software of systems in industrial and social spheres, 2014, no. 1, pp. 87–91.
6. Logunova O.S., Ilina E.A. Matematicheskoe i programmnoe obespechenie sistem v promyshlennoj i socialnoj sferah–Mathematical and the software of systems in industrial and social spheres, 2012, no. 2, pp. 281–291.
7. Logunova O.S., Ilina E.A., Okzhos K.M. Matematicheskoe i programmnoe obespechenie sistem v promyshlennoj i socialnoj sferah–Mathematical and the software of systems in industrial and social spheres, 2015, no. 1, pp. 56–57.
8. Makselon Ju. Psihologija [Psychology]. Moscow, Prosveshhenie,1998. 425 p.
9. Okzhos K.M. Ab ovo… (S samogo nachala …) Av ovo … (From the very beginning …), 2014, no. 1, pp. 62–64.
10. Okzhos K.M. Sbornik nauchnyh trudov Sworld – Collection of scientific works Sworld, 2015, vol. 4, no. 3, pp. 76–79.
11. Rotshtejn A.P. Intellektualnye tehnologii identifikacii: nechetkie mnozhestva, nejronnye seti, geneticheskie algoritmy [Intellectual technologies of identification: indistinct sets, neural networks, genetic algorithms]. Vinnytsia, Unіversum-Vіnnicja, 1999. 295 p.
12. Saraev A.D., Shherbina O.A. Trudy Krymskoj Akademii nauk – Works of the Crimean Academy of Sciences, 2006, pp. 54–62.
13. Chernoruckij I.G. Metody prinjatija reshenij [Decision-making methods]. St. Petersburg, BHV-Peterburg, 2005. 260 p.
14. Jengels F., Marks K. Dialektika prirody [Natural dialectic]. Moscow, GIPL, 1961. vol. 20. 385 p.

Современное научное сообщество в последние годы стало обращать больше внимания на качество публикуемых статей. Поэтому рецензирование используется издателями для отбора и оценки представленных рукописей, кроме того, оно помогает убедиться в точности и достоверности предложенного материала и достичь следования стандартам, принятым в конкретной области или науке в целом. Следовательно, процесс рецензирования играет важную роль в повышении качества публикуемой информации. Публикация статей низкого качества отрицательно влияет на репутацию научного журнала. Кроме того, научные публикации, не прошедшие рецензирование, часто воспринимаются с недоверчивостью профессионалами во многих областях.

При подготовке очередного выпуска журнала главному редактору в сжатые сроки необходимо обрабатывать большое количество поступивших в редакцию статей и рецензий.

Частичная автоматизация этого процесса позволяет сократить временные и трудовые затраты редактора в процессе отбора статей. Разработка и внедрение математической модели для системы поддержки принятия решения (СППР) предоставляет возможность оценить статьи на основании стандартизированных результатов рецензирования.

Анализ интеллектуальной собственности по теме «Организация документооборота и системы поддержки принятия решения в издательской деятельности» выявил отсутствие систем поддержки принятия решения, применяемых для автоматизации процесса принятия статьи в издательской деятельности [10].

Математическое обеспечение СППР

Исходными данными для работы СППР являются экспертные балльные оценки, начисленные для семи независимых критериев, принадлежащих к входному множеству оценок X = {x1, x2, …, x7}, наиболее влияющих на уровень качества статьи (табл. 2).

Таблица 1

Характеристика критериев качества статьи

Критерий

Название

Описание

х1

Актуальность

Проблематика статьи должна представлять интерес для научного сообщества в плане текущего развития науки и техники

х2

Научность

В статье рассматриваются научные аспекты решаемой задачи

х3

Новизна

Результаты должны обладать научной новизной

х4

Завершенность

Статья должна охватывать цикл целостного исследования, т.е. она должна начинаться постановкой задачи, а завершаться – достоверным решением этой задачи

х5

Обоснованность

Представленные результаты должны быть обоснованы с помощью того или иного научного инструментария: математическим выводом, экспериментально, математическим моделированием и т.п., с тем, чтобы можно было считать их достаточно достоверными

х6

Структурированность

Статья должна содержать общепринятые в научных публикациях разделы (при необходимости и подразделы). Разделы должны быть посвящены актуальности темы исследования, анализу состояния вопроса, постановке решаемой задачи, методике исследования, полученным результатам, примерам, обсуждению практического использования результатов, выводам (заключению))

х7

Четкость формулировок

Результаты, представленные в статье, должны быть сформулированы в виде научных положений, четко определяющих существо вклада в науку

Особенность критериев x1–x7 состоит в том, что все они имеют качественный характер, т.е. не имеют точного количественного измерения. Следовательно, при оценке одного и того же показателя несколькими экспертами могут возникать разные мнения. Поэтому необходимо выполнить переход от качественных измерений к количественным. Этот переход осуществляется по диалектическому закону Ф. Энгельса «Взаимного перехода количественных изменений в качественные» [14]. Суть этого закона в том, что, несмотря на существенные различия, количество и качество – это части одного целого, представляющие собой стороны одного и того же предмета. Это единство называется мерой и представляет собой границу, определяющую пределы возможного количественного изменения в рамках данного качества. Удобство такого подхода состоит в том, что разные по смыслу частные показатели определяются как лингвистические переменные (табл. 2).

Таким образом, для поступившей в редакцию статьи каждый из критериев оценивается тремя рецензентами по десятибалльной шкале. После этого для каждого критерия по формуле (1) рассчитывается средний балл, который определяется как отношение суммы баллов по критерию к количеству рецензий. Полученные значения среднего суммарного балла округляются до целых.

logunova01.wmf (1)

где logunova02.wmf – средний суммарный балл по каждому критерию; logunova03.wmf – сумма баллов по критерию; logunova04.wmf – количество рецензий. Значения среднего суммарного балла принадлежат интервалу T = [1; 10].

После расчета значения среднего суммарного балла для каждого критерия в зависимости от функции принадлежности устанавливают в соответствие одно из лексических терм-множеств, которые определяют его уровень качества (табл. 3). Пороговые значения для выделенных функций принадлежности устанавливаются редакцией журнала.

Таблица 2

Мера качества критериев оценки статей

Качественный показатель

Мера

Обозначение

Низкий

От 1 до 3 баллов

Tн = {tн | 1 ≤ tн ≤ 3}

Средний

От 4 до 7 баллов

Tс = {tc | 4 ≤ tc ≤ 7}

Высокий

От 8 до 10 баллов

Tв = {tв | 8 ≤ tв ≤ 10}

Таблица 3

Терм-множества уровней качества статьи

Терм-множества

Функция принадлежности

Описание параметров

Вид функции принадлежности

Низкий (Н)

logunova05.wmf

(cн = 3, dн = dс)

сн = max{tн} – максимальное пороговое значение меры для низкого уровня качества критерия

Z-линейная

Средний (С)

logunova06.wmf

(cс = cн, dс = 4, aс = 7, bс = bв)

dc = min{tc} и ac = max{tc} – минимальное и максимальное пороговое значение меры для среднего уровня качества критерия

Трапецеидальная

Высокий (В)

logunova07.wmf

(aв = ас, bв = 8)

bв = min{tн} – минимальное пороговые значения меры для низкого уровня качества критерия

S-линейная

Уровень качества критериев характеризуется терм-множеством R = {rн, rc, rв}, принимающим значения rн – низкий уровень качества, rс – средний, rв – высокий. Выбор трехуровневой шкалы оценки качества обусловлен тем что из области психологии известно, что в кратковременной (рабочей) памяти человека одновременно удерживается 7 ± 2 понятий (от 5 до 9) [8]. Поэтому в связи с большим количеством обрабатываемых критериев целесообразно использовать именно трехуровневую шкалу оценки качества.

Графическое представление функции принадлежности для выделенных уровней качества показано на рис. 1.

Функции принадлежности µziri(xk) характеризуют субъективную меру (в диапазоне [0; 1]) уверенности редактора в том, что значение среднего суммарного балла для критерия хk соответствует нечеткому терму ri.

pic_22.tif

Рис. 1. Функции принадлежности для i-го критерия

Таблица 4

Рекомендации по оценке частных показателей качества статьи

Показатель

Уровни оценки качества

rc

x1

Уровень проделанной работы ниже среднего

Рассмотренная в статье проблема полностью раскрыта в работах других авторов

Рассмотрены важные современные проблемы. Исследуемая тематика недостаточно раскрыта в работах других авторов

x2

В работе отсутствуют научные аспекты

Научные аспекты решаемой проблемы рассмотрены недостаточно

В статье обширно рассмотрены научные аспекты решаемой проблемы

x3

Уровень проделанной работы ниже среднего

В работе рассмотрены перспективные идеи

В статье описаны оригинальные идеи

x4

Отсутствует постановка проблемы и заключение

Заключение не завершено

Статья охватывает цикл целостного исследования

x5

Результаты не подтверждены

Изложенные результаты подтверждены частично

Представленные результаты полностью подтверждены научным инструментарием

x6

Работа не содержит деления на разделы

В работе отсутствует заключение или введение

Статья содержит все общепринятые в научных публикациях разделы

x7

Уровень проделанной работы ниже среднего

Результатов исследования сформулированы неоднозначно

Результаты, представленные в статье, сформулированы в виде положений

Для снижения уровня субъективизма при рассмотрении статей рецензентами разработаны рекомендации по оценке частных показателей определения их уровня качества (табл. 4).

Уровень качества статьи характеризуется выходным терм-множеством Y = {y1, y2, y3}, принимающим значения: y1 – низкий уровень качества, y2 – средний, y3 – высокий. Оценка качества статьи происходит на основе базы знаний с правилами типа «ЕСЛИ – ТО» и, установленных для каждого критерия уровней качества. База знаний, используемая при оценке статей, содержит большое количество правил (37 = 2187 правил), поэтому для удобства ее представления правила со сходными наборами элементов объединены в группы (рис. 2).

pic_23.wmf

Рис. 2. База знаний системы оценки статей

Рассмотрим группу правил № 26, выделенную на рис. 2 черным цветом: по значениям среднего суммарного балла по каждому критерию статья получила четыре низких оценки, две средних и одну высокую, следовательно, ее уровень считается низким.

Результатом работы СППР является выбор альтернативы (отклонить, доработать, одобрить), наиболее соответствующей качеству статьи (низкое, среднее, высокое). Рекомендации для дальнейшей работы со статьей после определения ее уровня качества представлены в табл. 5.

Таблица 5

Рекомендации по работе со статьями

Уровень качества

Рекомендация

y1

Отклонить материалы без возможности доработки

y2

Отправить статью автору на доработку. Необходимо произвести доработку по всем критериям, уровень которых оценен как низкий

y3

Одобрить статью к печати без доработок

Предлагаемые рекомендации позволяют главному редактору повысить уровень работоспособности за счет увеличения скорости обработки рукописей и рецензий, поступающих в редакцию.

По результатам тестовой эксплуатации разработанного алгоритма СППР в редакции журнала «Ab ovo… (С самого начала…)» (Том второй за 2014 год) из 35 представленных в редакцию на рассмотрение рукописей 19 статей были отобраны для печати, 16 статей были отклонены без возможности доработки по причине низкого уровня качества. Следует отметить, что более 70 % статей из числа одобренных в процессе предиздательской подготовки отправлены авторам на доработку и только 30 % из них приняты без доработок.

Выводы

1. Аналогов СППР, применимых для рецензирования статей в результате исследования интеллектуальной собственности, не было выявлено, большинство существующих систем только автоматизируют взаимодействие авторов, редакции и рецензентов. Однако внедрение СППР в издательскую систему такого рода помогает сократить временные затраты редакторов при отборе сообщений.

2. Выявлены и охарактеризованы критерии, влияющие на уровень качества статьи (актуальность, научность, новизна, завершенность, обоснованность, структурированность, четкость формулировок). Рассмотрены особенности их оценки при переходе от качественной шкалы измерения к количественной.

3. Определена формула для расчета среднего суммарного балла по каждому выявленному критерию и функции принадлежности, ставящие в соответствие рассчитанное значение с лексическим терм-множеством, характеризующим качество статьи.

4. Внедрение рассмотренного алгоритма в автоматизированную информационную систему научного журнала позволит частично автоматизировать процесс рецензирования. Это способствует сокращению временных затрат на отбор материалов к публикации редактором. Кроме того, предложенная типизация процесса рецензирования, за счет использования единой системы критериев, мер качества и рекомендаций по их оцениванию позволяет снизить уровень субъективизма рецензентов и отобрать лучшие статьи для публикации в журнале.