Научный журнал

Фундаментальные исследования

ISSN 1812-7339

"Перечень" ВАК

ИФ РИНЦ = 1,674

• Авторы
• Резюме
• Файлы
• Ключевые слова
• Литература

Логунова О.С. 1 Ильина Е.А. 1 Окжос К.М. 1

---

1 Магнитогорский государственный технический университет имени Г.И. Носова

Настоящая статья посвящена принципу работы системы принятия решения для оценки качества статей на этапе их рецензирования. В работе предложен список типовых критериев для процесса рецензирования и предъявления рекомендаций, позволяющий снизить уровень субъективизма при оценивании статьи рецензентами. Также изложены указания по работе со статьями в соответствии с их уровнем качества. Исходя из этого, был разработан алгоритм работы системы оценивания статей, основой которого являются правила, содержащиеся в базе знаний, и уровень качества средней оценки для каждого из предложенных критериев. Описанный алгоритм можно использовать для реорганизации и частичной автоматизации процесса рецензирования при создании электронной формы научного журнала. Использование предложенного алгоритма способствует сокращению временных затрат редактора в процессе отбора статей.

Статья в формате PDF

0 KB

система поддержки принятия решения

рецензирование

качество статьи

критерии рецензирования

оценивание научных статей

1. Аткинсон Р. Психология памяти – М.: ЧеРо, 2000. – 816 с.

2. Васильев В.И., Борщенко Я.А. Интеллектуальные технологии в процессах проектирования систем диагностирования автотранспортных средств // Современные научные исследования и инновации. – 2012. – № 3. [Электронный ресурс]. – URL: http://web.snauka.ru/issues/2012/03/10235 (дата обращения: 12.09.2015).

3. Данилин К.Е. Диада или триада. – Рига, 1974. – 76 с.

4. Ларичев О.И., Петровский А.В. Системы поддержки принятия решений. Современное состояние и перспективы их развития // Итоги науки и техники. – 1987. – Т. 21. – С. 131–164.

5. Логунова О.С., Ильина Е.А. Cтруктуризация лексикографической информации при разработке программного обеспечения // Математическое и программное обеспечение систем в промышленной и социальной сферах. – 2014. – № 1. – С. 87–91.

6. Логунова О.С., Ильина Е.А. Методика исследования предметной области на основе теоретико-множественного анализа // Математическое и программное обеспечение систем в промышленной и социальной сферах. – 2012. – № 2. – С. 281–291.

7. Логунова О.С., Ильина Е.А., Окжос К.М. Система оценки качества статей научного журнала // Математическое и программное обеспечение систем в промышленной и социальной сферах. – 2015. – № 1. – С. 56–57.

8. Макселон Ю. Психология. – М.: Просвещение, 1998. – 425 с.

9. Окжос К.М. Определение и характеристика информационной среды научного журнала // Av ovo … (С самого начала …). – 2014. – № 1. – С. 62–64.

10. Окжос К.М. Результаты поиска интеллектуальной собственности по теме «Организация документооборота и системы поддержки принятия решения в издательской деятельности» // Сборник научных трудов Sworld. – 2015. – Т. 4. – № 3. – С. 76–79.

11. Ротштейн А.П. Интеллектуальные технологии идентификации: нечеткие множества, нейронные сети, генетические алгоритмы. – Винница: Универсум, 999. – 295 с.

12. Сараев А.Д., Щербина О.А. Системный анализ и современные информационные технологии // Труды Крымской Академии наук. – 2006. – С. 54–62.

13. Черноруцкий И.Г. Методы принятия решений. – СПб.: БХВ-Петербург, 2005. – 260 с.

14. Энгельс Ф., Маркс К. Диалектика природы. – Собр. соч. – 2 изд. – М.: ГИПЛ, 1961. – Т. 20. – 385 с.

Современное научное сообщество в последние годы стало обращать больше внимания на качество публикуемых статей. Поэтому рецензирование используется издателями для отбора и оценки представленных рукописей, кроме того, оно помогает убедиться в точности и достоверности предложенного материала и достичь следования стандартам, принятым в конкретной области или науке в целом. Следовательно, процесс рецензирования играет важную роль в повышении качества публикуемой информации. Публикация статей низкого качества отрицательно влияет на репутацию научного журнала. Кроме того, научные публикации, не прошедшие рецензирование, часто воспринимаются с недоверчивостью профессионалами во многих областях.

При подготовке очередного выпуска журнала главному редактору в сжатые сроки необходимо обрабатывать большое количество поступивших в редакцию статей и рецензий.

Частичная автоматизация этого процесса позволяет сократить временные и трудовые затраты редактора в процессе отбора статей. Разработка и внедрение математической модели для системы поддержки принятия решения (СППР) предоставляет возможность оценить статьи на основании стандартизированных результатов рецензирования.

Анализ интеллектуальной собственности по теме «Организация документооборота и системы поддержки принятия решения в издательской деятельности» выявил отсутствие систем поддержки принятия решения, применяемых для автоматизации процесса принятия статьи в издательской деятельности [10].

Математическое обеспечение СППР

Исходными данными для работы СППР являются экспертные балльные оценки, начисленные для семи независимых критериев, принадлежащих к входному множеству оценок X = {x1, x2, …, x7}, наиболее влияющих на уровень качества статьи (табл. 2).

Таблица 1

Характеристика критериев качества статьи

Особенность критериев x1–x7 состоит в том, что все они имеют качественный характер, т.е. не имеют точного количественного измерения. Следовательно, при оценке одного и того же показателя несколькими экспертами могут возникать разные мнения. Поэтому необходимо выполнить переход от качественных измерений к количественным. Этот переход осуществляется по диалектическому закону Ф. Энгельса «Взаимного перехода количественных изменений в качественные» [14]. Суть этого закона в том, что, несмотря на существенные различия, количество и качество – это части одного целого, представляющие собой стороны одного и того же предмета. Это единство называется мерой и представляет собой границу, определяющую пределы возможного количественного изменения в рамках данного качества. Удобство такого подхода состоит в том, что разные по смыслу частные показатели определяются как лингвистические переменные (табл. 2).

Таким образом, для поступившей в редакцию статьи каждый из критериев оценивается тремя рецензентами по десятибалльной шкале. После этого для каждого критерия по формуле (1) рассчитывается средний балл, который определяется как отношение суммы баллов по критерию к количеству рецензий. Полученные значения среднего суммарного балла округляются до целых.

(1)

где – средний суммарный балл по каждому критерию; – сумма баллов по критерию; – количество рецензий. Значения среднего суммарного балла принадлежат интервалу T = [1; 10].

После расчета значения среднего суммарного балла для каждого критерия в зависимости от функции принадлежности устанавливают в соответствие одно из лексических терм-множеств, которые определяют его уровень качества (табл. 3). Пороговые значения для выделенных функций принадлежности устанавливаются редакцией журнала.

Таблица 2

Мера качества критериев оценки статей

Таблица 3

Терм-множества уровней качества статьи

Уровень качества критериев характеризуется терм-множеством R = {rн, rc, rв}, принимающим значения rн – низкий уровень качества, rс – средний, rв – высокий. Выбор трехуровневой шкалы оценки качества обусловлен тем что из области психологии известно, что в кратковременной (рабочей) памяти человека одновременно удерживается 7 ± 2 понятий (от 5 до 9) [8]. Поэтому в связи с большим количеством обрабатываемых критериев целесообразно использовать именно трехуровневую шкалу оценки качества.

Графическое представление функции принадлежности для выделенных уровней качества показано на рис. 1.

Функции принадлежности µziri(xk) характеризуют субъективную меру (в диапазоне [0; 1]) уверенности редактора в том, что значение среднего суммарного балла для критерия хk соответствует нечеткому терму ri.

Рис. 1. Функции принадлежности для i-го критерия

Таблица 4

Рекомендации по оценке частных показателей качества статьи

Для снижения уровня субъективизма при рассмотрении статей рецензентами разработаны рекомендации по оценке частных показателей определения их уровня качества (табл. 4).

Уровень качества статьи характеризуется выходным терм-множеством Y = {y1, y2, y3}, принимающим значения: y1 – низкий уровень качества, y2 – средний, y3 – высокий. Оценка качества статьи происходит на основе базы знаний с правилами типа «ЕСЛИ – ТО» и, установленных для каждого критерия уровней качества. База знаний, используемая при оценке статей, содержит большое количество правил (37 = 2187 правил), поэтому для удобства ее представления правила со сходными наборами элементов объединены в группы (рис. 2).

Рис. 2. База знаний системы оценки статей

Рассмотрим группу правил № 26, выделенную на рис. 2 черным цветом: по значениям среднего суммарного балла по каждому критерию статья получила четыре низких оценки, две средних и одну высокую, следовательно, ее уровень считается низким.

Результатом работы СППР является выбор альтернативы (отклонить, доработать, одобрить), наиболее соответствующей качеству статьи (низкое, среднее, высокое). Рекомендации для дальнейшей работы со статьей после определения ее уровня качества представлены в табл. 5.

Таблица 5

Рекомендации по работе со статьями

Предлагаемые рекомендации позволяют главному редактору повысить уровень работоспособности за счет увеличения скорости обработки рукописей и рецензий, поступающих в редакцию.

По результатам тестовой эксплуатации разработанного алгоритма СППР в редакции журнала «Ab ovo… (С самого начала…)» (Том второй за 2014 год) из 35 представленных в редакцию на рассмотрение рукописей 19 статей были отобраны для печати, 16 статей были отклонены без возможности доработки по причине низкого уровня качества. Следует отметить, что более 70 % статей из числа одобренных в процессе предиздательской подготовки отправлены авторам на доработку и только 30 % из них приняты без доработок.

Выводы

1. Аналогов СППР, применимых для рецензирования статей в результате исследования интеллектуальной собственности, не было выявлено, большинство существующих систем только автоматизируют взаимодействие авторов, редакции и рецензентов. Однако внедрение СППР в издательскую систему такого рода помогает сократить временные затраты редакторов при отборе сообщений.

2. Выявлены и охарактеризованы критерии, влияющие на уровень качества статьи (актуальность, научность, новизна, завершенность, обоснованность, структурированность, четкость формулировок). Рассмотрены особенности их оценки при переходе от качественной шкалы измерения к количественной.

3. Определена формула для расчета среднего суммарного балла по каждому выявленному критерию и функции принадлежности, ставящие в соответствие рассчитанное значение с лексическим терм-множеством, характеризующим качество статьи.

4. Внедрение рассмотренного алгоритма в автоматизированную информационную систему научного журнала позволит частично автоматизировать процесс рецензирования. Это способствует сокращению временных затрат на отбор материалов к публикации редактором. Кроме того, предложенная типизация процесса рецензирования, за счет использования единой системы критериев, мер качества и рекомендаций по их оцениванию позволяет снизить уровень субъективизма рецензентов и отобрать лучшие статьи для публикации в журнале.

Библиографическая ссылка