Scientific journal
Fundamental research
ISSN 1812-7339
"Перечень" ВАК
ИФ РИНЦ = 1,674

SOME REASONS FOR THE MANIFESTATION OF THE RANK REVERSAL EFFECT IN RANKING (USING EXAMPLES OF SOLVING SOCIO-ECOLOGICAL AND ECONOMIC PROBLEMS)

Korobov V.B. 1 Tutygin A.G. 2 Chizhova L.A. 2 Lokhov A.S. 1
1 Shirshov Institute of Oceanology of the Russian Academy of Sciences
2 N. Laverov Federal Center for Integrated Arctic Research of the Ural Branch of the Russian Academy of Sciences
When solving socio-ecological and economic problems using the methodology of expert analytical systems, the ranking method is increasingly used, which is a widespread procedure for analyzing alternatives and various kinds of objects. At the same time, the components that make up the object and the factors affecting the functioning of the object often have to be combined into one group, or, conversely, divided into groups. These procedures lead to a change in the contribution of the components that make up the object of study, that is, to their transformation. The consequence of this process, called rank reversal, is a change in the hierarchy of alternatives, which is important for making strategic decisions, as well as a change in the values of the corresponding weighting coefficients when ranking is used for these purposes. The article discusses the cases when and as a result of which this effect occurs. Examples include: rating of outstanding scientists; classification of coastal and coastal zones of the Arctic seas with oil pollution; evaluation of an investment project of regional significance, the reasons for the manifestation of the rank reversal effect for some typical object analysis procedures are shown. At the conclusion of the study, the authors concluded that the effect in question can be excluded if only absolute quantitative estimates of factors are used and no re-ranking is carried out.
socio-ecological and economic tasks
ranking
rank reversal
factor
alternative
weighting factors

Эффект rank reversal – дословно «изменение ранга», был установлен в 1983 г. В. Белтоном и Т. Гиром [1]. Обнаружен он был в ходе добавления или исключения вариантов при анализе альтернатив, когда в результате этих действий менялся порядок приоритетов относительно предшествующего. Дальнейшие исследования различных авторов подтвердили наличие этого эффекта при различных типах оценок альтернатив. На некоторых из них мы остановимся ниже.

Данный эффект важен в задачах принятия стратегических решений и близких к ним задачам оптимального выбора, но не только. Дело в том, что ранжирование, являясь очень эффективным и в то же время простым методом установления приоритетов, позволяет быстро находить весовые коэффициенты влияющих факторов, которые затем используются в разного рода моделях как мультипликативные множители, корректирующие числовые значения параметров модели.

При моделировании этот эффект может проявляться дважды: как при изменении числа ранжируемых факторов, так и вследствие изменения числовых характеристик альтернатив, как, например, уже было показано авторами для моделей балльных классификаций эколого-экономических объектов [2]. Для нас приоритетным является его проявление непосредственно при ранжировании, поскольку изменение числовых характеристик альтернатив может быть следствием изменений весовых коэффициентов.

Почему эффект rank reversal столь важен? Дело в том, что изменение порядка ранжирования при принятии стратегических решений может привести, и часто так оно и есть, к пересмотру финансовой политики, а то и всей стратегии развития компании. Например, при оценке альтернатив вывоза нефти морским путём из сухопутных месторождений магистральный нефтепровод лучше направить не на север, как предполагалось ранее, а, скажем, на северо-восток, что может потребовать строительства ледостойкого отгрузочного терминала и использования ледокольного флота, поскольку акватория моря в этом месте замерзает, в то время как рассматриваемая в предыдущем варианте – не везде.

Также и в эколого-экономических задачах, таких как районирование территорий и акваторий, например, для определения наиболее уязвимых участков для нефтяного загрязнения изменение весовых коэффициентов может приводить к изменению категории участка, что повлечёт за собой необходимость изменения планов ликвидации аварийных разливов нефти. Исследования авторов показали, что даже на соседних участках различия в оцениваемых посредством моделей с весовыми коэффициентами условиях могут быть весьма значимы, причём это касается как линейных, так и площадных объектов [3, 4], а это говорит о том, что любое изменение категории участка будет иметь принципиальный характер.

Поскольку ранжирование является установившейся процедурой анализа сложных объектов, оно часто включается в различные технологии и становится их неотъемлемой частью [5, 6]. Следовательно, этот эффект может приводить к необходимости кардинального пересмотра результатов и потребовать дополнительных исследований для установления причин его возникновения. Справедливости ради отметим, что эффект rank reversal обнаружен и при применении других методов многокритериального оценивания, в частности в методе анализа иерархий [7], в методе анализа альтернатив по степени близости к идеальной (TOPSIS) [8] и других [9, 10].

Целью предпринятых авторами исследований является объяснение некоторых причин проявления эффекта rank reversal при объединении факторов и разбиении факторов на группы.

Изменение числа факторов происходит чаще всего при усложнении объекта исследований, чтобы описание его было более адекватным, а результаты – более приближенными к действительности. Но, когда изучаемый процесс очень сложный, научные методологии рекомендуют его упростить, для чего часть факторов временно исключают из рассмотрения. Так поступают, когда требуется исследовать некоторые частные вопросы или же задача слишком сложна, чтобы её можно было решить сразу. Иногда это делается и при численных реализациях модели с целью последовательной отладки программы вычислений. Тогда модель приходится упрощать, вследствие чего входящие в неё компоненты меняют свою роль. Ранжирование компонентов как раз и позволяет понять, насколько значимость факторов изменилась и с каким знаком. Маджумдар с соавт. показали [11], что смена рангов становится более интенсивной по мере увеличения числа альтернатив, в то же время она уменьшается с увеличением количества критериев. Когда объект сложный, что имеет место при изучении социально-экономических, экологических и многих технических систем, его разбивают на части: так легче формализовать задачу и разработать адекватную модель. Факторы этих частей представляют собой группы, например, «экономические», «природные», «технические» и т.д. Тогда ранжирование проводится внутри каждой группы. Сами группы также ранжируются, поскольку их вклад в конечный результат редко можно принимать равным.

Материалы и методы исследования

В работе использованы системный подход, в том числе методы экспертных оценок. Теоретическую основу исследования составляют работы отечественных и зарубежных авторов, посвященные как методологическим вопросам применения экспертных оценок, так и решению практических задач социо-эколого-экономической направленности с использованием экспертно-аналитических процедур.

Результаты исследования и их обсуждение

Форма представления. Прежде чем формально представить, как отображается этот эффект при ранжировании факторов, сделаем некоторые предварительные замечания технического характера. Как нами отмечено выше, если ранжирование произведено, то субъекты ранжирования могут быть оцифрованы по формуле (1) показателями wi следующим образом:

missing image file, (1)

где i – ранг фактора; n – общее число факторов. Соотношение между рангами и весовыми коэффициентами взаимно однозначное.

Но, как показывает практика, группы редко бывают одной величины, то есть они содержат различное число факторов. Из этого вытекает, что при разной численности факторов в группах будут получаться различные значения тех же весовых коэффициентов. Так, для третьего ранга (i = 3) при n = 4 по формуле (1) получаем, что wi = 0,3, а для n = 5 уже wi = 0,2. Другими словами, ранги из групп разной величины несопоставимы. Для того, чтобы их можно было сопоставлять, при объединении нужно учитывать размер групп, что достигается введением масштабного множителя mj, вычисляемого по формуле (2) [12]:

missing image file (2)

где mj – масштабный множитель,

nj – количество влияющих факторов в группе j,

N – общее количество факторов во всех группах,

R – число групп.

Если таких преобразований не делать, то векторы порядков будут просто несопоставимыми. Когда же группы, даже одинакового объёма, в свою очередь, не могут рассматриваться как равноценные, то они также должны быть проранжированы и получить свои весовые коэффициенты vj. Тогда весовой коэффициент каждого фактора должен быть умножен на свой масштабный множитель и межгрупповой весовой коэффициент:

wij =wi · vj · mj . (3)

Такие числовые характеристики факторов можно назвать абсолютными, поскольку они уже не зависят от процедур объединения или разделения. Тогда ранжирование всех факторов производится по числовым значениям wij.

Ранжирование – это распределение по порядку [13]. Критерии ранжирования могут быть количественными, качественными и составными. В первом случае ранжирование производится автоматически на основании значений, рассчитываемых по формулам типа (3), в остальных двух – главным образом экспертами на основании некоторых процедур, которые мы оставим за рамками данной статьи.

Последовательности рангов можно записать в виде векторов. Рассмотрим два таких вектора: missing image file и missing image file. А теперь в результате их конкатенации и последующей перестановки компонент путем нового ранжирования получим вектор missing image file Пусть в результате повторного ранжирования была получена такая последовательность факторов в новом векторе:

missing image file.

Более того, эффект rank reversal при слиянии может быть и «двойным», и «тройным», и большее число раз в том смысле, что в новой последовательности может образовываться более двух нарушений первоначальных последовательностей, например, так:

missing image file.

Отметим, что, вообще говоря, при таком ранжировании мы рассматриваем различные перестановки n-элементного множества {1,2,…,n}, общее число которых, как известно, равняется n!. Каждая такая перестановка может быть представлена в виде произведения (в смысле композиции преобразований) транспозиций вида (i, j), меняющей между собой только позиции i и j, а все остальные – оставляющей на своих местах. При этом справедлива следующая формула умножения транспозиций (i, j) = (1, i)(1, j)(1, i), которая лежит в основе ряда алгоритмов сортировки массивов и может быть использована для оценки сложности различных процедур, связанных с ранжированием.

Причины проявления. Истоки эффекта rank reversal, по нашему мнению, следует искать в технологиях экспертного оценивания и субъективном восприятии объектов оценивания экспертами. Из этого и будем исходить.

В основе объективных причин изменения порядка ранжирования при объединении факторов в группы лежит невольная коррекция цели ранжирования или же промежуточных целей при разбиении факторов на группы. Тогда объект представляется несколько по-другому хотя бы уже потому, что он состоит из разного количества «комплектующих». А раз так, то и несколько по-другому будет видеться и роль его составных частей в формировании и функционировании объекта.

Другими словами, перераспределение информационных потоков приводит к тому, что функционал объекта смещается и цель формирования объекта рассматривается уже несколько иначе. Не будем утверждать, что кардинально, поскольку в таком случае сильное смещение будет свидетельствовать о некорректном выборе факторов. Другое дело, когда мы сами корректируем цель, чтобы использовать результаты ранее выполненных исследовательских работ.

Корректировка представления об объекте при изменении числа факторов неизбежна и обуславливается изменением объёма эмпирической информации, следствием чего становится адаптивная перестройка объекта.

Одна из субъективных причин – это невозможность тождественно представить объект при повторном ранжировании, поскольку один и тот же объект воспринимается уже по-другому через некоторое время одним и тем же человеком, на что указывал ещё Мишель Монтень [14]. К тому же у эксперта под влиянием новых знаний со временем корректируется точка зрения на объект оценивания или его части.

Также следует отметить, что если исследователю объект представляется как система, то есть принимается требование, что все его части находятся между собой в прямых и обратных связях [15], то следует ожидать, что нарушение порядка будет ещё сильнее и затрагивать эти изменения будут большее число составляющих по сравнению с представлением их как независимых. А то, что факторы в системах будут обязательно изменяться, отметил ещё один из основателей кибернетики Уильям Росс Эшби [16].

Поэтому разработаны методы, призванные избавиться от эффекта rank reversal, либо хотя бы минимизировать последствия его присутствия, в большинстве своем основанные на различных нормализациях [17]. Вместе с тем Барзилаи и Голани доказали [18], что не существует такой нормализации, которая гарантированно может нейтрализовать этот эффект, что является ожидаемым в силу описанных причин возникновения этого эффекта.

Следует отметить ещё одно обстоятельство, которое может привести – и часто приводит, к эффекту rank reversal. Так происходит, когда один и тот же фактор входит в несколько групп. Так, например, особо охраняемые природные территории часто включают и в экологические факторы, и в природные или правовые, а один и тот же человек может рассматриваться и как выдающийся учёный, и как видный общественный деятель. Гипотетически они могут занимать одинаковое место в своих группах, что ещё не гарантирует избегания эффекта rank reversal, но это только теоретически. На практике такой фактор в объединённой группе занимает некоторое промежуточное положение, что вполне естественно, поскольку он играет уже несколько иную роль в описании объекта, но может, как мы покажем ниже на одном из примеров, и резко усиливаться.

В общем, при каждой переоценке факторов следует ожидать проявления эффекта rank reversal. Поводы для переоценки могут быть самыми различными и в отсутствие слияния факторов в группы, что также следует принимать во внимание, как частные случаи. Вот далеко не полный список всего лишь нескольких причин из нашей практики: изменение законодательства; изменение ситуации (потепление климата); неравномерное экономическое развитие территорий; введение новых технологий на производстве и т.д. Даже если изменения затрагивают всего одну группу, ранжирование приходится проводить повторно.

Примеры. Рассмотрим несколько небольших примеров, носящих исключительно иллюстративный характер. Авторы рассмотрели только возможности, каким образом и в какого типа задачах с большой долей вероятности может проявиться рассматриваемый нами эффект.

Выдающиеся учёные. Мы постоянно сталкиваемся с различными рейтингами выдающихся людей. Цели составления таких рейтингов самые разные, вплоть до коммерческих, когда они используются для рекламы и издания популярных биографий. Единой, всех более или менее удовлетворяющей методологии отбора кандидатов и их ранжирования не существует, в чём можно легко убедиться, посмотрев список и порядок расположения отобранных учёных: он различен в разных монографиях. Но везде такой отбор является экспертным, поскольку им занимаются специалисты, работающие в этой области, включая и самих учёных.

Пусть у нас имеется группа «Выдающиеся математики», в которой эксперты расставили в таком порядке следующих учёных: 1 – Архимед, 2 – Гаусс, 3 – Эйлер – и группа «Выдающиеся механики», в которую вошли: 1 – Архимед, 2 – Ньютон, 3 – Галилей. После объединения групп и нового ранжирования учёные расположились в такой последовательности: 1 – Архимед, 2 – Ньютон, 3 – Эйлер, 4 – Гаусс, 5 – Галилей. В итоговом списке Эйлер и Ньютон поменялись местами. Этому можно дать, например, такое объяснение: результаты математических исследований Эйлера способствовали в большей степени развитию механики, чем достижения Гаусса. Критерий, конечно, спорный, но вполне приемлемый.

При добавлении к этому списку группы «Выдающиеся физики» не исключено, что в нём имели бы место и другие перестановки, поскольку Ньютон также имеет статус выдающего физика, причём заслуженно. Если в качестве критерия значимости учёного использовать его влияние на научно-технический прогресс, то Ньютон вполне мог бы стать во главе рейтинга. А может быть, и Эйнштейн, кто знает?

Классификация прибрежной и береговой зон арктических морей при нефтяном загрязнении. Пусть требуется оценить степень поражения прибрежной и береговой экосистем при аварийных разливах нефти на магистральных трубопроводах. С научной точки зрения это два разных географических объекта, пусть для них и принимаются некоторые одинаковые факторы, а если в рассмотрение включить ещё и прибрежную зону со стороны моря, то это уже будут три самостоятельных природных объекта [19–21].

При проектировании трубопровода, по которому нефть будет перекачиваться из месторождений в тундре на береговой причал или морской отгрузочный терминал, потенциально загрязняемая территория и акватория с инженерной точки зрения будет рассматриваться уже как единый объект. Следовательно, факторы придётся объединять. Из этого вытекает, что вполне возможно изменение их рангов.

Для решения такого рода задач приходится рассматривать несколько десятков факторов, входящих в 5–6 групп. Поэтому мы в данном случае рассмотрим только один фактор – ветер, который оказывает прямое и косвенное влияние на различные природные процессы во всех трёх зонах, и на его примере продемонстрируем на качественном уровне, как может изменяться вклад фактора в зависимости от того, рассматривать ли его отдельно или в составе объединённых групп.

Над сушей ветер способствует испаряемости лёгких фракций нефтяных углеводородов и переносу их на дальние расстояния от места разлива, тем самым благоприятствуя снижению концентраций нефтяных углеводородов в воздухе до безопасных уровней. Правда, при этом происходит распространение загрязнения, что в некоторых случаях, когда зоны загрязнения от различных источников накладываются, может усугублять экологическую ситуацию в местах их осаждения, но всё же процесс снижения концентраций в атмосфере считается преобладающим. У берегов ветер, дующий со стороны моря, выбрасывает загрязнённые воды на берег, в свою очередь загрязняя участки суши, усиливается благодаря бризам, а также генерирует течения, которые распространяют нефтяную плёнку вдоль побережья.

В прибрежной зоне, со стороны моря, ветер генерирует еще более сильные течения, называемые дрейфовыми, которые будут в ещё большей степени распространять загрязнения, иногда на сотни, а то и тысячи километров (при крупных разливах и благоприятных гидрометеорологических условиях).

Из этого описания, пусть и далеко не полного, легко видеть, что роль ветра заметно возрастает по мере продвижения от сухопутных участков к морским. Поэтому следует и ожидать рост его ранга при продвижении в этом направлении и снижения в обратном в экспертных опросах.

Из этого примера следует ещё один вывод: при объединении пространственно распределённых объектов факторы могут появляться или исчезать. Так, при проектировании дороги из Сибири в пустынные зоны Средней Азии вполне может исчезнуть такой фактор, как реки. Правда, обойти его можно путём присвоения нулевых значений соответствующим показателям (плотность или количество рек на единицу расстояния). Но это уже будет зависеть от используемой модели.

Оценка инвестиционного проекта. При оценке инвестиционных проектов и принятии решений по их реализации используют показатели, сформированные под влиянием различных факторов и их групп. Рассмотрим, например, три группы факторов, оказывающих существенное влияние на проект: первая – макроэкономические финансовые факторы (инфляция, курсы валют, ставки по банковским кредитам и т.д.), вторая – отраслевые факторы (наличие технологий, кооперационных связей, материально-технических и энергетических ресурсов, отраслевой инфраструктуры) и третья – территориальные (природно-климатические условия, экологические ограничения, размещение объектов производства и инфраструктуры в регионе, логистика, трудовые ресурсы, законодательные, административные и социокультурные особенности). Понятно, что хотя приведенные группы факторов и не являются исчерпывающими, но для северных регионов, как показано нами в работе [22], зачастую имеют приоритетное значение при принятии управленческих и инвестиционных решений. К тому же для приведенного ниже примера они позволяют достаточно наглядно продемонстрировать описываемый эффект.

Предприятие Архангельской области, специализирующееся на услугах демонтажа и утилизации, а также переработке бытовых и производственных отходов, разрабатывает (с участием некоторых авторов данной статьи) проект строительства завода по переработке отслужившей свой срок электроники и бытовой техники. При подготовке технико-экономического обоснования проекта нами было установлено, что одним из ключевых факторов его эффективности выступает численность проживающего населения в радиусе 100 км от предполагаемого места расположения завода (так называемый фактор локальной плотности населения, ЛПН), так как это напрямую связано с обеспечением предприятия объемами сырья для переработки. Исходя из вышеприведенной логики формирования факторов по трем группам данный фактор следует отнести к территориальным. Еще один крайне существенный фактор этой же группы – уровень жизни населения (УЖН), которое приобретает, использует и периодически производит замену имеющейся в наличии бытовой техники и электроники. Третьим немаловажным территориальным фактором является наличие логистической инфраструктуры (ЛИ), как локальной, так и межрегиональной, с выходом на крупные промышленные узлы (в данном случае – Москву и Ярославль). С учетом того, что в подобных проектах традиционно примерно четверть от перерабатываемых объемов составляют потоки сырья от предприятий и организаций (фактор ПО), работающих на близлежащих территориях, наличие таковых тоже является существенным фактором для принятия решений относительно инвестиционного проекта. Приведенная группа из четырех факторов территориального характера была ранжирована разработчиками проекта и экспертами в порядке приоритетности (от большего к меньшему) следующим образом:

ЛПН > УЖН > ЛИ > ПО.

Отметим, что запуск и последующая реализация данного проекта предполагает закупку высокопроизводительного оборудования зарубежного производства, не имеющего отечественных аналогов. Затраты на его приобретение, в зависимости от выбранного варианта комплектации и условий формирования финансовых вложений, составят от 1,5 млн до 4 млн евро. При этом эффективность использования технологического оборудования (отраслевой фактор ЭО) напрямую зависит от характеристик потоков поступающего для переработки сырья. Таким образом, производственно-технологические факторы, связанные с эффективностью использования оборудования, зависят как от текущего курса евро (финансовый макроэкономический фактор КЕ), так и от потенциальных объемов и видов сырья для переработки (территориальный фактор). Естественно, влияние на принятие решений по проекту оказывают и другие факторы.

После объединения вышеперечисленных факторов из указанных групп экспертами было проведено общее новое ранжирование, которое теперь приняло вид

КЕ > УЖН > ЛПН > ПО > ЭО > ЛИ.

Таким образом, в наборе территориальных факторов {ЛПН, УЖН, ЛИ, ПО} после объединения с отраслевым и финансовым факторами появились две транспозиции: (ЛПН, УЖН) и (ЛИ, ПО).

Попробуем дать объяснение изменениям в новом ранжировании факторов. На наш взгляд, прежде всего это произошло после включения в общую группу фактора «курс евро», который в данном проекте является решающим ввиду крайней чувствительности финансово-экономических параметров данного проекта к соотношению рубль/евро: оборудование закупается практически одномоментно по текущим ценам в евро, а будущие финансовые потоки предприятия формируются в рублях и на протяжении достаточно длительного периода.

Это хорошо демонстрирует формула (4), в которой для расчета NPV проекта начальные инвестиции I0 на приобретение основного оборудования при росте курса евро напрямую будут влиять на снижение чистой текущей стоимости проекта.

missing image file

Отметим, что показатели прибыли Pt и амортизации At выражаются в рублях, при этом, так как проект реализуется на территории России, ставка дисконтирования i также привязана к «рублевой зоне».

В среднесрочной перспективе фактор КЕ практически не оказывает никакого влияния на плотность населения в локальной окрестности нашего предприятия, тогда как вызванный колебаниями курса валют общий рост цен существенно сказывается на уровне жизни населения, в том числе и для конкретной территории. Таким образом, включение в упорядочиваемую совокупность валютного макроэкономического фактора привело к перестановке местами территориальных факторов ЛПН и УЖН. Этот же фактор КЕ, оказывая значительное влияние на деятельность предприятий и организаций на прилегающих территориях, гораздо слабее влияет на состояние логистической инфраструктуры. Отчасти это и объясняет транспозицию факторов (ЛИ, ПО).

В этом примере мы напрямую апеллировали лишь к четырем территориальным, одному макроэкономическому и одному отраслевому фактору, что, согласно формуле (2), дает для группы территориальных факторов масштабный коэффициент mj = 2, а для двух других групп – по 0,5.

В завершение укажем, что автор широко известного метода анализа иерархий Томас Саати приводит в своей работе [23] пример из области маркетинга в торговле автомобилями, где создается фактически несуществующая фантомная альтернатива, которая заставляет покупателей отдать предпочтение альтернативе, которая до введения фантомной не была предпочтительной. Кстати сказать, в несколько измененном виде этот эффект «фантомной альтернативы» сейчас достаточно широко используется при ценовых манипуляциях в различных секторах рынка недвижимости.

Заключение

Сформулируем основные выводы, проведённого нами исследования. При объединении факторов в группы эффект rank reversal может проявляться неоднократно. Поскольку ранжирование часто используется как процедура нахождения весовых коэффициентов для последующего их использования в различного рода моделях, возникает задача определения максимального перемещения фактора в ранжированном ряду, что позволит разработать метод консервативных оценок погрешности весовых коэффициентов, возникающий при объединении и разбиении факторов на группы

Как при объединении факторов в группы, так и при обратном процессе – разделении факторов на группы – этот эффект может быть исключен, если использовать только абсолютные количественные оценки факторов и не проводить повторного ранжирования.

Работа выполнена в рамках темы ФНИР «Трансформация социокультурного пространства регионов Арктической зоны Российской Федерации в современных условиях» № государственной регистрации 122012100405-4.