Scientific journal

Fundamental research

ISSN 1812-7339

"Перечень" ВАК

ИФ РИНЦ = 1,674

Веб-пространство организации (предприятия, учреждения) – это множество веб-сайтов организации, связанных посредством гиперссылок. Как правило, в таком множестве выделяется так называемый «головной сайт» (официальный сайт организации), сайты подразделений, проектов, различных мероприятий, форумы, вики-ресурсы. Веб-ресурсы вузов относятся к так называемым регламентируемым (администрируемым) веб-ресурсам [2].

Следуя работе [5] определим веб-граф как граф, вершинами которого служат веб-сайты, а ребра соединяют те вершины, между которыми имеются гиперссылки. Под гиперссылками в данном случае мы понимаем не все ссылки между сайтами. На различных страницах одного сайта могут встречаться гиперссылки на один и тот же внешний адрес, имеющие одинаковый контекст (в частном случае – анкор), и количество таких «одинаковых» гиперссылок может быть равно количеству страниц на сайте (например – ссылка на сайт вышестоящей организации). Из такого множества гиперссылок, имеющих одинаковый адрес-приёмник и контекст, сделанных с данного сайта, в нашем исследовании мы рассматриваем только одну – ту, которая находится на странице, имеющей максимальный уровень (наивысшим считается уровень начальной страницы сайта). Веб-граф является моделью веб-пространства для исследования его основных теоретико-графовых свойств с целью их содержательной интерпретации и выработки управленческих решений, направленных на улучшение характеристик присутствия в Вебе.

В статье излагаются основные подходы и методы построения и исследования веб-пространства крупного вуза на примере Санкт-Петербургского государственного университета (СПбГУ). К более ранним работам, в которых исследуются веб-ресурсы СПбГУ, относится, например, работа [6]. Для СПбГУ формирование единого информационного пространства университета и развитие его веб-пространства является одной из приоритетных задач [4]. Отсюда следует, что методы исследования веб-ресурсов СПбГУ и полученные результаты могут иметь универсальное значение и быть полезными не только для СПбГУ, но и для других вузов России.

Для сбора и анализа гиперссылок с целью построения веб-графа, а также для исследования веб-графа использовались следующие вебометрические инструменты:

– программа для поиска и сбора внешних гиперссылок BeeCrawler [8],

– база данных внешних гиперссылок (БДВГ, сайт http://grid.krc.karelia.ru/webometrics2) [1],

– открытая платформа для визуализации графов Gephi (см. https://gephi.github.io).

Построение веб-графа информационного веб-пространства университета

В работе был применен следующий подход к построению множества веб-сайтов информационного пространства университета. Вначале сканируется головной сайт вуза и все полученные в результате сканирования внешние гиперссылки после соответствующей обработки, а именно, – очистки от ошибок и нормализации (см. https://ru.wikipedia.org/wiki/Нормализация_URL), – вносятся в БДВГ. Головному сайту присваивается номер уровня, равный 0.

Далее с использованием БДВГ проводится анализ внешних гиперссылок, сделанных с головного сайта (в данном случае это официальный сайт СПбГУ spbu.ru), на предмет поиска:

а) доменных имен, аффилированных с доменом головного сайта (для spbu.ru, например, it.spbu.ru);

б) доменных имен, не аффилированных с доменом головного сайта, но содержащих вхождения подстрок домена головного сайта (например, для spbu.ru это подстроки «spbu» или ‘spb’ и найденный сайт www.spbumag.nw.ru) с дальнейшей содержательной проверкой сайтов;

в) доменных имен, не аффилированных с доменом головного сайта и не содержащих вхождения соответствующих подстрок, на которые имеются ссылки с головного сайта, и обнаруживаемые прямым просмотром анкоров гиперссылок (например, igor-krylov.ru, на который имеется гиперссылка с анкором «личная страница преподавателя»);

В нашем случае для СПбГУ мы получили множество из 97 доменных имен сайтов, которым присвоен номер уровня, равный 1. Теперь с использованием БДВГ проводится анализ внешних гиперссылок, сделанных с сайтов уровня 1, по тем же признакам (а)–(в). Для СПбГУ получаем множество из 162 доменных имен сайтов уровня 2. Аналогично строится множество из 25 доменных имен сайтов уровня 3 и множество из одного доменного имени сайта уровня 4. На уровне 5 сайты отсутствуют. Полученное множество доменных имен веб-сайтов принимается в качестве множества вершин, а соединяющие эти вершины гиперссылки принимаются в качестве дуг веб-графа. Построенный веб-граф схематично изображен на рис. 1.

Веб-граф университета представляет собой G = G(V, E), где V – множество вершин, а E – множество дуг, то есть пар вершин (v_i, v_j) ∈ V. По построению граф G = G(V, E) является ориентированным графом с кратными ребрами без петель. Отметим, что множество вершин V является объединением непересекающихся подмножеств вершин V = V₀ ∪ V₁ ∪ V₂ ∪ … ∪ V_k, где любое подмножество V_i является множеством вершин, имеющих уровень i (i = 0...k). Реальный веб-граф информационного веб-пространства СПбГУ содержит 286 вершин и 9729 дуг. Часть сайтов веб-пространства СПбГУ, соответствующих вершинам веб-графа, приведены в табл. 1. В табл. 2 приведены примеры гиперссылок, которым соответствуют дуги веб-графа.

Укрупненное поуровневое изображение веб-графа СПбГУ приведено на рис. 2.

Геометрическими фигурами изображены подмножества вершин V_i (i = 0...4), а линиями со стрелками – подмножества дуг из Е, соединяющих подмножества соответствующих уровней. К примеру, подмножество вершин 1-го уровня состоит из 97 вершин, на которые имеется в сумме 689 дуг с головного сайта (что эквивалентно дугам с V₀), 923 дуги с V₃ и 31 дуга с V₃. В свою очередь, с V₁ имеется 1941 дуга на V₀, 573 дуги на V₂ и 4731 дуга, связывающих вершины самого подмножества V₁, что обозначено на рисунке петлёй.

Рис. 1. Схематичное изображение веб-графа

Таблица 1

Сайты информационного веб-пространства СПбГУ

Таблица 2

Гиперссылки информационного веб-пространства СПбГУ

Исследование веб-графа с использованием стандартных возможностей Gephi

Открытая платформа для визуализации графов Gephi содержит ряд стандартных возможностей, удобных для исследования веб-графа, таких как нахождение компонент связности [9] и оценок значимости вершин по алгоритму ссылочного ранжирования PageRank [7].

Максимальная компонента сильной связности (КСС) веб-графа СПбГУ содержит 220 вершин, что свидетельствует о сильной связности веб-пространства СПбГУ. В максимальную КСС входит головной сайт, 86 из 97 сайтов 1-го уровня, 120 из 162 сайтов 2-го уровня и 13 из 25 сайтов 3-го уровня. Обнаруживаются еще две маленьких КСС, содержащих по 2 вершины.

Рис. 2. Поуровневое укрупненное изображение веб-графа СПбГУ

Таблица 3

Первые тридцать сайтов с наибольшими значениями PageRank

Первые тридцать сайтов с наибольшим значением PageRank, полученных с помощью Gephi, приведены в табл. 3 (последняя колонка «тип» понадобится в дальнейшем изложении и будет объяснена ниже).

Достаточно ожидаемо наивысшее значение PageRank с большим отрывом имеет официальный сайт СПбГУ. На втором месте находится англоязычная версия официального сайта, далее следуют два сайта приемной комиссии СПбГУ. Из 22 учебно-научных структурных подразделений СПбГУ (институты и факультеты) половина имеет сайты в первой тридцатке.

Исследование веб-графа с использованием концептуальной модели фрагмента Веба

Концептуальная модель фрагмента Веба описана, например, в работе [3]. Одной из важных составляющих концептуальной модели является множество так называемых сайтов-коммуникаторов. Неформально сайт-коммуникатор – это сайт, который имеет входящие ссылки с «достаточно большого» количества сайтов некоторого целевого множества T и/или исходящие ссылки на «достаточно большое» количество сайтов из T. В нашем случае целевое множество T – это множество сайтов информационного веб-пространства университета.

Определим две функции: insiteco<<pechnik01.wmf>>unt(A,s) задает количество сайтов из некоторого множества А, имеющих гиперссылки на заданный сайт s, а outsitecount(s, A) – количество сайтов из А, на которые существуют гиперссылки с сайта s. Обозначим нижнее и верхнее пороговые значения, как l и m; l, m – целые и l ≤ m.

В качестве нижнего порогового значения по аналогии с [3] принимается

В некотором смысле l характеризует «среднюю степень» интереса к сайту целевого множества, проявляемую со стороны его сайтов-коллег.

По аналогии с [3] определим верхнее пороговое значение следующим образом:

Сайтом-посредником называется сайт u, для которого выполняется условие

insitecount(T, u) ≥ m & outsitecount(u, T) ≥ l.

Сайтом-коллектором называется сайт u, для которого выполняется условие

insitecount(T, u) ≥ m & l > outsitecount(u, T) ≥ 1.

Сайтом-индуктором называется сайт u, для которого выполняется условие

m > insitecount(T, u) ≥ l & outsitecount(u, T) ≥ l.

Для веб-пространства СПбГУ были получены значения l = 6 и m = 19 и множества следующей мощности: 19 посредников, 2 коллектора и 27 индукторов. Все сайты-коммуникаторы находятся на 0-м и 1-м уровнях.

Наибольший интерес в структуре веб-графа представляют сайты-посредники. В последней колонке табл. 3 «тип» указан тип для каждого сайта из первых тридцати по PageRank. Можно увидеть, что в первую тридцатку попали все 18 сайтов-коммуникаторов. Кроме того, сюда же попали один из двух коллекторов и шесть из двадцати семи индукторов (причем индукторы находятся в конце таблицы).

Заключение

В статье описана методика построения веб-графа как модели информационного веб-пространства крупного университета и два способа определения наиболее значимых вершин в веб-графе. Первый способ является стандартным вычислением PageRank для вершин построенного веб-графа. Второй способ основан на предложенном ранее автором способе определения сайтов-коммуникаторов концептуальной модели фрагмента Веба. Предложенная методика была использована для моделирования веб-пространства на примере СПбГУ. Показано, что наибольшей значимостью в смысле PageRank в нем обладают вершины, соответствующие сайтам-коммуникаторам.

Работа выполнена при поддержке гранта РФФИ 15-01-06105А, проект «Разработка вебометрических и эргономических моделей и методов анализа эффективности присутствия в Вебе информационных веб-пространств крупных организаций».

Рецензенты:

Кириллов А.Н., д.ф.-м.н., доцент, ведущий научный сотрудник лаборатории информационных компьютерных технологий, Институт прикладных математических исследований Карельского научного центра Российской академии наук, г. Петрозаводск;

Рогов А.А., д.т.н., профессор, заведующий кафедрой «Теория вероятностей и анализ данных», ФГБОУ ВПО «Петрозаводский государственный университет», г. Петрозаводск.