Scientific journal

Fundamental research

ISSN 1812-7339

"Перечень" ВАК

ИФ РИНЦ = 1,674

В статьях [2–4] нами введён показатель оценки эффективности интернет-поиска – глубина тематического охвата (thematic coverage level, TCL), который показывает зависимость тематической полноты найденной информации от количества просмотренных документов. Однако данный показатель оказался сложным в восприятии, а также не универсальным для расчёта эффективности поиска по различным (по коэффициенту семантического потенциала) поисковым терминам.

Очевидный метод работы с тематической составляющей документов основан на использовании семантической (терминологической) модели предметной области. Предлагаемый метод оценки эффективности интернет-поиска в отличие от традиционных не является автономным и требует применения тезауруса или, например, УДК, в качестве семантической модели предметной области. Чем выше полнота представления терминологии, тем более объективным будет оценка предлагаемых показателей.

Тематика поиска раскрывается следующим образом. Запрос приводится к наиболее близкому дескриптору (термину) семантической модели Tn, оценивается релевантность документа каждому из нижестоящих дескрипторов T[k]n+1, k – их количество. Свойство поискового термина, приведённого к дескриптору тезауруса Tn, имеет определённое количество нижестоящих дескрипторов (связанных с исходным связью «ВЫШЕ») T[k]n+1 и отражает его лексический и семантический потенциал. Определим коэффициент семантического потенциала поискового термина k как количество тематических аспектов наиболее близкого дескриптора семантической модели предметной области, отражённых нижестоящими дескрипторами.

Таким образом, коэффициент тематического охвата TCF задаётся нижестоящими дескрипторами по отношению к тематике поискового запроса:

(1)

где - количество присутствующих в выборке новых поисковых терминов, отражающих семантический потенциал вышестоящего термина. Параметр s = [k; ∞] задаётся вручную и характеризует объём обрабатываемой поисковой выборки. В случае максимальной эффективности поиска объём поисковой выборки равен количеству нижестоящих дескрипторов.

Глубина тематического охвата (TCL) рассчитывается как минимальный объём поисковой выборки, в котором раскрыт семантический потенциал поискового термина Vmin, т.е. представлена информация по комплексу T[k]n+1

при (2)

Сложность задачи нахождения комплекса T[k]n+1 при равном отношении увеличивается с увеличением k. В таком случае необходимо ввести в формулу (2) коэффициент усложнения задачи.

Для того чтобы определить зависимость TCL от значения показателя семантического потенциала поискового термина, а также получить данные о распределении пертинентных документов в поисковой выборке и ряд других сведений, нами проведено объёмное экспериментальное исследование.

Описание эксперимента

В качестве терминологической модели использовалась УДК. В качестве поискового термина случайным методом выбирался дескриптор Tn с необходимым значением показателя семантического потенциала k = [1...9]. Для каждого уровня проводилось семь операций поиска по различным поисковым запросам с помощью ПМ Яндекс для обеспечения надёжности эмпирических данных. Прагматически реальным ограничением объёма исследуемой поисковой выборки принято сто первых найденных документов. Для каждого дескриптора T[k]n+1 в поисковой выборке методом экспертной оценки выявлялся первый пертинентный документ и фиксировался его порядковый номер. В случае отсутствия пертинентного документа в поисковой выборке в качестве порядкового номера принималось прагматически реальное значение объёма обрабатываемой поисковой выборки. Статистическая достоверность данных обеспечивалась семью точками (значениями s) для каждого количества подуровней. Эксперимент проводился итерационным методом, проведено более трёхсот операций поиска, проанализировано более десяти тысяч найденных документов на предмет пертинентности (отражения одного или нескольких аспектов поискового термина). Последовательность операций изображена на рис. 1.

В результате получены данные о вариации объёма поисковой выборки для комплекса дескрипторов с показателем семантического потенциала k = [1...9]. Фрагмент полученных экспериментальным путём данных отражён в таблице.

Анализ экспериментальных данных

Распределение комплекса пертинентных документов (рис. 2), содержащих новую информацию по теме поиска в поисковой выборке, соответствует данным глобальной поисковой статистики [1, 5].

Эмпирические данные объясняют поведение большинства пользователей ПМ, ограничивающихся вопреки рекомендациям просмотром первой страницы поисковой выборки. В то же время статистические данные, согласующиеся с результатами эксперимента, подтверждают правильное направление в определении методики оценки эффективности поиска. Противоположная ситуация складывается при использовании стандартной методики оценки, основанной, прежде всего, на показателе точности поиска. Динамика точности поиска, полученная в результате исследования, проведённого и описанного в [3], представлена на рис. 3. Постоянная в процессе просмотра поисковой выборки эффективность поиска, основанная на показателе точности, противоречит статистическим данным.

Вероятность присутствия пертинентного документа, содержащего новую информацию (информацию по тематическому аспекту поискового термина, не освещённому в просмотренной выборке), после первых пятнадцати позиций снижается более чем в 5 раз. Таким образом, несмотря на высокую постоянную точность поиска [3], большинство пользователей ограничивается просмотром лишь первых позиций выборки вследствие снижения вероятности получить новую информацию по теме поиска.

Рис. 1. Алгоритм получения эмпирических данных

Фрагмент представления экспериментальных данных

Рис. 2. Зависимость частоты распределения пертинентных страниц, содержащих новую информацию, от объёма поисковой выборки

Эксперимент показал, что эффективность поиска зависит от тематической сложности поискового термина, оцениваемой с помощью коэффициента семантического потенциала. Повышение тематической сложности поискового термина ведёт к снижению эффективности поиска при постоянном значении точности. Другими словами, в процессе движения вглубь поисковой выборки при неизменной точности поиска снижается доля новой информации. Именно с этим фактом снижения эффективности поиска связано нежелание пользователей ПМ просматривать всю поисковую выборку, даже если искомая информация не найдена. В таком случае пользователь прибегает к модификации запроса, что оказывается более эффективным, чем продолжать просматривать результаты поиска.

Рис. 3. Динамика показателя точности поиска от количества документов в поисковой выборке

В ходе анализа данных эксперимента выявлена эмпирическая зависимость между значением объёма поисковой выборки и значением коэффициента семантического охвата поискового термина (рис. 4).

Рис. 4. Зависимость глубины поискового охвата от коэффициента семантического охвата поискового термина

Найденная зависимость показывает быстрое снижение тематической полноты поиска и увеличение объёма поисковой выборки с увеличением значения коэффициента семантического потенциала. Эмпирические данные аппроксимируется как степенной (3), так и линейной (4) функциями со сходной достоверностью аппроксимации:

Vmin = 1,6k2; (3)

Vmin = 12,8k – 17,4. (4)

На основе полученных эмпирических закономерностей включим в формулу расчёта TCL коэффициент усложнения задачи нахождения комплекса T[k]n+1 при равном отношении с увеличением k. В этом случае формула (2) для стандартной методики поиска примет вид:

На данном этапе исследования принято решение о неудобстве восприятия и расчёта показателя тематической глубины поиска, сравнения эффективности поиска при использовании терминов с различным значением коэффициента семантического потенциала. Логически правильнее оценивать минимальный объём поисковой выборки, в котором раскрыт семантический потенциал поискового термина Vmin.

Как показал эксперимент, тематическая полнота не обеспечивается объёмом поисковой выборки в 100 документах при значении коэффициента тематического потенциала поискового термина k > 5 (рис. 4). Здесь мы видим линейную зависимость, которая свидетельствует о повышении доли поисковых сессий, при которых не полностью освещена тематика поиска, при повышении коэффициента тематического потенциала поискового термина. Учитывая разброс пертинентных документов, содержащих новую информацию по тематике поиска, и высокое процентное соотношение поисковых сессий, при которых тематика поиска не освещена полностью (рис. 5), экспериментальное исследование показало, что интернет-поиск с использованием тематически сложных поисковых терминов является неэффективным.

Рис. 5. Зависимость количества поисковых сессий, при которых тематика поиска не освещена полностью, от семантического потенциала поискового термина

Выводы

1. Предложен новый показатель эффективности интернет-поиска – минимальный объём поисковой выборки, раскрывающий семантический потенциал поискового термина (обеспечивающий тематическую полноту поиска).

2. Предложена новая методика оценки эффективности интернет-поиска, оперирующая семантической составляющей результатов поиска на основе коэффициента семантического потенциала поискового термина.

3. Получен комплекс эмпирических данных по оценке эффективности интернет-поиска с использованием предложенной методики.

4. Экспериментально доказано существенное повышение значения минимального объёма поисковой выборки, обеспечивающего тематическую полноту поиска при увеличении значения коэффициента семантического потенциала поискового термина. Результаты эксперимента подтверждаются статистикой поведения пользователей ПМ, теоретически «неправильного» с точки зрения общепринятого подхода.

5. Показано, что тематико-ориентированный интернет-поиск с использованием поисковых терминов с показателем семантического потенциала k > 3 является низкоэффективным.

Рецензенты:

Гусятников В.Н., д.ф.-м.н., профессор, заведующий кафедрой прикладной информатики и математики, ФГБОУ ВПО «Саратовский государственный социально-экономический университет», г. Саратов;

Громов Ю.Ю., д.т.н., профессор, декан факультета информационных технологий, ФГБОУ ВПО «Тамбовский государственный технический университет», г. Тамбов.

Работа поступила в редакцию 04.02.2013.