КЛАСТЕРИЗАЦИЯ СТРАНИЦ ВЕБ-САЙТА НА ОСНОВЕ МЕТАДАННЫХ ВЕБ-АНАЛИТИКИ

АННОТАЦИЯ

При исследовании эффективности работы веб-сайтов актуальна проблема ранжирования сайта по некоторым признакам. Частным случаем в данном анализе является кластеризация веб-документов в соответствии с некоторой метрикой. В таких случаях, известные лингвистические методы весьма затратны по времени, а для определения семантической близости между нетекстовыми веб-документами требуются новые подходы. В данной работе предложена методика кластеризации страниц веб-сайта на основе метаданных веб-статистики, характеризующих страницу сайта, и построено дальнейшее семантическое описание полученных кластеров, посредством анализа характеризующих их ключевых слов. В рамках данного подхода разработана методика решения задачи, подобран комплекс программ и средств автоматизированного получения ключевых слов для каждого кластера. Апробация метода проводится на примере образовательного сайта. В результате показано, что полученные множества ключевых слов позволяют содержательно описывать кластеры.

Ключевые слова: веб-сайт, семантическая кластеризация, метаданные, ключевые слова, веб-аналитика.

Введение

Всемирная паутина WWW в настоящее время является наиболее богатым источником информации и знаний. Она содержит огромное количество документов, данных, аудио- и видеофайлов. Однако пользователи Интернета сталкиваются с большими проблемами при поиске нужной им информации.

Кластеризация гипертекстового пространства может облегчить информационный поиск, увеличив число адекватных ссылок на поисковый запрос. Кроме того, использование алгоритмов кластеризации текстовых документов позволяет создать кластер схожих содержанию документов, которые могут быть использованы для последующей семантической обработки.

Кластеризация данных относят к задачам интеллектуального анализа данных. В настоящее время существует множество методов для такого анализа. К базовым методам анализа данных относят классификацию, моделирование и прогнозирование [5].

Ряд работ в области семантической кластеризации страниц веб-сайтов использует в качестве существенного элемента гипертекстовые связи между страницами. Так, например, в  статье [7] представлена математическая модель гипертекстовой структуры в виде взвешенного редуцированного графа и предложен метод семантической кластеризации гипертекстовой структуры, использующий данные статистики переходов пользователей между страницами сайта. В работе [4] эксперименты по кластеризации страниц веб-сайта проводились также для графовой модели сайта, но с использованием алгоритмов MLC [6].

Однако большое достоинство общего кластерного анализа в том, что он позволяет осуществлять разбиение объектов не по одному параметру, а по целому набору признаков. Кроме того, кластерный анализ, в отличие от большинства математико-статистических методов, не накладывает никаких ограничений на вид и связи рассматриваемых объектов и позволяет рассматривать множество исходных данных практически произвольной природы [1].

Сбор данных о действиях пользователей на веб-сайте

Помимо содержания документа, существуют метаданные, относящиеся к дополнительной информации о содержимом или объекте. Применительно к веб-документам это может быть информация о количестве посещений пользователя, версия браузера с которого пришел пользователь, или информация о том, по каким ключевым словам пользователь попал на сайт и т.д. Для формирования целостной статистики, необходимо отслеживать действия пользователя на каждой странице веб-сайта.

На сегодняшний момент существует два основных способа сбора статистики исходных данных о посещаемости:

• сбор информации с помощью программы анализа логов (лог-анализатор). В этом случае накапливаются журнальные файлы с данными о посещаемости сайта на отдельном компьютере. Все эти файлы аналитик сам собирает и анализирует. Самые популярные лог-анализаторы: Webalizer и WebTrends и другие.
• использование сервиса обработки данных (счетчик интернет-статистики). Здесь все данные группируются в отдельном журнале загрузок элемента web-ресурса посторонним лицом (поставщиком счетчика), обрабатываются и передаются в читаемом виде пользователю сервиса. Самые популярные счетчики на сегодняшний момент средства такого рода: Google Analytics, Яндекс Метрика, Ливинтернет и другие [3].

В данной работе используется сервис Google Analytics — это бесплатный набор современных инструментов веб аналитики, предоставляемый известной корпорацией Google для создания детальной статистики посетителей сайтов.

К метаданным  веб-аналитики, на основе которых проводилась кластеризация страниц веб-сайта,  в рамках данной работы, относится следующая информация:

• просмотры страниц – общее количество страниц, просмотренных посетителями. Учитываются повторные просмотры одной страницы.
• уникальные просмотры страниц – это количество сеансов, в ходе которых определенная страница была просмотрена хотя бы один раз.
• средняя длительность просмотра страницы – среднее количество времени, в течение которого пользователи просматривают заданную страницу/экран или набор страниц/экранов.
• процент отказов – это процент посещений, в ходе которых было открыто не более одной страницы, т.е. при которых посетитель покидает сайт со страницы входа.
• процент выходов – процент выходов с сайта, выполненных с указанной страницы или набора страниц [2].

На рисунке 1 изображен отчет по страницам сайта sstu.ru, который представлен с помощью сервиса Google Analytics.

Рисунок 1. Статистика по страницам веб-сайта sstu.ru. Каждая строка таблицы содержит набор метаданных для каждой страницы

Для получения данных из Google Analytics использовался сервис Query Explorer, который представляется по адресу: https://ga-dev-tools.appspot.com/query-explorer/. Данные были собраны с сайта www.sstu.ru, за период с 1 мая 2016 по 1 мая 2017.

Вычисления производились для первых 1000 строк, отсортированных по убыванию просмотров страницы.

После загрузки данных, они были преобразованы из формата tsv в xlsx, для дальнейшей кластеризации. Результаты преобразования представлены на рисунке 2.

Рисунок 2. Фрагмент таблицы с данными статистики по страницам веб-сайта, преобразованных в формат xlsx для более удобной последующей обработки

Семантическая кластеризация страниц веб-сайта

Кластеризация данных проводилась с помощью программного пакета Statistica.  На сегодняшний день в продукте Statistica Data Miner представлен набор методов кластеризации с возможностью представления большого нобора графиков и процедур визуализации. Для эффективнго визуального представления данных для кластеризации был выбран метод агломеративной иерархической кластеризации. Результаты иерархической кластеризации в виде дендрограммы представлены на рисунке 3.

Рисунок 3. Дендограмма результатов кластеризации

На рисунке 4 представлен фрагмент таблицы разбиения страниц веб-сайта с помощью пакета Statistica, в последнем столбце указано к какому кластеру относится конкретная страница. В данном примере число кластеров равно 6.

Рисунок 4. Результаты разбиения веб-страниц сайта на 6 кластеров с помощью Statistica. Последний столбец таблицы «Membership» содержит информацию о номере кластера, к которому отнесена страница

В результате кластеризации мы получили набор шести кластеров (дендроидный алгоритм позволяет нам остановить кластеризацию на любом этапе). Далее необходимо было выяснить является ли разбиение случайным или можно выделить нечто семантически общее для каждого кластера. С этой целью был написан скрип на языке Python, который вычисляет плотность ключевых слов страницы без стоп-слов и выбирает только часто встречаемые используяя сайт seogift.ru – инструмент проверки плотности ключевых слов (параметр минимального числа вхождений слов можно указать при вызове скрипта). В результате выполнения скрипта, на выходе получаем объединение ключевых слов, характерных для каждого кластера и число вхождений слова в кластере. В таблице 1 приведен набор наиболее часто встречаемых ключевых слов характеризующих каждый кластер и семантическое описание каждого кластера на основе этих ключевых слов.

Таблица 1.

Набор часто встречаемых ключевых слов характеризующих каждый кластер и семантическое описание каждого кластера

В результате мы получили набор кластеров и характерные для них ключевые слова. Было проведено семантическое описание каждого кластера на основе анализа ключевых слов. Данный метод можно представить в виде диаграммы последовательности действий (рисунок 5), в которой последовательно описаны шаги для реализации предложенного метода.

Рисунок 5. Диаграмма последовательности действий методики кластеризации страниц веб-сайта и семантического означивания кластеров

Заключение

Таким образом, в результате работы была предложена методика семантической кластеризации страниц веб-сайта на основе метаданных веб-аналитики, характеризующих страницу сайта, и дальнейшее семантическое описание полученных кластеров, посредством анализа ключевых слов.

На основе этого метода, подобран комплекс программ и автоматизирован способ получения ключевых слов для каждого кластера.

Результаты работы могут быть использованы для решения задачи семантической кластеризации, включая нетекстовые веб-документы, что является актуальным на предварительных этапах смысловой обработки информации в сети Интернет. Разработанная методика семантической кластеризации на основе метаданных веб-аналитики может быть использована как инструмент для решения широкого круга задач анализа информации в сети Интернет. Полученные с его помощью результаты кластеризации веб-документов позволяют судить о практической ценности данного инструмента и возможности его применения в области интеллектуального анализа гипертекстовой информации.

Список литературы:

1. Анализ данных и процессов: учеб. пособие  А. А. Барсегян,    М. С. Куприянов, И. И. Холод, М. Д. Тесс,  С. И. Елизаров. —    3-е изд., перераб. и доп. — СПб.: БХВ-Петербург, 2009. —    512 с
2. Анализ данных с помощью отчета «Пути пользователей» [Электронный ресурс] — Режим доступа. – URL:https://support.google.com/analytics/answer/1713056 (дата обращения 5.06.2017)
3. Для чего нужна web аналитика? [Электронный ресурс]. –  Режим доступа. – URL:http://www.workformation.ru/veb-analitika.html (дата обращения 10.06.2017)
4. Сытник А.А., Папшев С.В., Курчанова И.В. Сравнительный анализ некоторых методов семантической кластеризации гипертекста // Материалы XII Всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (ТиПВСИТ 2015). Улан-Удэ, 11-18 августа 2015 г. – Улан-Удэ, Изд-во ВСГТУ, 2015. С. 51-56.
5. Beekmann F. Verfahren des Data Mining /F.Beekmann, P. Chamoni [Электронный ресурс]. —  Режим доступа. – URL:http://link.springer.com/chapter/10.1007%2F3-540-33752-0_13#page-1 (дата обращения 10.06.2017)
6. MCL - a cluster algorithm for graphs. [Электронный ресурс]. —  Режим доступа. – URL:http://micans.org/mcl/(дата обращения 15.06.2017)
7. Vladimir Salin, Maria Slastihina, Ivan Ermilov, René Speck, Sören Auer, and Sergey Papshev. Semantic Clustering of Website Based on its Hypertext Structure  // Communications in Computer and Information Science. 6th International Conference, KESW 2015 Moscow, Russia, September 30 – October 2, 2015. Proceedings. Pp. 182-194.