СРАВНИТЕЛЬНЫЙ АНАЛИЗ ДВУХ АРХИТЕКТУР ГЕНЕРАЦИИ С ДОПОЛНЕННОЙ ВЫБОРКОЙ ДЛЯ АВТОМАТИЗАЦИИ ТЕХНИЧЕСКОЙ ПОДДЕРЖКИ УНИВЕРСИТЕТА

COMPARATIVE ANALYSIS OF TWO RETRIEVAL AUGMENTED GENERATION ARCHITECTURES FOR UNIVERSITY IT-SUPPORT AUTOMATION

Ivanova Daria Andreevna

Student, Department of Linguistics and Translation, South Ural State University,

Russia, Chelyabinsk

Babina Olga Ivanovna

Scientific supervisor, Candidate of Philological Sciences, Associate Professor, South Ural State University,

Russia, Chelyabinsk

АННОТАЦИЯ

В статье рассматриваются две архитектуры генерации с дополненной выборкой (Retrieval-Augmented Generation, RAG) для автоматизации обработки обращений в техническую поддержку университета. Первая архитектура — базовая, без предварительной классификации. Вторая дополнена блоком классификации типов обращений на основе дообученной модели RuBERT. Эксперимент проведён на корпусе из 350 реальных обращений. Оценка качества выполнена с помощью автоматических метрик и экспертной оценки трёх независимых экспертов. Показано, что вторая архитектура превосходит первую по критериям релевантности и фактической достоверности, однако оба метода демонстрируют ограничения, связанные с малым объёмом корпуса и слабой поддержкой русского языка генеративными моделями.

ABSTRACT

This paper examines two Retrieval-Augmented Generation (RAG) architectures for automating university IT-support ticket processing. The first architecture is baseline RAG without classification. The second extends baseline with a classification module based on fine-tuned RuBERT. Experiments are conducted on a corpus of 350 real IT-support requests. Quality evaluation uses automatic metrics (BLEU, ROUGE-L) and expert assessment by three independent evaluators. The second architecture outperforms the first in relevance and factual accuracy, though both methods show limitations due to small corpus size and weak Russian language support by generative models.

Ключевые слова: генерация с дополненной выборкой (retrieval-augmented generation; RAG) техническая поддержка; большие языковые модели (large language models, LLM) ; RuBERT; семантический поиск; классификация обращений.

Keywords: retrieval-augmented generation (RAG); IT-support; large language models (LLM); RuBERT; semantic search; request classification.

Введение

Автоматизация технической поддержки — одна из актуальных задач для университетов, где ежедневно обрабатываются сотни запросов от студентов и сотрудников. Традиционные системы (электронная почта, формы обратной связи) требуют участия оператора, что приводит к задержкам. Чат-боты на основе правил не справляются с перефразированными запросами и не поддерживают контекст диалога.

Современные большие языковые модели способны генерировать связные ответы, но обладают ограничениями: галлюцинации, фиксированность знаний, отсутствие доступа к внешним источникам [1]. Архитектура генерации с дополненной выборкой (Retrieval-Augmented Generation, RAG) решает эти проблемы за счёт гибридной памяти: поисковый механизм извлекает из базы знаний релевантные фрагменты, а генератор формулирует ответ на их основе [2].

Цель работы — сравнить две архитектуры генерации с дополненной выборкой на материале реальных обращений в техническую поддержку университета: базовую (без классификации) и расширенную (с предварительной классификацией типов обращений).

При написании были использованы следующие методы: метод векторизации текстовых данных, метод автоматического синтеза текста, классификация, семантический анализ, метод количественных оценок, метрический анализ, сопоставительный метод, метод экспертных оценок.

Корпус включает 350 реальных обращений в техническую поддержку университета. Каждая единица корпуса содержит текст обращения, эталонный ответ, тематический трек («ЛК Студент», «ЛК Сотрудник», «ЛК Абитуриент», «Мобильное приложение») и тип обращения. Типология включает шесть категорий: запрос инструкции, запрос информации, запрос, связанный с учётными данными, сообщение об ошибке, запрос об оплате обучения, а также «Другое» (специализированные категории: «Олимпиада», «Антиплагиат», нетипичные вопросы).

В базовой архитектуре генерации с дополненной выборкой запрос пользователя преобразуется в эмбеддинг с помощью мультиязычной модели Sentence-BERT [3]. Библиотека FAISS [4] выполняет поиск наиболее семантически близких обращений в пределах того же тематического трека. Найденные пары «вопрос–ответ» передаются генеративной модели Mistral-7B-Instruct-v0.1. Порог косинусного сходства установлен на уровне 0,3.

Вторая архитектура генерации с дополненной выборкой дополнена блоком классификации на основе дообученной модели RuBERT [5]. Классификатор определяет тип обращения (из шести категорий). Поиск в FAISS ограничивается одновременно тремя условиями: тематический трек, предсказанный тип, порог косинусного сходства 0,3. Генерация выполняется моделью Mistral-7B-Instruct-v0.1.

Оценка качества. Тестирование проведено на 30 запросах. Использованы автоматические метрики BLEU [6] и ROUGE-L [7], а также экспертная оценка трёх независимых экспертов по критериям релевантности запросу, фактической достоверности и прагматической применимости.

Результаты

Автоматические метрики показали низкие значения: BLEU — 0,0881, ROUGE-L — 0,1425 для второй архитектуры. Это объясняется лексическим несовпадением сгенерированных ответов с эталонными так как модель перефразирует предложения, использует синонимы, меняет порядок слов.

Экспертная оценка показала, что вторая архитектура превосходит первую по всем трём критериям. Среднее количество релевантных ответов для второй архитектуры составило 9,67 из 30 (32,2%), частично релевантных — 10,00 (33,3%), нерелевантных — 10,33 (34,5%). Для первой архитектуры эти показатели составили 8 (26,7%), 12 (40%) и 10 (33,3%) соответственно.

Классификатор на основе RuBERT показал точность 43,3% и F1-меру 0,693. Низкая точность объясняется малым объёмом обучающей выборки (около 300 размеченных примеров) и несбалансированностью классов.

Заключение

В работе реализованы и сравнены две архитектуры генерации с дополненной выборкой для автоматизации обработки обращений в техническую поддержку университета. Вторая архитектура (с предварительной классификацией типов обращений) показала более высокие результаты по критериям релевантности и фактической достоверности. Однако абсолютные значения остаются невысокими. Основные ограничения работы: малый объём корпуса, недостаточная точность классификатора RuBERT, слабая поддержка русского языка использованными генеративными моделями. Перспективы дальнейшего развития включают расширение корпуса до 14000 записей, замену генеративной модели на русскоязычную (Saiga, Qwen) и повышение точности классификатора за счёт увеличения обучающей выборки.

Список литературы:

1. Brown T.B., Mann B., Ryder N. et al. Language Models are Few-Shot Learners // Advances in Neural Information Processing Systems. 2020. Vol. 33. P. 1877–1901.
2. Lewis P., Perez E., Piktus A. et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks // Advances in Neural Information Processing Systems. 2020. Vol. 33. P. 9459–9474.
3. Reimers N., Gurevych I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). 2019. P. 3982–3992.
4. Johnson J., Douze M., Jégou H. Billion-Scale Similarity Search with GPUs // IEEE Transactions on Big Data. 2019. Vol. 7, No. 3. P. 535–547.
5. Kurbanov D., Gusev A. RuBERT: A Pre-trained Language Model for Russian // SberDevices Technical Report. 2020.
6. Papineni K., Roukos S., Ward T., Zhu W. BLEU: a Method for Automatic Evaluation of Machine Translation // Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics. 2002. P. 311–318.
7. Lin C.Y. ROUGE: A Package for Automatic Evaluation of Summaries // Proceedings of Workshop on Text Summarization Branches Out (ACL 2004). 2004. P. 74–81.