АЛГОРИТМЫ ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ ДЛЯ LLM-АГЕНТОВ И ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ АНАЛИЗА ДОКУМЕНТОВ

Введение

Большие языковые модели всё чаще используются не только для генерации текста, но и как основа интеллектуальных агентов. Такой агент получает запрос пользователя, анализирует контекст, обращается к инструментам и формирует ответ [1]. В задачах анализа документов особенно важно, чтобы результат был связан с найденными источниками, а не строился только на внутренней памяти модели.

Цель исследования состоит в анализе алгоритмов обучения с подкреплением для LLM-агентов и описании практической реализации системы анализа документов на основе RAG и агентной архитектуры. Основное внимание уделяется оптимизации поведения модели по человеческим предпочтениям, управляемости действий агента и проверяемости итогового ответа.

Актуальность темы определяется тем, что агентные системы выполняют последовательность шагов: планирование, поиск информации, вызов инструментов, проверку результата и генерацию ответа. Ошибка на любом этапе может привести к неподтверждённому выводу, неправильной интерпретации документа или нарушению требований безопасности.

Теоретическая часть

Обучение LLM-агента можно рассматривать как задачу управления. Модель получает наблюдение, выбирает действие и получает сигнал качества. В качестве наблюдения выступают пользовательский запрос, история диалога, системные инструкции, результаты вызова инструментов и извлечённые фрагменты документов. Так как агент не обладает полным знанием о состоянии среды, его поведение удобно описывать через частично наблюдаемый марковский процесс принятия решений [2].

Важным направлением является обучение с подкреплением на основе человеческой обратной связи. В такой постановке функция награды не задаётся заранее в виде простой формулы, а восстанавливается через предпочтения людей. Для одного запроса формируются несколько вариантов ответа, после чего разметчик выбирает лучший. На основе таких сравнений обучается модель награды, которая присваивает предпочтительному ответу более высокую оценку.

Модель награды отражает предпочтения, зафиксированные в конкретной процедуре разметки. Поэтому качество такого подхода зависит от состава запросов, согласованности критериев и устойчивости оценок. Если модель начинает использовать слабости оценочного сигнала вместо реального повышения качества ответа, возникает риск нежелательной оптимизации под модель награды. Для ограничения такого поведения применяются регуляризация и контроль отклонения от исходной модели.

Близким направлением является обучение с подкреплением на основе обратной связи от ИИ-оценщика. В этом случае предпочтения формируются с использованием заданных принципов и правил. Такой подход снижает зависимость от ручной разметки, но требует контроля качества автоматической оценки. Пользовательский запрос передаётся языковой модели, формируются варианты ответов, после чего они оцениваются человеком или ИИ-оценщиком. Полученные предпочтения используются для обучения модели награды или прямой оптимизации политики.

Одним из основных методов оптимизации политики является PPO. Он используется для устойчивого обновления модели и ограничения слишком резких изменений поведения [3]. Ответы модели оцениваются моделью награды, после чего политика обновляется так, чтобы повышать ожидаемое качество ответов. При этом сохраняется ограничение на отклонение от опорной модели.

Другим направлением являются прямые методы оптимизации по предпочтениям, включая DPO. Они позволяют работать с парами предпочтительных и менее предпочтительных ответов без отдельного сложного цикла обучения с подкреплением. DPO проще в реализации, так как использует сравнительные данные и стандартную процедуру оптимизации.

Для LLM-агентов задача сложнее, чем для обычной генерации текста. В агентной архитектуре модель сама участвует в выборе шагов: формирует план, обращается к инструментам, анализирует результаты и принимает решение о завершении [4]. Это повышает гибкость системы, но создаёт риски неверного плана, ошибочного вызова инструмента, использования нерелевантного контекста и зацикливания.

Практическая часть

Практическая реализация связана с прототипом системы анализа документов, в которой языковая модель выполняет роль генератора и управляющего компонента, а внешний модуль извлечения предоставляет релевантные фрагменты из корпуса документов. Система ориентирована на извлечение фактов, обобщение нескольких документов, ответы с опорой на источник и многошаговую обработку сложных запросов.

Для анализа документов используется подход RAG [5]. Он дополняет генерацию извлечёнными фрагментами из корпуса документов. Благодаря этому ответ может опираться не только на внутренние знания модели, но и на конкретные источники [6]. Качество такой системы зависит от разбиения документов на фрагменты, выбора эмбеддингов, построения индекса, ранжирования результатов и проверки соответствия ответа найденному контексту [7].

Прототипирование показывает, что явное планирование повышает полноту выполнения сложных запросов. При использовании планирования успешное выполнение фиксировалось примерно для  заданий, тогда как при прямой генерации без плана показатель находился в диапазоне . План помогает выделить подзадачи, не пропустить важные части запроса и чаще инициировать проверку через RAG.

Значимый результат связан с вызовом инструментов. При строгих шаблонах действий доля корректных обращений к инструментам достигала примерно . При свободной форме вызова она снижалась до . Это показывает, что формализованные интерфейсы инструментов повышают надёжность агентной системы.

Наибольший вклад в качество анализа документов даёт связка «извлечение–верификация–генерация» [8]. Извлечение предоставляет релевантный контекст, верификация проверяет соответствие ответа найденным фрагментам, а генерация формирует итоговый текст. При отсутствии такой связки возрастает риск неподтверждённых утверждений и ошибок в интерпретации документов.

Рисунок 1. Архитектура агентной RAG-системы (авторская модель)

Рисунок 1 представляет многосервисную архитектуру агентной RAG-системы. Агент выполняет функцию оркестратора, а RAG-компонент предоставляет проверяемый контекст через интерфейсы поиска и цитирования. Архитектура включает сервис приёма документов, сервис чанкинга и аннотации, сервис эмбеддингов, сервис векторного поиска, сервис ранжирования, сервис генерации и сервис оркестрации [9]. Генеративная модель не обращается к первичным хранилищам напрямую, а получает данные через сервисы, выполняющие фильтрацию и валидацию параметров.

Рисунок 2. Поток данных и управляющий цикл агента

Рисунок 2 показывает поток данных и управляющий цикл агента.

Пользовательский запрос нормализуется и классифицируется, после чего агент определяет тип задачи, формирует поисковый запрос, извлекает релевантные фрагменты и передаёт их в генерацию. После получения ответа выполняется проверка: оценивается наличие опоры на найденные фрагменты, соответствие формату и достаточность данных. Если данных недостаточно, цикл извлечения может повторяться с уточнённым запросом.

Заключение

Обучение LLM-агентов по человеческим предпочтениям позволяет формализовать требования к полезности, безопасности и управляемости поведения модели. PPO использует модель награды и ограниченное обновление политики, а DPO работает напрямую с парами предпочтений [10]. Выбор метода зависит от устойчивости, стоимости обучения, качества данных и сложности внедрения.

Агентная архитектура расширяет возможности LLM, но требует строгого контроля действий. В задачах анализа документов особенно важны планирование, корректный вызов инструментов, проверка найденного контекста и защита от неподтверждённых выводов.

Практическая значимость заключается в возможности применения такой архитектуры в системах анализа документов, где требуется получать ответы с опорой на источники. Для повышения надёжности необходимы ограничение действий агента, журналирование, проверка ссылочной привязки и защита от prompt-инъекций и утечек данных.

Цель исследования достигнута: проанализированы алгоритмы обучения с подкреплением для LLM-агентов и обоснована практическая реализация системы анализа документов на основе RAG и агентной архитектуры с учётом человеческих предпочтений.

Выражаю благодарность моему научному руководителю к. ф.-м. н. Романцу А. В. за полезные обсуждения.

Список литературы:

1. Ouyang L., Wu J., Jiang X. et al. Training language models to follow instructions with human feedback // Advances in Neural Information Processing Systems. 2022.
2. Christiano P. F., Leike J., Brown T. et al. Deep reinforcement learning from human preferences // Advances in Neural Information Processing Systems. 2017.
3. Rafailov R., Sharma A., Mitchell E. et al. Direct Preference Optimization: Your language model is secretly a reward model // Advances in Neural Information Processing Systems. 2023.
4. Schulman J., Wolski F., Dhariwal P. et al. Proximal policy optimization algorithms. arXiv. 2017.
5. Ziegler D. M., Stiennon N., Wu J. et al. Fine-tuning language models from human preferences. arXiv. 2019.
6. Lewis P., Perez E., Piktus A. et al. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks // Advances in Neural Information Processing Systems. 2020. Vol. 33. P. 9459–9474.
7. Reimers N., Gurevych I. Sentence-BERT: Sentence embeddings using Siamese BERT-networks // Proceedings of EMNLP-IJCNLP. 2019.
8. Johnson J., Douze M., Jégou H. Billion-scale similarity search with GPUs // IEEE Transactions on Big Data. 2019. Vol. 7, no. 3. P. 535–547.
9. Sutton R. S., Barto A. G. Reinforcement Learning: An Introduction. 2nd ed. Cambridge, MA: MIT Press, 2018.
10. Yao S., Zhao J., Yu D., Du N., Shafran I., Narasimhan K., Cao Y. ReAct: Synergizing reasoning and acting in language models. arXiv. 2022. URL: https://arxiv.org/abs/2210.03629