ИСПОЛЬЗОВАНИЕ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ ДЛЯ АВТОМАТИЗАЦИИ ПАРСИНГА И СТРУКТУРИРОВАНИЯ НЕСТРУКТУРИРОВАННЫХ ЛОГ-ФАЙЛОВ

USING LARGE LANGUAGE MODELS TO AUTOMATE THE PARSING AND STRUCTURING OF UNSTRUCTURED LOG FILES

Knigin Igor Alexandrovich

Student, Department of Information Systems and Technologies, Udmurt State University,

Russia, Izhevsk

АННОТАЦИЯ

В статье рассматривается применение больших языковых моделей для автоматизации извлечения данных из неструктурированных файлов системных журналов. Проанализированы недостатки классических подходов на основе регулярных выражений при работе с гетерогенными данными. Описан алгоритм семантического парсинга, позволяющий извлекать ключевые сущности, например: временные метки, уровни критичности и описания ошибок. Представлены методы снижения вычислительной нагрузки за счет применения гибридной архитектуры и легковесных локальных нейросетей.

ABSTRACT

The article discusses the use of large language models to automate data extraction from unstructured system log files. The disadvantages of classical approaches based on regular expressions when working with heterogeneous data are analyzed. A semantic parsing algorithm is described that allows extracting key entities, for example: timestamps, criticality levels, and error descriptions. Methods for reducing the computational load through the use of a hybrid architecture and lightweight local neural networks are presented.

Ключевые слова: большие языковые модели; машинное обучение; парсинг данных; системные журналы; автоматизация.

Keywords: large language models; machine learning; data parsing; system logs; automation.

Информационные системы корпоративного уровня непрерывно генерируют колоссальные объемы текстовых журналов событий. Эти файлы содержат критически важную информацию о состоянии программного обеспечения, однако зачастую сохраняются в абсолютно неструктурированном виде. Классический подход к парсингу таких файлов опирается на использование регулярных выражений и жестко заданных шаблонов. Данный метод демонстрирует высокую производительность, но обладает существенным недостатком - неспособностью адаптироваться к изменениям форматов вывода. Любое обновление сторонней библиотеки или модификация кода разработчиками приводит к поломке статических парсеров, что требует постоянного ручного вмешательства инженеров поддержки [1, с. 45].

Решением проблемы хрупкости шаблонов выступает интеграция больших языковых моделей в конвейеры обработки данных. Нейросетевые алгоритмы способны понимать семантический контекст текстовых сообщений, что позволяет им эффективно структурировать даже те форматы журналов, которые они никогда ранее не обрабатывали. Модель принимает на вход сырую строку лога и формирует структурированный ответ в определенном формате, автоматически классифицируя извлеченные сущности, например: идентификаторы сессий, адреса сетевых узлов и стек вызовов функций. Такой подход переводит задачу парсинга из плоскости синтаксического разбора в плоскость смыслового понимания текста [2, с. 112].

Внедрение больших языковых моделей в системы мониторинга требует решения ряда инженерных задач, связанных с оптимизацией производительности. Обработка каждой строки журнала через тяжелую облачную нейросеть является экономически нецелесообразной из-за высоких сетевых задержек и стоимости вычислений. Для минимизации издержек применяется гибридная архитектура маршрутизации. Стандартные и известные форматы продолжают обрабатываться быстрыми регулярными выражениями, а сложные или аномальные записи перенаправляются на анализ языковой модели. Дополнительным методом оптимизации является использование специализированных локальных нейросетей с уменьшенным количеством параметров, которые предварительно дообучены на корпусах технических текстов.

Таблица 1.

Сравнительный анализ подходов к парсингу журналов

Анализ результатов применения гибридных архитектур показывает значительное снижение времени на поддержание систем мониторинга ИТ-инфраструктуры. Автоматизация парсинга позволяет инженерам сосредоточиться на устранении корневых причин сбоев, а не на написании новых правил для обработки неструктурированного текста. Интеллектуальный разбор журналов событий закладывает надежный фундамент для создания полностью автономных программных комплексов, способных самостоятельно диагностировать и предотвращать отказы оборудования [3, с. 88].

Список литературы:

1. Смирнов А. А. Методы интеллектуального анализа системных журналов в корпоративных сетях. - М.: Инфо-Пресс, 2023. - 245 с.
2. Захаров В. И. Применение больших языковых моделей в задачах обработки естественного языка: учебное пособие. - СПб.: БХВ-Петербург, 2024. - 310 с.
3. Петрова Е. Н. Автоматизация процессов управления распределенной ИТ-инфраструктурой // Современные вычислительные технологии. - 2024. - № 3. - С. 80-89.