ВЫЯВЛЕНИЕ АНОМАЛЬНЫХ СОБЫТИЙ В СИСТЕМНЫХ ЖУРНАЛАХ МЕТОДАМИ МАШИННОГО ОБУЧЕНИЯ

DETECTION OF ANOMALOUS EVENTS IN SYSTEM LOGS USING MACHINE LEARNING METHODS

Melnikova Anastasia Alexandrovna

student, Faculty of Information Technology and Big Data Analysis, Financial University under the Government of the Russian Federation

Russia, Moscow

АННОТАЦИЯ

Работа посвящена задаче автоматического поиска нетипичных записей в системных журналах, которые администратору стоит просмотреть в первую очередь. Поскольку размеченных аномалий на практике мало, ставка сделана на одноклассовые алгоритмы, обучаемые только на нормальном поведении. Проверка выполнена на реальном журнале суперкомпьютера Blue Gene/L (BGL) из открытой коллекции Loghub – для компактного воспроизводимого эксперимента взяты первые 195 записей файла BGL_2k. Эталонная метка alert/non-alert в признаки не попадала и использовалась исключительно при подсчёте метрик. На тестовой подвыборке лучший результат показал Isolation Forest (F1 = 0,941), немного уступил One-Class SVM (0,923), а Local Outlier Factor оказался неработоспособен на этих данных (0,074). Отдельно отмечено, что выводы, полученные на синтетических данных, на реальном журнале не подтвердились.

ABSTRACT

The paper addresses the problem of automatically ranking atypical entries in system logs so that an administrator can review the most suspicious ones first. Because labelled anomalies are scarce in practice, the study relies on one-class algorithms trained on normal behaviour only. The evaluation uses a real Blue Gene/L (BGL) supercomputer log from the open Loghub collection; the first 195 records of BGL_2k were taken for a compact reproducible experiment. The ground-truth alert/non-alert label was excluded from the features and used only for scoring. On the test subset, Isolation Forest performed best (F1 = 0.941), One-Class SVM was slightly behind (0.923), and Local Outlier Factor failed on this data (0.074). Notably, conclusions drawn from synthetic data did not hold on the real log.

Ключевые слова: анализ текстовых записей; символьные n-граммы; уменьшение размерности; оценка качества без полной разметки; Blue Gene/L.

Keywords: log message analysis; character n-grams; dimensionality reduction; evaluation under scarce labels; Blue Gene/L.

Введение

Журналы информационных систем фиксируют состояние компонентов, ошибки и последовательность операций. При большом объеме записей ручной анализ становится трудоемким, поэтому востребованы методы автоматического выделения событий, требующих проверки. В работе [1] рассмотрены подходы к выявлению деструктивных действий и событий в информационных системах. Настоящее исследование сужает задачу до поиска аномальных записей системного журнала.

Практическая применимость интеллектуального анализа данных показана в [2]. Назначение информационно-аналитических систем безопасности систематизировано в [3], а классификация одного из классов деструктивной активности приведена в [4]. При дефиците размеченных аномалий применимы одноклассовые методы: Isolation Forest [5], One-Class SVM [6] и Local Outlier Factor [7]. Для проверки выбраны реальные журналы BGL, исследованные в [8] и опубликованные в открытой коллекции Loghub [9].

Методика и программная реализация

Объектом анализа является отдельная запись системного журнала. Первый столбец BGL содержит эталонную метку alert/non-alert, он исключается из признаков и используется только при оценке. Текстовые поля component, level и message преобразуются в 512-мерное представление символьных n-грамм длиной 3–5, после чего размерность снижается до 20 компонент методом TruncatedSVD. Дополнительно рассчитываются восемь структурных признаков: признаки FATAL и APP, длина сообщения, число токенов и цифр, наличие IPv4-адреса, а также синус и косинус часа события. Значения стандартизируются.

Все три модели обучаются только на нормальных записях. На отдельной калибровочной части аномальный балл задается как отрицательное значение decision_function, а порог устанавливается на уровне 99-го перцентиля баллов нормальных записей.

Для воспроизводимости фиксируется seed = 42. Такой протокол не позволяет тестовым alert-меткам попасть ни в обучение, ни в выбор порога.

Эксперимент и результаты

BGL – журнал реально эксплуатировавшегося суперкомпьютера Blue Gene/L в Lawrence Livermore National Laboratory [8]. В Loghub полный набор содержит 4 747 963 записи за 214,7 дня [9]. Для эксперимента взяты первые 195 строк открытого файла BGL_2k: 117 non-alert и 78 alert (60 kerndtlb, 16 kernstor и 2 appread). Из нормальных записей 70 использованы для обучения, 23 – для калибровки и 24 – для тестирования.

В тест дополнительно случайно отобраны 24 alert-записи, итоговая тестовая подвыборка содержит 48 наблюдений.

Таблица 1.

Результаты сравнения алгоритмов на фрагменте BGL

Isolation Forest обнаружил все 24 alert-записи и дал три ложных срабатывания, что соответствует Precision = 0,889 и F1 = 0,941. One-Class SVM также обнаружил все 24 alert-записи, но дал четыре ложных срабатывания (F1 = 0,923). Local Outlier Factor выявил только одну alert-запись из 24 при двух ложных тревогах (F1 = 0,074).

Следовательно, лидер синтетического эксперимента из предыдущей версии работы не подтвердил преимущество на реальном журнале, на выбранном фрагменте лучший F1 получен методом Isolation Forest.

Результаты относятся к малой воспроизводимой подвыборке и не должны переноситься на весь BGL без дополнительной проверки. Сбалансированный тест также отличается от естественной доли alert-событий.

Кроме того, метка BGL обозначает сообщения, требующие внимания администратора, а не обязательно злоумышленную активность [8]. Поэтому прототип решает задачу ранжирования аномальных событий, а не автоматического установления факта атаки. Для практической оценки требуется эксперимент на полном наборе с временным разделением обучающей и тестовой частей.

Заключение

Проведен воспроизводимый эксперимент по выявлению аномальных событий на реальном открытом журнале BGL.

На тестовой подвыборке Isolation Forest достиг F1 = 0,941 при полноте 1,000 и доле ложных срабатываний 12,5 %, One-Class SVM получил F1 = 0,923, а Local Outlier Factor – 0,074.

Результаты показывают, насколько важно проверять алгоритмы на реальных журналах: выводы, сделанные по искусственно сформированным данным, могут существенно измениться. Следующий этап – валидация на полном BGL с временным разделением и исследование устойчивости признакового представления.

Список литературы:

1. Мельников В.А., Пушкин П.Ю., Мельникова А.А., Конышева Ю.А., Перевезенцев Д.С., Грачев А.С. Подходы к выявлению деструктивных действий и событий в информационных системах // Системы высокой доступности. – 2026. – Т. 22, № 3. – С. 5⁠–⁠17. – DOI: 10.18127/j20729472-202603-0. – URL: https://doi.org/.
2. Мельников, В.А. Анализ применимости открытых инструментов работы с алгоритмами Data Mining для решения задач анализа экономических данных / В.А. Мельников, А.А. Першина, Н.А. Савченко // Актуальные проблемы нефти и газа: Сборник трудов VII Всероссийской молодежной научной конференции, Москва, 16⁠–⁠18 октября 2024 года. С. 360⁠–⁠361. – Москва: Институт проблем нефти и газа РАН, 2024. – С. 360⁠–⁠361.
3. Мельников, В.А. Классификация информационно-аналитических систем безопасности в финансовых и экономических структурах по назначению / В.А. Мельников, А.А. Першина // Новые технологии в газовой промышленности (газ, нефть, энергетика): Тезисы докладов, Москва, 23⁠–⁠27 октября 2023 года. – 2023. – С. 315⁠–⁠316.
4. Мельников, В.А. Классификация технологий применения фишинга в качестве метода социальной инженерии / В.А. Мельников, А.А. Першина, А.А. Мельникова // VII Международная научная конференция по междисциплинарным исследованиям: Сборник статей конференции, Екатеринбург, 20 сентября 2024 года. С. 266⁠–⁠270. – Екатеринбург: ООО «Институт цифровой экономики и права», 2001. – Т. 13, № 7. – С. 266⁠–⁠270. – DOI: 10.1162/089976601750264965.
5. M.M. Breunig. LOF: Identifying Density-Based Local Outliers // Proceedings of the ACM SIGMOD International Conference on Management of Data. – 2000. – P. 93⁠–⁠104. – DOI: 10.1145/342009.335388.
6. Oliner A.J., Stearley J. What Supercomputers Say: A Study of Five System Logs // 37th Annual IEEE/IFIP International Conference on Dependable Systems and Networks (DSN'07). – 2007. – P. 575⁠–⁠584. – DOI: 10.1109/DSN.2007.103.
7. J. Zhu, S. He, P. He, J. Liu, M.R. Lyu. Loghub: A Large Collection of System Log Datasets for AI-driven Log Analytics // 2023 IEEE 34th International Symposium on Software Reliability Engineering (ISSRE). – 2023. – P. 355⁠–⁠366. – DOI: 10.1109/ISSRE59848.2023.00071.