ДЕТЕКТИРОВАНИЕ АНОМАЛИЙ ВО ВРЕМЕННЫХ РЯДАХ С ПОМОЩЬЮ СВЕРТОЧНЫХ РЕКУРРЕНТНЫХ НЕЙРОСЕТЕЙ

ANOMALY DETECTION IN TIME SERIES USING CONVOLUTIONAL RECURRENT NEURAL NETWORKS

Dmitrii Mik

Master student, Department of Automation of Scientific Research Moscow State University Lomonosov

Russia, Moscow

Alexey Shishkin

Scientific supervisor, dr. phys.-math. sciences, professor Moscow State University. Lomonosov,

Russia, Moscow

АННОТАЦИЯ

Существует множество методов детектирования аномалий, которые опираются на различные входные данные. В данной работе разработана сверточная рекуррентная нейронная сеть для предсказания аномалий во временных рядах. Данная архитектура основана на ансамблированной обработке входных данных и объединении результатов обработки для дальнейшего предсказания. Полученные результаты показали эффективность работы данного метода в сравнение с имеющимися алгоритмами.

ABSTRACT

There are many anomaly detection methods that rely on various inputs. In this paper, a convolutional recurrent neural network has been developed to predict anomalies in time series. This architecture is based on ensemble processing of input data and combining the processing results for further prediction. The results obtained showed the effectiveness of this method in comparison with the existing algorithms.

Ключевые слова: детектирование аномалий, глубокие нейронные сети.

Keywords: anomaly detection, deep neural networks.

1. Введение

Каждый день в мире происходит множество аномальных событий, не видимых человеческому глазу, но влияющих на повседневную жизнь. Аномалии присутствуют во всем, от электронных устройств повсеместного использования до человеческого организма и чаще всего привносят только негативное влияние на системы, где были обнаружены. Так, например, небольшое отклонение от нормы в показаниях ЭКГ человека может быть фатальным явлением, приведшим к летальному исходу. Вот почему обнаружение аномалий является важной областью изучения во многих областях жизни.

Существует множество различных методов машинного обучения, позволяющих решать данную задачу, начиная от простых линейных классификаторов ([2]) до более сложных, основанных на различных алгоритмах бустинга с использованием деревьев решений ([1], [3]) и глубоких нейронных сетей.  В данной работе будет предложена новая архитектура для сети, позволяющей обнаруживать аномалии во временных рядах.

2. Архитектура модели

Архитектура разработанной модели основана на объединении сверточных и рекуррентных слоев, как показано на рис. 1.

Рисунок 1. Архитектура разработанной модели

На первом этапе входные данные подаются на три сверточных нейронных слоя с различными размерами ядер свертки. Данный подход был использован, чтобы каждый из слоев выбрал из исходного набора данных свои собственные, важные признаки, тем самым увеличив охват полезной информации в модели. Было решено использовать размерности ядер, равные 3, 5 и 7. Выходная размерность данных данного этапа равняется 64.

Далее, после применения пулингового слоя с ядром 3, данные передаются на три самостоятельных рекуррентных слоя LSTM. Данные слои нужны для отслеживания в данных закономерностей, которые могли привести к возникновению аномалии, опираясь на последовательную составляющую временных рядов. На следующий слой было решено передавать значения скрытых параметров размерности 64

На данном этапе заканчивается применение ансамблирования трех независимых сетей, и полученные в результате их работы данные объединяются как единое целое.

Последним является блок глубокой нейронной сети, основанный на нескольких полносвязных слоях, выполняющих бинарную классификацию, т. е. определяющих – принадлежности к классам нормальных данных или аномалиям. Так же перед подачей на полносвязные слои к данным был применен слой исключения (дропаут) для уменьшения переобучения сети за счет адаптации отдельных нейронов к обучающим данным. На данном этапе размерность данных сначала уменьшается с 192 до 64 и далее до 2.

3. Эксперементы

В качестве набора данных был использован один из наборов датасета NAB (Numenta Anomaly Banchmark) (https://github.com/numenta/NAB), который является открытым и содержит несколько различных датасетов, среди которых присутствуют как искусственно сгенерированные данные, так и реальные. Среди представленных наборов были выбраны связанные с количеством упоминаний какого-либо события в социальной сети.

Получившийся набор данных содержит отсчетов нескольких событий, каждое из которых насчитывает около 15 тысяч временных шагов.

В качестве первичной обработки использовалась нормализация, переопределяющая область значения параметра временного ряда на отрезок [0, 1]. Данный процесс нужен был для того, чтобы, сохраняя явно выраженные переходы из нормального состояния в аномальное, привести все значения к одному виду.

Из-за того, что данные сильно несбалансированны, а именно в среднем 2–3 аномалии на 3000 отсчетов, было решено воспринимать так же аномальными 200 отсчетов до и 200 после аномалии. Таким образов вокруг каждой аномалии выбиралось «аномальное окно» все значения которого размечались соответствующим образом.

Так же, чтобы не обучать сеть на одном значении из временного ряда, было решено предсказывать аномальность основываясь на 60 последовательных временных отсчетах, являющихся основой для прогнозирования класса последнего из них

После преобразований, данные были разделены на три группы: обучающее множество, тестовое и валидационное. При этом процентное соотношение аномальных и обычных классов сохранялось одинаковым вне зависимости от группы. Разбиение было взято в соотношении 70:15:15.

В качестве оптимизатора был использован Adam, а в качестве функции ошибок кросс-энтропия.

Полученные результаты сравнивались с результатами работы следующих сетей: XGBOD [3], CatBoostClassifier [1], сверточная сеть CNN, долгая короткая память LSTM. В таблице 1, представлены результаты предсказания аномалий для различных методов.

Таблица 1.

Сравнение эффективности моделей

Так же для сравнения результатов были построены ROC кривые и получены значения ROC AUC, указанные в таблице 2. Как видно из таблицы, данный алгоритм показал наилучшие результаты на выбранном датасете.

На рис. 2 показана матрица ошибок данной сети откуда следует, что разработанная модель обладает высоко плотностью при определении аномалий (95.1%)

Таблица 2.

Сравнение показателей Roc Auc Score

Рисунок 2. Матрица ошибок сверточной рекуррентной сети

4. Результаты

Таким образом в данной работе была разработана и реализована сверточная рекуррентная нейронная сеть. В основу данной архитектуры легли идеи ансамблирования сетей различной архитектуры, а именно, сверточной и рекуррентной, что позволило улучшить результаты по сравнению с обычным подходом.

Данная модель показала хорошие результаты при тестировании на известном наборе данных NAB (ROC AUC более 0.88).

В качестве дальнейшего развития модели возможно увеличение количества внутренних слоев на каждом из этапов работы алгоритма, изменение внутренних параметров сети или увеличение ансамблирования добавлением большего количество параллельных сетей.

Подводя итог, можно сказать, что полученные результаты свидетельствуют о том, что разработанная программная система может быть эффективно использована для обнаружения аномалий в последовательных временных рядах.

Список литературы:

1. Liudmila Prokhorenkova, Gleb Gusev, Aleksandr Vorobev, Anna Veronika Dorogush, Andrey Gulin, “CatBoost: unbiased boosting with categorical features”
2. Liron Bergman, Niv Cohen, Yedid Hoshen, “Deep Nearest Neighbor Anomaly Detection”, 2020, URL: arXiv:2002.10445
3. Zhao, Y., Hryniewicki, M.K., "XGBOD: Improving Supervised Outlier Detection with Unsupervised Representation Learning," International Joint Conference on Neural Networks (IJCNN), IEEE, 2018.