ПРИМЕНЕНИЕ РЕКУРРЕНТНЫХ НЕЙРОННЫХ СЕТЕЙ И МЕТОДА ДИНАМИЧЕСКОЙ РАЗМЕТКИ ДЛЯ КЛАССИФИКАЦИИ НЕСТАЦИОНАРНЫХ ВРЕМЕННЫХ РЯДОВ

​APPLICATION OF RECURRENT NEURAL NETWORKS AND DYNAMIC LABELING METHOD FOR CLASSIFICATION OF NON-STATIONARY TIME SERIES

Kopylov Daniil Alexeyevich

Candidate of Science, Analyst, VTB Bank (PJSC),

Russia, Moscow

АННОТАЦИЯ

В работе предложен подход к классификации состояний нестационарных временных рядов с использованием рекуррентных нейронных сетей архитектуры LSTM. Рассмотрена методика динамической разметки обучающей выборки на основе алгоритма «Тройного барьера», где пороговые значения определяются текущей волатильностью процесса. Проведено экспериментальное исследование эффективности различных топологий нейронных сетей на данных с высокой энтропией (криптовалютные активы). Выявлена критическая зависимость точности классификации от свойства персистентности входного сигнала, а также опровергнута гипотеза о наличии прямой связи между вычислительной сложность модели и ее обобщающей способностью. Подтверждена эффективность использования динамических барьеров для фильтрации шума в стохастических системах.

ABSTRACT

The paper proposes an approach to classifying states of non-stationary time series using LSTM recurrent neural networks. A methodology for dynamic labeling of the training set based on the "Triple Barrier" algorithm is reviewed, where threshold values are determined by the current process volatility. An experimental study of the efficiency of various neural network topologies was conducted on high-entropy data (cryptocurrency assets). A critical dependence of classification accuracy on the persistence property of the input signal was revealed, and the hypothesis of a direct link between the model's computational complexity and its generalization ability was refuted. The effectiveness of using dynamic barriers for noise filtering in stochastic systems was confirmed.

Ключевые слова: LSTM; рекуррентные нейронные сети; обработка сигналов; временные ряды; классификация; стохастические процессы; тройной барьер.

Keywords: LSTM; recurrent neural networks; signal processing; time series; classification; stochastic processes; triple barrier.

Анализ и прогнозирование поведения сложных динамических систем, генерирующих нестационарные временные ряды, является одной из классических задач технической кибернетики и системного анализа. К классу таких систем относятся как физические процессы с высокой энтропией (турбулентные потоки жидкости и газа, сейсмическая активность земной коры), так и сложные социально-экономические системы, в частности глобальные финансовые рынки и сегмент цифровых активов.

Особенностью таких временных рядов является нарушение условий стационарности в широком смысле: математическое ожидание и дисперсия процесса изменяются во времени. Кроме того, эмпирические распределения приращений таких рядов обладают эксцессом, существенно превышающим нормальный (наличие «тяжелых хвостов»), и свойством гетероскедастичности – кластеризацией волатильности, когда периоды высокой дисперсии сменяются периодами затишья. Указанные свойства делают применение классических линейных моделей авторегрессии (семейства ARIMA/SARIMA) малоэффективным из-за их низкой адаптивности к нелинейным структурным сдвигам и импульсным возмущениям [1, с. 320].

В настоящей работе рассматривается задача бинарной классификации состояний нестационарного процесса с использованием методов глубокого обучения, а именно рекуррентных нейронных сетей (Recurrent Neural Networks, RNN) архитектуры LSTM (Long Short-Term Memory). Выбор данной топологии обусловлен спецификой задачи. Классические полносвязные сети (MLP) или сверточные сети (CNN) воспринимают входной вектор как статичный объект, игнорируя временную последовательность событий. В отличие от них, RNN имеют внутреннее состояние (память), позволяющее учитывать предысторию процесса.

Архитектура LSTM, предложенная С. Хохрайтером и Ю. Шмидхубером, решает фундаментальную проблему «стандартных» рекуррентных сетей – проблему затухающего или взрывного градиента при обучении методом обратного распространения ошибки во времени (BPTT). Введение в структуру нейрона специальных вентильных блоков (gate units) – вводного, выводного и вентиля забывания — позволяет алгоритму селективно сохранять или удалять информацию, улавливая как краткосрочные, так и долгосрочные временные зависимости (Long-Term Dependencies) в данных [5, с. 1735].

Основной инженерной проблемой при обучении нейросетей на зашумленных данных является формирование корректной обучающей выборки, в частности процедура разметки целевой переменной (labeling). Использование в качестве метки класса простого знака приращения функции приводит к тому, что сеть обучается на высокочастотном шуме, так как на малых временных масштабах (интервалах дискретизации) отношение сигнал/шум стремится к нулю.

Для решения этой задачи в работе применен метод «Тройного барьера» (Triple Barrier Method), описанный М. Лопезом де Прадо. Данный метод представляет собой алгоритм фильтрации событий, который трансформирует задачу прогнозирования непрерывной величины в задачу классификации исходов стохастического блуждания частицы в ограниченном коридоре [3, с. 45].

Формализация метода заключается в следующем. Пусть  – значение случайного процесса в момент времени , а – ценка его локальной волатильности (стандартное отклонение приращений за окно ). Для каждого момента времени вход строятся три барьера, определяющие область допустимых значений траектории процесса.

Верхний горизонтальный барьер (Upper bound): , где  – оценка локальной волатильности (среднеквадратическое отклонение или ATR),  – коэффициент масштабирования.

Нижний горизонтальный барьер (Lower bound): , где  – оценка локальной волатильности (среднеквадратическое отклонение или ATR),  – коэффициент масштабирования.

Вертикальный барьер (Time-out):

Результат классификации  определяется тем, какой барьер будет достигнут траекторией процесса первым. Такой подход позволяет перейти от прогнозирования значения величины к прогнозированию вероятности реализации события с заданными параметрами, что существенно повышает робастность модели.

Для экспериментального исследования был разработан программный комплекс на языке Python с использованием библиотек PyTorch и Scikit-learn. В качестве входных данных использовались дискретные временные ряды котировок активов SOL и TON (период 2021–2025 гг.). Входной вектор признаков формировался из нормализованных производных величин (осцилляторы, скользящие средние), описывающих динамику, импульс и волатильность процесса [4, с. 112].

Было протестировано 5 конфигураций топологии нейронной сети LSTM, варьирующихся по глубине (от 1 до 3 скрытых слоев) и ширине (количество нейронов в слое 128/256).

Сравнительный анализ показал, что точность распознавания паттернов критически зависит от структурных свойств входного сигнала. На выборке SOL, характеризующейся наличием выраженных трендовых компонент (персистентный процесс), алгоритм продемонстрировал высокую сходимость. Значение метрики F1-score достигло 0.554, что является высоким показателем для стохастических систем с низким отношением сигнал/шум.

В Таблице 1 приведены результаты работы алгоритма для различных архитектур на выборке с высокой персистентностью.

Таблица 1.

Сравнительные характеристики работы алгоритмов классификации (Выборка SOL/USDT)

Однако на выборке TON, представляющей собой процесс с высокой энтропией (показатель Херста H≈0.5) и отсутствием устойчивых долговременных зависимостей (антиперсистентный процесс, близкий к белому шуму или возврату к среднему), все исследуемые архитектуры показали неудовлетворительный результат. Значения F1-score опустились ниже 0.22, а точность (Precision) составила менее 5%. Это эмпирически подтверждает гипотезу о том, что методы машинного обучения, включая глубокие нейросети, не способны генерировать прогноз, превосходящий случайное угадывание, при отсутствии детерминированных или стохастических закономерностей в самом сигнале, независимо от вычислительной сложности используемого графа.

На Рисунке 1 представлена визуализация метрики результативности алгоритма в форме кривой накопленной «полезности» сигналов (Equity Curve) для лучшей модели на тестовой выборке SOL. Монотонный рост кривой свидетельствует о стабильности выявленных паттернов во времени.

Рисунок 1. Динамика эффективности классификации сигналов моделью LSTM (3 слоя) на тестовой выборке

Важным и неочевидным результатом исследования является факт отсутствия линейной корреляции между сложностью модели (количеством обучаемых параметров) и качеством аппроксимации. Как видно из Таблицы 1, простая однослойная сеть (LSTM_V1, ~67 тыс. параметров) на ряде интервалов показала результаты, сопоставимые или даже превосходящие более глубокие и «тяжелые» сети (LSTM_V4, >0.5 млн параметров).

Данный феномен объясняется высоким уровнем шума во входных данных. В задачах обработки стохастических рядов избыточная параметризация модели приводит к эффекту переобучения (overfitting): сеть начинает выучивать случайный шум обучающей выборки как значимые признаки. Это снижает ее обобщающую способность (generalization ability) на новых, ранее не виденных данных [2, с. 88]. Для регуляризации процесса необходимо либо искусственно ограничивать сложность сети, либо применять методы Dropout (вероятностное отключение нейронов в процессе обучения), что и подтвердилось в ходе экспериментов.

Таким образом, на основании проведенного исследования можно сформулировать следующие выводы:

1. Метод динамической разметки на основе локальной волатильности (ATR) является эффективным инструментом предобработки данных. Он позволяет трансформировать задачу регрессии зашумленного ряда в задачу классификации, адаптивно отфильтровывая микрофлуктуации цены, не несущие полезной информации.

2. Финальная эффективность рекуррентных нейронных сетей в задачах прогнозирования определяется не столько глубиной архитектуры (количеством слоев), сколько фундаментальными статистическими свойствами самого исследуемого процесса – наличием эффекта памяти (длинной памяти) и персистентности трендов.

3. Для построения систем поддержки принятия решений и алгоритмических комплексов реального времени целесообразно использование «облегченных» архитектур LSTM (1–2 слоя). Они обеспечивают оптимальный баланс (trade-off) между точностью классификации и вычислительной сложностью, а также обладают большей устойчивостью к переобучению по сравнению с глубокими сетями.

Список литературы:

1. Афанасьев В.Н. Анализ временных рядов и прогнозирование : учебник / В.Н. Афанасьев, М.М. Юзбашев. – М. : Финансы и статистика, 2010. – 320 с.
2. Нильсен Э. Практический анализ временных рядов: прогнозирование со статистикой и машинным обучением / Э. Нильсен. – СПб. : Диалектика, 2021. – 544 с.
3. De Prado M.L. Advances in Financial Machine Learning. – Hoboken, NJ : Wiley, 2018. – 416 p.
4. Fischer T., Krauss C. Deep learning with long short-term memory networks for financial market predictions // European Journal of Operational Research. – 2018. – Vol. 270, No. 2. – P. 654–669.
5. Hochreiter S. Long short-term memory / S. Hochreiter, J. Schmidhuber // Neural Computation. – 1997. – Vol. 9, No. 8. – P. 1735–1780.