РЕКУРРЕНТНЫЕ НЕЙРОННЫЕ СЕТИ. ПРИНЦИП РАБОТЫ

​RECURRENT NEURAL NETWORKS. PRINCIPLE OF OPERATION.

Roman Dynnik

student 2 term, Institute of Cyberphysical Systems, State University of Aerospace Instrumentation,

Russia, Saint Petersburg

АННОТАЦИЯ

В настоящей статье представлен обзор принципа работы нейронных сетей и рекуррентных нейронных сетей. Актуальность работы заключается в малом количестве литературы на русском языке по данной тематике, а также ее высокой сложности, при отсутствии литературы обзорного характера, простым языком рассказывающей о данной тематике.

ABSTRACT

This paper presents an overview of the working principle of neural networks and recurrent neural networks. The relevance of the work lies in the small amount of literature in Russian on this topic, as well as its high complexity, in the absence of literature of a review character, simply speaking about this topic.

Ключевые слова: нейрон, нейронная сеть, функция активации, рекуррентная нейронная сеть, долгосрочная память.

Keywords: neuron, neural network, activation function, recurrent neural network, long-term memory.

Нейронные сети – это вычислительные модели, вдохновленные структурой человеческого мозга, которые состоят из множества взаимосвязанных элементов – искусственных нейронов, обрабатывающих данные и передающих их дальше [1].

Искусственный нейрон является математической моделью, которая принимает входные данные, обрабатывает их и дает выходное значение, формула (1):

                                                                                      (1)

Где x_i – входные данные, w_i – веса, b – смещение, z – взвешенная сумма входов с учетом смещения.

В самом нейроне входные данные получают веса (что обязывает датасет быть нормализованным перед использованием в нейросети), на которые они умножаются, чтобы подчеркнуть важность каждого из входных сигналов. Веса обновляются автоматически, чтобы минимизировать ошибку. Сумма взвешенных входов также складывается со смещением (bias) – дополнительным параметром, который позволяет сдвигать результат активации нейронов, добавляя модели гибкость и лучшую адаптивность. К выходу нейрона применяется функция активации, формула (2):

                                                                                              (2)

Где f – функция активации, a – выходное значение.

Эта функция позволяет сделать выход нелинейным, без нее модель была бы просто линейной регрессией. Нелинейность позволяет модели учиться более сложным зависимостям.

Нейроны объединяются в слои. Входной слой – получает входные данные. Скрытые слои – обучаются распознавать закономерности в данных, полученных из входного слоя, количество скрытых слоев определяет «глубину обучения» нейросети. Выходной слой дает результат вычислений, которые были получены скрытыми слоями.

Нейросеть обучается следующим образом: полученные данные проходят через все слои, модель делает начальные предсказания, далее определяется ошибка предсказания относительно фактического значения, затем ошибка распределяется по сети обратно, корректируя веса и смещения, используется алгоритм оптимизации для минимизации ошибки. Этот процесс повторяется, пока ошибка не станет достаточно маленькой. Схема обучения представлена на рисунке 1.

Рисунок 1. Процесс обучения нейронной сети

На данный момент, нейронные сети применяются в широком ряду вопросов. В первую очередь нейросети получили распространение и показывают отличный результат, в ситуациях, где необходимо научить компьютер распознавать всевозможные паттерны: компьютерное зрение, обработка естественного языка, генерация данных, и, конечно же, прогнозирование.

Рекуррентные нейронные сети

Рекуррентная нейронная сеть (RNN, Recurrent Neural Network) – такой тип нейросети, которая запоминает предыдущие данные. Это означает, что такая нейронная сеть обрабатывает каждый вход, учитывая последовательность данных, вместо независимой обработки данных [2]. Эта особенность используется для задач, где важен порядок и связь между элементами: анализ временных рядов, обработка речи и прогнозирование. У RNN есть скрытое состояние, которое передается из одного шага в другой, формула (3):

                                                                        (3)

Где h_t – скрытое состояние на шаге t, f – функция активации, W_xh – матрица весов между входом и скрытым слоем, x_t – входной вектор на шаге t, W_hh – матрица весов между скрытыми состояниями, h_t-1 – скрытое состояние на предыдущем шаге, b_h – смещение.

Выходной вектор при этом выглядит так, формула (4):

                                                                                (4)

Где y_t – выходной вектор на шаге t, W_hy – матрица весов между скрытым состоянием и выходом, b_y – смещение.

Как видно из формул (3) и (4), рекуррентная нейронная сеть на каждом шаге использует текущий вход и предыдущее состояние, чтобы рассчитать новое состояние и выход. Преимуществами RNN являются способность учитывать порядок данных и возможность обрабатывать изменяющиеся по длине последовательности. Хотя такой подход имеет и большой недостаток: традиционная RNN не справляется с задачами, в которых необходимо запомнить долгосрочные зависимости, из-за чего на практике чаще используются усовершенствованные версии RNN.

LSTM

LSTM (Long Short-Term Memory) – более сложная, улучшенная версия рекуррентной нейронной сети, которая умеет запоминать информацию на длительное время, что позволяет ей обучаться долгосрочным зависимостям и делает ее незаменимой в вопросах обработки временных рядов. Вместо скрытого состояния у обычной RNN, LSTM имеет долгосрочную память и три ключевых вентиля: забывающий, входной и выходной.

Каждый вентиль – отдельная нейронная подсеть [3], использующая функцию активации sigmoid (нелинейная функция, преобразующая любое вещественное число в диапазон от 0 до 1). Забывающий вентиль решает, что из информации в долгосрочной памяти (cell state) нужно забыть, в зависимости от sigmoid (если значение близко к 0 – информация забывается). Входной вентиль определяет, что добавить в cell state, sigmoid здесь решает, какие значения нужно добавить, а для создания вектора новых данных используется tanh (гиперболический тангенс, нелинейная функция активации с диапазоном от -1 до 1, что делает его более удобным для обучения). Выходной вентиль решает, какие данные будут являться выходом, на основании sigmoid и преобразует их для вычисления и активации скрытого состояния с помощью tahn. Таким образом, LSTM получает на вход параметры, анализирует их как последовательность, запоминает влияние на прогнозируемое событие в предыдущих примерах и предсказывает значение.

Список литературы:

1. И. С. Суворцев, В. И. Клюкин, Р. П. Пивоварова. Нейронные сети. / Воронеж: Издательство ВГУ. 1994. – 224 с.
2. А. С. Ведерников. Разработка программы для решения задач краткосрочного прогнозирования электропотребления на основе искусственных нейронных сетей. / Издательство Энергетик. 2019. – 4 с.
3. Г. В. Васильев, В. Д. Бердоносов. Разработка и сравнение моделей прогнозирования потребления электроэнергии с помощью рекуррентных нейросетей с долгой краткосрочной памятью. / Комсомольск-на-Амуре: Издательство Комсомольский-на-Амуре государственный университет. 2022. – 4 с.