ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ ПРИ ПОМОЩИ ГЕНЕТИЧЕСКИХ АЛГОРИТМОВ

С каждый днём современные технологии развиваются с огромной скоростью, это особенно заметно в области искусственных нейронных сетей. Технологии, которые можно было увидеть только в кино, уже прочно вошли в нашу повседневную жизнь. Сегодня никого не удивишь распознаванием отпечатков пальцев, определением лиц и картинок. Мы за считанные секунды можем распознать играющую в торговом центре мелодию или узнать любую информацию у голосового помощника.

Несмотря на все достижения в области нейронных сетей и машинного обучения, всё еще остаётся большое количество актуальных проблем и задач.

Основными проблемами в области создания подобных нейронных сетей является выбор структуры построения сети, а так же алгоритм её обучения. Так как именно от этих параметров будет зависеть конечный результат работы сети, а так же его правильность.

По топологии построения можно разделить сети на однослойные, многослойные и полносвязные.

Однослойная сеть представляет собой искусственный нейрон, который, в свою очередь, является непрерывной монотонной функцией, желательно, дифференцируемой. Это самая начальная и простая структура, но она уже может выполнять простейшие задачи для принятия решений.

                        (1)

 – функция активации, непрерывная монотонная функция

 – вектор весов

 – объект, вектор с присоединённым элементом 1 для веса

Нейрон, это всего-навсего функция, которая суммирует всю информацию на своих входах, иногда смещает её. Если же суммы хватает, чтобы нейрон стал активным, то пропускает эту информацию дальше, если нет, то это значение исключается, и нейрон не активируется.

Существует множество активационных функций, каждая из них подходит для решения определённого типа задач.

Самой простой функцией для активации нейрона является ступенчатая функция. Она, в свою очередь, делится на единичную и биполярную.

                                                    (2)

                                                (3)

Из ступенчатых функций лучший результат даёт линейная пороговая функция с насыщением. У неё так же имеется минимальное и максимальное допустимое значение, но еще есть монотонно возрастающий участок.

                                              (4)

Для большинства случаев ступенчатой функции не хватает, чтобы выполнить необходимую задачу. В таком случае её сглаживают и используют логистическую функцию или сигмоиду. Плавное значение функции усиливает слабые сигналы, и не даёт сразу активироваться от сильных сигналов, от этого выходной сигнал становится точнее.

                                             (5)

 – параметр наклона функции активации

Рисунок 1. Сигмоидальная функция активации.

Многослойная нейронная сеть состоит из нескольких слоёв, это даёт возможность рассчитывать более сложные функции, в каждом слое может находиться разное количество элементов. Такая архитектура сети на сегодняшний день используется чаще всего.

                   (6)

 – функция активации, непрерывная монотонная функция

 – вектор весов

 – объект, вектор с присоединённым элементом 1 для веса

Рисунок 2. Модель многослойной нейронной сети

Полносвязная сеть хорошо работает при некоторых задачах на классификацию, имеет много недостатков, так как каждый последующий нейрон в сети должен быть связан с каждым предыдущим нейроном. Такие сети обладают своей памятью и в связи с произошедшими обстоятельствами могут достраивать недостающие элементы.

Существуют искусственные сети прямого распределения, которые передают информацию от нейрона к нейрону, только от входа к выходу. Но эти сети редко используют просто так, обычно их комбинируют с другими структурами.

Для разных задач используются разные архитектуры создания нейронных сетей, лучше всего для обработки звука и изображений подходят глубинные свёрточные сети. В такой сети все узлы свёрточного слоя соединены между собой, обработки изображений происходит не за один раз, а разбивается на мелкие части, которые обрабатываются друг за другом. Другими словами, если показать такой сети изображение тигра, то она выведет ответ: «Тигр».

Существуют обратные свёрточные нейронные сети или их еще называют развёрточные. Они действуют точно так же, только в обратную сторону. Сети дают определённое слово, например «Тигр», а она в ответ пытается найти все изображения, которые похожи на тигра.

Рекуррентные сети относятся к типу продвинутых конфигураций нейронных сетей. Информацию в таких сетях нейроны получают не только от предыдущих слоёв, но и от выходов из сети в предыдущем цикле. То есть, результат работы нейронной сети подаётся на вход этой же сети, таким образом, сеть начинает обучаться. Сети такого типа чаще всего используются для дополнения недостающих данных, а так же для составления и генерации текстов, когда слова в предложении связаны и зависят друг от друга.

Существует еще множество архитектур построения нейронных сетей, и с каждым годом их количество только растёт. Методы улучшаются, дополняются и комбинируются, количество слоёв внутри сети становится всё больше и больше. Каждый тип искусственных сетей можно улучшать и объединять с другими. Можно добавлять нейронам память, менять связи между ними, заменять функции активации и методы обучения, изменять количество слоёв, а так же подавать информацию не только на вход, но и на выход.

Нормальную работу нейронных сетей нельзя представить без обучения, так как все начальные значения весов задаются чаще всего случайным образом, и сеть, по сути, бесполезна. Поэтому, большое внимание уделяется не только архитектуре сети, но и методу, по которому она будет обучаться.

На самом деле, алгоритмов обучения искусственных нейронных сетей существуют большое количество. В рамках этой статьи рассматриваются преимущества и недостатки алгоритмов генетического обучения, основной целью которого является поиск оптимального решения задач оптимизации.

Генетические алгоритмы выигрывают во времени у стандартных моделей обучения, они быстрее подбирают нужные значения весовых коэффициентов.

Для того чтобы стандартные методы обучения нейронных сетей работали наиболее эффективно, следует задуматься над архитектурой сети, над методами активации функции и количестве слоёв. Зная область, в которой будет полезна нейронная сеть, стандартные методы обучения работают хорошо. Но это не всегда нет, если же задача неконтролируемая и ошибка на выходных слоях сети неизвестна, то стандартные методы обучения для таких случаев не годятся.

На фоне огромного разнообразия задач, которые стоят перед искусственными нейронными сетями, очень сложно подобрать нужную конфигурацию сети. Поэтому, в некоторых случаях будет проще и быстрее настроить генетический алгоритм, который сам выполнит эти задачи и настроит необходимые коэффициенты для весов нейронной сети.

Технологии не стоят на месте, развитие искусственных нейронных сетей продолжается. На сегодняшний день с настройкой и оптимизацией неизвестных задач лучше всего справляются генетические алгоритмы. Но с каждым днём появляются новые пути решения и методы работы в области искусственных нейронных сетей, а за объединением и комбинированием методов для их решения кроется большой потенциал.

Список литературы:

1. Коршунов Ю.М. «Математические основы кибернетики. Для студентов вузов», – М.: 1987 г. – 67-89с.
2. Д. Рутковская, М. Пилиньский, Л. Рутковский. Нейронные сети, генетические алгоритмы и нечеткие системы // Пер. с польского М.: Горячая линия-Телеком, 2004. – 452 с.
3. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейросетевые системы управления. — 1-е. — Высшая школа, 2002. — 184 с.
4. Курейчик В. М., Лебедев Б. К., Лебедев О. К. Поисковая адаптация: теория и практика. – М: Физматлит, 2006.  – 272 с.
5. В.Дюк, А. Самойленко. Data Mining: учебный курс (+CD ROM). - СПб: Питер, 2001. — 386 с.