ОБЗОР АЛГОРИТМОВ ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ

В настоящее время информационные технологии развиваются невероятной скоростью. Основной тенденцией последнего десятилетия является разработка в области искусственного интеллекта. Данная сфера активно продвигается в современном обществе. Такие крупные IT компании как Google, Apple ведут свои разработки в части распознавания текста, голоса, образа.

Одна из технологий, позволяющей проводить обнаружение и распознавание образов, построена на нейронных сетях.

Актуальность темы нейронных сетей заключается в решении задач на оптимизацию процессов. Благодаря чему, система нейронной сети и процесс обучения позволяют найти оптимальное и эффективное решение.

Нейронная сеть – это система связанных и взаимодействующих друг с другом искусственных нейронов. Нейронная сеть сходна с мозгом с двух точек зрения:

1. знания поступают в нейронную сеть из окружающей среды и используются в процессе обучения;
2. для накопления знаний применяются связи между нейронами, называемые синаптическими весами.

Для накопления знаний и корректных вычислений, сеть должна пройти этап обучения. Существует два типа обучения:

1. обучение с учителем;
2. обучение без учителя.

Процесс обучения сети осуществляется по-разному в зависимости от поставленного алгоритма обучения. Рассмотрим два алгоритма направленных на обучение нейронных сетей.

Алгоритм обратного распространения ошибки – градиентный алгоритм обучения многослойной нейронной сети, основанный на минимизации среднеквадратичной ошибки на выходах сети.

Обучение алгоритмом обратного распространения ошибки предполагает два прохода по всем слоям сети: прямого и обратного. При прямом проходе входной вектор подается на входной слой нейронной сети, после чего распространяется по сети от слоя к слою. В результате генерируется набор выходных сигналов, который и является фактической реакцией сети на данный входной образ. Во время прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода все синаптические веса настраиваются в соответствии с правилом коррекции ошибок, а именно: фактический выход сети вычитается из желаемого, в результате чего формируется сигнал ошибки. Этот сигнал впоследствии распространяется по сети в направлении, обратном направлению синаптических связей. Синаптические веса настраиваются с целью максимального приближения выходного сигнала сети к желаемому.

Последовательность действий алгоритма обратного распространения ошибки выглядит следующим образом:

1. инициализировать синаптические веса;
2. выбрать очередную обучающую пару из обучающего множества, подать входной вектор на вход сети;
3. вычислить выход сети;
4. вычислить разность между выходом сети и требуемым выходом;
5. подкорректировать веса сети так, чтобы минимизировать ошибку;
6. повторять шаги с 2 по 5 для каждого вектора обучающего множества до тех пор, пока ошибка на всем множестве не достигнет приемлемого уровня.

Достоинства данного алгоритма заключается в том, что он является самым актуальным в задачах распознавания образов, а также имеет достаточно простую реализацию. К недостаткам можно отнести длительный процесс обучения и возможность быстрой сходимости сети, последнее означает попадание в локальный оптимум.

Генетический алгоритм – это эвристический алгоритм поиска, используемый для решения задач оптимизации и моделирования путём случайного подбора, комбинирования и вариации искомых параметров с использованием механизмов естественного отбора. Алгоритм является разновидностью эволюционных вычислений, с помощью которых решаются оптимизационные задачи с использованием методов естественной эволюции, таких как наследование, мутации, отбор и кроссинговер. Отличительной особенностью генетического алгоритма является акцент на использование оператора «скрещивания», который производит операцию рекомбинации решений-кандидатов, роль которой аналогична роли скрещивания в живой природе. Обучение нейронной сети с помощью генетического алгоритма осуществляется с помощью следующих этапов:

1. инициализация весовых коэффициентов случайными значениями, которые берутся из допустимого диапазона значений;
2. оценка приспособленности, т.е. вычисление значения функции пригодности для каждого члена популяции (хромосомы). Чем выше значение, тем больше особь отвечает требованиям поставленной задачи;
3. селекция – выбор особей, которые будут учувствовать в формировании нового поколения, осуществляется с помощью метода «рулетки». Критерием выбора является наибольшее значение оценки приспособленности.
4. скрещивание(кроссинговер)–один из наиболее важных операторов генетического алгоритма. Потомки содержат в себе комбинацию специфических особенностей обоих родителей, благодаря чему улучшается эффективность работы генетического алгоритма;
5. мутация –изменение значений генов что приводит к новым свойствам генетического материала;
6. формирование новой популяции – этап предназначен для того, чтобы вернуть популяцию к её исходному числу, тем самым удалить те особи, у которых значение функции пригодности наименьшая [2].

Главным достоинством генетического алгоритма является то, что он может применяться для решения сложных неформализованных задач, более того в отличии от алгоритма обратного распространения ошибки, генетический алгоритм в несколько раз быстрее производит сходимость глобального оптимума, тем самым обучая сеть намного раньше. Что касается недостатков, то к ним можно отнести отсутствие базы знаний и исчерпывающее время обучения сети.

Нейронные сети применяются в огромном количестве развивающихся автоматизированных технологиях. В данной статье были рассмотрены два алгоритма обучения нейронной сети. В результате обзора выделены достоинства и недостатки этих методов. Наиболее перспективным можно назвать генетический алгоритм.

Список литературы:

1. С. Хайкин. Нейронные сети: полный курс, 2-e издание.: Пер. с анrл. М. Издательский дом "Вильямс", 2006. 1104 с.: ил. Парал. тит. анrл.
2. Мищенко В.А., Коробкин А.А. Использование генетических алгоритмов в обучении нейронных сетей // Современные проблемы науки и образования. – 2011. – № 6.