РЕШЕНИЕ ЗАДАЧИ КЛАССИФИКАЦИИ ПРИ ПОМОЩИ ИСПОЛЬЗОВАНИЯ МНОГОСЛОЙНОГО ПЕРСЕПТРОНА

В данной работе для решения задачи классификации выбран многослойный персептрон, представляющий собой обобщение однослойного персептрона [1]. Многослойный персептрон имеет несколько отличительных признаков: каждый нейрон имеет нелинейную функцию активации (всюду дифференцируемую), сеть содержит один или несколько слоев скрытых нейронов, сеть обладает высокой степенью связности (реализуется посредством синаптических соединений).

Также для многослойного персептрона выделяют два типа сигналов:

1. Функциональный сигнал – это входной сигнал сети, передаваемый по всей сети в прямом направлении. В каждом нейроне, через который передается функциональный сигнал, вычисляется некоторая функция (функция активации) от взвешенной суммы его входов с поправкой в виде порогового элемента - единичного сигнала с весовым коэффициентом w_ij.

2. Сигнал ошибки – это сигнал, берущий своё начало на выходе сети и распространяющийся в обратном направлении от слоя к слою. Сигнал ошибки вычисляется каждым нейроном на основе функции ошибки, представленной в той или иной форме.

Выходной слой сети составляют выходные нейроны. Остальные нейроны относятся к скрытым слоям. Первый скрытый слой получает данные из входного слоя. Второй скрытый слой получает на вход результирующий сигнал первого скрытого слоя, и так далее, до самого конца сети.

В данной работе многослойный персептрон взят с одним скрытым слоем, а в качестве функции активации выбрана логистическая функция. Общая структура двухслойной сигмоидальной сети представлена на рисунке 1, где  ( соответствует единичному сигналу порогового элемента) – вектор входных сигналов,  – вектор фактических выходных сигналов,  – вектор ожидаемых выходных сигналов, а  – соответствующие веса.

Рисунок 1. Обобщенная структура двухслойной сигмоидальной сети

Прежде чем классифицировать какие-либо данные, персептрон необходимо обучить. Цель обучения многослойного персептрона состоит в подборе таких значений весов  и а  для двух слоев сети, чтобы при заданном входном векторе  получить на выходе значения сигналов , которые с требуемой точностью будут совпадать с ожидаемыми значениями  для .

Для обучения многослойного персептрона используются методы обратного распространения ошибки, в которых после прохождения функционально сигнала в прямом направлении по всей сети происходит распространение сигнала ошибки (берущего начало на выходе сети и распространяющегося от слоя к слою в обратном направлении) и корректировка весов по формулам, соответствующим конкретным алгоритмам. В данной работе были реализованы алгоритм наискорейшего спуска и алгоритм RPROP.

В алгоритме наискорейшего спуска коррекция весовых коэффициентов производится по следующей формуле:

Уточнение весов проводится после предъявления каждой обучающей выборки (так называемый режим «онлайн»).

RPROP - это простой эвристический алгоритм, демонстрирующий высокую эффективность обучения (алгоритм М. Ридмиллера и Х. Брауна). В этом алгоритме при уточнении весов значение градиентной составляющей игнорируется, а учитывается только ее знак:

Коэффициент обучения  подбирается индивидуально для каждого веса  с учетом изменения значения градиента:

где ,  и  - константы: ; . Минимальное и максимальное значения коэффициента обучения составляют  и . Функция sgn( ) принимает значение, равное знаку градиента.

Уточнение весов для RPROP проводится однократно после предъявления всех обучающих выборок (режим «оффлайн»).

В результате выполнения данной работы была написана программа, имитирующая работу многослойного персептрона и проведено обучение сети по методам наискорейшего спуска и RPROP.

Также проведены исследования зависимости погрешности классификации для обоих алгоритмов от различных параметров.

В качестве данных для классифицирования использовались статистические данные по химическому составу разных типов стекол [2]. Сеть обучается классификации по 3 классам по 8 признакам, размер обучающей выборки варьируется от 10 до 50. В качестве погрешности обучения считается среднеквадратическое отклонение:

Где  - количество классов,  - объем обучающей выборки. Для расчета погрешности классификации используется формула:

Где  – количество верно классифицированных наблюдений,  – объем тестируемой выборки.

Из рисунка 2 видно, что в целом, погрешность классификации обоими алгоритмами уменьшается с увеличением объема выборки.

Рисунок 2. Зависимость погрешности классификации от объема обучающей выборки

Из рисунка 3 можно сделать вывод, что чрезмерное увеличение количества нейронов либо не влияет на погрешность классификации (для RPROP) либо ухудшает ее (алгоритм наискорейшего спуска).

Рисунок 3. Зависимость погрешности классификации от числа нейронов скрытого слоя

Исходя из рисунка 4, погрешности обоих алгоритмов уменьшаются с увеличением числа итераций, причем для алгоритма наискорейшего спуска уменьшение погрешности намного существеннее, чем для RPROP.

Рисунок 4. Зависимость погрешности классификации от числа итераций обучения

Исходя из проведенных исследований, можно сделать вывод, что для задачи классификации использование алгоритма обучения RPROP, с корректировкой весов «оффлайн», является более удачным решением, чем использование алгоритма наискорейшего спуска. Наилучшие результаты при классификации дает обучающая выборка размером 90, число нейронов скрытого слоя равное 11 и количество итераций равное 250.

Список литературы:

1. Солдатова О. П. Интеллектуальные системы. Курс лекций. [Текст]. — Самара: СГАУ, 2014. — 163 с
2. Glass Identification Data Set [Электронный ресурс] / Режим доступа: https://archive.ics.uci.edu/ml/machine-learning-databases/glass/