АЛГОРИТМ  ОБУЧЕНИЯ  РЕКУРРЕНТНОГО  ПЕРСЕПТРОНА  С  СИММЕТРИЧНЫМИ  СВЯЗЯМИ

Борило  Илья  Анатольевич

аспирант  Томского  Государственного  университета,  РФ,  г.  Томск

E-mail: 

Слядников  Евгений  Евгеньевич

д-р  физ.-мат.  наук,  профессор  Томского  Государственного  университета,  РФ,  г.  Томск

E-mail: 

LEARNING  ALGORITHM  OF  RECURRENT  PERCEPTRON  WITH  SYMMETRIC  CONNECTION

Borilo  Ilya  Anatolyevich

phD  student  of  Tomsk  State  University,  Russia  Tomsk

Slyadnikov  Evgeniy  Evgenievich

dr.  phys.-Math.  Science,  professor  of  Tomsk  State  University,  Russia  Tomsk

АННОТАЦИЯ

В  статье  рассмотрен  рекуррентный  персептрон  с  симметричными  связями.  Приведены  несколько  модификаций  алгоритма  обратного  распространения  ошибки,  позволяющие  проводить  обучение  предложенной  модели  рекуррентного  персептрона.  На  примере  предсказания  элементов  процесса  Маккея-Гласса  проведено  экспериментальное  сравнение  предложенных  модификаций.

ABSTRACT

Recurrent  perceptron  with  symmetric  connection  is  described  in  the  article.  Modification  back  propagation  algorithm,  which  could  be  used  for  learning  of  described  recurrent  perceptron,  is  described.  Learning  efficiency  of  Mackey-Glass  process  prediction  is  compared.

Ключевые  слова:  рекуррентный  персептрон;  алгоритм  обратного  распространения  ошибки;  предсказание  последовательности.

Keywords:  recurrent  perceptron;  algorithms  of  backward  propagation  of  errors;  series  prediction.

В  тексте  статьи  приведено  описание  рекуррентного  персептрона  с  симметричными  связями.  Предложенная  модель  интересно  тем,  что  она  может  быть  использована  для  моделирования  обработки  информации  в  микротрубочке  цитосклета  [1—4].  При  этом  возникает  задача  обучения  предложенного  персептрона  для  аппроксимации  заданной  зависимости.  Новизна  поставленной  задачи  состоит  в  том,  что  на  коэффициенты  связи  нейронов  накладывается  дополнительное  ограничение:  любые  два  нейрона  связаны  прямой  и  обратной  связью,  причем  значения  коэффициентов  связи  одинаковы  —  при  этом  данный  персептрон  не  является  аттракторным,  т.  е.  рассматриваемый  персептрон  не  эквивалентен  персептрону  Хопфилда.  Разработка  данного  алгоритма  является  целью  данной  работы.  В  работе  рассматривалась  только  аппроксимация  числовых  последовательностей  (7),  значение  каждого  элемента  которых  зависит  от  конечно  числа  предыдущих  элементов. 

                      (1)

где:    —  элемент  последовательности  с  индексом  ;

  —  функция,  определяющая  следующий  элемент  последовательности  по    предыдущим  элементам  данной  последовательности. 

Далее  будем  рассматривать  аппроксимацию  функции  (1)  с  помощью  рекуррентного  персептрона  с  симметричными  связями.  В  данной  работе  будем  рассматривать  простую  топологию  такого  персептрона.  Персептрон  будет  состоять  из  двух  слоев,  причем  в  выходном  слое  будет  только  один  нейрон.  Значения  нейронов  в  скрытом  слое  будет  определяться  выражениями  (2)  и  (3);  значения  нейронов  в  выходном  слое  будут  определяться  выражениями  (4)  и  (5).

                          (2)

                                                (3)

                                             (4)

                                                  (5)

где:    —  потенциал  активации  нейрона  в  скрытом  слое  с  индексом  ;

  —  потенциал  активации  нейрона  в  выходном  слое  ;

  —  компонента  входного  вектора  с  индексом  ,  где  ,  ;

  —  значение  нейрона  в  скрытом  слое  с  индексом  ;

  —  значение  нейрона  в  выходном  слое,  которое  будет  оценкой  элемента  последовательности    с  индексом  ,  вычисленной  персептроном;

  —  коэффициент  связи  компоненты  входного  вектора  с  индексом    и  нейрона  в  скрытом  слое  с  индексом  ; 

  —  коэффициент  связи  нейрона  в  скрытом  слое  с  индексом    с  нейроном  выходным  слое,  одновременно  это  коэффициент  связи  предыдущего  значения  выходного  нейрона  с  нейроном  в  скрытом  слое  с  индексом  ; 

  —  число  нейронов  в  скрытом  слое. 

Процесс  обучения  такого  персептрона,  чтобы  он  аппроксимировал  заданную  последовательность  описываемую  (1),  будет  состоять  в  последовательной  коррекции  значений  коэффициентов  связи  персептрона  методом  градиентного  спуска,  где  изменение  значение  коэффициента  связи  будет  определяться  выражением  (6).

                                  (6)

где:    —  параметр  скорости  обучения.

Оценка  значения  (6)  вычисляется  с  помощью  алгоритма  обратного  распространения  ошибки  [5].  Значение  (6)  для  коэффициента    будет  равно  (7);  значение  (6)  для  коэффициента    будет  равно  (8).

                                 (7)

                                   (8)

Также  оценку  значений  (6)  для  коэффициентов    и    можно  вычислить,  используя  (9)  и  (10)  соответственно. 

                                   (9)

                          (10)

где:    —  дельта  функция.

Т.  к.    в  (2),  где    —  погрешность  аппроксимации,  то  чем  больше  будет  значение  ,  тем  больше  будет  погрешность  оценки  .  Поэтому  логично  наложить  ограничение  на  значения  коэффициентов  ,  ,  где    —  некоторая  константа. 

Далее  будем  рассматривать  четыре  возможные  реализации  алгоритма  обучения  рекуррентного  персептрона:  с  использованием  (7)  и  (8)  (BP7_8),  с  использованием  (7)  и  (8)  с  ограничением  значений  коэффициентов  (BP7_8_bord),  с  использованием  (9)  и  (10)  (BP9_10),  с  использованием  (9)  и  (10)  с  ограничением  значений  коэффициентов  (BP9_10_bord).

Экспериментальное  сравнение  предложенных  реализаций  было  приведено  на  задаче  предсказания  последовательности  значений  процесса  Маккея-Гласса  [6].  Данная  последовательность  описывается  выражением:

                                (10)

где  ,  ,  .  Пример  такой  последовательности  приведен  на  рисунке  1.

Рисунок  1.  График  последовательности  Маккея-Гласса

В  эксперименте  использовалась  последовательность,  состоящая  из  5000  элементов  такой  последовательности.  Первые  1000  не  рассматривались.  2000  элементов  использовались  как  обучающая  выборка,  1000  использовались  как  тестовая  выборка,  1000  элементов  использовались  как  валидационную  выборку.  Обучающая  выборка  использовалась  для  оценки  значений  (6).  По  тестовой  выборке  определялась  остановка  процесса  обучения.  Валидационной  выборке  определялась  окончательная  ошибка  равная  (11).

                                      (11)

Количество  нейронов  в  скрытом  слое  во  всех  рассматриваемых  персептронах  было  равно  5.  В  результате  были  получены  следующие  данные  для  ошибки  на  валидационной  выборке,  приведенные  в  таблице  1.

Таблица  1.

Название  таблицы

Наилучшие  результаты  были  получены  для  алгоритма  обучения  с  использованием  (7)  и  (8)  с  ограничением  коэффициентов  связи  .  Причем  результаты  для  алгоритмов  с  ограничениями  коэффициентов  связи    лучше  на  порядки  результатов  алгоритмов  без  ограничения. 

Из  чего  можно  сделать  вывод,  что  для  предложенного  персептрона  применим  алгоритм  обучения  обратного  распространения  ошибки  со  следующими  модификациями:  градиент  оценивается  по  (7)  и  (8),  на  значения  коэффициентов  связи  накладывается  ограничение.

Список  литературы:

1.Слядников  Е.Е.  Физическая  модель  и  ассоциативная  память  информационной  биомакромолекулы  //  Журнал  технической  физики.  —  2007.  —  Т.  32.  —  №  8.  —  С.  52—59.

2.Слядников  Е.Е.  О  взаимосвязи  физических  и  информационных  характеристик  в  окрестности  точки  сегнетоэлектрического  перехода  в  системе  микротрубочки  цитоскелета  //  Журнал  технической  физики.  —  2009.  —  Т.  79.  —  №  7.  —  С.  1—12.

3.Слядников  Е.Е.  Микроскопическая  модель  и  фазовая  диаграмма  дипольной  системы  микротрубочки  цитоскелета  при  конечных  температурах  //  Журнал  технической  физики.  —  2010.  —  Т.  80.  —  №  5.  —  С.  32—39.

4.Слядников  Е.Е.  Физические  основы,  модели  представления  и  распознавания  образов  в  микротрубочке  цитоскелета  нейрона  //  Журнал  технической  физики.  —  2011.  —  Т.  81.  —  №  12.  —  С.  1—33.

5.Rumelhart,  David  E.;  Hinton,  Geoffrey  E.,  Williams,  Ronald  J.  Learning  representations  by  back-propagating  errors  //Nature.  —  1986.  —  vol.  323.  —  №  6088.  —  P.  533—536.

6.Mackey  M.C.,  L.  Glass.  Oscillation  and  chaos  in  physiological  control  systems  //  Science.  —  1977.  —  vol.  197.  —  №  4300.  —  P.  287—289.