НЕЙРОСЕТИ: ИЗУЧЕНИЕ ДОСТУПНОСТИ И АКТУАЛЬНОСТИ В СОВРЕМЕННОМ ОБЩЕСТВЕ

Данные тезисы раскрывают процесс работы нейронных сетей, их структуру и способы обучения.

Нейронные сети – это модели, пытающиеся имитировать работу мозга. Нейронные сети, смоделированные по образцу мозга, также используются при решении различного рода сложных задач, но есть некоторые тонкости. Человеческий мозг можно рассматривать как объект, обрабатывающий информацию. Он получает информацию из внешней среды через органы чувств и обрабатывает ее для формирования внутренних моделей внешних явлений. Мозг особенно способен корректировать эти модели, а также интерполировать или экстраполировать их в соответствии с новыми ситуациями с такой гибкостью, что он может принимать надежные решения, включая распознавание закономерностей, понимание концепций и составление прогнозов даже на основе частичной информации, которая может быть случайной или зашумленной.

Нейросеть напоминает мозг в двух направлениях: 1) Знания накапливаются нейронной сетью в процессе обучения. 2) Сильные связи (или синаптические веса) между нейронами используются для хранения и накопления знаний, он же обладает естественной склонностью хранить эмпирические знания и делать их доступными для использования. Нейронные сети способны прогнозировать временные ряды, в которых прогнозируется следующий результат или исходы для следующих нескольких временных шагов. Это достигается путем фиксации временных закономерностей в данных в виде прошлой памяти, которая встроена в модель. Существует множество нейронных сетей со специальными функциями, которые были разработаны для выполнения вышеуказанных задач; некоторые из наиболее подходящих для моделирования научных данных. Именно поэтому, нейронные сети выполняют множество задач, например, прогнозы или аппроксимацию функций, кластеризацию и прогнозирование, классификацию шаблонов, генерацию, классификацию, регрессию, принятие решение в управлении и т.д. Нейронные сети очень эффективны при подгонке моделей к данным.

Они могут подгонять сколь угодно сложные нелинейные модели к многомерным данным с любой желаемой точностью. С функциональной точки зрения их можно рассматривать как расширения некоторых многомерных методов, таких как множественная линейная регрессия и нелинейная регрессия. Мощная особенность метода неконтролируемой нейронной кластеризации (самоорганизация), заключается в том, что он также может одновременно выявлять пространственные отношения между кластерами данных при поиске самих кластеров.

КАК ИМЕННО РАБОТАЕТ НЕЙРОСЕТЬ?

Нейроны - это основные вычислительные единицы, выполняющие локальную обработку данных внутри сети и образующие массивно параллельные сети, функция которых определяется тем, с чем нейроны связаны друг с другом (со структурой сети), силой связей между нейронами и обработкой, которую выполняют сами нейроны.

Биологический нейрон состоит из трех основных компонентов: дендриты, которые передают входные сигналы, взвешенные по силе соединения, в тело клетки; тело клетки, которое накапливает взвешенные входные сигналы и далее обрабатывает эти сигналы; и аксон, который передает выходной сигнал другим нейронам, которые подключены к нему. Другие нейроны, которые получают этот выходной сигнал (и выходные сигналы от других нейронов), в свою очередь обрабатывают информацию локально и передают выходной сигнал другим нейронам до тех пор, пока процесс не будет завершен и концепция не будет сгенерирована или пересмотрена, или не будет предпринято действие. Каждый входной сигнал сначала соответствующим образом взвешивается, а взвешенные входные данные суммируются и обрабатываются с помощью функции ввода–вывода внутри нейрона для получения выходного сигнала.

Сигналы (входные данные) от одного нейрона передаются другому нейрону через соединения между ними. Первый нейрон посылает сигналы двум последним, которые получают дополнительные сигналы от других подключенных к ним нейронов. Организуя нейроны таким образом, в мозге формируются массовые параллельные сети. В биологических нейронах сигналы имеют электрическую природу и генерируются в результате разница в концентрации ионов калия (KC) и натрия (NaC) внутри клеток и вне их. Сигнал передается от одного нейрона к другому посредством высвобождения нейромедиаторов, что приводит к генерированию электрического потенциала в принимающем нейроне.

ПОПЫТКИ МОДЕЛИРОВАНИЯ ОБРАБОТКИ ИНФОРМАЦИИ В НЕЙРОНАХ

Интерес к моделированию биологических нейронных сетей возник в 1940-х годах. Первоначальные попытки моделирования были предприняты в области биологии, когнитивных наук и смежных областях и стимулировались возможностью того, что модели могут объяснить работу мозга на основе наблюдений, сделанных нейробиологами и учеными-когнитивистами. Чтобы имитировать биологические сети, важно смоделировать обработку информации в отдельных нейронах. Это включает в себя понимание того, как сигналы синтезируются нейроном для получения выходного сигнала, и как нейроны работают сообща для получения результата. Это также требует понимания механизмов обучения в нейронных сетях на основе данных, что имеет решающее значение для развития памяти или знаний в сети, что, в свою очередь, позволяет модели выполнять некоторые мозгоподобные функции.

Нейронные вычисления прошли несколько различных этапов. Ранние попытки происходило с начала 20-го века примерно до 1969 года; с 1969 по 1982 год были более спокойные годы, и 1982 год ознаменовался возрождением деятельности, которая способствовала росту нейронных сетей, который продолжается и по сей день.

Пороговый нейрон - это простая модель, разработанная в качестве простого приближения к биологическим нейронам Маккаллохом-Питтсом в 1940 году. Это послужило отправной точкой для разработки нейронных сетей и методов обучения, которые последовали позже. Он использует пороговую функцию в нейроне для преобразования входных данных в выходные, выдавая на выходе либо 0, либо 1. Это упрощенно с биологической точки зрения, потому что реальные нейроны, по-видимому, обладают непрерывными выходными сигналами. Модельный нейрон также имеет фиксированные веса, поэтому он не обучается. Это связано с тем, что в то время не было известно, как адаптировать силу связей (веса) между нейронами. В первоначальном проекте пороговые нейроны использовали двоичные входы (1 или 0), а Маккаллок и Питтс продемонстрировал, что даже эти простые нейроны могут быть организованы в параллельные сети, которые могут выполнять некоторые сложные задачи классификации.

Основным недостатком порогового нейрона является то, что он не обучается. В 1949 году Дональд Хебб, психолог, предложил механизм, посредством которого обучение может происходить в нейронах в обучающей среде. В своей книге "Организация поведения" Хебб определил метод обновления весов между нейронами, который стал известен как хеббианское обучение. Ключевыми моментами его вклада являются: Он заявил, что информация в сети хранится в весах или соединениях между нейронами. Он постулировал, что изменение веса между двумя нейронами пропорционально произведению значений их активации (выходов нейронов), что позволило математически сформулировать концепцию о том, что более сильное возбуждение между нейронами приводит к увеличению веса между ними. Он предложил теорию сборки нейронов, предполагая, что по мере того, как обучение происходит путем многократной и одновременной активации группы слабосвязанных нейронов, сила и структура весов между ними претерпевают постепенные изменения, приводящие к формированию скопления сильно связанных нейронов.

Вышеприведенные идеи обучения были продиктованы хорошо известными концепциями классического, или павловского, обусловливания, установленными в ходе экспериментов на животных, которые подтвердили тот факт, что при повторном воздействии раздражителя в мозге происходит обучение. Эти результаты убедительно подтвердили гипотезу о том, что обучение включает в себя формирование новых связей между нейронами, которые становятся сильнее при повторном воздействии стимула.

ОБУЧАЮЩИЕ МОДЕЛИ ДЛЯ НЕЙРОНОВ И НЕЙРОННЫХ СБОРОК

Основным недостатком порогового нейрона является то, что он не обучается. В 1949 году Дональд Хебб, психолог, предложил механизм, посредством которого обучение может происходить в нейронах в обучающей среде. В своей книге "Организация поведения" Хебб определил метод обновления весов между нейронами, который стал известен как Хеббианское обучение. Ключевыми моментами вклада Хеббианского обучения являются несколько особенностей.

По мнению Хебба, информация в сети хранится в весах или связях между нейронами. Он выяснил: изменение веса между двумя нейронами пропорционально произведению значений их активации, это позволило с точки зрения математики сформулировать концепцию о том, что более сильное возбуждение между нейронами приводит к увеличению веса между ними. Хебб построил теорию сборки нейронов, которая предполагает, что по мере того, как обучение происходит путем многократной и одновременной активации группы слабосвязанных нейронов, сила и структура весов между ними терпят серьёзные и постепенные изменения, которые приводят к образованию скоплений сильно связанных нейронов.

Результаты вышеперечисленных идей Хеббианского обучения, которые подтвердили тот факт, что при повторном воздействии раздражителя в мозге происходит обучение, убедительно подтвердили гипотезу о том, что обучение включает в себя формирование новых связей между нейронами, которые становятся сильнее при повторном воздействии стимула. Данный метод обучения позволяет нейронам обучаться, регулируя их вес в обучающей среде.

РЕАЛИЗАЦИЯ ОБУЧЕНИЯ В НЕЙРОННОЙ СБОРКЕ (ПЕРСЕПТРОН)

Исследования по моделированию процесса обучения в нейронных сетях восходят к Фрэнку Розенблатту, заложившему в 1950-х годах основы области адаптивных нейронных вычислений. Он считал, что пороговый нейрон не подходит для моделирования таких функций мозга, как когнитивные способности(познание), т.к. он недостаточно гибок, чтобы учиться и адаптироваться к окружающей среде. Но зато он сосредоточился на том, что мозг учится на опыте, реагирует сходными способами на сходные переживания группирует сходные переживания вместе и отличает их от непохожих переживаний, несмотря на неточность в первоначальной проводке в мозге.

Розенблатт предложил первую нейронную модель, получившую название персептрон, которая была способна научиться классифицировать определенные наборы паттернов как похожие или непохожие, изменяя их связи и заставляя пороговые нейроны обучаться с помощью Хеббианского обучения. Розенблатт использовал биологическое зрение для своей сетевой модели. Он продемонстрировал множество возможных сетевых структур для решения этой задачи, представил две важные концепции обучения — неконтролируемое и контролируемое обучение — для обучения персептронных сетей. Данные концепции являются основой нейронного обучения и в сегодняшние дни.

НЕКОНТРОЛИРУЕМОЕ ИЛИ КОНКУРЕНТНОЕ ОБУЧЕНИЕ

Конкурентное обучение, также называемое неконтролируемым обучением, предполагает, что сеть учится правильно реагировать самостоятельно, без привлечения внешнего агента, в котором хранятся помеченные выходные данные (фактический результат). Когда входные данные поступают в персептрон различные ассоциативные нейроны становятся активными, а они, в свою очередь, активируют некоторые ответные нейроны.

Реагирующий нейрон, получивший наибольшую входную информацию, подавляет другие клетки в том же слое и становится победителем. Победитель выдает результат работы сети, который может быть неявным действием восприятия, таким как классификация паттернов. Таким образом, ответные нейроны становятся все более чувствительными к типу входных данных, на которые они первоначально реагируют; со временем различные ответные нейроны учатся специализироваться, реагируя на определенные входные данные.

КОНТРОЛИРУЕМОЕ ОБУЧЕНИЕ (ОБУЧЕНИЕ ПОД НАБЛЮДЕНИЕМ)

Контролируемое обучение является наиболее распространенным методом обучения нейронных сетей, когда модель обучается на наборе помеченных данных для прогнозирования результатов на новых данных. Этот метод применяется в таких проектах, как классификация изображений, обработка естественного языка и автономное вождение. Контролируемое обучение не предполагает конкуренции, но использует внешнего агента (фактический результат) для каждого входного шаблона, который направляет процесс обучения.

Существует несколько форм обучения под наблюдением. Самая простейшая из них - это принудительное обучение. Оно работает так: одновременно с представлением входного паттерна соответствующий ответный нейрон приводится в действие извне. Активные ассоциативные нейроны питают этот нейрон и увеличивают силу связи, и со временем этот ответный нейрон становится более чувствительным к этому входному паттерну и учится правильно классифицировать его без какого-либо внешнего воздействия.

Другой формой контролируемого обучения является обучение с подкреплением, при котором сеть получает обратную связь независимо от того, является ли результат положительным или отрицательным, и использует данную информацию для улучшения своей реакции с течением времени. Эти два метода подразумевают Хеббианское обучение.

Третья форма контролируемого обучения и самая продвинутая, потому что она выросла из всех вышеперечисленных методов-это обучение с исправлением ошибок, в настоящее время широко известное как контролируемое обучение, при котором показывается фактическое значение правильного выходного сигнала, сети и веса корректируются до тех пор, пока фактическая разница между выходным сигналом ответных нейронов и правильным выходным сигналом не станет приемлемой.

Данная идея, которая используется, например, в широком MLP (многослойном персептроне) звучит сложнее, чем Хеббианское обучение, и она была развита в более мощные методы обучения, основанные на градиенте ошибок.

Список литературы:

1. Sandhya Samarasinghe Neural Networks for Applied Sciences and Engineering: From Fundamentals to Complex Pattern Recognition. - М.: Auerbach Publications, 2006. - 570 с.