ИНТЕЛЛЕКТУАЛЬНЫЕ ОБУЧАЮЩИЕ СИСТЕМЫ НА ОСНОВЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ И ГЕНЕТИЧЕСКИХ АЛГОРИТМАХ

Основное назначение обучающих систем - повышение уровня знаний и интеллекта обучаемых. Приобретенные ими знания зависят от трех составляющих: информации (содержания учебного материала), потребности обучаемого в их получении (наличии у него осознанной мотивации обучения) и его индивидуальная способность к накоплению этих знаний.

Отличительной особенностью интеллектуальной обучающей среды является большая роль, которая в процессе обучения отводится собственному интеллектуальному потенциалу учащегося. Достигается это объединением интеллектуальной обучающей среды и симуляторов познания. Интеллектуальная обучающая среда позволяет обращаться сразу ко всем уровням обучения и может быть использована педагогом широко профиля.

Искусственные нейронные сети (ИНС) и генетические алгоритмы (ГА) являются сравнительно молодыми направлениями исследований в области искусственного интеллекта и принятия решений. Обе концепции используют для функционирования аналоги природных принципов.

Процесс обучения ИНС может рассматриваться как настройка архитектуры сети, а также весов связей для эффективного выполнения поставленной задачи. Обычно нейронная сеть должна настроить веса по предоставленным обучающим примерам. Свойство сети обучаться на примерах делает их более привлекательными по сравнению с системами, которые работают по заранее заложенным алгоритмам.

Среди всех существующих методов обучения можно выделить два класса: детерминированный и стохастический.

Детерминированный итеративно корректирует параметры сети, основываясь на её текущих параметрах, величинах входов, фактических и желаемых выходов. Примером подобного метода является метод обратного распространения ошибки.

Стохастический методы изменяют параметры сети случайным образом. При этом сохраняются только те изменения, которые привели к улучшениям. В качестве примера стохастического метода бучения можно привести следующий алгоритм:

1. Выбрать параметры сети случайным

образом и подкорректировать их на небольшую случайную величину. Предъявить множество входов и вычислить получающиеся выходы.

2. Сравнить эти выходы с желаемыми и вычислить разницу между ними. Эта разница называется ошибкой. Цель обучения состоит в том, чтобы минимизировать ошибку.

3. Если ошибка уменьшилась коррекция сохраняется, в противном случае коррекция отбрасывается и выбирается новая.

Шаги 2 и 3 повторяются до тех пор, пока сеть не обучится.

Важно отметить, что стохастический метод обучения может попасть в «ловушку» локального минимума.

Генетический алгоритм — это метод перебора решений для тех задач, в которых невозможно найти решение с помощью математических формул. Однако простой перебор решений в сложной многомерной задаче – это бесконечно долго. Поэтому генетический алгоритм перебирает не все решения, а только лучшие. Алгоритм берёт группу решений и ищет среди них наиболее подходящие. Затем немного изменяет их – получает новые решения, среди которых снова отбирает лучшие, а худшие отбрасывает. Таким образом, на каждом шаге работы алгоритм отбирает наиболее подходящие решения (проводит селекцию), считая, что они на следующем шаге дадут ещё более лучшие решения (эволюционируют).

Он может применяться для подстройки весов скрытых и выходных слоев при фиксированном наборе связей и широко используется в задачах оптимизации и обучения нейронных сетей. В плане математической модели – это алгоритм нахождения глобального экстремума многоэкстремальной функции, заключающийся в параллельной обработке множества альтернативных решений.

При этом поиск концентрируется на наиболее перспективных из них.

Алгоритм использует следующие определения:

• ген – весовой коэффициент нейронной сети;
• хромосома – набор генов (т.е. весовых коэффициентов нейронной сети, считываемых в определенном порядке сверху вниз, справа налево); каждая хромосома является возможным решением (т.е. таким набором весовых коэффициентов, которые лучше подходят для определения экстремума);
• популяция – множество хромосом, вариантов наборов весовых коэффициентов;
• эпоха – итерация, соответствующая созданию нового поколения хромосом.

Хромосомы являются основными сущностями, над которыми в определенном порядке в пределах одной эпохи проводятся следующие операции:

• скрещивание – создание с определенной степенью вероятности (Pс) новой хромосомы из генов двух других и добавление ее в популяцию;
• мутация – изменение с определенной степенью вероятности (Pm) значения произвольного гена любой хромосомы и добавление ее в популяцию;
• приспособление – удаление из популяции хромосом (т.е. наборов весовых коэффициентов), показавших худший результат.

Моделирование ГА в Matlab

В качестве примера рассмотрим следующую функцию:

                     (1)

Функция имеет два локальных минимум, один в точке x = 0, и другой в точке = 21. Поскольку последнее значение является более меньшим, то глобальный минимум находится в точке = 21.

Рисунок 1. График функции (1)

initial range: [0; 1] - задание диапазона, в котором будут генерироваться случайные значения при создании начальной популяции.

Рисунок 2. Настройка параметра initial range [0;1]

Рисунок 3. Результат работы генетического алгоритма при initial range [0;1]

генетический алгоритм возвратил точку очень близкую к локальному минимуму в точке x = 0, но не являющейся глобальным экстремумом.

Один из способов настроить генетический алгоритм обрабатывать точки из более широкого диапазона, т.е. расширить диверсификацию семейств, заключается в увеличении параметра initial range. Параметр initial range не должен включать в себя точку x = 21, но он должен быть достаточно большим, так чтобы данный алгоритм генерировал индивидуализированные объекты вблизи x = 21.

Рисунок 4. Настройка параметра initial range [0; 15]

Рисунок 5. результат работы генетического алгоритма при initial range [0; 15]

генетический алгоритм возвратил точку очень близкую к x = 21, что удовлетворяет условию задачи.

Использование гибридной функции.

Гибридной функцией является некая оптимизационная функция, которая выполняется по окончанию работы генетического алгоритма и предназначена для улучшения значений функции пригодности. В качестве исходной точки в гибридной функции используется конечная точка Генетического алгоритма. Определить гибридную функцию можно с помощью опции Hybrid function.

В качестве примера выбран поиск минимума функции Розенброка (также известна, как вторая функция Де Йонга), которая является примером тестовой функции для локальных методов оптимизации, и имеет минимум 0 в точке (1,1), и определяется по формуле:

                                 (2)

Рисунок 6. График функции Розенброка

Рисунок 7. Результат работы опции Hybrid function

Конечная точка расчетов близка к точке истинного минимума (1,1). Имеется возможность улучшить результаты расчета путем установки в опции Hybrid function требуемой гибридной функции fminunc.

По окончании выполнения генетического алгоритма функция fminunc воспринимает конечную точку генетического алгоритма в качестве исходной и возвращает более точный результат:

Рисунок 8. Результат работы функции fminunc

Список литературы:

1. Бураков, М. В. Генетический алгоритм: теория и практика / М. В. Бураков. СПБГУАП, 2008. -164 с.
2. Бураков, М. В. Нейронные сети и нейроконтроллеры / М. В. Бураков. СПБГУАП, 2013. -284 с.