ОПЫТ ПРИМЕНЕНИЯ ВДОХНОВЛЕННЫХ ПРИРОДОЙ МЕТА-ЭВРИСТИЧЕСКИХ АЛГОРИТМОВ ДЛЯ ГЛУБОКОГО ОБУЧЕНИЯ НЕЙРОННЫХ СЕТЕЙ

Ключевые слова: нейронные сети, ИНС, глубокое обучение, мета-эвристические алгоритмы, алгоритм поиска кукушку, алгоритм светлячков, генетический алгоритм.

Введение

Алгоритмы, вдохновленные природой, являются мета-эвристическими алгоритмами. Источником вдохновения для алгоритмов может быть естественная биологическая система, эволюция, человеческая деятельность, групповое поведение животных и т.д., например, биологический человеческий мозг, вдохновил на создание модели искусственной нейронной сети (ИНС), генетический алгоритм (ГА) вдохновлен теорией эволюции, алгоритм поиска кукушки (CSA), вдохновлен поведение при рождении кукушки, искусственная пчелиная колония (ИПС) получила вдохновение от поведения пчел. Эти алгоритмы признаны очень эффективными и действенными в решении реальных задач по оптимизации лучше, чем обычные алгоритмы, благодаря их способности эффективно обрабатывать в высшей степени нелинейные и сложные проблемы, особенно в науке и техники.

ИНС — это последний и крупный прорыв в области искусственного интеллекта. Модель ИНС активно используется в решении сложных проблем реального мира в области применения машинного обучения, в таких областях как здравоохранение, сельское хозяйство, автомобильная промышленность, финансы и др.

Однако ИНС, зачастую, обучается с использованием алгоритма обратного распространения, имеющего такие проблемы, как попадание в локальный минимум и чрезмерная подгонка тренировочных данных. Для решения данных проблем, многие исследователи предлагают использовать алгоритмы, вдохновленные природой для обучения искусственных нейронных сетей.

1 Глубокое обучение

Понятие глубокое обучение появилось еще в 1940-х годах, но стало набирать популярность только с 2006 года по настоящее время в связи с технологическим прогрессом в области вычислительной техники, с появлением высокопроизводительных вычислительных систем, GPU и появлением крупномасштабных данных.

Успех алгоритма машинного обучения в значительной степени зависит от данных, с помощью которых происходит обучение сети. Глубокое обучение играет жизненно важную роль в обработке крупномасштабных данных, потому что оно может обнаружить ценные скрытые «знания».

Глубокое изучение показало отличные результаты в различные области применения, включая анализ изображений и видео, естественные обработка языка, анализ текста, обнаружение объектов, обработка речи и уменьшение размеров изображения [1].

2 Применение алгоритмов, вдохновленных природой для глубокого обучения

Применение алгоритмов, вдохновленных природой, для обучения ИНC является предметом обсуждения в научном компьютерном сообществе. Те, кто выступает против применения алгоритмов, вдохновлённых природой, утверждают, что локальные минимумы, которые решаются с помощью этих алгоритмов не являются серьезной проблемой. Поэтому применение алгоритмов, вдохновленных природой для обучения ИНС при решении проблемы локальных минимумов, не стоит усилий. Считается, что проблема попадания в локальный минимум вызвана перестановкой в скрытых слоях ИНС, которые могут быть разрешены путем минимизации ошибок [2].

Однако, с другой стороны, ученые утверждают, что применение алгоритмов, вдохновленных природой, для обучения ИНС имеет свои сильные стороны – подбор оптимальных весов. Алгоритмы, вдохновленные природой, могут найти наилучшее оптимальное решение, которое очень трудно реализовать при минимальных вычислительных затратах. Поэтому применение этих алгоритмов в глубоком обучении требуют тщательного изучения для раскрытия преимуществ.

Рассмотрим некоторый практический опыт применения алгоритмов, вдохновленные природой.

2.1 Алгоритм светлячков для обучения глубокой сети доверия (DBN)

Алгоритм светляка (FFA- Firefly Algorithm) — это один из алгоритмов, вдохновленный природой, который используется для оптимизации параметров архитектуры глубокого обучения, например DNN (Deep Neural Network). Например, [3] FFA в DBN (FFA-DBN) используется для калибровки параметров для восстановления изображения. DBN калибровка выполняется автоматически FFA, чтобы исключить ручной метод калибровки. FFA-DBN применяется для реконструкции бинарных изображений. Результаты показывают, что FFA-DBN превосходит классические алгоритмы.

2.2 Алгоритм поиска кукушки для обучения глубокой сети доверия (DBN)

Алгоритм поиска кукушки - (CSA - Cuckoo Search Algorithm) является одним из активных алгоритмов, которые занимают видное место в литературе. Он находит применение в глубоком обучении для оптимизации параметров. Например, [4] тонкая настройка параметров выполняется с помощью CSA. Преимущество CSA-DBN заключается в следующем - настройка происходит по нескольким наборам данных. Предложенные результаты показывают, что CSA-DBN работает лучше, чем классические алгоритмы.

2.3 Генетический алгоритм для обучения сверточной нейронной сети

ГА - один из самых ранних алгоритмов, вдохновленных природой, который побудил исследователей предложить различные варианты алгоритмов, вдохновленных природой. Он широко использовался в решение задач оптимизации. ГА используется для оптимизации параметров глубокой модели обучения. Например, [5] применил ГА и грамматическую эволюцию, чтобы уменьшить ручная процедура проб и ошибок при определении параметров ConvNet (GAConvNet и GEConvNet). Эволюционные алгоритмы используются для определения Архитектура ConvNet и гиперпараметры.

Результаты показали, что GAConvNet и GEConvNet повышает производительность классической ConvNet.

2.4 Алгоритм гравитационного поиска для обучения сверточной нейронной сети

Например, алгоритм гравитационного поиска (GSA - Gravitational Search Algorithmfor) используется в ConvNet, чтобы улучшить его производительность и избежать попадание в локальный минимум. GSA используется для обучения ConvNet в сочетании с алгоритм обратного распространения. GSA-ConvNet используется для улучшения эксплуатационных характеристик обычного ConvNet [6].

Заключение

В данной статье приводится информация о последних практических опытах применения алгоритмов, вдохновленные природой, для глубокого обучения модели ИНС.

Эксперты исследователи могут использовать эту работу в качестве ориентира для развития области исследований, в то время как начинающие исследователи могут использовать статью как исходный материал для чтения, чтобы начать исследование в этой области.

Список литературы:

1. Родзин С.И., Скобцов Ю.А., Эль-Хатиб С.А. Биоэвристики: теория, алгоритмы и приложения: монография – Чебоксары: ИД «Среда», 2019. – 224 с.
2. Y. LeCun, Y. Bengio, and G. Hinton, "Deep learning," nature, vol. 521, p. 436, 2015.
3. G. Rosa, J. Papa, K. Costa, L. Passos, C. Pereira, and X.-S. Yang, "Learning parameters in deep belief networks through firefly algorithm," in IAPR Workshop on Artificial Neural Networks in Pattern Recognition, 2016, pp. 138-149.
4. D. Rodrigues, X.-S. Yang, and J. Papa, "Fine-tuning deep belief networks using cuckoo search," in Bio-Inspired Computation and Applications in Image Processing, ed: Elsevier, 2017, pp. 47-59.
5. A. Baldominos, Y. Saez, and P. Isasi, "Evolutionary convolutional neural networks: An application to handwriting recognition," Neurocomputing, vol. 283, pp. 38-52, 2018.
6. L.-O. Fedorovici, R.-E. Precup, F. Dragan, R.-C. David, and C. Purcaru, "Embedding gravitational search algorithms in convolutional neural networks for OCR applications," in Applied Computational Intelligence and Informatics (SACI), 2014 7th IEEE International Symposium on, 2012, pp. 125-130.