КАПСУЛЬНЫЕ НЕЙРОННЫЕ СЕТИ

Современные задачи компьютерного зрения требуют эффективного решения таких проблем, как распознавание изображений, обработка естественного языка, обнаружение объектов, сегментация объектов и языковой перевод. Символический искусственный интеллект с его жесткими правилами кодирования неспособен решить эти сложные проблемы, приводящие к внедрению моделей глубокого обучения (DL), таких как рекуррентные нейронные сети и сверточные нейронные сети (CNN). Тем не менее, CNN требуют большого количества обучающих данных и не способны распознавать позу и деформацию объектов, что приводит к внедрению капсульных сетей. Капсульные сети - это новая сенсация в Deep Learning.

Главная проблема CNN заключается в неспособности определять пространственное расположение элементов, изучаемого объекта.

Чтобы решить эту проблему, Хинтон предложил использовать процесс под названием «маршрутизация по соглашению». Это означает, что объекты более низкого уровня (пальцы, глаза, рот) будут отправляться только в слой более высокого уровня, который соответствует его содержанию. Если содержащиеся в нем черты напоминают глаза или рот, они попадут в «лицо» или, если в них есть пальцы и ладонь, будут отправлены в «руку». Это полное решение, которое кодирует пространственную информацию в функции, а также использует динамическую маршрутизацию (маршрутизация по соглашению), было представлено одним из самых влиятельных людей в области глубокого обучения, Джеффри Хинтоном, на NIPS 2017.

Когда мы конструируем объекты с помощью рендеринга в компьютерной графике, мы должны указать и предоставить некоторую геометрическую информацию, которая сообщает компьютеру, где нарисовать объект, масштаб этого объекта, его угол, а также другую пространственную информацию. Эта информация представлена ​​в виде объекта на экране. Но что, если бы мы могли извлечь эту информацию, просто посмотрев на объект на изображении? Это процесс, на котором основаны капсульные сети, обратный рендеринг.

Давайте посмотрим на капсулы и как они решают проблему предоставления пространственной информации.

Когда мы смотрим на логику, которая стоит за CNN, мы начинаем замечать, где его архитектура терпит неудачу. CNN ищет только выразительные части на изображениях и не обращает внимания на их позу.

Капсульные сети решают эту проблему путем реализации групп нейронов, которые кодируют пространственную информацию, а также вероятность присутствия объекта. Длина капсульного вектора - это вероятность наличия элемента в изображении, а направление вектора будет представлять информацию о его позе.

Капсула - это группа нейронов, вектор активности которых представляет параметры реализации конкретного типа объекта, такого как объект или часть объекта.

В приложениях компьютерной графики, таких как дизайн и рендеринг, объекты часто создаются путем предоставления какого-либо параметра, из которого он будет отображаться. Однако в капсульных сетях все наоборот, когда сеть учится обратному рендерингу изображения, глядя на изображение и пытаясь предсказать, каковы параметры его создания.

Она изучает, как предсказать, пытаясь воспроизвести объект, который, как она думает, обнаружила, и сравнивая его с помеченным примером из обучающих данных. Делая это, она становится все лучше и лучше в прогнозировании параметров реализации.

Основная идея заключается в том, чтобы создать эквивалентность между капсулами. Это означает, что перемещение объекта на изображении также изменит его векторное представление в капсулах, но не вероятность его существования. После того, как капсулы более низкого уровня обнаруживают особенности, эта информация отправляется в капсулы более высокого уровня, которые хорошо подходят для него.

В то время как капсульные сети достигли хорошего уровня производительности в простых наборах данных, с более сложными справляется неудовлетворительно. Это связано с тем, что избыточное количество информации, найденной на изображениях, сбрасывает капсулы. Однако концепция является обоснованной, и улучшение архитектуры сможет полностью изменить подход к решению некоторых прикладных задач.

Список литературы:

1. Capsule Neural Networks [Электронный ресурс]. – Режим доступа: https://towardsdatascience.com/capsule-neural-networks-part-2-what-is-a-capsule-846d5418929f (дата обращения: 17.10.19)
2. Understanding Hinton’s Capsule Networks [Электронный ресурс]. – Режим доступа: https://analyticsindiamag.com/why-do-capsule-networks-work- better-than-convolutional-neural-networks/ (дата обращения: 15.10.19)
3. Capsule Networks: A new and attractive AI architecture [Электронный ресурс]. – Режим доступа: https://heartbeat.fritz.ai/capsule-networks- a-new-and-attractive-ai-architecture-bd1198cc8ad4 (дата обращения: 15.10.19)