ПРИМЕНЕНИЕ СЕТИ CYCLEGAN В ЗАДАЧЕ ИМИТАЦИИ ПРИРОДНЫХ ЭФФЕКТОВ НА ИЗОБРАЖЕНИИ

APPLICATION OF THE CYCLEGAN NETWORK IN THE PROBLEM OF IMITATION OF NATURAL EFFECTS ON THE IMAGE

Sergei Okunev

1st year student, Department of Informatics and Computer Engineering, Reshetnev Siberian State University of Science and Technology,

Russia, Krasnoyarsk

АННОТАЦИЯ

В данной статье рассмотрена задача перевода изображений на основе сетей глубокого обучения, представлены основные проблемы возникающие при решении задачи перевода изображений, рассмотрена сеть CycleGAN, ее архитектура, принцип работы и применение в задаче перевода изображений.

ABSTRACT

This article discusses the problem of image translation based on deep learning networks, presents the main problems that arise when solving the problem of image translation, considers the CycleGAN network, its architecture, principle of operation and application in the task of image translation.

Ключевые слова: глубокое обучение, CycleGAN, стилизация изображений, генеративно-состязательные нейронные сети.

Keywords: deep learning, CycleGAN, image stylization, generative adversarial neural networks.

Перевод изображений – это задача машинного обучения для ввода одного изображения и вывода того же изображения, но с разными атрибутами. Например, превращение летних сцен в зимние, дневных в ночные и т.п. Преобразование изображения в изображение дает один из самых захватывающих и впечатляющих результатов в области компьютерного зрения. Используя генеративные состязательные сети (GAN), метод pix2pix приобрел огромную популярность.

Проблематика данной задачи заключается в том, что в настоящее время большинство ИИ требует, чтобы в качестве обучающих данных имелись изображения, которые точно соответствуют как входному, так и целевому изображению. Например, для обучения нейронной сети, которая могла бы изменить время суток на фотографии из ночи в день или, допустим, преобразовать солнечный день в дождливый, потребуется большой набор данных соответствующих фотографий.

То есть необходимо будет делать фотографии улицы в дневное и ночное время, снятое с одного и того же места, с объектами - транспортными средствами, деревьями, пешеходами – в одном и том же месте.

Одной из основных проблем, возникающих в процессе обучения генеративно-состязательных нейронных сетей, является проблема нехватки данных. Зачастую возникает ситуация, когда необходимых данных попросту недостаточно для качественного обучения. Для успешного обучения и получения точного результата данных должно быть много. В ряде случаев, процесс сбора необходимой информации для обучения сам по себе превращается в мини-проект.

Применение CycleGAN в задаче стилизации изображений.

В качестве среды реализации для стилизации и трансформации изображений природных объектов рассмотрим Cycle Generative Adversarial Network (CycleGAN), которая является подходом к обучению глубоких сверточных сетей для задач перевода изображения в изображение [1].

CycleGAN – это тип генеративно-состязательной нейронной сети, используемой для переноса стиля изображения. При этом данная сеть имеет в своей архитектуре два генератора и два дискриминатора. CycleGAN способна распознавать объекты на изображениях исходного класса и выполнять необходимые преобразования для соответствия внешнему виду объекта на изображениях целевого класса. Первоначальная реализация этого алгоритма была обучена «превращению» лошадей в зебр, яблок в апельсины и фотографий в картины [2].

В отличие от других GAN-сетей для задач трансформации изображений, CycleGAN использует отображение между одним доменом изображения и другим, используя неконтролируемый подход. Например, если есть необходимость в переводе изображения лошади в изображение зебры, то не требуется обучающий набор данных лошади, физически преобразованный в зебру (Рисунок 1).

Рисунок 1. Принцип работы CycleGAN

Подход нейронной сети CycleGAN делает это, обучая генератор изучать отображение из домена X в изображение, которое выглядит так, как будто оно получено из домена Y, то есть наоборот.

Для парного набора изображений можно напрямую создать GAN и изучить отображение от x до y с помощью Pix2Pix. Но подготовка парных наборов данных занимает много времени и достаточно трудна. Например, под парным набором имеется в виду, что нужно иметь изображение зебры в том же положении, что и лошадь, или с тем же фоном, чтобы научиться картографировать. Чтобы иметь возможность решить эту проблему архитектура CycleGAN позволяет изучать отображение из одного домена X в другой домен Y, не находя идеально подходящих обучающих пар. С помощью ограничения согласованности циклов CycleGAN обеспечивает правильное отображение модели из домена X в домен Y [3].

CycleGAN архитектура может преобразовать изображение из одного домена в изображение в другом домене. Ниже приведем пример использования CycleGAN архитектуры для преобразования фотографии летних пейзажей на зимние пейзажи и наоборот.

Список литературы:

1. CycleGAN [Электронный ресурс]. – URL: https://ssnl.github.io/better_cycles/report.pdf (дата обращения 08.12.2020)
2. Improved CycleGAN for Image-to-Image Translation [Электронный ресурс]. – URL: http://weininghu1012.github.io/file/cpsc532L_report.pdf (дата обращения 10.12.2020)
3. Augmented CycleGAN [Электронный ресурс]. – URL: https://arxiv.org/pdf/1802.10151.pdf (дата обращения 12.12.2020)