ВОССТАНОВЛЕНИЕ И УЛУЧШЕНИЕ ОЦИФРОВАННЫХ ФОТОГРАФИЙ С ИСПОЛЬЗОВАНИЕМ НЕЙРОННЫХ СЕТЕЙ

DIGITIZED PHOTOS RESTORATION AND IMPROVEMENT WITH NEURAL NETWORKS

Polina Voloshina

student, The Institute of Information Technologies, Sevastopol State University,

Russia, Sevastopol

Vadim Karlusov

scientific supervisor, Candidate of Technical Sciences, associate professor, Sevastopol State University,

Russia, Sevastopol

АННОТАЦИЯ

В статье рассматривается подход к решению задачи восстановления и улучшения оцифрованных фотографий при помощи различных алгоритмов улучшения, а также машинного обучения и нейронных сетей.

ABSTRACT

The paper discusses an approach to solving the problem of restoring and improving digitized photos using various enhancement algorithms, as well as machine learning and neural networks.

Ключевые слова: восстановление дефектов, обработка фотографий, машинное обучение, колоризация, уменьшение шума, увеличение разрешения.

Keyweords: defect recovery, photo processing, machine learning, colorization, noise reduction, resolution increase.

Фотографии играют ключевую роль в сохранении исторической памяти и культурного наследия. Сохранение таких фотографий не только предотвращает их постепенное разрушение и потерю, но и позволяет передать будущим поколениям ценную информацию о культурном и историческом наследии общества.

Однако, аналоговые фото достаточно повредить, из-за чего ценная информация может быть утеряна. Для восстановления таких повреждений применяется множество различных инструментов восстановления, одним из которых является автоматическое восстановление фотографий при помощи современных алгоритмов и программного обеспечения.

Целью данной работы является создание программного продукта на основе различных алгоритмов, включая машинное обучения для восстановления дефектов и улучшения качества фотографий при помощи уменьшения шума, колоризации и увеличения разрешения.

Для восстановления повреждений на оцифрованных фотографиях требуется решить две задачи: нахождение дефектов и последующее их восстановление.

Для сегментации и выделения дефектов подходят нейронные сети и алгоритмы машинного обучения. Для работы была выбрана свёрточная нейронная сеть с архитектурой U-Net, обученная на примерах фото с различными типами повреждений и бинарных масках дефектов [1]. В результате, сеть обучилась создавать бинарные маски дефектов по оцифрованным фотографиям.

Далее, при помощи созданной бинарной маски можно автоматически восстановить найденные повреждения. Для решения этой задачи был выбран алгоритм Inpaint Telea [2]. Он позволяет эффективно заполнять повреждённые части на изображениях, сохраняя при этом текстуру и структуру окружающих участков.

Пример восстановления дефектов при помощи описанного алгоритма представлен на рисунке 1.

Рисунок 1. Результат работы алгоритма. а) оригинальное фото, б) фото с восстановлением дефектов

Для уменьшения количества шума на фотографиях был использован фильтр Гаусса. Результат работы фильтра представлен на рисунке 2.

Рисунок 2. Результат работы алгоритма Гаусса. а) зашумленное фото, б) фото с применением фильтра Гаусса

Для лучшего восприятия человеческим глазом, чёрно-белые фотографии можно колоризовать. Для этих целей был выбран проект с открытым исходным кодом DeOldify. DeOldify – это глубокая нейронная сеть, специализирующаяся на автоматической колоризации черно-белых фотографий с использованием методов глубокого обучения [3].

Результат работы DeOldify представлен на рисунке 3.

Рисунок 3. Колоризация а) оригинальное фото, б) колоризованное фото

Для увеличения разрешения исходных изображений была выбрана нейронная сеть ESPCN – глубокая нейронная сеть, разработанная для задачи увеличения разрешения изображений, способная увеличивать разрешение изображений в несколько раз.

В результате, был создан программный продукт, позволяющий улучшать качество оцифрованных фотографий при помощи различных алгоритмов обработки и моделей нейронных сетей. Разработанный продукт работает с изображениями любого размера и разрешения.

Список литературы:

1. Каляшов Е. В., Тарлыков А. В. Минимизация нейронной сети типа u-net в задаче построения бинарной маски летательных аппаратов //Актуальные проблемы инфотелекоммуникаций в науке и образовании (АПИНО 2019). – 2019. – С. 175-179.
2. Sobiecki A. et al. Low-cost automatic inpainting for artifact suppression in facial images //EPRINTS-BOOK-TITLE. – University of Groningen, Johann Bernoulli Institute for Mathematics and Computer Science, 2013.
3. Salmona A., Bouza L., Delon J. Deoldify: A review and implementation of an automatic colorization method //Image Processing On Line. – 2022. – Т. 12. – С. 347-368.