ИСПОЛЬЗОВАНИЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ ПРИ ОЦЕНКЕ КАЧЕСТВА И СИНТЕЗА ИЗОБРАЖЕНИЙ

Определение и повышение качества космических снимков является актуальной задачей [3]. Необходимость делать объективный отбор и последующий синтез изображений для улучшения информативности требует быстрых и надёжных методов оценки качества изображений. В ходе работы была замечена применимость описанной методики для оценки и улучшения качеств цифрового масштабирования изображения (синтеза).

В данной публикации рассматривается применение искусственной нейронной сети (ИНС) для обработки и улучшения качества растровых изображений, полученных со спутников. Рассмотрен метод улучшения качества фотографий при наличии серии похожих снимков дистанционного зондирования Земли с неперекрывающимися дефектными зонами (неравномерности фокусировки оптической системы, природные явления, облака) для увеличения информативности и улучшения качества изображения.

Бывают объективные и субъективные методы оценки качества. Экспертные оценки трудоёмки (субъективный метод), не пригодны для быстрой автоматической обработки. Количественные методы можно разделить на методы, основанные на сравнении с образцом, и методы, оценивающие информационные характеристики изображений. Эталонный образец изображений не всегда доступен. Оценки методов без сравнения с эталоном могут противоречить друг другу, так как они опираются лишь на определённые особенности, которые свойственны зрительной системе человека. К методам, использующим только анализируемое изображение, можно отнести СКИ (средний контраст изображения) [4, с. 2].

Большинство надёжных количественных методов оценки качества, например, среднеквадратичное отклонение (СКО), требуют наличие заведомо качественных эталонов [5], которые в реальных условиях зачастую недоступны. Применение нейронных сетей дает возможность получать оценки качества, близкие к оценкам надёжных количественных методов (СКО), даже при отсутствии эталонных образцов изображения.

Изображение разбивается на полутоновые пиксели размером 16*16 пикселей, без перекрытия граничных зон. Размер окна влияет на точность и скорость оценок при реконструкции исходного изображения.

Нормированные значения яркости (в диапазоне от 0 до 1) каждого окна подаются на вход трехслойной нейронной сети: где входной слой состоит из 256 входных нейронов, скрытый из — 131, а выходной слой имеет 4 нейрона. Выходной нейрон с максимальным значением считается результатом оценки качества сети. Сеть за один проход обрабатывает только одно окно.

Обучение нейронной сети происходит по серии фотографий и их оценок, полученных количественным методом. В обучающую выборку добавляются эталонные и модифицированные изображения. Для подготовки обучающей выборки исходные изображения были уменьшены в четыре раза, а затем масштабированы до реальных размеров бикубическим и линейным методами.

Эталонами для выходного сигнала сети служит оценка качества, полученная количественным методом СКО. Оценки качества представляются как 4-хпорядковые значения классификации (плохое качество, среднее, хорошее, идеальное), для векторов нейронной сети эти значения кодируются 0 и 1. Допустимо применять дробные значения в векторах, когда качество относится к двум классам [1].

При построении обучающей выборки был замечен большой разброс среднеквадратичного отклонения на разных участках изображений от образцов. Поэтому оценка качества выполнялась отдельно для каждого не перекрывающегося окна размером 16*16 пикселей. На графиках (рис. 1) с логарифмической шкалой видна неравномерность СКО.

Рисунок 1. Логарифмический график частот СКО разницы изображений

На рис.1 показано сгруппированное количество (частоты) СКО при сравнении эталона и масштабированного изображения. Образец был получен путём масштабирования вниз и вверх (в 4 раза) методом ближайшего соседа и бикубическим. На анализируемых изображениях СКО находится в диапазоне 0,0005-0,01, среднестатистическое  значение СКО — 0,66. При анализе других изображений были получены разные графики величин искажений (измеряемых методом СКО) с другими диапазонами значений. Такие неравномерности распределения СКО позволяют делать синтез улучшенных фотографий из серии изображений, полученных различными методами интерполяции, исходя из множественных оценок качества пикселей фотографий.

Для демонстрации метода была написана программа на языке Java для подготовки обучающей выборки и оценки качества с применением искусственной нейронной сети. Для работы с нейронными сетями использовалась библиотека Neuroph версии 0.94, применялась программа Neuroph Studio [2] для отладки и проектирования структуры сети.

Обучение сети длилось больше часа, на компьютере с процессором АМD-4170. Обучение было остановлено на 15 эпохе, среднеквадратичная ошибка сети составила 0,17. Во время получения результатов потребовались следующие аппаратные ресурсы персонального компьютера: 76 Мб заняли данные о качестве в виде текстовых файлов формата Json. Обучающая выборка состояла из 226500 векторов (256 и 4 чисел с плавающей точкой) общим объёмом 500 Мб в формате Neuroph.

Оценки качества изображений нейронной сетью представлены тепловыми картами с различным качеством участков. Оценки качества исходных изображений показана на рис. 2, светлые участки — места с лучшим качеством, чёрные — с худшим.

Рисунок 2. Тепловая карта оценок изображений нейронной сетью

На рисунке изображено:

А, Б – исходные снимки города с рекой (А) и города с полями (Б);

В – тепловая карта оценок ИНС изображения А;

Г – тепловая карта оценок ИНС изображения Б;

Аналогичные результаты были получены при работе с другими изображениями. Оценки, полученные нейронной сетью хорошо коррелируют с оценками методом СКО на изображениях, подвергнутых цифровому масштабированию линейным методом интерполяции в 4 раза.

В работе представлен метод оценки качества растровых изображений трёхслойной нейронной сетью. Для проведения интерполяций была создана программа на Java c применением библиотек Neuroph.  Продемонстрированы два из множества результатов оценок нейронной сетью.

Практическое применение автоматических оценок качества может быть применено для отбора изображений в фотоколлекциях, или для синтеза изображений. Результаты оценок качества могут быть применены для синтеза изображений серий снимков разного качества, применения полученных оценок качества для улучшения качества изображений путем синтеза изображения из многих снимков. Синтез производится из лучших фрагментов, отобранных ИНС.

Список литературы:

1. Fuzziness in Neural Networks // Fuzzy Logic Tutorial. URL: https://www.tutorialspoint.com/fuzzy_logic/fuzziness_in_neural_networks.htm (дата обращения 06.03.2018)
2. Java Neural Network Framework Neuroph // Neuroph. 2017. URL: http://neuroph.sourceforge.net/ (дата обращения 21.03.2018)
3. Алтуховa А.И., Коршуновa Д.С., Шабаковa Е.И. Метод повышения качества снимков космических объектов. – Научно-технический вестник информационных технологий, механики и оптики. 2014, № 4 (92), с. 35-40.
4. Кокошкин А. В., Коротков В. А.,  Коротков К. В., Новичихин Е. П.. Сравнение объективных методов оценки качества цифровых изображений. // Журнал радиоэлектроники. – М.: Институт радиотехники и электроники им. В.А. Котельникова РАН. – 2015. № 6. – 17c.
5. Косткин И.В. Исследование взаимосвязи объективных и субъективных критериев качества мультимедийных изображений. – Электронный научно-практический журнал «Молодежный научный вестник», май 2016, – 9с.