ХАРАКТЕРИСТИКА ИСКАЖЕНИЙ ИЗОБРАЖЕНИЯ В МНОГОКАМЕРНЫХ 3D СИСТЕМАХ

АННОТАЦИЯ

Многокамерные системы развивались как видеокамеры следующего поколения с приложениями, включающие 3D-реконструкцию, рендеринг на основе изображений, свободную точку обзора и 3D-телевидение. Количественная оценка визуального качества многокамерных систем имеет основополагающее значение при разработке этих приложений. В данной статье исследуются типы искажения изображения в многокамерных системах, где искажение классифицируется как геометрическое или фотометрическое. Представлены примеры и измерения, показывающие, что показатели качества объективного изображения в одном виде не подходят для перцептивной оценки изображений с нескольких камер. Описан алгоритм, характеризующий тип искажения в изображении, полученном многокамерной системой, который основан на суммировании интенсивности границ (EIS).

Ключевые слова: Качество изображения; многокамерная система; геометрические искажения; фотометрические искажения; структурное сходство.

ВВЕДЕНИЕ

С быстрым совершенствованием электронных и вычислительных технологий и снижением стоимости камер, многокамерные системы развиваются как видеокамеры следующего поколения. Цель этих систем - расширить опыт пользователей за пределы того, что может быть обеспечено одной камерой. Мульти просмотр видео включает видеопоследовательности, снятые несколькими камерами одновременно, но в разных местах или с разных углов [1]. Применения многокамерных систем включают: панорамное видео, видео со свободной точкой обзора, 3D-телевидение, синтез виртуального изображения, отслеживание объекта и стереоскопическое видео [1] [2]. В панорамных видеороликах плоскость изображения расширяется, чтобы покрыть большие области и другие виды плоскостей, такие как цилиндрические и сферические. Видео со свободной точкой обзора позволяет пользователю перемещаться по изображению, выбирая его собственную точку обзора. Например, в 3DTV сцена снята с использованием нескольких камер. В этом приложении реконструкция трехмерной сцены дает пользователю впечатление трехмерного изображения. Точно так же стереоскопическое видео производит трехмерное впечатление, предоставляя два вида, по одному для каждого глаза. Данные возможности могут быть полезны во многих областях, включая наблюдение, осмотр достопримечательностей, рекламу, дистанционное обучение, медицинскую подготовку и развлечения [1] [3].

Многочисленные проблемы возникают в многокамерных приложениях, где цепочка обработки может включать захват изображения, калибровку камеры, представление сцены, кодирование, передачу, рендеринг и отображение. Хотя каждый из этих процессов требует измерения качества изображения, чтобы обеспечить обратную связь с разработчиком или пользователем [2]. Например, если алгоритмы сжатия видео разработаны для таких видеопоследовательностей, для сравнения этих алгоритмов необходима мера качества. Аналогичным образом, измерение качества изображения может оказаться полезным для точной калибровки многокамерных систем как для положения камеры, так и для цветовых свойств.

В отличие от изображений, снятых отдельными камерами, где искажение может быть однородным по всей плоскости изображения, изображения, генерируемые несколькими камерами, могут отличаться не только по содержанию, но и по качеству снятых изображений. Кроме того, на качество визуализируемых изображений влияют конфигурация камеры, количество камер и процесс калибровки [2]. Особенностью изображений, снятых многокамерными системами, является то, что визуальные искажения могут быть результатом геометрических исправлений или калибровок. В этой статье охарактеризованы и сопоставлены типы искажений в многокамерных системах. Приведены примеры и измерения, показывающие, что показатели качества объективного изображения в одном виде не подходят для перцепционной оценки изображений, полученных многокамерными системами. Кроме того, описан и оценен алгоритм, характеризующий тип искажения в изображении, захваченном многокамерной системой. Для достижения этой цели определяется суммирование краевой интенсивности (EIS).

Проблемы и способы оценки качества изображения

Ухудшение визуального качества изображений может происходить во время сбора, обработки, сжатия и передачи. Алгоритмы обработки видео и изображений оцениваются с использованием объективных метрик или с помощью субъективного тестирования в контролируемой среде. Лучший метод количественной оценки качества воспринимаемого изображения — это субъективная оценка. Субъективная оценка качества является дорогостоящей, утомительной и неприменимой в средах, которые требуют обработки в реальном времени. С другой стороны, объективное качество изображения автоматически прогнозирует воспринимаемое качество изображения и является более желательным [4].

Количественная оценка визуальной полноты искаженного изображения в основном основывалась либо на свойствах изображений, либо на конкретной информации, которую человеческая зрительная система (HVS) пытается извлечь при просмотре изображения. Хорошо известным примером первого является среднеквадратичная ошибка (MSE), которая известна как пиковое отношение сигнал/шум (PSNR). PSNR основывается исключительно на разнице в интенсивности. Очевидно, что PSNR - не самый точный показатель качества изображения [4]. С другой стороны, метрики на основе HVS используют частотную декомпозицию, которая учитывает обнаруживаемые визуальные пороги искажений [5]. Индекс структурного сходства (SSIM) [6] вычисляет среднее значение, дисперсию и ковариацию маленьких блоков внутри изображения. SSIM предполагает, что зрительная система человека очень приспособлена для извлечения структурной информации из поля просмотра [6]. В [7] было предложено краевое структурное сходство для улучшения производительности SSIM по сильно размытым изображениям.

Опыт пользователя и качество изображения зависят от восприятия человеком различных условий окружающей среды и возможностей мультимедийного устройства. Одной из таких сред является многокамерная система. В стереоскопических системах 3D-видео люди воспринимают 3D-видео хорошего качества, если один из глаз испытывает видео высокого качества [8]. Авторы в [9] предположили, что PSNR второго вида менее важен для трехмерного визуального восприятия, и предложили новую количественную меру качества стереофонического видео в виде взвешенной комбинации двух значений PSNR и меры дрожания. В [10] авторы обратились к необходимости решить, какую камеру или подмножество доступных камер использовать в данный момент времени в приложениях для наблюдения. Они представили новую меру, названную Quality-Of-View (QOV), которая учитывает угол обзора и расстояние от объектов для оценки производительности каждой камеры. Авторы в [11] предложили объективную меру качества для качества видеоизображения в произвольной точке 3D. Мера QOV пытается количественно определить визуальные артефакты, возникающие из-за неточной выборки в системе захвата или из-за неточного трехмерного представления сцены. Мера качества принимает расстояние Хаусдорфа для количественной оценки ошибочной регистрации между двумя изображениями.

Упомянутые выше метрики качества систем многокамерных камер являются специфическими для приложения и имеют тенденцию измерять только один визуальный аспект качества многокамерного изображения. Следовательно, требуется показатель качества, который может количественно оценить все изображение многокамерного устройства, выявить типы искажений. Эта мера должна учитывать воспринимаемую точность в таких изображениях, помимо того, как они были получены и отображены.

Фотометрические и геометрические искажения распространены в многокамерных системах. Фотометрические искажения — это изменения уровней яркости и цветовой гаммы по всему отображаемому изображению. Источником этой вариации может быть система камеры или приложения пост-обработки. Геометрические искажения — это несоответствия и разрывы из-за геометрических ошибок. Источником этих ошибок могут быть внутренние свойства системы камеры, приложения позиционирования или постобработки.

Типы искажений в многокамерных системах

В этой статье типы искажений в многокамерных системах классифицируются на фотометрические или геометрические искажения. Каждый из этих типов по-разному влияет на общее качество изображения. Общее изображение в документе определяется как полное мозаичное изображение или набор изображений, проецируемых независимо. В качестве первого шага к получению эффективного показателя качества изображения для многокамерных систем необходимо охарактеризовать каждый из этих типов искажений и лучше понять их природу и влияние.

Фотометрическое искажение

Фотометрическое искажение в одной камере определяется как ухудшение воспринимаемых характеристик, которые, как известно, привлекают внимание, такие как шум, размытость и блокирование артефактов. Фотометрическое искажение может быть присуще принимающему устройству или присуще вследствие таких применений, как сжатие с потерями, передача по каналам, подверженным ошибкам, или усовершенствования изображений. Количественная оценка качества восприятия этих типов искажений имеет важное значение для улучшений или разработок новых видео или изображений приложений и, следовательно, мотивировали разработку современных показателей качества изображения и видео.

В многокамерных системах отдельные камеры, смотрящие на разные части сцены, могут иметь различные типы и уровни искажения. Эти изменения бывают внутренними из-за различий между отдельными камерами или внешними из-за разного уровня кодирования или постобработки, который может испытывать каждая камера-видеопоток. Человеческое восприятие чувствительно к резким локальным изменениям изображений. Этот тип искажения будет называться вариационным фотометрическим искажением. Это искажение особенно очевидно вокруг перекрывающихся и богатых содержанием областей захваченных изображений.

Чтобы объяснить влияние фотометрических искажений на изображение, снятое многокамерной системой, используется моделирование. Для захвата изображений с высоким разрешением использовалась одна цифровая камера. Захваченное изображение было разделено на несколько субизображений. Целевое искажение было затем применено каждому субизображению независимо. Влияние различных типов искажений в мультикамерном приложении демонстрируется алгоритмом мозайки изображений, который применяет сплайн со многими разрешениями [12]. Пример фотометрического искажения в многокамерных приложениях показан на рисунке 1.

Рисунок 1. а) Вверху: исходные изображения перед компоновкой. Среднее изображение JPEG сжато с Q = 5. Внизу: полученное изображение после компоновки. Желтые маркеры показывают границы перекрывающихся областей; б) Масштабированное изображение, выделенное красным прямоугольником из изображений а).

На нём демонстрируется возможное вариационное фотометрическое искажение в трех камерах с различными уровнями искажений JPEG. Исходное изображение было разделено на три субизображения: левое, среднее и правое. Области перекрытия показаны на рисунке между желтыми маркерами. Левое и правое изображение сохраняются без изменений. Середину искажают, применяя сжатие JPEG с Q = 5. Три изображения (левое, JPEG-среднее и правое) были наложены друг на друга с использованием сплайн-алгоритма с несколькими разрешениями. Результирующее составное изображение показано внизу на рисунке 1 (а). Изображения, показанные на рисунке 1 (б), представляют собой крупные планы, которые показывают, что изменение качества изображения отражается в ощутимо заметном резком изменении составного изображения. Резкие изменения качества изображения раздражают восприятие и могут негативно повлиять суждение об общем качестве изображения, особенно в областях с важными деталями, такими как человеческое лицо на рисунке 1 (б) внизу.

Геометрическое искажение

В многокамерных системах сцена захватывается N камерами, где положение и ориентация каждой отдельной камеры могут варьироваться в зависимости от приложения. На рисунке 2 показаны некоторые возможные конфигурации камеры. В многокамерных приложениях и реконструкциях важно знание калибровки камеры и геометрии сцены. Однако изменения в положении или ориентации камеры, а также ошибки в оценке параметров камеры или геометрии сцены могут привести к геометрическим искажениям. Геометрическое искажение в многокамерной системе определяется как структурное несоответствие, такое как разрыв и смещение в наблюдаемом изображении из-за геометрических ошибок. Во время отображения могут возникать геометрические ошибки, которые могут включать в себя вращение и перемещение.

Рисунок 2. Примеры пространственной конфигурации камеры для многокамерных систем

Этот тип искажения будет упоминаться как плоское искажение. Геометрические искажения также могут возникать при отображении из трехмерного мира в двухмерную плоскость изображения. Этот тип искажения будет называться перспективным искажением. На рисунке 3 показаны примеры, иллюстрирующие типы геометрических ошибок, а также исходное изображение. Изображение на Рисунке 3 (б) подвержено искажению в перспективе, которое видно на белых зданиях в задней части. Здания выглядят меньше и правее, чем исходное изображение в 3 (а). Изображение на рисунке 3 (в) поворачивается по часовой стрелке на 10 градусов. В многокамерных системах такие ошибки также могут возникать при отображении плоскости одной камеры на другую эталонную камеру в системе.

Рисунок 3. Геометрические искажения в одиночных камерах: (а) Нет искажений (б) Перспектива (в) Плоская (вращение)

Для моделирования геометрических искажений в многокамерной системе геометрические ошибки были применены к сгенерированным видам и затем объединены в одну мозаику изображения. Рисунок 4 представляет собой крупный план, который демонстрирует перспективные и простые искажения в системе с тремя камерами. Перспективные и плоские искажения на рисунке 4 видны на правом глазу на верхнем изображении и на большом пальце на нижнем изображении. Мы замечаем несоответствие из-за искажений перспективы, представленных искажением на лице (вверху) и сокращением на большом пальце (внизу). С другой стороны, обычное искажение приводит к смещению по всему лицу и области рук. Следовательно, геометрические искажения в одной камере приводят к смещению и разрывам в многокамерном изображении. В отличие от фотометрических искажений, где искажения преобразуются в виде резких изменений по всему изображению, геометрические искажения перцептивно притягиваются вокруг соединительных краев и перекрывающихся областей. Далее мы изучим производительность двух объективных показателей качества одного изображения для многокамерных изображений.

Рисунок 4. Геометрические искажения в многокамерной системе

PSNR и SSIM алгоритмы

Для оценки искажений в многокамерных системах используются два объективных алгоритма: PSNR (отношение сигнал/шум) и SSIM (индекс структурного сходства), которые позволяют количественно оценить воспринимаемое качество этих искажений. Пиковое отношение сигнал/шум (PSNR) является наиболее широко используемым объективным показателем из-за его низкой сложности и ясного физического значения. Он количественно оценивает качество изображения путем измерения погрешности интенсивности между двумя различными изображениями. SSIM основан на предположении, что HVS высоко адаптирован для извлечения структурной информации из представления [6]. SSIM определяется как:

Где:сравнение яркости;

         сравнение контраста;

       является структурным сравнением;

         эталонное изображение;

 представляет собой искаженное изображение.

EIS - Суммирование граничной интенсивности

При фотометрическом искажении захваченное изображение подвержено ошибкам интенсивности в разных местах пикселей. Эти ошибки могут привести к размыванию деталей изображения. Достоверной оценкой этих искажений являются пространственные границы. В [13] информация о краях описывается местоположениями вариаций значений интенсивности и соответствующими значениями интенсивности в этих местоположениях. Когда изображение размыто, местоположения изменений интенсивности сохраняются, однако значения интенсивности этих изменений уменьшаются. Также фотометрические искажения, такие как шум и квантование, вносят новые изменения интенсивности без изменения местоположения исходной информации о краях. В отличие от фотометрических искажений, при геометрических искажениях значения интенсивности меняются не только в пикселях. В результате местоположение пространственных краев изменяется, но относительные изменения интенсивности в изображении сохраняются. Информация о краях изображения может быть получена путем применения фильтров обнаружения краев к компоненту яркости изображения. Суммирование интенсивности краев (EIS) изображения M × N определяется как:

                                                                         (2)

                                                             (3)

Где: E - двоичное изображение с размерностью блоков того же размера, что и I с единицами, где функция находит блоки в единицах I и 0 в других местах.

Интенсивности блоков рассчитываются для 32 × 32 неперекрывающихся блоков. Данный алгоритм основан на методе Кэнни, используемого для обнаружения границ изображений [14].

Метод Кэнни более устойчив к наличию шумов на изображении, и с большей вероятностью обнаружит достоверные границы изображения.

Заключение

В этой статье были охарактеризованы типы искажений в многокамерных системах их классификация на геометрические или фотометрические. Рассмотрены алгоритмы, определяющие характер искажений.

Список литературы:

1. “ISO/IEC JTC1/SC29/WG11 Applications and Requirements for 3DAV,” Tech. Rep. N5877, Trondheim, Norway, July 2003.
2. A. Kubota, A. Smolic, M. Magnor, M. Tanimoto, T. Chen, and C. Zhang, “Multiview Imaging and 3DTV,” IEEE Signal Proc. Magazine, vol. 24, no. 6, pp. 10–21, Nov 2007.
3. Jian-Guang Lou, Hua Cai, and Jiang Li, “A real-time interactive multi-view video system,” in MULTIMEDIA ’05, NY, USA, 2005, pp. 161–170.
4. U. Engelke and H.-J. Zepernick, “Perceptual-based Quality Metrics for Image and Video Services: A Survey,” in EuroNGI07, May 2007, pp. 190–197.
5. B. Watson, James Hu, and John F Iii, “DVQ: A digital video quality metric based on human vision,” Jour. of Elect. Imaging, vol. 10, pp. 20–29, 2001.
6. Zhou Wang, Alan C. Bovik, Hamid R. Sheikh, and Eero P. Simoncelli, “Image Quality Assessment: From Error Visibility to Structural Similarity,” IEEE Trans. on Image Proc., vol. 13, pp. 600–612, 2004.
7. G.H. Chen, C.L. Yang, and S.L. Xie, “Edge-Based Structural Similarity for Image Quality Assessment,” in ICIP06, 2006, pp. 2929–2932.
8. S. F. Chang and A. Vetro, “Video Adaptation: Concepts, Technologies, and Open Issues,” in Proc. Of the IEEE, January 2005, vol. 93, pp. 148–158.
9. A. Murat Tekalp Nukhet Ozbek and E. Turhan Tunali, “Rate Allocation Between Views in Scalable Stereo Video Coding using an Objective Stereo Video Quality Measure,” in ICASSP, April 2007, pp. 1045–1048.
10. C.S. Shen, C. Zhang, and S. Fels, “A Multi-Camera Surveillance System that Estimates Quality-of-View Measurement,” in ICIP07, 2007, pp. III: 193–196.
11. J. Starck, J. Kilner, and A. Hilton, “Objective Quality Assessment in Free-Viewpoint Video Production,” in 3DTV08, 2008, pp. 225–228.
12. Peter J. Burt and Edward H. Adelson, “A Multiresolution Spline with Application to Image Mosaics,” ACM Trans. on Graphics, vol. 2, pp. 217–236, 1983.
13. Xiaonong Ran and Nariman Farvardin, “A Perceptually Motivated Three-component Image Model-Part I: Description of the Model,” IEEE Trans. on Image Proc., vol. 4, no. 4, pp. 401–415, 1995.
14. F. John Canny, “A Computational Approach to Edge Detection,” IEEE Trans. on Pattern Analysis and Machine Intelligence, vol. 8, no. 6, pp. 679–698, 1986.