Поздравляем с Новым Годом!
   
Телефон: 8-800-350-22-65
WhatsApp: 8-800-350-22-65
Telegram: sibac
Прием заявок круглосуточно
График работы офиса: с 9.00 до 18.00 Нск (5.00 - 14.00 Мск)

Статья опубликована в рамках: LVIII Международной научно-практической конференции «Вопросы технических и физико-математических наук в свете современных исследований» (Россия, г. Новосибирск, 21 декабря 2022 г.)

Наука: Информационные технологии

Секция: Инженерная геометрия и компьютерная графика

Скачать книгу(-и): Сборник статей конференции

Библиографическое описание:
Болбаков Р.Г., Мордвинов В.А., Макаревич А.Д. [и др.] ОБРАБОТКА ИЗОБРАЖЕНИЙ В СВЕТОВОМ ПОЛЕ: ОБЗОР И ОСНОВНЫЕ ПРОБЛЕМЫ ПРИМЕНЕНИЯ // Вопросы технических и физико-математических наук в свете современных исследований: сб. ст. по матер. LVIII междунар. науч.-практ. конф. № 12(49). – Новосибирск: СибАК, 2022. – С. 33-45.
Проголосовать за статью
Дипломы участников
Диплом лауреата

ОБРАБОТКА ИЗОБРАЖЕНИЙ В СВЕТОВОМ ПОЛЕ: ОБЗОР И ОСНОВНЫЕ ПРОБЛЕМЫ ПРИМЕНЕНИЯ

Болбаков Роман Генадьевич

канд. техн. наук, зав. кафедрой Инструментального и Прикладного Программного Обеспечения, доцент, РТУ МИРЭА,

РФ, г. Москва

Мордвинов Владимир Александрович

канд. техн. наук, проф., проф., РТУ МИРЭА,

РФ, г. Москва

Макаревич Артём Денисович

аспирант кафедры кафедрой Инструментального и Прикладного Программного Обеспечения, РТУ МИРЭА,

РФ, г. Москва

Смольянников Илья Викторович

аспирант кафедры Корпоративных Информационных Систем, РТУ МИРЭА,

РФ, г. Москва

IMAGE PROCESSING IN THE LIGHT FIELD: OVERVIEW AND MAIN APPLICATION PROBLEMS

 

Roman Bolbakov

cand. tech. sciences, head. Department of Instrumental and Applied Software, Associate Professor, RTU MIREA,

Russia, Moscow

Vladimir Mordvinov

cand. tech. sciences, professor., professor., RTU MIREA,

Russia, Moscow

Artem Makarevich

Postgraduate student of the Department of Instrumental and Applied Software, RTU MIREA,

Russia, Moscow

Ilya Smolyannikov

Postgraduate student of the Department of Corporate Information Systems, RTU MIREA,

Russia, Moscow

 

Ключевые слова: Компьютерная графика; Рендеринг на основе изображений; Сжатие изображений.

Keywords: Computer graphics; Image-based rendering; Image compression.

 

Визуализация светового поля (LF) впервые появилась в сообществе компьютерной графики с целью достичь фотореалистичного 3D-рендеринга [1]. Благодаря разнообразию потенциальных применений в различных областях (например, компьютерная фотография, дополненная реальность, микроскопия светового поля, медицинская визуализация, 3D-робототехника), визуализация из реальных световых полей в последнее время приобрела популярность как на исследовательском, так и на промышленном уровне.

Исследовательские усилия были посвящены практическому проектированию систем для захвата реальных световых полей, которые варьируются от массивов камер [2-5] до одиночных камер, установленных на движущихся «порталах», и пленоптических камер [6,7], основанных на принципе интегральной визуализации, впервые введенном Липманом [8]. Коммерческая доступность пленоптических камер и оснащение последних смартфонов несколькими камерами, одним специализированным датчиком или массивом камер с глубинной оптикой [9], которые могут в некоторой степени захватывать световые поля, даже если они не такие плотные в угловых участках кадра, как те, которые захватываются пленоптическими камерами, придал новый импульс исследованиям в области светового поля. Поток лучей, улавливаемых устройствами сбора светового поля, представляет собой большие объемы данных, сохраняющих как пространственную, так и радиальную информацию о сцене, что обеспечивает различные возможности обработки после захвата, такие как повторная фокусировка, расширенный фокус, рендеринг с разных точек зрения и оценка глубины, с одной единственной экспозиции.

Предлагая беспрецедентные возможности для расширенного анализа, создания и редактирования изображений, захват реальных световых полей создает ряд сложных проблем. Данные, получаемые камерами LF, не только велики по объему и имеют высокую размерность, что является проблемой для хранения и передачи, но и являются сдерживающими в ряде других аспектов, таких как необходимость высокой вычислительной мощности и компромисс между радиальным и пространственным разрешением, присущий устройствам захвата светового поля. Объем данных, присущий световым полям, является проблемой для взаимодействия с пользователем, которая требует обработки почти в режиме реального времени, потенциально на устройствах с ограниченной вычислительной мощностью. Редактирование с приемлемой алгоритмической сложностью и так же просмотр такого рода контента не может быть приемлемым при применении ныне хорошо известных алгоритмов редактирования 2D-изображений.

Захват светового поля заключается в применении пленоптической функции, которая представляет собой 7-мерную функцию , описывающую световые лучи, испускаемые сценой и принимаемые наблюдателем в определенной точке  в пространстве, следуя ориентации определяется углами  с длиной волны  в данный момент времени . Для статического светового поля 7D пленоптическая функция может быть упрощена до 4D представления, называемого 4D LF [10], описывающего прохождение вдоль лучей функцией  из 4 параметров на пересечении световых лучей с 2 параллельными плоскостями, как показано на рис.1. (а). Это упрощение достигается при условии статичного излучения светового луча от точки к точке и с учетом того, что выборка длины волны в формате RGB выполняется цветными фильтрами, соединенными с CCD-датчиками.

 

Рисунок 1. (а) Иллюстрация параметризации в двух плоскостях 4D статического (одномоментного) светового поля; (б) визуализированное изображение в одном фокусе; и эпиполярное изображение, соответствующее горизонтальной красной линии на левом изображении

 

Световое поле можно рассматривать как захват массива точек обзора (называемых изображениями с субапертурой, в частности, в случае устройств захвата на основе микрообъективов) изображаемой сцены с изменяющимися угловыми координатами u и v. Фотография в определенном фокусе вычисляется из данных 4D путем интегрирования света по эпиполярным изображения. Эпиполярное изображение представляет собой 2D-срез 4D светового поля (например, срез (x, u) на рис. 1 (б)). Эпиполярное изображение, показанное на рис.1(б), представляет собой наблюдение светового поля при постоянном значении y, соответствующем красной линии на рисунке. Каждая вертикальная линия на эпиполярном изображении представляет световое поле, наблюдаемое при различных субапертурах (u) основной линзы и в заданном местоположении пикселя x.

Таким образом, матрицы камер были сконструированы для захвата множества видов, обеспечивая высокое пространственное разрешение для каждого вида, но низкое радиальное разрешение (ограниченный набор видов), следовательно, большую базовую линию.

Прикладные приложения, ориентируемы на использование данной технологии, включают оценку глубины на большом расстоянии, изменение точки обзора и синтез вида, такие как контента AR или постпродакшн фильма.

Также существуют «порталы» для камер, в которых одна камера перемещается вдоль плоскости и делает снимки через равные промежутки времени, в то время как массивы камер снимают сцену с разных точек зрения. Следовательно, с большой базовой линией, пленоптические камеры используют массив микролинз, размещенных перед фотодатчиком, для разделения световых лучей, попадающих на каждую микролинзу, на небольшое изображение на пикселях фотодатчика, и таким образом захватывают плотную радиальную информацию с небольшой базовой линией. Пленоптические камеры теперь доступны на рынке с камерами первого поколения Lytro, которые обычно ориентированы на потребительскую съемку с помощью функции перефокусировки, и камерами Raytrix, которые вместо этого ориентированы на промышленный рынок с точной монокулярной оценкой глубины. Для пленоптических камер рассмотрения достойны две оптические конструкции, так называемая конструкция “plenoptic 1.0”, называемая несфокусированной пленоптической камерой, в которой основной объектив фокусирует объект на матрице линз [6], и конструкция “plenoptic 2.0” [7], также называемая сфокусированной пленоптической камерой, в которой изображение плоскость основной линзы - это объектная плоскость матрицы линз (см. рис. 2).

 

Рисунок 2. Оптический устройство plenoptic 1.0; оптическое устройство plenoptic 2.0.

 

В несфокусированной камере свет, излучаемый одной точкой в 3D-сцене, распределяется по нескольким датчикам пикселей необработанных данных ленслета. Каждый пиксель за линзой соответствует другому углу. Извлечение видов из необработанных данных ленслета, снятых пленоптическими камерами, включает в себя несколько этапов обработки [12].

Учитывая значительные затраты с точки зрения емкости хранилища, проблема сжатия светового поля быстро стала весьма актуальной в сообществе компьютерной графики, использующей световые поля для рендеринга изображений. Ранние решения, рассмотренные для синтетических световых полей, были основаны на классических инструментах кодирования, схемах JPEG-кодирования [11], векторном квантовании [13] или вейвлет-кодировании [14], применяемом к каждому виду 2D-массива отдельно. В то время как отдельное кодирование каждого вида, естественно, обеспечивает случайный доступ к любой выборке светового поля, коэффициент сжатия этих решений, однако, едва превышает 20. Затем было предложено прогнозирующее кодирование, вдохновленное методами сжатия видео, для дальнейшего увеличения коэффициента сжатия [15], в котором несколько видов кодируются внутрикадрово, в то время как другие виды кодируются как P-изображения, где каждый блок может быть предсказан из одного из соседних внутренних просмотров с компенсацией несоответствия или без нее. Мотивированные целью произвольного доступа и прогрессивного декодирования, которое не обеспечивается прогностическими схемами, авторы в [16] рассматривают вместо этого вейвлет-преобразование, применяемое в 4 измерениях светового поля, в то время как анализ главных компонент (PCA) используется в [17]. Решения для сжатия светового поля затем эволюционировали вслед за достижениями в области сжатия видео с одним и несколькими видами (например, с использованием MVC) [18].

Появляющиеся устройства для захвата реальных световых полей также записывают очень большие объемы данных. Чтобы привести лишь несколько примеров, камера Lytro Illum захватывает 61 мегапиксель (15 × 15 × 625 × 434 пикселей), в то время как массив камер, как, например, установка из 4 × 4 камер с пространственным разрешением 2048 × 1088 пикселей, захватывает 35 мегапикселей. Каждый пиксель, конечно, имеет три цветовых компонента, представленных в 8 битах.

Исследования по сжатию данных реального светового поля развивались по двум основным направлениям. Первый тип подходов заключается в непосредственном сжатии необработанных данных ленслета после удаления виньетирования и отображения (например, [19-26]), а второй тип подходов сжимает виды, извлеченные из данных ленслета (например, [27-29]) или захваченные массивом камер.

Большинство решений, предлагаемых для непосредственного кодирования данных ленслет, направлены на использование пространственной избыточности или самоподобия между микроизображениями. Микроизображение — это набор пикселей за каждой микрообъективом, его также иногда называют элементарным изображением. Таким образом, режимы пространственного прогнозирования были предложены для несфокусированных камер в [19] на основе концепции прогнозирования с компенсацией самоподобия [23] [24] или с использованием методов локально линейного встраивания в [20]. Режимы двунаправленного пространственного прогнозирования также были добавлены в HEVC для кодирования элементарных изображений, снятых plenoptic 2.0 [25] и plenoptic 1.0 [26]. Авторы в [22] вместо этого разбивают необработанные данные на фрагменты, которые затем кодируются как псевдовидеопоследовательность с использованием HEVC.

В то время как первая категория методов применима только к световым полям, захваченным пленоптическими камерами на основе микрообъективов, вторая категория методов заключается в кодировании набора изображений с пониженной апертурой (или видов), извлеченных из изображений ленслет или захваченных установками на множестве камер. Авторы в [27] формируют псевдопоследовательность, используя порядок сканирования в виде ромба, и кодируют эту псевдопоследовательность, используя взаимное кодирование HEVC, в то время как в [28] предлагается порядок кодирования и структура прогнозирования, вдохновленные теми, которые используются в стандарте кодирования с несколькими видами (MVC), показывая значительный прирост производительности по сравнению с HEVC-Intra. В [27] и [28] корреляция между видами используется с помощью методов оценки движения и компенсации, как при кодировании видео, тогда как авторы в [29,30] используют гомографии и 2D-деформацию вместо классического прогностического кодирования для устранения избыточности между видами. Подход в [30] фактически направлен на уменьшение размерности захваченных данных с помощью низкоранговой аппроксимации представлений, выровненных по гомографиям, которые совместно оптимизированы с моделью низкого ранга. Этот подход, называемый HLRMA [30], дает, с набором данных ICME 2016 challenge, среднее усиление PSNR в 2,24 дБ по сравнению с прямым кодированием просмотров в виде видеопоследовательности, сканируемой в соответствии с порядком сканирования в виде ромба, начиная с центрального вида, в то время как подход псевдопоследовательности [28] обеспечивает среднее усиление в 1,78 дБ.

Потребность в эффективных решениях для сжатия побудила группу JPEG-Pleno выступить с инициативой по определению стандарта сжатия светового поля [31] как для данных, снятых пленоптическими камерами, так и для массивов камер. Продолжается этап стандартизации с целью принятия международного стандарта в январе 2019 года.

Пленоптические камеры и смартфоны, оснащенные несколькими датчиками камер, могут захватывать как пространственную, так и угловую информацию о световых лучах с помощью одного захвата [6]. Однако, поскольку датчик ограничен, трудно получить как плотную угловую, так и пространственную выборку светового поля. Угловая выборка связана с количеством пикселей датчика, расположенных за каждой микролинзой для пленоптических камер, в то время как для мобильных устройств она соответствует количеству камер на пластине. Этот компромисс между угловым и пространственным разрешением приводит к значительно более низкому пространственному разрешению по сравнению с традиционными 2D-камерами [6].

Первая категория подходов заключается в повторной дискретизации светового поля для восстановления изображений с субапертурой с разрешением, превышающим количество микрообъективов. Авторы в [32] используют преобразование дискретного фокального стека со сверхразрешением для светового поля. В том же духе в [33] предложен подход к реконструкции светового поля, в котором демультиплексированные изображения с субапертурой сначала интерполируются с помощью барицентрической интерполяции для адаптации к гексагональному расположению микрообъективов, а затем уточняются с использованием пикселей соседних видов с использованием интерполяции лучей. Результирующее световое поле по-прежнему содержит сглаживание, что является неестественным. Следовательно, они используют основанный на словаре метод сверхразрешения одного изображения, предложенный в [34], для восстановления каждого изображения с субапертурой отдельно.

Вторая категория методов использует информацию о глубине для увеличения как пространственного, так и углового сверхразрешения. Основываясь на модели формирования изображения пленоптической камеры, авторы в [35] используют карту глубины для оценки коэффициента отражения в байесовской структуре, где для регуляризации решения использовалось случайное поле Маркова. Авторы в [36] оценивают карты несоответствий локально, используя анализ изображений в эпиполярной плоскости, а затем используют вариационную модель для синтеза новых видов со сверхразрешением. Подход, основанный на патчах, был предложен в [37], где они моделируют патчи светового поля, используя модель гауссовой смеси, используя неравенство, как и ранее. Пространственное разрешение светового поля 4D затем восстанавливается с использованием линейной оценки минимального среднеквадратичного значения (LMMSE). Тем не менее, эти методы полагаются на точность используемого алгоритма оценки несоответствий, который, как правило, не позволяет восстановить надежные карты разницы в реальных световых полях. Более того, значительное количество закрытых областей затрудняет их восстановление и, как правило, приводит к размыванию артефактов в областях с большим параллаксом.

Машинное обучение используется в [38 - 40] для сверхразрешения реальных световых полей более высокого качества. Глубокие сверхточные нейронные сети (DCNN) использовались в [38] как для пространственного, так и для углового сверхразрешения. В этом методе сначала используется пространственный DCNN для восстановления каждого изображения с субапертурой отдельно, за которым следует другой DCNN для синтеза новых видов. Результирующие изображения с субапертурой являются некогерентными по отношению к изображениям с субапертурой, поскольку они восстанавливаются отдельно. Глубокое обучение использовалось в [39] для синтеза новых представлений из разреженного набора входных представлений. Более конкретно, используется каскад из двух DCNN, где первый изучает несоответствие, в то время как второй изучает синтез новых представлений. Авторы в [40] использовали анализ главных компонент (PCA) и регрессию гребня (RR), чтобы изучить линейное отображение между объемами патчей с низким и высоким разрешением, которые представляют собой набор совмещенных 2D-патчей из каждого изображения с субапертурой. Этот метод использует структуру светового поля и восстанавливает изображения с субапертурой, которые являются более когерентными.

Заключение

В этой статье был дан краткий обзор основных тенденций исследований в связи с несколькими критическими проблемами обработки изображений в световом поле. Учитывая очень большой объем сильно избыточных данных, даже со статическими световыми полями, быстро стало очевидно, что прогресс в этой области требует разработок, которые выходят за рамки простого применения или расширения хорошо известных методов 2D-визуализации. Даже если большинство работ сосредоточено на статических световых полях, объем данных высокой размерности становится еще более критичным при рассмотрении случая видеоряда, основанного на световых полях, для которых вышеуказанные проблемы остаются в значительной степени открытыми.

 

Список литературы:

  1. Levoy M. Light fields and computational imaging //Computer. – 2006. – Т. 39. – №. 8. – С. 46-55.
  2. Wilburn B. et al. High-speed videography using a dense camera array //Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004. – IEEE, 2004. – Т. 2. – С. II-II.
  3. Wilburn B. et al. High performance imaging using large camera arrays //ACM SIGGRAPH 2005 Papers. – 2005. – С. 765-776.
  4. Zhang C., Chen T. A self-reconfigurable camera array //ACM SIGGRAPH 2004 Sketches. – 2004. – С. 151.
  5. Venkataraman K. et al. Picam: An ultra-thin high performance monolithic camera array //ACM Transactions on Graphics (TOG). – 2013. – Т. 32. – №. 6. – С. 1-13.
  6. Ng R. Digital light field photography. – stanford university, 2006.
  7. Georgiev T., Chunev G., Lumsdaine A. Superresolution with the focused plenoptic camera //Computational Imaging IX. – SPIE, 2011. – Т. 7873. – С. 232-244.
  8. Lippman G. La photographie integrale //Comptes-Rendus Academie des Sciences. – 1908. – Т. 146. – С. 446-451.
  9. Huang C. T. et al. Fast realistic refocusing for sparse light fields //2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). – IEEE, 2015. – С. 1176-1180.
  10. Levoy M., Hanrahan P. Light field rendering //Proceedings of the 23rd annual conference on Computer graphics and interactive techniques. – 1996. – С. 31-42.
  11. Gortler S. J. et al. The lumigraph //Proceedings of the 23rd annual conference on Computer graphics and interactive techniques. – 1996. – С. 43-54.
  12. Dansereau D. G., Pizarro O., Williams S. B. Decoding, calibration and rectification for lenselet-based plenoptic cameras //Proceedings of the IEEE conference on computer vision and pattern recognition. – 2013. – С. 1027-1034.
  13. Levoy M., Hanrahan P. Light field rendering //Proceedings of the 23rd annual conference on Computer graphics and interactive techniques. – 1996. – С. 31-42.
  14. Lalonde P., Fournier A. Interactive rendering of wavelet projected light fields //Graphics Interface. – 1999. – Т. 99. – С. 107-114.
  15. Magnor M., Girod B. Data compression for light-field rendering //IEEE Transactions on Circuits and Systems for Video Technology. – 2000. – Т. 10. – №. 3. – С. 338-343.
  16. Magnor M. A., Endmann A., Girod B. Progressive Compression and Rendering of Light Fields //VMV. – 2000. – С. 199-204.
  17. Lelescu D., Bossen F. Representation and coding of light field data //Graphical Models. – 2004. – Т. 66. – №. 4. – С. 203-225.
  18. Magnor M., Girod B. Data compression for light-field rendering //IEEE Transactions on Circuits and Systems for Video Technology. – 2000. – Т. 10. – №. 3. – С. 338-343.
  19. Conti C., Nunes P., Soares L. D. New HEVC prediction modes for 3D holoscopic video coding //2012 19th IEEE International conference on image processing. – IEEE, 2012. – С. 1325-1328.
  20. Lucas L. F. R. et al. Locally linear embedding-based prediction for 3D holoscopic image coding using HEVC //2014 22nd European Signal Processing Conference (EUSIPCO). – IEEE, 2014. – С. 11-15.
  21. Li Y. et al. Efficient intra prediction scheme for light field image compression //2014 IEEE International conference on acoustics, speech and signal processing (ICASSP). – IEEE, 2014. – С. 539-543.
  22. Perra C., Assuncao P. High efficiency coding of light field images based on tiling and pseudo-temporal data arrangement //2016 IEEE International Conference on Multimedia & Expo Workshops (ICMEW). – IEEE, 2016. – С. 1-4.
  23. Conti C., Nunes P., Soares L. D. HEVC-based light field image coding with bi-predicted self-similarity compensation //2016 IEEE International Conference on Multimedia & Expo Workshops (ICMEW). – IEEE, 2016. – С. 1-4.
  24. Monteiro R. et al. Light field HEVC-based image coding using locally linear embedding and self-similarity compensated prediction //2016 IEEE International Conference on Multimedia & Expo Workshops (ICMEW). – IEEE, 2016. – С. 1-4.
  25. Li Y., Olsson R., Sjöström M. Compression of unfocused plenoptic images using a displacement intra prediction //2016 IEEE International Conference on Multimedia & Expo Workshops (ICMEW). – IEEE, 2016. – С. 1-4.
  26. Li Y. et al. Efficient intra prediction scheme for light field image compression //2014 IEEE International conference on acoustics, speech and signal processing (ICASSP). – IEEE, 2014. – С. 539-543.
  27. Rizkallah M. et al. Impact of light field compression on focus stack and extended focus images //2016 24th European Signal Processing Conference (EUSIPCO). – IEEE, 2016. – С. 898-902.
  28. Liu D. et al. Pseudo-sequence-based light field image compression //2016 IEEE International Conference on Multimedia & Expo Workshops (ICMEW). – IEEE, 2016. – С. 1-4.
  29. Kundu S. Light field compression using homography and 2D warping //2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). – IEEE, 2012. – С. 1349-1352.
  30. Jiang X. et al. Homography-based low rank approximation of light fields for compression //2017 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). – IEEE, 2017. – С. 1313-1317.
  31. Convenor J. JPEG Pleno call for proposals on light field coding //Doc. ISO/IEC JTC1/SC29/WG1. – 2017. – №. 74014.
  32. Nava F. P., Luke J. P. Simultaneous estimation of super-resolved depth and all-in-focus images from a plenoptic camera //2009 3DTV Conference: The True Vision-Capture, Transmission and Display of 3D Video. – IEEE, 2009. – С. 1-4.
  33. Cho D. et al. Modeling the calibration pipeline of the lytro camera for high quality light-field image reconstruction //Proceedings of the IEEE International Conference on Computer Vision. – 2013. – С. 3280-3287.
  34. Yang J. et al. Image super-resolution as sparse representation of raw image patches //2008 IEEE conference on computer vision and pattern recognition. – IEEE, 2008. – С. 1-8.
  35. Bishop T. E., Zanetti S., Favaro P. Light field superresolution //2009 IEEE International Conference on Computational Photography (ICCP). – IEEE, 2009. – С. 1-9.
  36. Wanner S., Goldluecke B. Variational light field analysis for disparity estimation and super-resolution //IEEE transactions on pattern analysis and machine intelligence. – 2013. – Т. 36. – №. 3. – С. 606-619.
  37. Mitra K., Veeraraghavan A. Light field denoising, light field superresolution and stereo camera based refocussing using a GMM light field patch prior //2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. – IEEE, 2012. – С. 22-28.
  38. Yoon Y. et al. Light-field image super-resolution using convolutional neural network //IEEE Signal Processing Letters. – 2017. – Т. 24. – №. 6. – С. 848-852.
  39. Kalantari N. K., Wang T. C., Ramamoorthi R. Learning-based view synthesis for light field cameras //ACM Transactions on Graphics (TOG). – 2016. – Т. 35. – №. 6. – С. 1-10.
  40. Farrugia R. A., Galea C., Guillemot C. Super resolution of light field images using linear subspace projection of patch-volumes //IEEE Journal of Selected Topics in Signal Processing. – 2017. – Т. 11. – №. 7. – С. 1058-1071.
  41. Rother C. et al. Cosegmentation of image pairs by histogram matching-incorporating a global constraint into mrfs //2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06). – IEEE, 2006. – Т. 1. – С. 993-1000.
  42. Mukherjee L., Singh V., Peng J. Scale invariant cosegmentation for image groups //CVPR 2011. – IEEE, 2011. – С. 1881-1888.
  43. Wanner S., Straehle C., Goldluecke B. Globally consistent multi-label assignment on the ray space of 4d light fields //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2013. – С. 1011-1018.
  44. Mihara H. et al. 4D light field segmentation with spatial and angular consistencies //2016 IEEE International Conference on Computational Photography (ICCP). – IEEE, 2016. – С. 1-8.
  45. Hog M., Sabater N., Guillemot C. Light field segmentation using a ray-based graph structure //European Conference on Computer Vision. – Springer, Cham, 2016. – С. 35-50.
  46. Seitz S. M., Kutulakos K. N. Plenoptic image editing //International Journal of Computer Vision. – 2002. – Т. 48. – №. 2. – С. 115-129.
  47. Silva F. et al. Efficient propagation of light field edits. – 2011.
  48. Shon K. W. et al. Spatio-angular consistent editing framework for 4D light field images //Multimedia Tools and Applications. – 2016. – Т. 75. – №. 23. – С. 16615-16631.
  49. Chen K. W., Chang M. H., Chuang Y. Y. Light field image editing by 4D patch synthesis //2015 IEEE International Conference on Multimedia and Expo (ICME). – IEEE, 2015. – С. 1-6.
  50. Goldluecke B., Wanner S. The variational structure of disparity and regularization of 4D light fields //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. – 2013. – С. 1003-1010.
Проголосовать за статью
Дипломы участников
Диплом лауреата

Оставить комментарий