ВЫЧИСЛИТЕЛЬНАЯ ФОТОГРАФИЯ

COMPUTATIONAL PHOTOGRAPHY

Aziza Nasretdinova

master's degree on faculty of Design and Software Engineering, Kazan National Research Technological University,

Russia, Kazan

Aidar Nasretdinov

master's degree on faculty of Design and Software Engineering, Kazan National Research Technological University,

Russia, Kazan

Karina Shaikhutdinova

master's degree on faculty of Design and Software Engineering, Kazan National Research Technological University,

Russia, Kazan

АННОТАЦИЯ

Компьютерная фотография в настоящее время меняет репрезентативные и социальные функции фотографического изображения. Ряд в значительной степени автоматизированных методов вычислительной обработки создает изображения, которые улучшают цифровую фотографию, чтобы обойти физические ограничения, связанные с размером смартфона, имитируя эстетику, связанную с цифровыми камерами большого формата и профессиональными фотографическими рабочими процессами и методами.

ABSTRACT

Computer photography is currently changing the representational and social functions of the photographic image. A number of highly automated computational processing techniques create images that enhance digital photography to circumvent the physical limitations of smartphone size, mimicking the aesthetics associated with large format digital cameras and professional photographic workflows and techniques.

Ключевые слова: вычислительная фотография, смартфон, технологии.

Keywords: computational photography, smartphone, technology.

Определение новых форм компьютерной фотографии сразу же усложняется тем фактом, что цифровая фотография всегда подвергалась вычислительной обработке. Действительно, многие из методов, автоматизированных современными методами вычислительной фотографии, являются исправлением ранее существовавших процессов цифровой фотографии, в результате чего относительно сложные профессиональные рабочие процессы автоматически выполняются программным обеспечением на смартфонах [1, с. 2].

Возможно, самое большое изменение, связанное с современной компьютерной фотографией, - это уход от изображений, составленных из одного временного кадра. Обычно пленочные или цифровые изображения создаются фотографом, приводящим в действие механический или электронный затвор. Вычислительная фотография основана на наложении изображений из нескольких источников. Ярким примером такой практики наложения кадров является фотография HDR+, используемая в Google Pixel 3. Когда приложение камеры запущено, телефон постоянно отправляет кадры в RAM. В отличие от традиционных камер, где фотограф, нажимая кнопку спуска затвора, запускает процесс записи, нажатие кнопки записи сигнализирует о средней точке в 15-кадровом потоке изображения, который камера отправляет для вычислительной обработки. Значение состоит не только в том, что камера объединяет эти изображения, практика фотографирования трансформируется от человека-оператора, фиксирующего момент выбора, в очерчивание последовательности изображений, с которой можно начать работу взад и вперед во времени. Используя данные из этих 15 кадров, Pixel 3 генерирует составное изображение, содержащее HDR, большее разрешение и более низкий уровень шума, чем было бы возможно при однократной экспозиции.

Одна из определяющих особенностей камер смартфонов - их компактный размер. Это влечет за собой оптические ограничения для фотографии со смартфона. Датчик в камере смартфона составляет всего 5,76 × 4,29 мм, это значительно меньше, чем 1 дюйм (13,2 × 8 мм): сенсоры, которые есть во многих компактных цифровых камерах, не говоря уже об APS-C (23,6 × 15,6 мм) или полном кадре (36 × 24 мм) датчики, имеющиеся в зеркальных фотокамерах. При прочих равных предпочтительнее использовать датчики большего размера; большая площадь поверхности означает, что на датчик попадает больше света во время любой данной экспозиции; большая площадь поверхности каждого пикселя позволяет собрать больше фотонов в каждой лунке до того, как она станет насыщенной. Следовательно, более крупные сенсоры обычно производят HDR и меньше шума (особенно при слабом освещении). Комбинируя множество изображений, вычислительная фотография позволяет моделировать один кадр с HDR, а не его составные части. Переэкспонирование одних кадров при недоэкспонировании других позволяет снимать светлые участки с недоэкспонированных изображений, а тени - с переэкспонированных изображений, эффективно позволяя области кадра, которые в противном случае терялись бы в глубокой тени или были бы переэкспонирован. Проблема с составлением кадров заключается в том, что когда либо объект, либо камера перемещаются между кадрами, возникают артефакты, которые не соответствуют человеческому восприятию мира. Вычислительная фотография решает эту проблему, используя алгоритмы, которые автоматически выравнивают изображения, чтобы исключить движение камеры, и устраняют артефакты, выбрав не объединять области кадра, где есть движение объекта [3, с. 1035].

Фактически, продолжающаяся миниатюризация микроэлектроники, в результате которой мобильные телефоны превратились из устройств связи в мощные портативные компьютеры, обеспечивает вычислительную мощность, необходимую для функционирования компьютерной фотографии.

Вычислительная фотография требует совокупности программного и аппаратного обеспечения не только для создания карт глубины, но и для выполнения вычислительной обработки, необходимой для изображений HDR и другой обработки изображений в режиме, близком к реальному времени. Микропроцессоры, такие как процессор Apple A12, оснащены встроенным графическим процессором (GPU), поскольку графические процессоры выполняют задачи машинного обучения и обработки изображений быстрее, чем центральные процессоры [2, с. 15].

Компьютерная фотография заменяет более ранние формы цифровой фотографии, позволяя фотографии со смартфона создавать изображения, имитирующие эстетику, присущую физически более крупным камерам, например, увеличение динамического диапазона, улучшение характеристик при слабом освещении и имитация малой глубины резкости. Соответственно, методы, связанные с профессиональными фотографическими рабочими процессами, такие, как: использование заполняющего света или модификаторов освещения для осветления человеческих лиц и ретуширование лиц, также выполняются алгоритмами машинного обучения.

Список литературы:

1. Andrejevic M. Automated Media. New York: Routledge. 2020
2. MacKenzie A and Munster A. Platform seeing: image ensembles and their invisualities. Theory, Culture & Society 36: 3–22. 2019
3. Wan G, Li X, Agranov G.  CMOS image sensors with multi-bucket pixels for computational photography. 1031–1042. 2012