ТЕХНОЛОГИИ ВИЗУАЛИЗАЦИИ ДАННЫХ ЗАХВАТА ДВИЖЕНИЯ

На сегодняшний день графика и анимация – это наиболее развивающиеся направления в киноиндустрии, мультипликации и 3D-моделировании. С каждым годом появляются все более мощные ПО и инструменты для создания и обработки изображений, позволяющие полностью обеспечить рабочие группы необходимым функционалом и реализовать любые творческие идеи, причем экономически эффективно.

Технологии и решения для захвата движения Motion Capture уже 30 лет раздвигают границы возможного при создании 3D-анимации для кинопроизводства, в медицине, спорте, промышленности, виртуальной реальности и естественных науках, при этом используется маркерная технология с оптической пассивной системой. В основе работы такой технологии лежит принцип отражения NIR-сигналов от пассивных маркеров и попадание отраженного света на матрицу специальной камеры с дальнейшей обработкой результатов по специальным алгоритмам.

Процесс захвата происходит следующим образом: на объект, движение которого требуется захватить, устанавливаются пассивные маркеры таким образом, чтобы перемещение его движущихся частей, а также их ориентация в пространстве однозначно определялись (например, изгибы рук и ног). Вокруг площади, по которой планируется перемещение объекта, устанавливаются специальные камеры захвата. Эти камеры осуществляют не обычную видео-съемку, а улавливают излучение в инфракрасном диапазоне или близком к нему. Вокруг объектива камеры расположены светодиодные кольца, которые и генерируют это излучение. Далее оно отражается от маркеров и попадает на матрицу. Таким образом, каждая камера получает проекцию точек на матрице, а совокупность проекций позволяет определить координаты точек в объеме, а также расположение камер друг относительно друга.

Для того чтобы построить точную объемную модель виртуального пространства, производится калибровка системы с помощью специального калибровочного устройства, на котором расположены маркеры (они могут быть как активными, так и пассивными), а их расположение точно зафиксировано в ПО, которое анализирует сигналы камер. После того как калибровка окончена, можно приступать к работе. Объект помещается на рабочую площадь, расположенные на нем маркеры, отражая излучение, передают свои координаты в ПО. Группа маркеров определяется как единый объект, после чего можно определить внутренние взаимосвязи, а также ввести в сцену дополнительные объекты и персонажей. Когда выполняется захват движения человека, маркеры располагаются на суставах рук и ног, на голове, туловище, чтобы их расположение передавало картину движения человека максимально полно. Так как в сцене может одновременно находиться несколько персонажей, для корректной привязки реального актера к его модели используется специальная площадка, где располагаются маркеры, взаимное положение которых позволяет однозначно определять виртуальную модель.

Затем производится захват данных в реальном времени и запись их в виде потока цифровых данных. В случае необходимости можно также записать синхронное видео, которое в дальнейшем поможет при корректировке записанных МоСар-данных и визуальном представлении действий актеров в сцене. Для создания анимационной продукции различные специализированные программы, такие как приложение Blade компании Vicon. Они должны содержать различные инструменты для захвата данных, создания виртуальных цифровых моделей, чистки данных, настройки камер и управления ими, потоковой передачи данных в реальном времени в сторонние приложения. МоСар-данные могут быть использованы двумя способами: записаны для сохранения и последующей чистки. Чистка подразумевает восстановление и корректировку потерянных маркеров и траекторий. Готовый материал можно экспортировать в различные приложения типа Maya или 3ds Max либо передать в виде потока в Motion Builder; переданы в виде потока в реальном масштабе времени через дополнительный программный модуль iKinema в Maya и в Motion Builder, а также с помощью дополнительного приложения Vicon Pegasus в игровые движки Unity и Unreal Engine. В зависимости от количества камер и общей конфигурации комплекса число и сложность захватываемых объектов практически не ограничены.

У Vicon также есть решение Vicon Cara для захвата мимики лица. Тут тоже используется маркерная технология, для захвата изображения используются четыре видеокамеры. Видео-изображение записывается и анализируется в режиме отложенного времени. В результате получается объемная модель лица. Несмотря на то, что обработка осуществляется не в реальном времени, готовая модель будет содержать данные для синхронизации с основной моделью. В итоге пользователь получает модель человека с данными мимики лица.

Для создания объемных моделей и 3D-анимации чаще всего применяется пакет Autodesk: Maya, 3ds max и Motion Builder. Инструментарий этих систем позволяет создавать сложные модели, сборки и сцены, работать над анимацией, визуализировать готовые изображения и видеоролики.

Autodesk Maya предназначена главным образом для создания персонажей. Здесь можно создавать сложные 3D-модели с поддержкой полигонального моделирования, повторного использования топологии, работать с UV-текстурами, моделировать полигональные сети и сети сглаживания, а также поверхности. Встроенные средства создания эффектов и динамики сцен дают возможность работать с мехом, волосами, шерстью и травой (Maya Flur), моделировать сложные эффекты с использованием систем частиц, реалистичную деформацию материалов. Кроме того, поддерживается моделирование атмосферы, жидкостей и открытых водных поверхностей. Для ускорения и оптимизации работы разработчики добавили поддержку скриптов и API, благодаря чему формирование сцены, анимация и создание элементов объекта может быть описана с помощью сценария с применением сложных логических цепочек и множества переменных. Также пользователь может интегрировать проект Maya с решениями сторонних разработчиков и осуществлять обмен данным в реальном и отложенном масштабе времени. Имеются встроенные средства управления элементами и сценами на основе графов, интеграция 2D- и 3D-компонентов. Готовая 3D-модель, будь то сцена или отдельный персонаж, может быть доработана путем применения различных эффектов типа затенения, кистей для раскрашивания, а камере можно придать сложную траекторию движения.

Autodesk 3ds Max служит для создания различных моделей и сцен, однако наиболее часто она применяется при моделировании ландшафтов, интерьеров, архитектурных сооружений и различных механизмов. Поддерживается создание моделей из облака точек, полученных при сканировании пространства. Применение деформаторов, в том числе анимированных, предоставляет пользователю возможность создавать практически любые формы и поверхности без необходимости выполнения множества итераций по редактированию полигонов, вершин и граней. Начиная с 2015-й версии, разработчики добавили создание расширенных шейдеров HLSL и фаски между прямоугольными поверхностями, работу со стереокамерой, улучшили визуализацию Active Shade и ускорили сам процесс формирования фотореалистичной картинки.

Также среди новшеств следует отметить поддержку сценариев на языке Python, расширенные возможности управления сценариями, поддержку формата Alembic. Встроенные инструменты размещения объектов помогают легко позиционировать компоненты внутри больших сборок без необходимости точной привязки – просто путем перетаскивания объекта на нужную плоскость и расположения его там. Встроенные функции заполнения пространства помогают моделировать толпу, ее поведение и движение персонажей, причем очень реалистично. Для интеграции 3D-изображений в фотографии или видео предусмотрены механизмы сопоставления камер, что позволяет точно расположить объемные плоскости и координатные оси и корректно сориентировать расположение объемной модели и 2D-изображения, придав общей сцене естественность, сохранив перспективу и пропорции.

Autodesk Motion Builder позволяет работать над анимацией персонажа, совмещая в едином рабочем пространстве персонажей и объекты окружающего пространства. Инструментарий обеспечивает манипулирование характеристиками объектов, внесение допусков и изменений. Но наиболее интересной является возможность визуализации сцены в реальном масштабе времени с применением движений персонажей. Приложение позволяет в режиме реального времени принимать поток из Vicon Blade и сопоставлять его с персонажами. Это дает возможность внедрить объекты в сцену и немедленно увидеть результат работы актеров без какой-либо дополнительной обработки по синхронизации данных от различных источников и выполнения операций просчета. Кроме движения персонажа, с помощью дополнительного программного модуля Faceware Live можно передавать мимику актеров. Motion Builder синхронно получает и обрабатывает все данные, формируя рабочую среду с вписанными в нее героями, движения и мимика которых в реальном времени встраиваются в 3D-модель сцены.

Описанные выше системы охватывают все стадии создания анимационного ролика, в том числе оцифровку движения персонажей, создание объемных моделей персонажей с максимально реалистичной анимацией, а также прочих объемных моделей и ландшафтов, выполнение анимации сцен с большим количеством объектов, а также финальную обработку и стилизацию со сведением в готовый сюжет. Рабочие группы могут комплексно организовать свой рабочий процесс, при этом получая полную совместимость форматов во всей цепочке обработки материалов и создания контента.

Список литературы:

1. Moeslund T.B. A survey of advances in human motion capture and analysis. // Computer Vision and Image Understanding, 2006. – vol.104, pp.90–126.