ПРОЦЕСС ОБРАБОТКИ ИЗОБРАЖЕНИЙ В ПРИЛОЖЕНИЯХ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ ДЛЯ ВИРТУАЛЬНОЙ ПРИМЕРКИ КОЛЕЦ

IMAGE PROCESSING IN AUGMENTED REALITY APPLICATIONS FOR VIRTUAL RING TRY-ON

Gleb Kosilov

student, Department of Information Systems, Moscow State University of Technology “Stankin”,

Russia, Moscow

Olga Volkova

scientific supervisor, candidate of Engineering Sciences, associate professor, Moscow State University of Technology “Stankin”,

Russia, Moscow

АННОТАЦИЯ

В данном тексте рассматриваются методы и технологии обработки изображений, которые можно использовать для разработки приложения дополненной реальности для виртуальной примерки колец. Особое внимание уделяется процессу предварительной обработки изображений перед передачей их в алгоритм обнаружения и отслеживания рук, а также методам оптимизации процесса обработки для обеспечения высокой производительности и точности в режиме реального времени.

ABSTRACT

This text discusses image processing methods and technologies that can be used to develop an augmented reality application for virtual ring fitting. Particular attention is paid to the process of pre-processing images before passing them to the hand detection and tracking algorithm, as well as methods to optimize the processing process to ensure high performance and accuracy in real time.

Ключевые слова: дополненная реальность; компьютерное зрение; машинное обучение.

Keywords: augmented reality; computer vision; machine learning.

Дополненная реальность (AR) представляет собой инновационную технологию, которая объединяет виртуальные объекты с реальным миром, создавая иллюзию естественного взаимодействия между ними. В отличие от виртуальной реальности, где пользователь окружается полностью виртуальным миром, AR внедряет виртуальные элементы в реальное окружение пользователя, что обогащает его восприятие и расширяет опыт взаимодействия с окружающим миром. [1]

С развитием технологии дополненной реальности появляется множество возможностей для создания инновационных приложений, которые предлагают пользователям намного более интерактивный пользовательский опыт, чем обычный просмотр фото или видео. Одна из предметных областей, в которой можно применить данную технологию, является виртуальная примерочная ювелирных изделий, например, колец. [2]

Данное приложение должно позволить пользователям примерить различные кольца на свои пальцы в режиме реального времени, используя камеру своего устройства. Более того, для достижения большего охвата потенциальных клиентов программный продукт должен быть реализован в форме веб-приложения, что позволит использовать его как на телефонах и планшетах, так и на персональных компьютерах вне зависимости от установленной операционной системы. Главным условием для использования приложения должно быть только наличие камеры и достаточно мощного и актуального аппаратного обеспечения.

Очевидно, что для реализации подобного приложения необходимы эффективные методы обработки изображений, которые могут обнаруживать и отслеживать руки пользователей, а также определять ключевые точки на них для точной виртуальной примерки.

Ниже представлено детальное описание данного процесса:

1. Пользователь запускает веб-приложение и предоставляет ему доступ к камере устройства. Приложение получает изображение в реальном времени с камеры смартфона или веб-камеры на компьютере пользователя.
2. Веб-приложение загружает предварительно обученную модель машинного обучения, включающую нейронные сети, необходимые для обнаружения и отслеживания руки на изображении.
3. Полученное изображение проходит через этап предварительной обработки, где осуществляется уменьшение его размера для оптимизации скорости обработки и преобразование цветового пространства для лучшей совместимости с алгоритмами обработки.
4. Загруженная модель анализирует преобразованное изображение и проводит обнаружение руки на нем. Данный этап критически важен, поскольку он позволяет избежать излишних вычислений – приложение не обращается к данному ресурсозатратному этапу до тех пор, пока модель продолжает распознавать руку в выделенной на этом шаге части изображения.
5. После обнаружения руки модель машинного обучения определяет и отслеживает ключевые точки руки (рис. 1), такие как основание, кончики и фаланги пальцев, а также основание запястья, игнорируя часть изображения, где не была обнаружена рука. Это достигается с использованием алгоритмов точечной классификации и регрессии, обученных на больших наборах данных.

Рисунок 1. Определяемые ключевые точки кисти руки

6. Результатом работы модели машинного обучения являются координаты ключевых точек на руке в формате, который будет использован для дальнейшей визуализации кольца.
7. Веб-приложение производит вычисление относительного положения и ориентацию кольца, которое будет виртуально надето на палец. Это включает в себя определение трансформаций, таких как перемещение, вращение и масштабирование, чтобы кольцо правильно соответствовало позе и движениям руки.
8. Завершая процесс, веб-приложение визуализирует кольцо на пальце пользователя, используя рассчитанные параметры позиции и вращения. Визуализация может включать в себя отображение 3D-модели кольца на изображении из камеры.

Процесс обработки изображений, описанный выше, является ключевым для достижения успешного функционирования веб-приложения, предназначенного для виртуальной примерки колец на пальцы пользователей. Данный процесс обеспечивает точную и реалистичную примерку колец, учитывая позу и движения руки пользователя.

Таким образом, в результате данного исследования был разработан процесс обработки изображений, использующий современные методы машинного обучения. Благодаря этому данную технологию можно применить даже на вычислительных мощностях, предоставляемых современными смартфонами, что позволяет значительно расширить потенциальную аудиторию пользователей веб-приложения.

Список литературы:

1. Статья «Определение дополненной реальности», СберУниверситет, 2023. [электронный ресурс] — Режим доступа: свободный. — URL: https://sberuniversity.ru/edutech-club/lab/glossary/938/ (дата обращения 29.04.2024)
2. Статья «Дополненная реальность в вебе», Хабр, 2022. [электронный ресурс] — Режим доступа: свободный. — URL: https://habr.com/ru/articles/656953/ (дата обращения 29.04.2024)