РАЗРАБОТКА ПОЛЬЗОВАТЕЛЬСКОГО ИНТЕРФЕЙСА ДЛЯ ВЗАИМОДЕЙСТВИЯ С 3D МОДЕЛЯМИ В ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

DEVELOPING A USER INTERFACE FOR INTERACTING WITH 3D MODELS IN AUGMENTED REALITY

Igor Kisin

student, Department of Information Systems, Sevastopol State University,

Russia, Sevastopol

Dmitry Kutsenko

student, Department of Information Systems, Sevastopol State University,

Russia, Sevastopol

АННОТАЦИЯ

 В статье разрабатывается наиболее удобный и оптимальный пользовательский интерфейс для AR приложений, основой которого является взаимодействие с 3D моделями, максимальное сокращение статичных элементов интерфейса.

ABSTRACT

The article develops the most convenient and optimal user interface for AR applications, the basis of which is interaction with 3D models, the maximum reduction of static interface elements.

Ключевые слова: AR, дополненная реальность, UI, пользовательский интерфейс, UX, пользовательский опыт, 3D модель, дизайн, взаимодействие, интуитивность, иммерсивность.

Keywords: AR, Augmented reality, UI, user interface, UX, user experience, 3D model, design, interaction, intuitionality, immersiveness.

Введение

Ввиду появления огромного количества AR контента на рынке, такого как, мобильные приложения с использованием технологии дополненной реальности и программное обеспечение очков и шлемов дополненной реальности, очень остро стоит проблема пользовательского интерфейса (UI) для таких программных продуктов. В связи с тем, что пользовательский опыт (UX) значительно отличается в сравнении с классическими мобильными и настольными приложениями, далеко не все разработчики ПО с использованием дополненной реальности смогли решить проблему пользовательского опыта и разработать UI, который бы не недостатков пользовательского интерфейса классических приложений.

Целью научной статьи является разработка основных концепций и принципов для построения наиболее удобного и эффективного для взаимодействия с 3D объектами в пространстве дополненной реальности пользовательского интерфейса.

Приложения с дополненной реальностью на мобильных устройствах

AR приложения отличаются от всех остальных мобильных приложений наличием AR пространства, которое является трансляцией изображения с камеры устройства в реальном времени с наложенным на него 3D объектами или 2D элементами интерфейса. Это AR пространство должно занимать как можно больше места на экране устройства. Благодаря этой отличительной особенности AR приложения имеют много общих черт с картографическими приложениями. Основным источником полезной информации таких приложений является карта, которая, как и в случае с AR пространством, должна занимать как можно больше места на экране устройства. На рисунке 1 изображено наглядное сравнение примеров AR и картографического приложений. В случае картографических приложений, если нам нужно узнать информацию о каком-либо здании, или любом другом объекте на карте, то достаточно лишь нажать на этот объект, после чего появится выпадающее контекстное меню с вариантами взаимодействия с этим объектом. Если бы картографические приложения были ограничены лишь возможностью найти информацию об объекте в поиске или легенде карты, это сделало бы их использование очень неудобными. По аналогии и в AR приложениях было бы куда удобней сделать объекты, расположенные в AR пространстве активными для вызова окон меню.

Рисунок 1. Пример AR приложения и картографического

Программное обеспечение очков дополненной реальности

До выхода шлема смешанной реальности Apple Vision Pro на рынке подобных устройств существовало крайне мало экземпляров, подходящих для массового потребителя. Интерфейс программного обеспечения таких устройств мало чем отличался от интерфейса AR приложений для мобильных устройств. Ввиду отсутствия иммерсивных способов управления, таких как жесты руками, пальцами или движением глаз, разработчики могли не утруждаться разработкой более удобного и погружённого в дополненную реальность интерфейса. Управление обычно реализовывали с помощью контроллеров с привычными кнопками и сенсорными панелями. На пример, у самой популярной MR гарнитуры от компании Meta (Запрещённая на территории РФ экстремистская организация) Quest 3 управление реализовано с помощью двух контроллеров. Есть возможность использовать жесты рук, однако такой функционал значительно ограничен и работает хуже из-за неточного трекинга рук.

Следует заметить, что Apple Vision Pro является шлемом смешанной реальности (MR), что не даёт возможности называть его AR очками, однако погружение в виртуальную реальность (VR) для данного устройства опциональна и по сути 90% времени использования пользователь так или иначе проводит в пространстве дополненной реальности. Внешний вид интерфейса Vision OS продемонстрирован на рисунке 2.

Рисунок 2. Внешний вид Vision OS

3D и 2D объекты в дополненной реальности

В привычном понимании элементы UI являются двухмерными объектами в подавляющем большинстве случаев. Иногда бывают случаи, когда в классическом приложении разработчики применяют трёхмерные объекты в качестве элементов интерфейса, на пример это может быть трёхмерное колесо циферблата будильника, которое пользователь может крутить, выбирая нужное ему время. В классических приложениях в качестве 3D моделей элементы интерфейса чаще всего можно заметить в играх.

Для приложений с дополненной реальностью в 90% случаев основными объектами интереса являются как раз 3D модели, так как сама технология AR подразумевает возможность рассмотреть какой-либо объект со всех сторон, в реальном масштабе или в подходящей обстановке, на пример рассмотреть 3D модель стула у себя в гостиной, прежде чем совершить покупку реального. На рисунке 3 изображён такой случай на примере AR приложения от компании Amazon. На примере этого же стула рассмотрим возможные действия, которые предлагает нам UI для совершения их с моделью:

• удалить объект;
• переместить объект;
• изменить масштаб объекта;
• изменить цвет объекта.

Рисунок 3. AR приложение от компании Amazon

В классическом приложении, не подразумевающем AR, такое контекстное меню в лучшем случае следовало бы сделать выпадающим сверху или сбоку экрана после нажатия на объект. Однако для приложения с дополненной реальностью данное решение будет некорректным, так как закроет часть AR пространства или нарушит погружение пользователя в случае, если целевое устройство это AR-очки или шлем MR. В таком случае необходимо поместить контекстное меню объекта в само AR пространство. После нажатия на объект, такое меню появится рядом с ним, прикреплённое к положению самого объекта.

Вследствие переноса двухмерного меню в AR пространство, поднимается вопрос о сомнительном использовании термина «2D объект», так как теперь появляется возможность обойти это меню сзади или рассмотреть под разными углами. Существует два возможных варианта исполнения данного решения.

Привязать меню к камере так, чтобы под любым углом оно было развёрнуто ровно к пользователю и далее считать данное меню двухмерным.

Оставить «двухмерное меню» жёстко привязанным к объекту, давая возможность смотреть на него с разных сторон, и теперь считать интерфейс полностью трёхмерным. Хоть такие окна и имеют значения лишь по двум осям, а по третьей оси их размер равен 0, этот факт не мешает обманчивому ощущению их трёхмерности.

Именно по сценарию второго решения устроен интерфейс VisionOS. Такой подход делает всё наполнение AR пространства более приближенным к реальности, поэтому можно прийти к выводу, что является наиболее желательным.

Для AR-приложений, разрабатываемых под мобильные устройства, конечно, можно использовать классический 2D интерфейс, привязанный к экрану устройства, но следует делать его либо полупрозрачным, либо выпадающим, чтобы минимизировать заслонение им AR пространства. Однако, использование «полностью трёхмерного интерфейса» подхода, позволит сделать универсальное приложение, которое не нужно переделывать и переосмыслять для запуска на AR очках и MR платформах.

На рисунке 4 изображён прототип интерфейса, разработанный автором статьи. Данный интерфейс соблюдает все выше предложенные аспекты эффективного и универсального подхода к созданию UI для AR приложений.

Рисунок 4. Прототип универсального UI

В данном случае изображается интерфейс приложения для тестирования пригодности 3D моделей для использования их в приложениях с AR.

Выводы

В заключение можно сделать выводы, что в данной работе были проведены исследования в области разработки пользовательского интерфейса для взаимодействия с 3D моделями в дополненной реальности. Основная цель - создание универсального интерфейса для AR приложений, минимизирующего использование статичных элементов и улучшающего взаимодействие с 3D моделями. Была подчеркнута важность использования иммерсивных и интуитивно понятных методов управления в AR, таких как жесты и движения, для улучшения пользовательского опыта. В работе обсуждалось преимущество использования 3D объектов в качестве основных элементов интерфейса в AR приложениях, в отличие от традиционных 2D элементов. Предложена разработка универсального интерфейса, который был бы эффективен как для мобильных устройств, так и для AR очков и MR платформ. Подчеркнуто, что такой подход может способствовать более естественному и погруженному взаимодействию пользователя с дополненной реальностью.

Список литературы:

1. Утробина Е. С., Кокорина И. П. Мобильные картографические приложения для охотников и рыболовов // Информационные технологии и системы. 2019. № 4. С. 65-72.
2. “AR и VR — Дополненная (AR) и виртуальная (VR) реальность”: Статья в журнале// - М.: Хабр.
3. “AR - простыми словами о технологии и как AR-приложение может приносить новые лиды”: Статья в журнале// - М.: OrbitSoft, 2023.
4. “Топ-6 AR-приложений для смартфона”: Статья в журнале// - М.: Maff, 2021.
5. Smith J. "Designing User Interfaces for Mobile Applications": Article in Journal// - New York: uxdesign.cc, 2019.
6. Brown L. "Mobile UI/UX Best Practices": Article in Journal// - San Francisco: smashingmagazine.com, 2020.
7. Patel R. "The Importance of Mobile App Design in User Engagement": Article in Journal// - London: medium.com, 2018.
8. White S. "Designing Augmented Reality Experiences": Article in Journal// - Seattle: uxdesign.cc, 2021.
9. Garcia M. "Best Practices for AR App Design": Article in Journal// - Los Angeles: medium.com, 2020.
10. Kim T. "The Future of AR Design: Trends and Innovations": Article in Journal// - Seoul: uxplanet.org, 2019.