ИСПОЛЬЗОВАНИЕ ТЕХНОЛОГИЙ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ ПРИ РАЗРАБОТКЕ МОБИЛЬНЫХ ОБУЧАЮЩИХ СИСТЕМ

USE OF AUGMENTED REALITY TECHNOLOGIES IN THE DEVELOPMENT OF MOBILE EDUCATIONAL SYSTEMS

Natalya Fevaleva

student, Faculty of Digital Technology and Cybersecurity, Astrakhan State University,

Russia, Astrakhan

Svetlana Okladnikova

scientific director, candidate of technical sciences, associate professor, Faculty of Digital Technology and Cybersecurity, Astrakhan State University,

Russia, Astrakhan

АННОТАЦИЯ

В статье исследована технология дополненной реальности, описаны математические методы и алгоритмы данной технологии, разработан прототип приложения с применением данной технологии.

ABSTRACT

The article explores the technology of augmented reality, describes the mathematical methods and algorithms of this technology, developed a prototype application using this technology.

Ключевые слова: Дополненная реальность, технология, приложение, Unity, ARCore, математические методы.

Keywords: Augmented reality, technology, application, ARCore, Unity, mathematical methods.

Современные исследователи утверждают, что инновационные средства в сфере обучения улучшают усвоение информации и повышают интерес обучающихся к изучению нового. Применение передовых технологий в образовании рассматривается, как метод обучения, модернизирующий педагогический процесс. Активное применение обучения с использованием мобильных систем расширяет и дополняет образовательную среду интересными и актуальными методами, которые все предпочтительней и доступнее для студентов. В последнее десятилетие, благодаря уменьшению стоимости мобильных устройств, подобные технологии стали более доступны среди развитых стран, что, в свою очередь, позволяет применять новые методы обучения с помощью технологий дополненной реальности.

Авторы источника [1] провели эксперимент, в котором было проведено обучение экспериментальных групп с использованием элементов дополненной реальности и без, а также дальнейшее тестирование с целью проверки гипотезы. В исследовании приняли участие 36 человек, обучающиеся в школе, из них группа 1 – дети возраста 8-9 лет (16 человек) и группа 2 – дети возраста 10-11 лет (20 человек). Первая группа – контрольная – испытуемые, у которых проводились занятия без использования технологий дополненной реальности; вторая группа – тестовая – испытуемые, обучение которых проводилось с использованием технологий дополненной реальности. Анализ полученных данных показал, что большее количество правильных ответов было дано второй группой. Это обусловлено тем, что у обучающихся с дополненной реальностью был зафиксирован 100% переход по меткам в приложение, что отражает заинтересованность учащихся данным способом обучения. Авторы заключают, что за счет наглядности использование дополненной реальности перспективно в любых обучающих программах.

На основании вышеизложенного можно сделать вывод, что мобильные системы в сфере образования на сегодняшний день актуальны, а применение технологий дополненной реальности позволяет повысить эффективность обучения.

Одним из способов реализации технологии дополненной реальности является определение азимута, а именно направления положения устройства относительно координат объекта [2]. Азимут – это угол, образуемый направлением на север и заданным направлением движения устройства. Если устройство находится вблизи координат расположения виртуального объекта и повернуто в его сторону, слой дополнительной информации отображается поверх изображения с камеры. Программа сравнивает теоретический и реальный азимут, который указывает устройство, и в результате определяет точку назначения отображения виртуального объекта. Для выполнения этой цели используется следующий алгоритм действий [3]: получить местоположение устройства; получить местоположение точки назначения; вычислить расстояние до точки назначения; рассчитать теоретический азимут; получить реальный азимут устройства; сравнить оба азимута; вызвать событие при совпадении значений азимута и расстояния в пределах допустимой погрешности.

Для изучения технологии дополненной реальности был разработан прототип приложения, которое позволяет размещать виртуальные объекты на плоскость в дополненной реальности, а также масштабировать и вращать их.

Технология дополненной реальности, внедренная в разработанное приложение, имеет собственные методы размещения, масштабирования и вращения виртуальных объектов. В мобильном приложении, создание которого осуществляется в среде разработки Unity, используется платформа технологии дополненной реальности Google Play Services for AR (ARCore).

Расположение виртуального объекта определяется нажатием пользователя на плоскость в дополненной реальности, предложенную системой. Позиционирование и размещение виртуальных объектов в дополненной реальности (по горизонтали) определяется следующей формулой:

,                                                                        (1)

где HitPosition – положение луча RayCast, ведущего к области, до которой коснулся пользователь,  – вектор координат по осям в трехмерном пространстве, условно обозначаемых X, Y, Z. При расположении объекта по вертикали необходимо выполнить его вращение по оси Z на .

Масштабирование объекта пользователем реализовано посредством нажатия на экран устройства двумя пальцами одновременно и последующем движении пальцев, не отрывая касание от экрана, в противоположные стороны. При увеличении расстояния между точками касаний экрана объект пропорционально увеличивается в размерах, аналогично, при сокращении этого расстояния объект пропорционально уменьшается. Масштаб преобразования определяется следующей формулой:

                                                         (2)

где  – вектор преобразования, определяющийся как (gripAmount, gripAmount, gripAmount), gripAmount – значение преобразования, вычисляемое по формуле:

                              (3)

где deltaMagnitudeDiff – расстояние между предыдущим кадром и текущим кадром, zoomSpeed – скорость масштабирования объекта, deltaTime - время в секундах, которое потребовалось для отрисовки последнего кадра.

Вращение объекта по горизонтали (по оси X) реализовано посредством нажатия на экран устройства одним пальцем и последующем движении пальца влево или вправо, не отрывая касание от экрана. Вращение объекта определяется следующей формулой:

                             (4)

где zoomSpeed – скорость вращения объекта, deltaTime - время в секундах, которое потребовалось для отрисовки последнего кадра, deltaPositionX – расстояние между позицией в текущем кадре и в предыдущем по оси X.

Вращение объекта по вертикали (по оси Y) аналогично вращению объекта по горизонтали, но вместо движений пальца влево-вправо применяются движения пальцев вверх-вниз, и вращение рассчитывается по формуле, аналогичной формуле (4), где вместо значения deltaPositionX используется deltaPositionY – расстояние между позицией в текущем кадре и в предыдущем по оси Y.

Тестирование прототипа приложения проходило на Android-смартфоне Huawei P20 Lite с уровнем API 26 с поддержкой технологии дополненной реальности. Тестирование прошло успешно, система была разработана отказоустойчивой. Вращение и масштабирование виртуального объекта функционировало корректно и рационально. Позиционирование виртуального объекта на выбранной плоскости работало правильно, но с небольшим отклонением в несколько градусов по осям в трехмерном пространстве. Анализ данной проблемы показал, что отклонение виртуального объекта связано с определением трехмерного пространства датчиками мобильного устройства, так как их показатели подвержены смещению. Решение данной проблемы лежит в преднамеренном вращении виртуального объекта внутри кода, либо во время запуска приложения самим пользователем и закреплении позиции объекта.

Список литературы:

1. Е. А. Куликов, Я. В. Куликова, Н. Л. Щербакова, М. В. Щербаков. Обучение техническим наукам с использованием технологии дополненной реальности // Материалы VI всероссийской молодёжной школы по робототехнике, информационным технологиям и инженерному творчеству для школьников и студентов "Робошкола+". – 2017. – с. 80-85.
2. Augmented Reality on Mobile Devices with an App Tutorial for Android! // NetGuru URL: https://www.netguru.com/blog/augmented-reality-mobile-android (дата обращения: 24.02.2020).
3. Делаем приложение с дополненной реальностью как PokemonGo // Fandroid.info URL: https://www.fandroid.info/delaem-prilozhenie-s-dopolnennoj-realnostyu-kak-pokemongo/ (дата обращения: 24.02.2020).