ПРИМЕНЕНИЕ И ИССЛЕДОВАНИЕ СОВРЕМЕННЫХ ТЕХНОЛОГИЙ ВИЗУАЛИЗАЦИИ В ОБУЧАЮЩЕМ ПРОЦЕССЕ: РЕЗУЛЬТАТЫ

Введение

В соответствии с поставленными в статье[1] задачами применения технологий виртуальной (virtual reality, VR) и дополненной (augmented reality, AR) реальности была начата разработка соответствующих экземпляров программного обеспечения.

Подготовительный этап. Дополненная реальность

Исследуя технологии, которые могут помочь в реализации системы, было выявлено, что потенциально технология AR может быть реализована доступными средствами. Для этого было проведено исследование данной технологии.

Проецирование объектов производится при помощи компьютера через анализ изображения с камеры. Результат работы AR отображается на устройстве вывода изображения (проекционный дисплей, жк-дисплей и т.д.). Проецирование объектов может выполняться несколькими способами:

1. Привязка к маркеру — технология, при которой объект в дополненной реальности появляется при наведении камеры на физический оригинал. Контент дополненной реальности запускается, когда в поле зрения камеры появляется определённый триггер. Маркером могут являться: изображения, логотипы, фотографии, звуки.
2. Привязка к плоскости — технология, при которой объект в дополненной реальности появляется в пространстве, привязанный к определённой точке, выбранной устройством в результате сканирования. Распознаются как горизонтальные, так и вертикальные плоскости. Такая технология применяется, когда нет необходимости держать маркер в поле зрения устройства.
3. Привязка к геолокации — технология, при которой объект в дополненной реальности появляется в определенной точке города. Маркером в таком случае является геолокация — координаты.
4. Порталы — технология, при которой в дополненной реальности появляется пространство в режиме 360°. Пространством может служить фото-, видео-, графические материалы.
5. Взаимодействие с физическим объектом — технология, при которой на физическом оригинале появляются дополнительные элементы в дополненной реальности. Триггер в такой технологии — физический объект. Для этого создается цифровая копия физического объекта в 3D пространстве.
6. Расширенная функциональность — технология, которая позволяет добавить взаимодействие с объектом (интерактив). Возможности: запуск анимации по нажатию, ведение диалога с персонажем, переход на сторонние веб-ресурсы.
7. Мультиплеер — режим совместной деятельности нескольких устройств. Используется в играх, квестах, массовых презентациях и совместной работе дизайнеров и инженеров.
8. Web AR — просмотр AR-контента в интернет-пространстве. Существует два вида: просмотр в браузере и загрузка приложения напрямую на устройство

Для работы над AR необходимо определенное программное обеспечение. На рынке представлено множество средств разработки AR (software development kit, SDK), среди которых необходимо выбрать подходящий. Поскольку система должна охватывать наибольшее количество пользователей, то нужно использовать кроссплатформенное программное обеспечение (ПО). Это возможно реализовать с помощью игрового движка Unity и AR SDK «Vuforia».

Подготовительный этап. Виртуальная реальность

В ходе подготовки к разработке приложения с использованием технологий VR было составлено техническое задание, описывающее основные требования к конечному ПО. В сокращённом виде требования можно свести к следующим пунктам:

• Приложение должно иметь набор функций для построения и изменения электрических цепей в трёхмерном пространстве;
• Приложение должно обеспечивать навигацию по изображаемой схеме в трёхмерном пространстве;
• Пользователь должен иметь возможность менять параметры элементов;
• Приложение должно отображать схематичное изображение собираемой цепи в трёхмерном пространстве с однозначной визуальной трактовкой элементов;
• Приложение должно полноценно имитировать реальную электрическую цепь на уровне адекватности реальным физическим законам;

Также приложение должно быть разработано с учётом использования со шлемами виртуальной реальности (таким как Oculus Quest). Для разработки ПО на движке Unity 3D, использование которого было обосновано в работе [1], применяется специальный плагин от Oculus, предоставляющий инструментарий для разработки под платформы Oculus Rift и Oculus Quest.

Описание разработанной системы. Дополненная реальность

Предназначение системы – визуализация электротехнических схем на бумаге с помощью технологии дополненной реальности.

Для проецирования виртуальных объектов была выбрана технология «привязка к маркеру». Согласно этой технологии, «Vuforia» обрабатывает изображение схемы, полученной с камеры, в реальном времени и для распознанных элементов схемы проецирует виртуальный объект этого элемента. Пример работы системы представлен на рисунке 1.

Таким образом, обучающий процесс может быть представлен в таком виде:

• Преподаватель и студент имеют у себя методическое пособие по лабораторным работам.
• После изучения требований к работе и повторения теоретического материала студент приступает к выполнению лабораторной работы.
• Воспользовавшись разработанной системой, студент получает построенную схему, которую внимательно изучает.
• Затем, если нужно, меняет значения величин, связанных с элементами на схемах.
• Записывает результаты в отчет
• Защищает лабораторную работу с преподавателем
• Студенту ставится отметка о защите, лабораторная работа завершена.

а)

б)

Рисунок 1. а) Схема на бумаге; б) Результат работы системы

Описание разработанной системы. Виртуальная реальность

Предназначение системы – визуализация электротехнических схем в трёхмерном виртуальном пространстве.

Взаимодействие с системой происходит при помощи шлема виртуальной реальности (в частности – Oculus Quest). Пользователь, находясь «внутри» виртуального пространства, способен оперировать рядом основных элементов – размещать их на рабочем поле, удалять, изменять специфические для каждого элемента параметры, соединять элементы при помощи проводов. Внешний вид некоторых из элементов системы, а также меню размещения элементов представлены на рисунке 2.

Система способна имитировать поведение реальной электрической цепи, что можно проверить при помощи имеющихся в системе аналогов вольтметра и амперметра. При изменении параметров отдельных элементов изменяются также параметры системы.

Рисунок 2. Вид фрагментов системы

Такой набор функций позволяет обучающемуся работать с имитацией реальной схемы даже в том случае, если реальные устройства отсутствуют.

Реализация. Дополненная реальность

Реализация системы производилась на основе игрового движка Unity и AR SDK «Vuforia». Отдельно для каждого необходимого элемента схем были выполнены 3D-модели в программе «Blender».

Подготовка к реализации системы началась с поиска методического пособия. За основу было взято методическое пособие по дисциплине «Теоретические основы электротехники» (ТОЭ) издательства НГТУ. Затем были созданы отдельные графические файлы с расширением jpg и png с изображениями схем, которые служат тестовыми схемами. Данные файлы были сформированы в специальную базу данных для Vuforia.

Следующим шагом было формирования на сцене (scene) в движке Unity объектов типа «Image target», которые обрабатывает Vuforia. Image target представляет собой объект, содержащий изображение схемы, а также вложенные в него объекты Model Target, которые содержат 3D-модели, которые проецируется при срабатывании маркера.

Для того чтобы Vuforia могла обрабатывать изображение, полученное с камеры, необходимо добавить на сцену объект AR Camera. Пример рабочего пространство Unity после проделанных действий представлен на рисунке 3.

Рисунок 3. Рабочее пространство Unity

Реализация. Виртуальная реальность

Реализация системы производилась на основе игрового движка Unity и с плагином Oculus. Модели элементов аналогичны таковым для проекта с дополненной реальностью.

Управление системой производится при помощи контроллеров VR-шлема Oculus Quest, доступ к которым из движка Unity предоставляется плагином Oculus.

Основной частью системы является рабочее поле. На поле размещаются основные элементы электрической цепи, представляющие собой трёхмерные модели, имитирующие свои реальные аналоги. Элементы связываются между собой проводами, которые на рабочем поле также обозначаются соответствующими 3D-моделями.

Пользователь может размещать объекты на сцене при помощи специального меню, вызываемого нажатием отдельной кнопки на контроллере. Объекты располагаются на поле в узлах невидимой для пользователя сетки с шагом 1 условную единицу.

Перемещение элементов и соединение их проводами используют технологию Raycasting, заключающуюся в «бросании» луча в указанном направлении – в данном случае, в направлении, указанном контроллером – и определении координат пересечения брошенного луча с ближайшим элементом.

Соединение элементов происходит через специальные точки, присутствующие на каждой модели. Пользователь выбирает точки соединения последовательно на начальном и конечном элементе. Непосредственно отрисовка проводов осуществляется при помощи волнового алгоритма. Поскольку данный алгоритм подразумевает наличие некоей замкнутой области для обеспечения корректности своей работы, для отрисовки определяется временная локальная область, зависящая от координат начальной и конечной точки.

Расчёт схемы аналогичен таковому при классическом подходе, применяемом в дисциплинах, аналогичных ТОЭ – при подключении к цепи каждый элемент включается в глобальный граф, представляющий собой модель цепи. После этого производится поиск элементарных циклов в графе, представляющих собой локальные контуры в пределах общей цепи, что позволяет вычислить каждый контур по отдельности.

Заключение

В силу эпидемиологической обстановки на территории Российской Федерации на момент написания статьи не представляется возможным апробировать и полноценно сравнить два приложения в плане их пригодности для обучения. Поэтому сравнение приложений основывается исключительно их на сильных и слабых сторонах, а также на специфике платформ, для которых приложения были разработаны.

Обе полученные в ходе работы системы могут быть применены как лабораторные стенды для изучения электрических цепей, однако каждое из них имеет собственные характерные черты.

AR-приложение может быть применено в качестве компактного лабораторного стенда не только для обычного, но и для дистанционного обучения.

VR-приложение, в силу специфической платформы, на сегодняшний момент не имеет возможности стать широко распространённым вариантом для дистанционного обучения. Тем не менее, ввиду широких возможностей визуализации и интерактивности, предоставляемых технологией виртуальной реальности, данное приложение может позволить улучшить понимание материала студентами.

Дальнейшим развитием обоих приложений стала бы модификация ПО, которая бы объединила в себе как AR, так и VR составляющую, а также включила бы в себя возможность проведения групповых занятий непосредственно внутри программной среды.

Список литературы:

1. Ларин М.П., Рахманов А.С., Гунько А.В. ПРИМЕНЕНИЕ И ИССЛЕДОВАНИЕ СОВРЕМЕННЫХ ТЕХНОЛОГИЙ ВИЗУАЛИЗАЦИИ В ОБУЧАЮЩЕМ ПРОЦЕССЕ // Студенческий: электрон. научн. журн. 2019. № 40(84). URL: https://sibac.info/journal/student/84/161788 (дата обращения: 08.05.2020).