ОСНОВЫ И ПРИНЦИПЫ РАБОТЫ ТЕХНОЛОГИИ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

АННОТАЦИЯ

Дополненная реальность — это среда, дополняющая реальный физический мир, виртуальными объектами с помощью экранов различных устройств. Обучение, поддерживаемое с помощью технологии AR, обеспечивает более широкое и результативное обучение. Это обеспечивает ощущение присутствия, погружения, которые могут быть полезны для процесса обучения. Возможности такой учебной среды могут стимулировать учеников на осмысленное обучение, достижение академических успехов и поставленных целей.

Существует два основных типа реализации программного обеспечения AR: AR на основе маркеров и AR без маркеров. В дополненной реальности на основе маркеров используются двухмерные или трехмерные изображения, такие как QR-код или физический объект, которые могут быть распознаны программным приложением. Дополненная реальность без маркеров использует позиционные данные для определения местоположения пользователя, например, с помощью глобальной системы позиционирования (GPS) и устройства компаса для определения ориентации, или с помощью инфракрасного света для создания изображения глубины, которое создает данные в форме силуэта.

Ключевые слова: дополненная реальность, AR, маркеры, 3D, визуализация.

Дополненная реальность, или AR (англ. augmented reality) - это технология, которая добавляет виртуальный контент в физический, реальный мир, тем самым расширяя восприятие реальности.

Основная идея технологии дополненной реальности состоит в том, чтобы комбинировать или смешивать представление реальной среды с дополнительным виртуальным контентом. Этот виртуальный контент может обращаться к разным чувствам, таким как зрение, слух, осязание и обоняние. Для подключения виртуальных объектов к реальному миру требуется компьютерное устройство. Это устройство должно иметь дисплей, через который можно увидеть физический мир. Также необходимо специальное приложение, чтобы виртуальные компоненты стали видны на дисплее, как дополнение к реальности.

Существует много разных аппаратных устройств, которые можно использовать для дополненной реальности. Наиболее часто используемое портативное устройство, такое как смартфон или планшет. Также часто используется наголовный дисплей, или по другому шлем виртуальной реальности (Head-mounted display). Дисплей надевается на голову пользователя, крепится в шлеме или в очках. Преимущество HMD состоит в том, что дисплей остается перед глазами, независимо от того, в каком направлении пользователь смотрит, поддерживая понимание ситуации. Google Glass - это аналог HMD, который используется университетским медицинским центром Radboud в Неймегене и Академическим медицинским центром в Амстердаме для изучения возможной дополнительной ценности для здравоохранения и медицинского образования. Все аппаратные устройства, используемые для AR, имеют общие функции: процессор, камеру, GPS, датчики и/или компас[1].

Чтобы дополнить физический мир виртуальными объектами, на устройстве должно быть установлено программное приложение, использующее один или несколько различных аппаратных компонентов.

Существует два основных типа реализации программного обеспечения AR: AR на основе маркеров и AR без маркеров. В дополненной реальности на основе маркеров используются двухмерные или трехмерные изображения, такие как QR-код или физический объект, которые могут быть распознаны программным приложением. Когда программное приложение AR получает входные данные от маркера или объекта, оно генерирует дополненный виртуальный контент и проецирует эту информацию на распознанный объект. Пользователь воспринимает эту добавленную информацию как реально существующую в окружении; он погружен в расширенную реальность. AR-маркеры являются визуальными подсказками, которые запускают отображение виртуальной информации. Существует несколько видов маркеров.

Framemarker.

Обычно представляет собой 2D-изображение, которое напечатано на листе бумаги или другой гладкой поверхности. Эти маркеры являются квадратными и имеют значительную черную (иногда белую) границу. На этапе отслеживания система ищет черный прямоугольник. Только если он нашел его, он исследует внутреннюю границу, чтобы определить настоящий маркер. В зависимости от того, как смещена граница, система может извлечь положение и поворот маркера относительно камеры.

Image / NFT Marker.

Маркеры NFT - следующий логический шаг к маркерам кадров. Маркеры NFT также являются изображениями, но вам больше не нужна черная рамка. Вместо этого вы извлекаете так называемые природные особенности из любой картинки, которая вам нравится. Задача состоит в том, чтобы определить «хорошие» естественные особенности, и до этого момента это гораздо больше проб и ошибок, чем при использовании маркера кадра.

Дополненная реальность без маркеров использует позиционные данные для определения местоположения пользователя, например, с помощью глобальной системы позиционирования (GPS) и устройства компаса для определения ориентации, или с помощью инфракрасного света для создания изображения глубины, которое создает данные в форме силуэта. На основании этой информации отслеживания программное приложение может дополнять виртуальный контент в точном месте в реальной среде или внутри нее, независимо от того, является ли эта среда статичной.

Примеры систем с дополненной реальностью

HoloAnatomy 

Case Western Reserve University и Cleveland Clinic в сотрудничестве с Microsoft HoloLens, разработали учебную программу по цифровой анатомии под названием HoloAnatomy, где студенты могут не только видеть, но и манипулировать трехмерным человеческим телом. Приложение предлагает такое удивительное понимание человеческого организма, что оно заняло первое место в категории виртуальной реальности и дополненной реальности во время конкурса Science Media Awards 2016[2].

С помощью гарнитуры Microsoft HoloLens пользователи приложения могут видеть все, от мышц до мельчайших вен. Вы можете точно понять, как происходят биологические процессы в вашем организме, посмотреть, как сердце движется, или посмотреть, как мозг обрабатывает информацию и как информация циркулирует в мозгу.

Данная AR система произвела революцию в медицинском образовании, так как студенты смогут видеть человеческое тело в 3D, вместо картинок и письменного описания в книгах.

Orca Health’s EyeDecide

EyeDecide – это медицинское приложение, которое использует дисплей камеры для имитации воздействия определенных условий на зрение человека.

Используя такие приложения, как EyeDecide, врачи могут продемонстрировать симуляцию зрения пациента. Например, приложение может продемонстрировать воздействие катаракты и, таким образом, помочь пациентам понять их реальное состояние здоровья[3].

Визуализация 3D динамики легких с помощью AR

Профессор Хамза-Луп разработал систему, которая позволяет в реальном времени визуализировать трехмерную динамику легких, наложенную непосредственно на манекен или на пациента в операционной. В этой визуализации они объединяют общую функциональную модель легких с данными конкретного пациента, полученными из компьютерной томографии высокого разрешения. Это приводит к динамической визуализации в реальном времени виртуальных легких, которые накладываются на тело пациента. Чтобы увидеть трехмерную динамику легких и возможные деформации, врач носит наголовный шлем[4].

Во многих исследованиях выявлено, что системы использующие AR-технологии делают обучение более полноценным и результативным. Они настолько улучшают процесс получения информации, что из нее до 80% фиксируется в кратковременной памяти. Если брать в сравнение традиционные уроки и лекции, то после них в человек запоминает только 25% информации, при чтении текста тоже самое. Это в большей части связано с тем что человеческий мозг предназначен работать с образами, нежели с текстом[5].

Список литературы:

1. Ifenthaler D, Eseryel D. Facilitating complex learning by mobile augmented reality learning environments. New York: Springer; 2013. P. 199-201
2. Azuma R. A survey of augmented reality. Presence. 1997. P. 285-289
3. Carmigniani J, Furht B, Anisetti M, Ceravolo P, Damiani E, Ivkovic M. Augmented reality technologies, systems and applications. Multimed Tools Appl. 2011. P. 305-308
4. Berryman DR. Augmented reality: a review. Med Ref Serv Q. 2012. P. 183-184
5. Winkelmann A. Anatomical dissection as a teaching method in medical school: a review of the evidence. Med Educ. 2007. P. 141-145
6. Wu H, Lee S, Chang H, Liang J. Current status, opportunities and challenges of augmented reality in education. Comput Educ. 2013.