ОБЗОР БИБЛИОТЕК КОМПЬЮТЕРНОГО ЗРЕНИЯ ДЛЯ ПРОЕКТИРОВАНИЯ КОМПОНЕНТОВ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ В УЧЕБНОМ ПРОЦЕССЕ

REVIEW OF OCR LIBRARIES FOR AUGMENTED REALITY COMPONENTS IN EDUCATION

Jana Kulikova

master Student of Volgograd State Technical University,

Russia, Volgograd

Anna Matokhina

CAD departmentprof. ass.of Volgograd State Technical University

Russia, Volgograd

Nataliya Shcherbakova

experimental Physics departmentprof. ass.of Volgograd State Technical University

Russia, Volgograd

АННОТАЦИЯ

В статье рассмотрена актуальность использования механизма дополненной реальности в учебном процессе. Приводится обзор библиотек компьютерного зрения для нахождения координат, масштаба и угла поворота для рендера 3D моделей для реализации дополненной реальности.

ABSTRACT

The actuality use of augmented reality in the educational process is represented in paper. The libraries of building augmented reality, which provided the possibility  to find the coordinates, scale and rotation angle for rendering 3D models for the realization is given.

Ключевые слова: дополненная реальность; методы обучения; учебный процесс; компьютерное зрение.

Keywords: augment reality, education methods, education process, computer vision.

Компьютерные технологии предлагают широкий спектр услуг, используемых в образовании: множество способов представления информации, мультимедиа технологии, глобальное пространство сети Интернет, поддержка дистанционных форм обучения, автоматизированные электронные подсистемы обучения, организация виртуальных университетов, создание электронных учебников.

Также современные тенденции говорят о том, что для повышения качества образовательных процессов и образования в целом эффективным является применение технологии дополненной и виртуальной реальности.

По материалам отчётов GoldmanSachs за 2016 год, доход от продаж программного обеспечения с дополненной и виртуальной реальностью в сфере образования к 2025 году достигнет в США 12 млрд. долларов [1].

Дополненная реальность (augment reality) – это группа технологий, позволяющих дополнять изображение реального мира различными объектами виртуальной среды. Схема среды дополненной реальности представлена на рисунке 1. В отличие от виртуальной реальности, которая предполагает полностью искусственный синтезированный мир (видеоряд), дополненная реальность предполагает интеграцию виртуальных объектов в естественные видеосцены.

В 1994 году Пол Милгром и Фумио Кисино описали континуум «виртуальность-реальность» — пространство между реальностью и виртуальностью, между которыми расположены дополненная реальность и дополненная виртуальность (см. Рисунок 1). Дополненная реальность — результат добавления к воспринимаемым, как элементы реального мира, виртуальных объектов.

Рисунок 1. Схема среды дополненной реальности

На сегодняшний момент механизмы дополненной реальности применяются в таких сферах как медицина, архитектура, реклама, образование, киноиндустрия и прочие.

В образовании дополненная реальность применяется как технология, позволяющая повысить наглядность изучаемого материала. Например, возможно провести демонстрацию дорогостоящего эксперимента без лабораторных установок, без риска, используя только планшет и созданное программное обеспечение, позволяющее, в интерактивном режиме, демонстрировать результаты опытов и экспериментов.

На рынке образования уже имеются такие учебные материалы по анатомии (ANATOMY 4D), астрономии(SkyView App) и переводу текстов(Word Lens Translator) [8, 9, 10].

Авторами статьи ведется разработка программно-методического комплекса для курсов по робототехнике с использованием технологий дополненной реальности.

Ключевые преимущества комплекса:

• повышенная занимательность и увлекательность для обучающихся;
• наглядность проводимых экспериментов;
• возможность высокой детализации структуры и свойств исследуемых объектов;
• интерактивность – непосредственное взаимодействие с виртуальными объектами.

Структура программно-методического комплекса по робототехнике включает теоретические и практические материалы по следующим дисциплинам: основы физики и электротехники, основы программирования, основы моделирования и проектирования роботов [3, с. 93].

На текущий момент ведется разработка методического материала по первым двум дисциплинам. Структура материала содержит описательную и графическую часть. Графическая часть содержит метки, по которым обучающийся может получить картинку с дополненной реальностью. Пример отображения урока по метке показан на рисунке 2.

Рисунок 2. Пример отображения урока по метке

Первым шагом в реализации дополненной реальности в программно-методическом комплексе являлся выбор библиотеки компьютерного зрения для нахождения координат, масштаба и угла поворота для рендера 3D моделей. Были рассмотрены следующие варианты.

1. OpenCV – библиотека с открытым исходным кодом, предоставляющая возможность работы с алгоритмами компьютерного зрения, обработки изображений, а также численных алгоритмов общего [4].
2. ARToolkit – одна из самых первых библиотек для AR приложений, которая была создана для решения двух главных проблем дополненной реальности: отслеживание положения источника видеопотока и взаимодействие виртуальных объектов [5].
3. Vuforia SDK – инструмент разработки AR приложений, включающий в себя библиотеку с основными алгоритмами, необходимыми для создания приложений дополненной реальности. Данный инструмент является мультиплатформенным решением [6].
4. Metaio SDK – готовая библиотека для внедрения элементов дополненной реальности в мобильные приложения. Включает в себя алгоритмы маркерного и безмаркерного трекинга, встроенный 3D движок [7].

Результаты анализа выбранных библиотек показаны в таблице 1.

Таблица 1.

Результаты анализа библиотек дополненной реальности.

Обзор альтернатив с учетом наиболее важных критериев показал, что самым оптимальным фреймворком для разработки системы является Vuforia. Vuforia – бесплатная библиотека, постоянно модернизирующаяся, позволяет работать как с нативными приложениями, так и создавать кроссплатформенные приложения с помощью специального игрового движка Unity.

В библиотеке используется технология компьютерного зрения для того, чтобы распознавать и отслеживать плоские изображения и простые 3D-объекты в режиме реального времени. Положение и ориентация виртуального объекта отслеживается в реальном времени, таким образом, что с точки зрения наблюдателя кажется, что виртуальный объект является частью реальной сцены мира.

Наглядность – один из самых важных параметров обучающего процесса Ученики, особенно дети, намного лучше воспринимают информацию тогда, когда она представлена визуально. Именно поэтому дополненная реальность так полезна и перспективна для использования в любых обучающих программах и позволяет существенно повысить качество образования [2]. Выбранная библиотека имеет весь необходимый функционал, который позволит обучающемуся воспринимать виртуальный объект как часть реального мира. Как показывает опыт обучения детей на курсах робототехники, механизмы дополненной реальности также позволяют повысить интерес и концентрацию обучающихся, развивают пространственное мышление.

Список литературы:

1.  9 сфер применения виртуальной реальности: размеры рынка и перспективы. [электронный ресурс] — Режим доступа. — URL: https://vc.ru/p/vr-use (дата обращения: 05.03.2017)
2. Дополненная реальность в образовании. [электронный ресурс] — Режим доступа. — URL: http://tofar.ru/dopolnennaya-realnost-v-obrazovanii.php (дата обращения: 10.03.2017)
3. Описание курсов робототехники для детей младших и старших классов школы на базе Arduino UNO / А.В. Матохина, А.В. Катаев, М.А. Чернецкий, С.Е. Ползунов // Известия ВолгГТУ. Сер. Актуальные проблемы управления, вычислительной техники и информатики в технических системах. - Волгоград, 2015. - № 14 (178). - C. 93-97.
4. Официальный сайт библиотеки OpenCV. [электронный ресурс] — Режим доступа. — URL: http://opencv.org/ (дата обращения: 16.03.2017)
5. Официальный сайт библиотеки ARToolKit. [электронный ресурс] — Режим доступа. — URL: https://artoolkit.org/ (дата обращения: 07.03.2017)
6. Официальный сайт библиотеки Vuforia. [электронный ресурс] — Режим доступа. — URL: https://developer.vuforia.com/ (дата обращения: 14.03.2017)
7. Официальный сайт библиотеки metaio. [электронный ресурс] — Режим доступа. — URL: http://www.metaio.eu/index.html (дата обращения: 09.03.2017)
8. ANATOMY 4D. [электронный ресурс] — Режим доступа. — URL: https://augmentedreality.by/apps/anatomy-4d/ (дата обращения: 25.02.2017)
9. SkyView App для iOS. [электронный ресурс] — Режим доступа. — URL: https://itunes.apple.com/gb/app/skyview-explore-the-universe/id404990064?mt=8 (дата обращения: 13.03.2017)
10. Word Lens Translator. [электронный ресурс] — Режим доступа. — URL: http://word-lens-translator.ru.uptodown.com/android (дата обращения: 19.02.2017)