РАЗРАБОТКА АЛГОРИТМА НАХОЖДЕНИЯ ПОЛОЖЕНИЯ ЗРАЧКА ГЛАЗА НА ЛИЦЕ ЧЕЛОВЕКА

Аннотация. Цель статьи заключается в описании процесса разработки алгоритма распознавания зрачка глаза на лице человека для получения направления взгляда: влево, по центру, вправо.

Ключевые слова: видеопоток, распознавание образов, обработка изображений.

Разрабатывается система управления графическим интерфейсом ПК на основе движений зрачка глаза человека.

Система отображает оператору ПК графический интерфейс, реагирует на изменение положение зрачка глаза оператора, и выполняет определенное действие в соответствии с положением зрачка и содержимым текущего диалогового окна. Основным модулем системы является модуль распознавания положения зрачка глаза на лице человека. Модуль должен осуществить распознавание в режиме реального времени трех положений зрачка глаза: смотри по центру, смотрит влево, смотрит вправо. Из этих положений формируются управляющие команды системы.

В качестве входных данных поставляется видеопоток с веб-камеры со следующими характеристиками: разрешение кадра от 640х480 пикселей, скорость от 15 кадров в секунду.

Был разработан алгоритм распознавания движений зрачка глаза человека на видеопотоке. Последовательность действий в алгоритме:

Начало.

1. Происходит получение с текущего кадра из видеопотока.

2. На кадре происходит нахождение положение лица оператора. Часть изображение, содержащая лицо оператора обрезается и передается в дальнейшую обработку. Нахождение положение происходит с помощью метода каскада Хаара и Виолы-Джонса.

3. На изображении лица происходит определение положения левого глаза оператора. Часть изображения, содержащая глаз оператора, обрезается и передается в дальнейшую обработку. Нахождение положение происходит с помощью метода каскада Хаара и Виолы-Джонса.

4. К изображению глаза применяются последовательно следующие графические преобразования: замена диапазона цвета кожи человека на белый цвет; преобразование в оттенки серого; бинаризация с порогом 40 %;

5. На бинаризованном изображении глаза путем попиксельной обработки вычисляется столбец изображения, содержащий наибольшее количество черных пикселей. Это место соответствует центру окружности зрачка глаза.

6. На основе номера столбца изображения и ширины изображения определяется направление взгляда: влево, по центру или вправо. Найденное положение зрачка возвращается в систему управления.

Конец.

Обоснование выбора используемых в алгоритме шагов и методов:

Для нахождения положения лица на изображении с камеры и положения глаза на изображении лица используется метода каскада Хаара и Виолы-Джонса. В процессе разработки алгоритма было проведено исследование существующих методов распознавания границ объекта на изображении. Были исследованы следующие методы:

а) Методы поиска по шаблону. Детектирование объектов на основании некоторого шаблона предполагает, что имеется изображение объекта с выделенными признаками – шаблон, и тестовое изображение, которое сопоставляется этому шаблону. В примитивном варианте происходит сравнения шаблона со всеми участками изображения, по размеру совпадающие с шаблоном и находится участок, который наиболее соответствует шаблону. Преимуществом метода является простота создания шаблона искомого объекта. Минусом метода является невозможность поиска нескольких объектов, зависимость от размеров объекта, а так же низкая производительность;

б) Методы каскада перепада яркостей. Метод заключается в создании каскада примитивов перепадов яркости искомого объекта и поиском участка изображения, соответствующего каскаду примитивов. Метод состоит из двух алгоритмов: алгоритм обучения и алгоритм распознавания. Алгоритм обучения позволяет создать каскад примитивов перепадов яркости для искомого объекта. Алгоритм распознавания позволяет найти искомый объект на изображении. Преимуществом метода является быстрая скорость работы алгоритма распознавания, независимость от размера искомого объекта на изображении, а так же возможность обнаружения нескольких объектов. Недостатками метода является длительное время работы алгоритма обучения, в процессе которого алгоритму необходимо проанализировать большое количество тестовых изображений. Этот метод назван «Методом Хаара и Виолы–Джонса» в честь его авторов. Он так же является самым популярным для поиска лиц на изображении;

в) Методы ключевых точек. Метод заключается в выделении ключевых точек искомого объекта и их признаков и дальнейшем поиске объекта по ключевым точкам на изображении. Признаки (Дескрипторы) строятся на основании информации об интенсивности, цвете и текстуре особой точки. Особые точки могут представляться углами, ребрами, контуром и другими сложными свойствами объекта. Преимуществом метода является независимость размера и наклона искомого объекта на изображении. Недостатком метода является сложность используемого математического аппарата для нахождения совокупности ключевых точек, способной с требуемой точностью описать искомый объект, а так же условия использования эффективных реализаций метода. Дело в том, что этот метод запатентован и использование большинства математических описаний и программных реализаций алгоритмов этого метода доступно только на коммерческой основе;

г) Методы поиска объектов по контуру. Под контуром понимается кривая, которая описывает границу объекта на изображении. В этих методах контур искомого объекта описывается в виде формул геометрических примитивов. Использование данного подхода предполагает, что контур содержит достаточно информации о форме объекта, при этом внутренние точки не учитываются. В процессе нахождения объекта происходит нахождение контуров на изображении и поиск наиболее соответствующего контура. Преимуществом метода является высокая скорость работы и независимость искомого объекта от размера и наклона на изображении. Недостатком метода является возможность искажения контура искомого объекта в зависимости от фона и шумов на изображении.

В итоге, для эффективного поиска лица на изображении был выбран Метод каскада перепада яркостей «Хаара и Виолы–Джонса», так как этот метод отвечает требованиям быстродействия и условиям возможного размещения искомого объекта в поставленной задачи.

Применение преобразования в виде замены диапазона цвета кожи на этапе 4 алгоритма необходимо для удаления информации о коже вокруг глаза с изображения. После преобразования на изображении остается только зрачок глаза, который будет являться самым темным участком изображения.

Дальнейшие преобразования изображения в виде преобразования в оттенки серого и бинаризация позволяют однозначно определить положения зрачка относительно изображения глаза.

Алгоритм был запрограммирован на языке Java с использованием библиотеки компьютерного зрения OpenCV, так же был произведен тест производительности. Средняя скорость обработки одного кадра составила 33мс, среднее количество обработанных кадров в секунду: 30.

На основе тестирования производительности можно сделать вывод, что разработанный алгоритм отвечает требованиям системы управления графическим интерфейсом ПК на основе движений зрачка глаза человека для работы в режиме реального времени.

Список литературы:

1. Компьютерное зрение: статья // Википедия: офиц. сайт. 20.05.2017. URL: https://ru.wikipedia.org/wiki/Компьютерное_зрение (дата обращения 04.04.19).
2. Веб-камера: статья // Википедия: офиц. сайт. 20.05.2017. Режим доступа: https://ru.wikipedia.org/wiki/Веб-камера (дата обращения 04.04.19).
3. Метод Виолы-Джонса: статья // Википедия: офиц. сайт. 20.05.2017. Режим доступа: https://ru.wikipedia.org/wiki/Метод_Виолы_—_Джонса (дата обращения 04.04.19).
4. Цифровое видео: статья // Википедия: офиц. сайт. 20.05.2017. Режим доступа: https://ru.wikipedia.org/wiki/Цифровое_видео (дата обращения 04.06.17).
5.  Теория распознавания образов: статья // Википедия: офиц. сайт. 20.05.2017. Режим доступа: https://ru.wikipedia.org/wiki/ Теория_распознавания_образов (дата обращения 04.04.19).
6. Симакова, Н.Н. Организация рабочих мест с персональными электронно-вычислительными машинами (ПЭВМ)/ Н.Н. Симакова – Новосибирск: Сибирский государственный университет телекоммуникаций и информатики, 2013. – 19 с.