МЕТОД РАСПОЗНАВАНИЯ ДИНАМИЧЕСКИХ ОБРАЗОВ ПУТЕМ СРАВНЕНИЯ ТРАЕКТОРИЙ ДЕСКРИПТОРОВ В ПРИЗНАКОВОМ ПРОСТРАНСТВЕ

THE METHOD OF RECOGNITION OF DYNAMIC PATTERNS BY COMPARISON OF DESCRIPTOR TRAJECTORIES IN FEATURE SPACE

Mikhail Kopeliovich

postgraduate student, Southern Federal University,

Russia, Rostov-on-Don

Aik Kurdoglyan

postgraduate student, Southern Federal University,

Russia, Rostov-on-Don

Mikhail Petrushan

research fellow, Southern Federal University,

Russia, Rostov-on-Don

АННОТАЦИЯ

Рассматривается задача признакового описания объекта на видеоизображении с целью классификации объекта. Существующие подходы ориентированы на синтез и оптимизацию дескрипторов объекта. Предлагается альтернативный подход к описанию объекта, основанный на анализе траектории движения его дескриптора в признаковом пространстве, возникающего при перемещении объекта относительно наблюдателя.

ABSTRACT

The problem of feature description of the object in video image for object classification is considered. Current approaches are oriented on synthesis and optimization of object descriptors. We propose alternative approach to object description based on the analysis of trajectory of its descriptor in the feature space when the object moves relatively to observer.

Ключевые слова: динамический образ; дескриптор; траектория дескриптора; распознавание образов.

Keywords: dynamical image; descriptor; descriptor trajectory; pattern recognition.

Актуальность и современное состояние исследований по данной научной проблеме

Признаковое описание изображений объектов применяется для различных задач компьютерного зрения: детектирования и распознавания объектов или особых точек объекта, сравнение изображений и т. д. При этом одной из наиболее актуальных проблем остаётся выбор оптимального дескриптора для описания целевых объектов, инвариантного к ракурсу наблюдения. Оптимальность дескриптора определяется тем, насколько генерируемое им описание специфично (отличается от описаний других классов объектов) и устойчиво (инвариантно к внутриклассовым вариациям вида объекта на изображении). Разработаны различные специализированные дескрипторы, применяющиеся для описания и распознавания формы контуров [2], текстуры [4], цветовые дескрипторы [7]. Один из подходов к выбору оптимального дескриптора заключается в синтезе объектно-специфичных дескрипторов [8; 10; 12]. Задача конструирования специфичных дескрипторов обычно сводится к структурной [12] или параметрической [11] оптимизации определенного дескриптора. В качестве методов оптимизации часто используются методы роя частиц [6; 8] и генетический алгоритм [5; 9; 12], метод оптимизации для задач с негладкой функцией ошибки [10]. В ряде работ рассмотрена и решена задача автоматического выбора комбинации дескрипторов (формы, цвета, текстуры) методами математической оптимизации [8]. Показано, что такая комбинация более эффективна, чем отдельные дескрипторы, входящие в её состав. Несмотря на показанную эффективность методов оптимизации дескрипторов, такой подход имеет принципиальные ограничения, связанные с невозможностью обеспечения инвариантности дескриптора к ракурсу (точке наблюдения), т. к. перспективный вид одного и того же объекта с различных сторон может быть совершенно разным. Альтернативный подход к описанию и распознаванию образов заключается в реализации процедуры активного осмотра объекта и анализа траектории движения дескриптора в признаковом пространстве, вызванного перемещением системы наблюдения относительно объекта. Похожий подход используется в работе [1] для распознавания динамических образов на основе прогноза изменения дескриптора. В нашей работе мы предлагаем новый метод интегрального описания траектории движения дескриптора, вызванного перемещением объекта относительно наблюдателя, в виде нового дескриптора более высокого порядка. Задача сравнения динамических образов рассматривается на примере распознавания видеозаписей лиц.

Описание эксперимента

Экспериментальная выборка состоит из 15 видеозаписей длительностью 20 секунд каждая, записанных в оттенках серого на веб-камеру Logitech C920 с частотой 30 кадров в секунду. На видеозаписи в каждом кадре видно голову испытуемого, который сидит фронтально к камере и совершает наклоны головой вниз-вверх. В эксперименте приняло участие 5 испытуемых (мужчины, от 24 до 36 лет), для каждого из них было сделано 3 видеозаписи.

Фон на видеозаписях константный, одинаковый для всей экспериментальной выборки; освещенность составляла около 500 lux. Расстояние от веб-камеры до головы испытуемого составляло около 0,3 м.

Описание метода

Суть предлагаемого метода построения и анализа траектории дескриптора головы в признаковом пространстве заключается в выделении из полного набора видеозаписей областей с лицами, построении дескриптора для каждой из этих областей, проецировании дескриптора на двумерное пространство методом главных компонентов и построении дескриптора траектории в пространстве главных компонентов на основе её интегральной модели.

В каждом кадре каждой обрабатываемой видеозаписи при помощи метода активных форм (Active Shape Models [3]) выделяется область головы, охватывающая области лба, волос, ушей и подбородка. Область масштабируется до стандартного размера (100×100). В качестве дескриптора головы выбирается построчная развёртка матрицы интенсивностей выделенной в кадре области.

Далее, для редуцирования размерности признакового пространства, к полному набору дескрипторов применяется метод главных компонентов.

Обозначив через A_ij – дескриптор j-ого кадра i-ой видеозаписи, а через C₁(A_ij) и C₂(A_ij) – скалярные произведения вектора A_ij на первый и второй главные компоненты соответственно, для каждой видеозаписи строится траектория с координатами (C₁(A_ij), C₂(A_ij)).

В пространстве C₁ и C₂ выбирается квадратная область, заведомо включающая в себя все возможные значения C₁(A_ij) и C₂(A_ij), которая разбивается на регулярную сетку с одинаковым количеством строк и столбцов (равным 100). Каждые три соседние точки рассматриваемой траектории образуют угол, который округляется до одного из восьми значений (изменяющихся от 0° до 360° с шагом 45°). В зависимости от этого значения и координат расположения вершины данного угла на регулярной сетке, каждая точка траектории (кроме двух крайних) относится к одному из 8×10⁴ классов. Считая эти классы упорядоченными, вводится вектор V размерности 8×10⁴. i‑ый элемент вектора V равен доле принадлежащих i-му классу вершин среди всего множества вершин данной траектории. Данный вектор принимается в качестве дескриптора рассматриваемой траектории.

Близость дескрипторов траекторий понимается как евклидово расстояние между ними. Для сравнения дескрипторов траекторий выбирается пороговое значение их близости: если это расстояние меньше порогового значения, то они определяются как принадлежащие к одному классу, иначе – к разным классам.

Результаты

Для оценки качества полученного дескриптора строится так называемая ROC-кривая (receiver operating characteristic), то есть, для дескриптора траектории лица каждого испытуемого выполняется следующее: по всем дескрипторам траекторий лица того же испытуемого, кроме рассматриваемой траектории, вычисляется арифметическое среднее. Фиксируя пороговое значение, вычисляется близость полученного среднего к дескриптору рассматриваемой траектории, а также к дескрипторам траекторий, полученных по видеозаписям с другими испытуемыми, что приводит к классификации траекторий (относятся ли они к рассматриваемому лицу или нет). Данная процедура независимо повторяется для траекторий, полученных по всем видеозаписям. Зная истинную принадлежность образа к определенному классу, для всех выполненных процедур вычисляются средние значения специфичности классификации (доли ошибочных положительных классификаций) и чувствительности классификации (доли правильных положительных классификаций). По данным значениям строится точка на ROC-кривой. При переборе порогового значения (от 0 до 50) вычисляются остальные точки кривой (рис. 1). Площадь под ROC-кривой, являющаяся мерой качества классификатора, равна 0.96.

Рисунок 1. ROC-кривая, построенная по специфичности и чувствительности предложенного алгоритма классификации лиц

Заключение

Разработан метод описания и распознавания динамических образов, основанный на анализе траектории дескриптора в признаковом пространстве, обусловленной движением системы наблюдения относительно объекта. Предложен подход к описанию такой траектории и метод сравнения траекторий с помощью оценки евклидового расстояния между интегральными дескрипторами траектории. Прикладная применимость предложенного метода показана на примере задачи распознавания видеоизображений лиц. Описанный подход может быть использован как самостоятельный метод описания и распознавания динамических образов, так и в качестве компонента в составе каскадного классификатора для усиления методов распознавания статических образов при наличии движения рассматриваемых объектов.

Работа выполнена при поддержке РФФИ (проект № 26 16-31-00384\16).

Список литературы:

1. Фаворская М.Н. Распознавание динамических образов на основе предсказывающих фильтров // Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева, выпуск № 1, 2009.
2. Belongie S., Malik J., and Puzicha J. Shape context: a new descriptor for shape matching and object recognition // NIPS, 2000.
3. Cootes T.F., Taylor C.J., Cooper D.H., and J. Graham. Active shape models – their training and application // Computer Vision and Image Understanding, 61, 1995. P. 38–59.
4. Haley G.M. and Manjunath B.S. Rotation-invariant texture classification using a complete space-frequency model // IEEE transactions on Image Processing, 8 (2), 2002. P. 255–269.
5. ul Hassan M., Osman A., and Sarfraz M. Comparative study of evolutionary optimization technique and Fourier descriptors in object recognition // ICCIT, 2012.
6. Kennedy J., Eberhart R.C., and Shi Y. Swarm intelligence // San Francisco: Morgan Kaufmann Publishers, 2001.
7. Koen E.A., van de Sande, Theo G., Cees G., and Snoek M. Evaluating Color Descriptors for Object and Scene Recognition // IEEE Transactions on Pattern Analysis and Machine Intelligence, 32 (9), 2010. P. 1582–1596.
8. Mansano A., Matsuoka J.A., Afonso L.C.S., Papa J.P., Faria F., and Torres R. da S. Improving image classification through descriptor combination // in Proc. of the 25th Conference on Graphics, Patterns and Images (SIBGRAPI). 2012.
9. Reddy A.S., Kumar S., and Garg R. Hybrid-genetic algorithm based descriptor optimization and QSAR models for predicting the biological activity of Tipranavir analogs for HIV protease inhibition J Mol Graph Model, 28(8), 2010. P. 852–862.
10. Simonyan K., Vedaldi A., and Zisserman A. Descriptor learning using convex optimisation // In: Fitzgibbon A., Lazebnik S., Perona P., Sato Y., Schmid C. (eds.) ECCV 2012. LNCS, vol. 7578, P. 243–256. Springer, Heidelberg, 2012.
11. Taati B. Generation and optimization of local shape descriptors for point matching in 3-d surfaces // Ph.D thesis, Queens University, 2009.
12. Trujillo L., Legrand P., Olague G., Pérez C. Optimization of the hölder image descriptor using a genetic algorithm // in Proc. of the 12th annual conference on Genetic and evolutionary computation. 2010. P. 1147–1154.