ОБ  АВТОМАТИЗАЦИИ СРАВНИТЕЛЬНОГО  ТЕСТИРОВАНИЯ АЛГОРИТМОВ  РАСПОЗНАВАНИЯ  ЛИЦ

Курочкин  Иван  Владимирович

аспирант  ВлГУ,

  г.  Владимир

E-mail: 

Шамин  Павел  Юрьевич

канд.  техн.  наук,    инженер-программист  ИВЦ  ВлГУ,

  г.  Владимир

E-mail:  trace83@mail.ru

Данная  работа  выполнена  в  рамках  НИР  по  госзаданию  «Наука»  (Регистрационный  номер:  8.3303.2011  от  23.11.2011).

При  разработке  алгоритмов  распознавания  лиц  и  изображений  всегда  появляется  необходимость  оценивать  и  сравнивать  результаты  алгоритмов.  Такая  задача  возникла  и  у  нашего  коллектива  в  ходе  разработки  и  испытания  системы  распознавания,  математические  и  алгоритмические  основы  которой  изложены  в  [1,  c.  23].  Для  сравнения  алгоритмов  нужно  оценить  результаты  их  работы  при  одинаковых  исходных  данных  (далее  тестовая  база).

Для  тестирования,  как  правило,  создается  единая  тестовая  база,  которая  включает  в  себя:

1.Эталонные  изображения.  Как  правильно  это  фотографии  человека  в  хороших  условиях  освещенности  и  расположения  относительно  камеры.

2.Тестовые  изображения.  Это  изображения,  полученные  в  «реальных  условиях».  То  есть  изображения,  которые  можно  получить  в  пункте  контроля,  условиях  далеких  от  идеальных.

В  результате  работы  алгоритма  распознавания  обычно  для  каждого  тестового  и  эталонного  значения,  рассчитывается  мера  сходства  —  число  .

Для  сравнения  работы  алгоритмов  необходимо  рассчитать  следующие  характеристики:

·Порог  срабатывания.  Если  мера  сходства  превышает  значение  порога  срабатывания,  то  тестовое  изображение  признается  соответствующим  эталону.

·FAR  (False  Accept  Rate,  частота  ложных  срабатываний)  —  доля  случаев,  когда  для  мера  сходства  эталона  и  теста  превышают  порог  срабатываний,  но  на  самом  деле  текущий  эталон  не  соответствует  тестовому  изображению.

·FRR  (False  Reject  Rate,  частота  пропусков)  —  доля  случаев,  когда  для  тестового  не  оказалось  соответствующего  эталона,  либо  соответствующий  эталон  оказался,  но  имел  меру  сходства  ниже  порога  срабатывания.

·SUCCESS  (доля  успешных  срабатываний)  —  доля  случаев,  когда  для  тестового  изображения  не  произошло  ни  ошибки  1-года  ни  ошибки  2-го  рода.

Для  оценки  алгоритма  распознавания,  необходимо  рассчитать  указанные  выше  характеристики,  применимо  к  одной  и  той  же  тестовой  базе.

Основные  требования  к  стенду 

По  результатам  анализа  опыта  «ручного»  тестирования  алгоритмов,  нами  были  сформулированы  следующие  требования  к  стенду  для  автоматизированного  тестирования  алгоритмов  распознавания  лиц:

1.Для  возможности  работы  в  пакетном  режиме  приложение  для  запуска  стенда  должно  быть  реализовано  в  виде  консольного  приложения  с  параметрами  командной  строки. 

2.Необходимо  обеспечить  возможность  быстрого  подключения  новых  алгоритмов  для  тестирования.

3.Также  должна  быть  обеспечена  возможность  отдельной  конфигурации  каждого  алгоритма.

4.Стенд  должен  иметь  простой  API  для  быстрой  разработки  или  адаптации  алгоритмов  распознавания.

5.Стенд  должен  вести  лог-файл  в  котором  отражается  каждая  операция  по  каждому  алгоритму.

6.Вывод  результатов  для  последующего  анализа  должен  производиться  в  xml  файл,  (отдельный  для  каждого  алгоритма).

Архитектура  стенда

Тестовый  стенд  реализован  в  виде  приложения  на  платформе  Microsoft  .NET  с  применением  технологии  MEF  [2]  и  состоит  из  трёх  .NET  сборок:

·Face  RecognitionStand.exe  —  приложение  для  запуска  стенда

·Vlsu.FaceRecognition.Testing.Core.dll  —  ядро  стенда,  содержит  всю  логику  процесса  тестирования.

·Vlsu.FaceRecognition.Testing.ModuleMetadata.dll  —  сборка  с  метаданными,  необходимыми  для  написания  алгоритма.

Для  простоты  подключения  новых  модулей  и  достижения  расширяемости  стенда,  была  использована  технология  MEF  из  .NET  Framework.  Полностью  алгоритм,  с  которым  может  работать  стенд  является  классом,  реализующим  интерфейс  IAdditionalModule,  и  помеченным  атрибутом  AdditionalModuleMetadataAttribute.  Библиотека  с  такими  классами  должна  быть  в  одной  папке  с  FaceRecognitionStand.exe,  тогда  тестирование  алгоритма  запустится  автоматически  вместе  с  запуском  стенда.

Рисунок  1.  Структура  сборки  Vlsu.Face  Recognition.Testing.Module  Metadata.dll

Каждый  алгоритм  в  комплексе  распознавания  лиц  имеет  промежуточные  данные,  именуемые  атрибутами,  которые  в  свою  очередь  могут  представлять  из  себя  любой  класс.  Для  этого  в  метаданные  входит  пустой  интерфейс  IAttribute,  им  помечаются  классы-атрибуты  в  алгоритме,  для  того  чтобы  сам  стенд  мог  оперировать  значениями  упакованными  в  этот  интерфейс.

Для  интеграции  любого  алгоритма  распознавания  со  стендом,  необходимо  реализовать  для  него  класс-оболочку,  реализующую  интерфейс  IAdditionalModule.  Ключевые  методы  этого  интерфейса:

1.BuildTemplate.  Метод  принимает  имя  файла  с  изображением,  рассчитывает  атрибуты,  и  возвращает  их  коллекцию  упакованную  в  класс-потомок  интерфейса  I  Attribute). 

2.SetBase.  Метод  принимает  коллекции  атрибутов,  для  каждого  снимка  из  папки  с  эталонами.  Фактически  метод  формирует  базу  атрибутов  для  эталонов.

3.Recognize.  Метод  принимает  коллекцию  атрибутов,  рассчитанную  для  тестового  снимка,  и  возвращает  коллекцию  из  имени  изображения  из  базы  и  степени  сходства  (число )  тестового  изображения,  с  изображением  из  базы.

Ниже  приведена  блок-схема,  которая  показывает  принцип  работы  алгоритма.

Рисунок  2.  Блок-схема  работы  стенда

Анализ  результатов

По  полученным  данным  можно  сравнивать  эффективность  алгоритмов  распознавания.  Для  этого  введем  предельно  допустимое  число  ложных  распознаваний  FAR_MAX.  Затем  из  всех  полученных  результатов  для  алгоритмов  отбираются  все  данные  у,  которых  показатель  FAR≤FAR_MAX.  Затем  для  отобранных  записей  сравнивается  число  пропусков  FRR,  и  отбираются  алгоритмы  с  наименьшим  показателем.  Таким  образом,  наиболее  эффективным  признается  алгоритм,  который  при  допустимом  показателе  FAR  дает  меньшее  количество  пропусков  FRR.

Также  результаты,  полученные  после  испытаний  на  стенде,  можно  использовать  для  подбора  порога  схожести  для  каждого  алгоритма,  при  котором  алгоритм  будет  давать  заданное  соотношение  между  значениями  ошибок  FAR  и  FRR.

Список  литературы:

1. Рожков  М.М.  Система  неадаптивного  распознавания  образов  в  условиях  ограниченного  количества  информации:  монография  /  М.М.  Рожков;  Владим.  гос.  ун-т.  —  Владимир:  Изд-во  Владим.  гос.  ун-та,  2011.  —  120  с.  —  ISB№  978-5-9984-0212-8. 
2. Managed  Extensibility  Framework  Overview  [Электронный  ресурс]  —  Режим  доступа.  —  URL:  http://msdn.microsoft.com/ru-ru/library/dd460648.aspx.