ОТСЛЕЖИВАНИЕ УДАЛЕННЫХ ОБЪЕКТОВ В ПОТОКОВОМ ВИДЕОИЗОБРАЖЕНИИ

​АННОТАЦИЯ

В данной статье рассматриваются алгоритмы захвата, анализа и отслеживания удаленных объектов в потоковом видеоизображении.

Ключевые слова: компьютерное зрение, захват объекта, отслеживание объекта, цифровой кадр, видеопоток, распознавание объектов.

Введение.

Компьютерное зрение — технологическая область искусственного интеллекта, связанная с захватом, отслеживанием, анализом и дальнейшей классификации кадров в видеопотоке.

Электронные-вычислительные машины с цифровой обработкой видеоизображения стали очень популярны. С помощью данных функций расширяют функционал и возможности бытовых устройств. Отслеживание лиц, штрихкодов, стабилизация и многие другие задачи решаются алгоритмами устройств прямо в реальном времени. С каждым годом растет мощность процессоров, которые позволяют разработчикам придумывать новые функции для устройств. Одной из основных современных интеллектуальных обработок потокового видеоизображения является захват объекта, его анализ, распознавание и дальнейшее отслеживание.

Цифровой кадр — это двумерное реальное изображение, представленное в виде закодированной последовательности чисел.

Видеопоток — это последовательность кадров, закодированных в битовый поток определенного формата.

Для различных сфер применений, которые проектируют программные обеспечения создано много способов и алгоритмов захвата и отслеживания кадров.

Примеры алгоритмов для захвата и отслеживания кадров.

Алгоритм сдвига среднего – это алгоритм, который при работе с видео потоком смотрит смещение центра масс точек на кадре вычисляя локальный экстремум плотности расположения характерных точек объекта наблюдения, в результате находится вектор движения объекта. Данный алгоритм лучше работает при ярком цветовом отличии рассматриваемого объекта и фона.

Непрерывно адаптирующийся сдвиг – основан на сдвиге среднего, но автоматически подстраивает под характерные точки границы и размер окна, что позволяет лучше отследить объект, изменяющийся в размерах.

Алгоритм шаблона движений – это поиск границ объектов в каждом кадре видеопотока, в нем учитывается смещение границы на кадрах за счёт предыдущего с помощью вектора движения данного объекта. Он учитывает резкие цветовые границы, что иногда может вызвать ошибку в распознавании, когда на фоне происходит движение с похожими участками. Шаблон движений показывает себя эффективным с крупными объектами, а также с динамичными жестами, которые применяются в человеко-машинном интерфейсе.

Метод Виолы-Джонса – алгоритм, который дает возможность в реальном времени обнаружить объект на изображении. Этот метод использует изображения в интегральном представлении, что позволяет вычислить достаточно быстро объекты поиска. Требуется заранее подобранные шаблоны из белых и черных прямоугольников, которые совпадут с набором пикселей в кадре. Стоит отметить, что обучение данного алгоритма достаточно сложное и долгое, также требует у разработчика специальных знаний и хорошей обучающейся выборке. При использовании этого алгоритма главное понимать, что данный метод опирается на определение резких цветовых границ, так что если во время работы на фоне произойдет движение со схожими участками, это может привести к ошибке.

Алгоритм Лукаса-Канаде — это локальный дифференциальный метод, для вычисления оптического потока используемый в компьютерном зрении.

Берется пиксель p, который по алгоритму должен быть равен всем пикселям, расположенным в окне с центром в p. Где вектор оптического потока (Vx, Vy) в точке p будет решением системы уравнений (рис 1).

Рисунок 1. Система уравнений алгоритма Лукаса-Канаде

q1, q2, …, qn – пиксели в окне,

Ix(qi), Iy(qi), It(qi) – производные изображения I с координатами по x, y со временем t.

Также уравнение можно представить в матричной форме (рис 2).

Рисунок 2. Матричная форма системы уравнений

Дальше решение происходит методом наименьших квадратов, этот метод позволяет обойти неточности за счет информации о соседних пикселях, где предполагается, что значение оптического потока в локальных окрестностях одинаково.

Алгоритм не так чувствителен к шуму изображений, но не способен определить направление движений пикселей в однородных областях, его активно применяют в приложениях компьютерного зрения, и он эффективно решает широкий объем задач.

Сочетание алгоритмов захвата и отслеживания объекта.

Для решения комплексных задач по захвату и слежению за объектом лучше применять два алгоритма, что позволит более точно выполнить задачу и избежать ошибок присущих одному из методов.

Из перечисленных выше методов для таких сочетаний подойдут алгоритмы Лукаса-Канаде и Виолы-Джонса. Алгоритм Лукаса-Канаде будет лучшим выбором для отслеживания, так как метод Виолы-Джонса потребует высокие мощности для вычисления, а алгоритм с непрерывно адаптирующимся сдвигом будет проигрывать алгоритму Лукаса-Канаде по возможным ошибкам. Ещё стоит отметить, что алгоритм с шаблонами движений не подойдёт для слежения за удаленным объектом.

Пример использования нескольких алгоритмов.

1. Нужно определить начальные координаты объекта захвата и отслеживания или ввести их вручную для алгоритма Виолы-Джонса;
2. Создается массив точек объекта (дескрипторов);
3. Со следующим цифровым кадром видеопотока будет работать алгоритм Лукаса-Канаде, который опирается на массив точек;
4. Если в результате анализа кадра будет выявлено, что какие-то точки слишком отдалились от центра, они будут удалены;
5. Когда число точек станет ниже определенного значения, будет считаться, что объект ушёл из поля зрения и система должна будет снова начать работу с 1 пункта;
6. Если точек достаточно, будет выводится на экран отмеченный объект и система перейдет к пункту 3.

Данный алгоритм с линейной оценкой сложности сможет произвести захват, анализ и отслеживание объекта прямо в реальном времени.

Заключение.

В данной статье мы рассмотрели возможные разновидности алгоритмов обработки цифровых изображений в видеопотоке. Рассмотрели их возможные преимущества и недостатки. Был приведен пример сочетания нескольких методов, которые в реальном времени могут захватывать, анализировать и отслеживать объект в кадре. Это позволило соединить их достоинства и избежать лишних ошибок присущим одиночным методам обработки видеопотока, а также поможет обрабатывать видеопотоки с сложно различимыми объектами на двигающемся фоне, а также с дальнейшим расширением возможности для слежения за несколькими объектами.

Список литературы:

1. Л. Шапиро, Дж. Стокман. Компьютерное зрение/Computer Vision. — М.: Бином. Лаборатория знаний, 2006. — 752 с.
2. Бондаренко, А.В., Галактионов, В.А., Горемычкин, В.И., Ермаков, А.В., Желтов, С.Ю. Исследование подходов к построению систем автоматического считывания символьной информации – М.: ИПМ им. М.В. Келдыша РАН, 2017.- 18 с.
3. Желтов С.Ю. и др. Обработка и анализ изображений в задачах машинного зрения. — М.: Физматкнига, 2010. — 672 с.
4. Мерков, А. Распознавание образов. Построение и обучение вероятностных моделей / А. Мерков. — М. : Ленанд, 2014. — 240 c.
5. Шакирьянов ЭД. Компьютерное зрение на Python. — Москва: Лаборатория знаний; 2021. — 163 с.