ПОДХОД  К  УДАЛЕНИЮ  ДРОЖАНИЯ  НА  ВИДЕО

Фам  Конг  Тханг

аспирант  Тульского  государственного  университета,  РФ,  г.  Тула

Email :  pacotha@gmail.com

Есиков  Дмитрий  Олегович

магистрант  Тульского  государственного  университета,  РФ,  г.  Тула

Email :  mcgeen4@gmail.com

Нгием  Хыу  Дык

студент  5  курса  Тульского  государственного  университета,  РФ,  г.  Тула

Email :  huuduc4213@mail.ru

Видеокамеры  стали  чрезвычайно  популярны  в  потребительской  жизни  и  их  использование  в  промышленности,  т.  д.  Камера  может  дрожать  в  процессе  перемещения  и  в  результате  чего  на  съемках  видео  будет  дрожание  изображения.  Процесс  создания  видео  с  компенсацией  движения  видеоряда  в  соответствии  с  оригинальным  видео  заключается  в  удалении  нежелательного  дрожания.  В  работах  [1,  2]  были  представлены  различные  методы  для  удаления  дрожания.  Первый  подход,  называемый  оптической  стабилизацией,  состоит  из  реализации  оптической  системы,  которая  компенсирует  нежелательные  движения  камеры  с  помощью  датчиков  движения  и  активной  оптической  системы.  Этот  подход  является  потенциально  самым  мощным,  но  делает  видеокамеры  значительно  дороже  и,  следовательно,  не  приемлем  для  широкого  класса  устройств.  Второй  подход,  состоит  в  выполнении  постобработки  видеопоследовательности,  чтобы  устранить  нежелательное  дрожание  в  видео,  вызванных  человеком,  держащим  камеру  или  механической  вибрацией  внутри  камеры. 

В  данной  работе  мы  исследовали  эту  проблему  по  второму  подходу  с  использованием  алгоритма  RANSAC  (Random  Sample  Consensus)  [3].  Алгоритм  RANSAC  является  надежным  для  оценки  параметров  движения,  так  что  система  имеет  очень  хорошие  результаты  удаления  дрожания.  Подход  обработки  происходит  в  3  шага:  получить  изобажение,  поместить  его  перед  блоком  согласования  изображений.  После  этого,  получить  текущее  изображение  относительно  с  плотным  полем  векторов  движения;  использовать  для  оценки  глобального  движения  вектор  движения,  установить  параметры  текущего  кадра  изображения.  Видео  имеет  частичное  движение  или  присутствие  шума.  Используя  алгоритм  RANSAC  проанализировать  набор  векторов  движения,  рассчитать  глобальные  параметры  движения  текущего  кадра;  дрожание  изображения,  параметры  производительности  высокочастотной  составляющей  движения  во  временной  области  могут  быть  удалены  путем  фильтрации  частотного  составляющего  дрожания,  рассчитаны  траекторию  движения  и  относительно  гладкий  вектор  движения  для  каждого  кадра  изображения,  который  будет  компенсирован.  Наконец,  произвести  панорамирование  и  поворот  преобразования  изображения  на  изображение,  чтобы  получить  результаты  без  дрожания.

Оценка  параметров  движения

Выбрать  блок  кадра    для  поиска  соответствующего  блока  в  предыдущем  кадре,  диапазон  поиска  .  Блок  представлен  соответствующим  алгоритмом,  для  поиска  множества  точек,  соответствующих  текущему  кадру  и  предыдущим  кадрам  ,  .  Если  предположить,  что  в  целом  движение  каждого  кадра  -  растягивание,  поворот  и  перевод,  то  глобальное  уравнение  движения  можно  записать  в  виде:

,    (1)

Среди  них,    представляет  собой  расширение  и  сжатие  изображения,  α  представляет  собой  поворотный  угол  изображения  против  часовой  стрелки  вокруг  центра,  указывает  на  смещение  центра  изображения.  (1)  также  можно  записать  в  виде:

  (2)

при  , 

Тогда  (2)  записать  в  виде: 

,    (3)

В  приведенной  выше  формуле,  известны,    неизвестны,  две  пары  соответствующих  точек  могут  быть  решены.  Как  правило,  можем  найти  больше  двух  пар  соответствующих  точек,  и,  таким  образом  (3)  переопределенное  уравнение  может  быть  решено  с  помощью  метода  наименьших  квадратов.

Алгоритм  RANSAC

Алгоритм  RANSAC  берёт  случайную  выборку  данных  неоднократно,  каждый  раз  удаление  происходит  как  можно  меньше,  но  достаточно  случайных  данных  для  определения  множества  параметров  модели.  Затем  по  алгоритму  определяют  в  соответствии  с  разделением  модели  все  части  данных  в  пределах  определенного  диапазона  ошибки  в  модели  и  часть  данных,  выходящих  за  пределы  погрешности,  поскольку  точки  являются  аномальными  и  дезорганизоваными  данными.  Определить  лучшее  приближение  модели  к  реальной  модели,  большая  часть  данных  будет  попадать  в  пределы  ошибок.  После  повторного  выборочного  тестирования,  попадания  определили  алгоритм  RANSAC  в  пределы  ошибок  до  точки  сбора,  эта  коллекция  будет  делать  оптимизированные  для  завершения  параметров  модели. 

Предполагая,  что  результаты  сопоставления  блока  находятся  в  разделе  выше,  некоторые  точки  на  двух  изображениях  до  и  после  ряда  соответствующих  точек  в  коллекции  ,  и  два  ряда,  случайно  выбранных  из  ,  соответствующие  точке,  составляющей  подмножества  : 

  (4)

где  i,  j  —  два  случайных  числа,    может  быть  получено  с  помощью  уравнений  (3)  к  значению  ,  и  задается    ошибкой  в  интервале  T,  тогда  S1*  может  быть  подмножеством  P,  и  может  быть  получено  следующим  образом:

  (5)

Диапазон  ошибок  T  является  эмпирическим  значением,  пусть  .  Наборы    ,—  согласованные  наборы;    —  количество  элементов  :  =card().

Данный  процесс  повторяется  N  раз,  и  при  ,    имеет  большое  значение.  Множество    с  элементами  для  выполнения  метода  наименьших  квадратов,  решения  уравнений  (3),  получение  окончательного  результата  M1=  (а,  b,  dx,  dy).  Повторы    раз  задаются  следующей  эмпирической  формулой  [3]:

  (6)

где  w  —  выбранная  точка  в  пределах  погрешности  любой  модели  в  P  (то  есть,  чтобы  удовлетворить  (4)).  Вероятность  предполагая  максимум  половины  мертвых  пикселей,  которые  можно  рассматривать  ,  l  является  решением  уравнений  (3),  в  котором  необходимое  количество  элементов,  по  крайней  мере  ,  берём;  является  описанный  выше  процесс  повторений    раз,  вероятность  хотя  бы  одной  точки  ,  то  есть  вероятность  правильного  результата  работы  алгоритма,  принимая  .  В  соответствии  с  эмпирической  формулой  можно  рассчитать  .  То  есть,  вышеуказанную  процедуру  повторяли  18  раз,  вероятность  правильного  результата  для  алгоритма  0,98.

Фильтрация  параметров  движения

Далее  получают  отношения  к  каждому  кадру  изображения  предыдущего  кадра  параметров  движения  ,  где  указывает  порядковый  номер  временного  интервала.  На  практике,  значение    найдено  близко  к  1,  это  может  быть  приближено  к  константе  1,  а  также  предположим,  что  ,  которые  разделены  на  два  независимых  друг  от  друга,  и  общее  движение  —  как  суперпозицию  трех  параметров  движения.  Если  взять  в  качестве  первого  опорного  кадра  0,  то  t-й  кадр  изображения  движения  относительно  опорного  кадра  накладывается  на  относительном  движении  всех  кадров  до  t,  а  именно:

  (7)

Параметры  движения  фильтруют  высокочастотные  компоненты  функции  времени,  КИХ-фильтра  заключается  в  следующем:

  (8) 

Это  обрезается  после  функции  sin()  ,  с  частотой  примерно  .

Если  предположим,  что  t-й  кадр  результатов  фильтрации  ,  который  представляет  собой  изображение,  движущееся  плавно,  без  вибрации,  и    представляет  собой  разницу  между  встряхиваемыми  компонентами  движения.  Это  должно  быть  сделано,  чтобы  компенсировать  изображения.

Компенсация  движения

Зная  компонент  вибрации  изображения,  можем  сделать  компенсацию  движения  на  изображении,  чтобы  удалить  дрожание  движения.  Для  каждого  пиксела  исходного  изображения,  после  того  как  он  сделал  положение  компенсации  движения  должны  быть:

  (9)

Каждый  пиксел    —  как  правило,  не  является  целым  числом,  но  необходимо  выполнить  билинейную  интерполяцию,  чтобы  получить  окончательный  результат.

Экспериментальный  результат

На  (рис.  1)  представлен  исходное  изображение  (а),  кадр  изображения  из  серии  испытаний  (б).  На  (рис.  2)  представлена  диаграмма  корреляции  дрожания  движения  на  видео  с  вертикальным  и  горизонтальным  направлением  кадров.  И  на  (рис.  3)  представлен  угол  поворота  α  движения  в  видео.

Рисунок  1.  (а)  кадр  изображения  из  серии  испытаний,  б)  исходное  изображение

Рисунок  2.  Диаграмма  корреляции  дрожания  движения  на  видео  с  вертикальным  и  горизонтальным  направлением  кадров

Рисунок  4.  Угол  поворота  α  движения  в  видео:  где  I   —  с  алгоритмом  RANSAC,  для  оценки  кривой  параметров  движения;  II  —  после  фильтрации  получена  плавная  кривая  параметров  движения;  III  —  кривая  джиттера,  которая  является  компенсацией  движения.  Экспериментальные  результаты  показывают,  что  алгоритм  успешно  снимает  дрожание  экрана

Список  литературы:

1.Ertürk-Real-Time  Digital  Image  Stabilization  Using  Kalman  Filters.  Real-Time  Imaging,  Volume  8,  Issue  4 ,  August  2002,  —  c.  317—328.

2.Litvin,  Konrad,  Karl  —  2003  —  Probabilistic  video  stabilization  using  Kalman  filtering  and  mosaicing.  Proc.  IS&T/SPIE  Symp.  Electronic  Imaging,  Image,  and  Video  Comm.  —c.  663—674,  2003.

3.Robert  B.  Fisher  —  The  RANSAC  (Random  Sample  Consensus)  Algorithm  //  BST  2002  —  [Электронный  ресурс]  —  Режим  доступа.  —  URL:  http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/FISHER/RANSAC/