Регистрация / Вход
Прислать материал

Применение метода межкадровой навигации для детектирования изображения проективно искажённого прямоугольного объекта в видеопотоке

ФИО
Манжиков Тэмуджин Валерьевич
Электронная почта
e19d9eb30a9dtmanzhikov@gmail.com
Номинация
Информационные технологии
Институт
Институт информационных технологий и автоматизированных систем управления (ИТАСУ)
Кафедра
Инженерной кибернетики
ФИО научного руководителя
Полевой Дмитрий Валерьевич, доцент, к.т.н.
Академическая группа
ММ-12-1
Наименование тезиса
Применение метода межкадровой навигации для детектирования изображения проективно искажённого прямоугольного объекта в видеопотоке
Тезис

Проблема поиска границ проективно искажённого прямоугольного объекта в видеопотоке часто возникает при практическом решении прикладных задач оптического распознавания с помощью малоформатных цифровых камер. Документы, вывески, этикетки и другие объекты часто имеют прямоугольную форму, но добиться положения камеры, при котором не будет проективных искажений практически невозможно. В данной работе решалась задача нахождения рамки телевизора на кадрах видеопотока, полученного с камеры мобильного устройства.

На каждом кадре видеопоследовательности требуется найти такой четырёхугольник, внутри которого заключён экран телевизора, а снаружи расположена рамка телевизора. Для решения  используется межкадровая система координат, оценка геометрических характеристик рамки и предположение о монотонности цветовых характеристик рамки.

На первом шаге применяется существующий алгоритм детекции проективно искажённых прямоугольников в кадре и для каждого изображения формируется набор гипотез четырёхугольников. Для каждой гипотезы вычисляется оценка качества на основе геометрических характеристик рамки и цветовых характеристик. Геометрическая оценка опирается на следующее утверждение: для произвольного строго выпуклого четырёхугольника Q, расположенного на кадре, существует единственный с точностью до гомотетии параллелограмм P(Q), проективный образ которого совпадает с данным четырёхугольником Q. То есть можно оценить, насколько найденный четырёхугольник может быть изображением прямоугольника. Оценка цветовых характеристик изображения в некоторой окрестности этой гипотезы использует эвристику о том, что рамка телевизора имеет монотонный цвет.

Затем с помощью детектора особых точек SURF и метода оценки параметров модели RANSAC строится межкадровая система координат, которая для каждой пары последовательных кадров определяет проективное отображение, переводящее один кадр в другой наилучшим образом. Это позволяет установить соответствие между теми гипотезами на соседних кадрах, которые являются изображениями одного и того же объекта. А также построить граф соответствия, вершинами которого являются гипотезы. Наилучший путь в таком графе состоит из гипотез, соответствующих, предположительно, одному и тому же объекту реального мира.

В рамках выполнения данной работы был разработан подход к решению задачи поиска рамки телевизора в видеопотоке. На основе данного подхода был реализован алгоритм на языке C++.