Применение метода межкадровой навигации для детектирования изображения проективно искажённого прямоугольного объекта в видеопотоке

Проблема поиска границ проективно искажённого прямоугольного объекта в видеопотоке часто возникает при практическом решении прикладных задач оптического распознавания с помощью малоформатных цифровых камер. Документы, вывески, этикетки и другие объекты часто имеют прямоугольную форму, но добиться положения камеры, при котором не будет проективных искажений практически невозможно. В данной работе решалась задача нахождения рамки телевизора на кадрах видеопотока, полученного с камеры мобильного устройства.

На каждом кадре видеопоследовательности требуется найти такой четырёхугольник, внутри которого заключён экран телевизора, а снаружи расположена рамка телевизора. Для решения  используется межкадровая система координат, оценка геометрических характеристик рамки и предположение о монотонности цветовых характеристик рамки.

На первом шаге применяется существующий алгоритм детекции проективно искажённых прямоугольников в кадре и для каждого изображения формируется набор гипотез четырёхугольников. Для каждой гипотезы вычисляется оценка качества на основе геометрических характеристик рамки и цветовых характеристик. Геометрическая оценка опирается на следующее утверждение: для произвольного строго выпуклого четырёхугольника Q, расположенного на кадре, существует единственный с точностью до гомотетии параллелограмм P(Q), проективный образ которого совпадает с данным четырёхугольником Q. То есть можно оценить, насколько найденный четырёхугольник может быть изображением прямоугольника. Оценка цветовых характеристик изображения в некоторой окрестности этой гипотезы использует эвристику о том, что рамка телевизора имеет монотонный цвет.

Затем с помощью детектора особых точек SURF и метода оценки параметров модели RANSAC строится межкадровая система координат, которая для каждой пары последовательных кадров определяет проективное отображение, переводящее один кадр в другой наилучшим образом. Это позволяет установить соответствие между теми гипотезами на соседних кадрах, которые являются изображениями одного и того же объекта. А также построить граф соответствия, вершинами которого являются гипотезы. Наилучший путь в таком графе состоит из гипотез, соответствующих, предположительно, одному и тому же объекту реального мира.

В рамках выполнения данной работы был разработан подход к решению задачи поиска рамки телевизора в видеопотоке. На основе данного подхода был реализован алгоритм на языке C++.