Совмещение изображений плоских псевдоригидных объектов на кадрах видеопотока

Алгоритмы совмещения изображений имеют широкий спектр применения. Они используются, начиная с панорамирования (склейка карт) и стабилизации и заканчивая получением сверх-разрешения.

При работе с любой задачей, необходимо учитывать всю ее специфику, связанную как с объектами сцены, так и со способом получения данных. Выбрав, в качестве целевой сферы, распознавание документов, можно выделить следующие особенности:

1. Объектами сцены будут являться плоские псевдоригидные предметы, например, паспорта или пластиковые карты.
2. Камера, снимающая сцену, может двигаться в трехмерном пространстве.
3. Возможно частичное изменение интенсивности яркости изображения, т.е. появление теней или бликов.

На вход подается два изображения: опорное и локальное. Задача - требуется локализовать второе изображение относительно координат первого. Выходом программы будет являться совмещенное изображение, полученное усреднением опорного изображения и преобразованного локального.

Оговорив, что объекты сцены плоские и псевдоригидные, можно перейти к рассмотрению геометрических искажений двумерной плоскости (сдвиг, поворот, масштабирование и т.д.). На начальном этапе было предложено начать исследование с простейшего случая – сдвиговой модели.

Формально необходимо определить при каком \(p\) достигается максимальное значение функционала \(F\), т.е.

\(argmax_p(F(I_0,I_1,p))\)  (1)

где \(p\) – вектор сдвига, \(I_0\) – опорное изображение, \(I_1\)– локальное изображение.

Для достижения инвариантности к частичному изменению яркости было предложено максимизировать вторую норму поля градиентов яркости совмещенного изображения:

\(F(I_0,I_1,p)=||\vec{\triangledown}(I_0+\hat{T_p}I_1)||\)   (2)

Путем нехитрых манипуляций с (2) можно оставить только свертку опорного и локального изображений, которая эффективно вычисляется с помощью быстрого преобразования Фурье.

На основе проведенных исследований по применимости данного функционала был сделан вывод об его адекватности. Более того, при определенных надстройках появляется возможность аппроксимировать параметры проективного преобразования.

В будущем предполагается перейти от сдвиговой модели к расширенной группе движений, которая будет изначально учитывать не только сдвиг, но и искажения типа поворот и масштабирование.