Отслеживание объекта на видео с использованием алгоритма сегментации изображений на суперпиксели

Одной из важнейших задач компьютерного зрения, в частности – анализа видеоизображений, - является видео трекинг. Данная задача является неотъемлемой частью такой прикладной области, как создание систем наблюдения. И если человек способен безошибочно выполнять слежение за объектом на видео, который, например, кратковременно исчезает из поля зрения камеры или начинает менять свою топологию, – то для компьютерного зрения эта задача является непростой.

Целью данной работы является разработка алгоритма, выполняющего слежение за заданным объектом в видеопотоке на основе пересегментированных изображений отдельных кадров (карт суперпикселей).

Пусть имеется последовательность кадров   (, где  - пространство цвета) и объект слежения задан маской , где . Также задана пара - результат сегментации, где  (размерность совпадает с размерностью кадра, элементы описывают принадлежность элемента изображения к классу). Необходимо получить последовательность масок (  ), содержащих объект в выбранный момент времени.

Задачу можно переформулировать, используя теорию графов. Пусть объект задан взвешенным неориентированным графом , вершинами которого являются центры суперпикселей, принадлежащих объекту; ребра соединяют соседние вершины; веса ребер характеризуют “схожесть” двух вершин по некоторым признакам. В следующем кадре - в ограничивающей области, которая предположительно содержит переместившийся объект (размер области определяется из модели движения) – строится аналогичный граф . Соединив ребрами каждую вершину со всеми вершинами , получим граф . В данной задаче требуется определить, в какие вершины из перешли вершины подграфа . Решение будет заключаться в удалении ребер из графа таким образом, чтобы в результате каждая вершина из подграфа была соединена ровно с одной вершиной из : это означает, что если вершина из имеет ребро с вершиной из - она принадлежит графу объекта на новом кадре.

Научный руководитель: к.т.н., доцент Полевой Д.В.