14.577.21.0212

Целью исследования является получение значимых научных результатов, позволяющих переходить к созданию новых видов научно-технической продукции на основе эффективных и применимых на практике методов и программных средств обработки изображений и видеопотоков, включая данные сенсоров, работающих вне видимого диапазона, для решения задач распознавания образов в системах компьютерного зрения с использованием глубокого обучения и разреженного представления сигналов.
Проведение исследований в рамках проекта предполагает решение следующих задач:
- Разработка математической модели процесса получения изображений и видеопотоков, включая данные сенсоров, работающих вне видимого диапазона, с использованием разреженного представления сигналов.
- Разработка методов и алгоритмов первичной обработки двумерных и трехмерных данных: фильтрация, подавление импульсных помех и выбросов, устранение пропусков данных, характерных начальным условиям и выбранному сенсору регистрации сигналов с использованием разреженного представления сигналов.
- Разработка методов дескрипторного описания изображений и видеопотоков, включая данные сенсоров, работающих вне видимого диапазона, для решения задач распознавания образов.
- Разработка методов и алгоритмов обнаружения, классификации и сопровождения объектов и событий заданных классов в потоках двумерных и трехмерных данных с применением методов слияния информации.
- Разработка методов и алгоритмов получения метаинформации и структурирования потоковых данных для обеспечения возможности эффективного поиска в архивах фото- или видеоданных.

Одним из ведущих направлений анализа данных является развитие теории обработки цифровых многомерных сигналов, позволяющей решать задачу анализа сигналов в интеллектуальных системах видеонаблюдения без прямого участия человека на основе методов компьютерного зрения. Как правило, системы распознавания образов реализуют многоэтапную обработку, при этом результат на каждом из этапов существенно зависит от результатов работы на предыдущем этапе.
Предлагаемый проект является комплексным, включающим использование видеосистем для получения оптических изображений, современных методов обработки многопозиционного многочастотного радиолокационного сигнала для регистрации объектов зондирования и методов компьютерного зрения. Успешное выполнение проекта позволит создать научно-технический задел в области цифровой обработки сигналов и построение алгоритмов реализации методов обработки в системах автоматизированного управления и технического зрения, являющиеся неотъемлемыми элементами разрабатываемого комплекса обработки сигналов. В результате будут реализованы алгоритмы цифровой обработки изображений и видеосигналов систем технического зрения для решения комплексных задач распознавания образов, анализа объектов и сцен. В рамках проводимых научных исследований предполагается формирование как отдельных элементов комплексной системы цифровой обработки и анализа многомерных сигналов, так и структуры комплекса в целом.

В рамках реализуемого проекта будут использованы результаты ранее проведенных исследований, на основе которых будет развиты теоретические и практические аспекты решаемых задач в области цифровой обработки сигналов. Для решения поставленных задач будут  широко использованы результаты исследований в области компьютерного зрения, математической статистики, теории сигналов, численные методы, методы спектрального анализа, теории измерений, теории цифровой фильтрации и интерполяции. Для решения поставленных задач первичной обработки изображений и видеосигналов будут синтезированы методы на основе комбинирования пространственной нелокальной обработки и обработки на основе разреженного преобразования в частотной области. Будут разработаны методы реконструкции и фильтрации изображений на основе подхода синтеза текстур. В проекте предполагается использование метода разреженных представлений в задаче получения и хранения словаря для повышения качества реконструкции и уменьшения вычислительных затрат. Будет проведен выбор базисных функций, адекватных для задачи разреженного представления словаря.

При обработке многоканальных сигналов предлагается использовать многоэтапную процедуру восстановления потерянных и искаженных значений глубины. При обработке будет использована информация о цвете для улучшения карты глубины, а так же раздельная обработка для статического фона и динамических объектов переднего плана. Для предотвращения размытия около границ разрывов глубины, сохранения формы и границы объектов и предотвращения распространения шума в областях объектов со значительным перепадом глубины будет использоваться максимальная апостериорная оценка.

В рамках решения задачи построения универсального алгоритма комплексирования данных сенсоров видимого диапазона света с данными полученными от двумерных или трехмерных сенсоров может быть использовано несколько подходов. Комплексирование данных можно проводить на различных этапах обработки: составление дескрипторного описания изображения или потока данных на выходе каждого сенсора, решение задачи классификации и распознавания образов для каждого сенсора и последующее объединение полученных результатов на основе взвешивания оценок, получение совместных плотностей распределения оценок и решение задачи максимизации правдоподобия.

Реализация этапа получения первичных признаков радиолокационных и оптических изображений будет основана на использовании решений широкого спектра задач: выделение границ объектов, кластеризация изображений на основе теории статистики и выделения признаков стационарности и нестационарности, извлечения корреляционных зависимостей, нахождения особых областей и точек. Совокупность полученных признаков составляет пространство дескрипторов, позволяющих получить многомерное описание объекта (вектор признаков), представленного на цветном изображении или градаций серого.

Построение алгоритмов детектирования и локализации объектов и событий заданных классов в потоках двумерных и трехмерных данных с применением методов слияния информации может решаться на основе существующих методов: детектирование объектов на основе метода Далала-Тригса, детектирование объектов на основе метода Виолы-Джонса, детектирование объектов на основе построения визуальных словарей (текстоны), детектирование объектов на основе хаф-преобразования и т.д.

Решение задачи построения алгоритмов классификации объектов и событий заданных классов в двумерных и трехмерных данных с применением методов слияния информации будет основываться на использовании широкого класса методов классификации на основе расчета различных дескрипторных описаний: локально-бинарные особенности (LBP) и его модификации, построение специальных словарей локальных особенностей (текстоны), дескриптор на основе закона Вебера, расчет локальной мощности и т.д. Для увеличения эффективности распознавания методов и алгоритмов обнаружения событий на сценах и прогнозирования возникновения опасных ситуаций предлагается использовать «глубокое обучение» (англ. Deep learning) с целью моделирования высокоуровневых абстракций в данных, используя архитектуры, состоящие из множества нелинейных трансформаций.

В качестве проверки эффективности обработки предложенными методами будут использоваться следующие наиболее часто используемые критерии: среднеквадратическая ошибка, отношение сигнал/шум, пиковое отношение сигнал/шум, интегральное отношение сигнал/шум, предложенные критерии, а также вероятностные оценки.

По результатам проводимых научных исследований предполагается создание научно-технического задела в области обработки изображений и видеопотоков, включая данные сенсоров, работающих вне видимого диапазона, для решения задач распознавания образов в системах компьютерного зрения. На основе существующих наработок предполагается решение двух главных задач в рамках области исследований: первичная обработка и задача распознавания образов с использованием глубокого обучения и разреженного представления сигналов.

Результаты выполнения ПНИЭР (1 этап, 2016 г.):

 1. Проведен аналитический обзор современной научно-технической, нормативной, методической литературы, затрагивающей научно-техническую проблему, исследуемую в рамках проекта.

2. Проведены патентные исследования в соответствии с ГОСТ Р 15.011-96.

 3. Проведен анализ возможности комплексирования данных сенсоров видимого диапазона света с данными полученными от двумерных или трехмерных сенсоров иной природы.

4. Выполнены постановка задач и изучение возможной области применения обработки изображений и видеопотоков, включая данные сенсоров, работающих вне видимого диапазона, для решения задач распознавания образов в системах компьютерного зрения.

5. Выполнено обоснование выбора оптимального варианта решения поставленных задач.

6. Разработана математическая модель процесса получения изображений и видеопотоков, включая данные сенсоров, работающих вне видимого диапазона, с использованием разреженного представления сигналов.

Ожидаемые результаты выполнения проекта могут быть использованы в различных системах компьютерного зрения, в том числе системах распознавания образов:
- Системы любительской и профессиональной фото и видео фиксации с целью фильтрации помех для визуального и особенно автоматического анализа.
- Системы распознавания лиц на основе биометрии лица и вероятностной связи изображения с идентификаторами людей, зарегистрированных в базе данных.
- Системы обнаружения опасных ситуаций (скопления людей, оставленные предметы, возгорания и задымления и т. п.).
- Системы анализа поведенческого характера и движения объектов сцены (мониторинг банков, гипермаркетов, аэропортов, автомобильных парковок, контроль доступа на охраняемые объекты).
- «Интерфейс человек-машина» за счет контекстного анализа видеоданных.
Предлагаемые подходы позволят решить основные недостатки известных методов анализа изображений и видеопотоков (влияние уровня освещенности, низкое разрешение, распознавание объектов на сложном фоне) за счет развития комплексных, многокритериальных подходов к решению задач обработки и распознавания образов для реализации интеллектуальных систем видеонаблюдения и автоматизированного принятия решений.
Возможности использования результатов работы:
- основное практическое применение планируемых результатов работы связано с распознаванием образов в системах компьютерного зрения с целью классификации, сопровождения объектов и обнаружения событий на сценах и прогнозирования возникновения опасных ситуаций.
- к конкурентным преимуществам вероятных результатов работы отнести использование методов и программных средств обработки изображений и видеопотоков, включая данные сенсоров, работающих вне видимого диапазона, а так же подходов глубокого обучения и разреженного представления сигналов.
Прогнозируемые социально-экономические эффекты от использования результатов ПНИ, созданных на основе результатов данного исследования включают следующие пункты:
а) создание принципиально новой продукции (теория, методы, программный комплекс);
б) улучшение потребительских свойств существующей продукции;
в) повышение уровня автоматизации обработки сигналов в системах компьютерного зрения.