Регистрация / Вход
Прислать материал

Разработка программных средств параллельной обработки и комплексирования двумерных и трехмерных данных для автоматического обнаружения и распознавания объектов

Докладчик: Казанцев Павел Александрович

Должность: Руководитель отдела разработок, Кандидат технических наук

Цель проекта:
Целью работы является создание промышленного, конкурентоспособного на мировом рынке программного обеспечения для решения прикладных задач обработки изображений и потоковых данных, включая данные сенсоров, работающих вне видимого диапазона, для задач автоматического формирования модельного описания новых объектов и распознавания образов, позволяющего существенно расширить функционал систем безопасности и технического зрения в совокупности с расширением диапазона рабочих условий за счет для создания параллельных методов и алгоритмов автоматического обнаружения и классификации объектов на основе слияния и обработки двумерных изображений и данных трехмерного сканирования. Можно выделить следующие задачи данных прикладных научных исследований, решение которых необходимо для достижения поставленной цели: а) Исследование и разработка алгоритмов нахождения точек соответствия между 3D-данными и 2D-изображением. б) Исследование и разработка алгоритмов приведения 3D-данных и 2D-изображения в единую систему координат. в) Исследование и разработка алгоритмов обработки 2D-изображения на предмет выделения структурных единиц и сложных объектов (обнаружение объектов известной структуры или кластеризация), а также их классификации. г) Исследование и разработка алгоритмов фильтрации выбросов и шумов в 3D-данных с учетом результатов обработки 2D-изображения; д) Исследование и разработка алгоритмов построения и сглаживания поверхностей по 3D-данным с учетом результатов обработки 2D-изображения; е) Исследование и разработка алгоритмов обнаружения объектов в 3D-данных с учетом результатов обработки 2D-изображения; ж) Исследование и разработка алгоритмов классификации объектов в 3D-данных с учетом результатов обработки 2D-изображения; з) Выделение участков алгоритмов, обладающих алгоритмическим параллелизмом, и распараллеливание их на многоядерную архитектуру вычислителя; и) Разработка экспериментального образца специального программного обеспечения, реализующего разработанные алгоритмы. По окончанию работ будет сформирован алгоритмический базис для параллельной совместной обработки 2D- и 3D-данных с целью обнаружения и распознавания объектов на основе слияния этих типов данных, с установленными показателями точности и быстродействия с учетом используемой аппаратной поддержки, которая также будет определена и декларирована исполнителем ПНИ. После успешного выполнения ПНИ разработанное экспериментальное специальное программное обеспечение, методы и алгоритмы, а также результаты экспериментальных исследований будут использованы для проведения опытно-конструкторских работ, направленных на разработку программной библиотеки универсальной обработки двумерных и трехмерных потоковых данных различной природы для решения задач автоматического формирования модельного описания новых объектов и распознавания образов.

Основные планируемые результаты проекта:
В рамках данных ПНИ Исполнитель планирует получить следующие научно-технические результаты:
Результат 1. Результаты анализов и теоретических исследований. Результаты анализа современной научно-технической, нормативной, методической литературы, затрагивающей научно-техническую проблему, исследуемую в рамках НИР.
Эффект - в ходе анализа будут исследованы:
- алгоритмы фильтрации, кластеризации, обнаружения и классификации, применяемых к каждому типу данных (2D и 3D);
- алгоритмам кластеризации и распознавания объектов на основе слияния результатов обработки 2D- и 3D- данных;
- методы векторизации и организации массированных параллельных вычислений (методы распараллеливания) по исследуемым алгоритмам.
На основе проведенного анализа будет сформирован исходный базис параллельных алгоритмов для решения задач обнаружения и распознавания объектов на основе комплексирования двумерных и трехмерных данных, соответствующий мировому уровню.
В сформированном алгоритмическом базисе будут выявлены основные недостатки, препятствующие эффективному решению задач обнаружения и распознавания на основе комплексирования двумерных и трехмерных данных в реальном времени. На основании этого будут выбраны направления исследований, нацеленные на устранение выявленных недостатков с учетом доступных ресурсов ПНИ.
На основе полученных результатов анализа литературы будет получено обоснование выбора направлений исследований.
Отличие от аналогов - возможность превышения мирового научно-технического уровня обуславливается следующими положениями:
(а) полнотой алгоритмического базиса, применимого для создания эффективных алгоритмов обнаружения и классификации объектов на основе слияния двумерных и трехмерных данных;
(б) обязательным пунктом исследования каждого алгоритма будет исследование на предмет его параллелизуемости. В настоящее время далеко не каждое исследование ставит перед собой эту задачу. Это приводит к тому, что исследования-аналоги имеют на выходе тяжеловесные вычислительные алгоритмы, которые либо подходят для вычислений в реальном времени, либо требуют дорогостоящей аппаратной поддержки;
(в) особое внимание будет уделено новым эффективным алгоритмам машинного зрения, например, принципиально новым методам синтеза обучения многослойных нейроподобных структур, лишенных типовых проблем обучения нейронных сетей, основанные на методах «Глубокого Обучения» (Deep Learning).
Результат 2. Алгоритмы предварительной обработки, в том числе фильтрации и подавления шумов, потоковых данных с оптических сенсоров разных частотных диапазонов, а также потоковых локационных данных.
Эффект:
(а) Параллельные алгоритмы устранения шумов и искажений (смаз, размытие, цифровой шум, засветка) на изображениях;
(б) Параллельный алгоритм предобработки трехмерных сигналов, устраняющий характерные для соответствующих сенсоров шумы, выбросы и пропуски данных.
Отличие от аналогов;
(а) В отличие от аналогов, при разработке алгоритмов фильтрации двумерных изображений будет использована инновационный метод нейронных сетей с глубинным обучением. Использование этого метода позволит создать адаптивный алгоритм устранения шумов, позволяющий максимально эффективно устранять произвольный шум для заданных типов объектов;
(б) В отличие от аналогов, устранение характерных для трехмерных сигналов шумов будет осуществляться с использованием дополнительной информации, полученной в результате обработки двумерного изображения. Объекты, обнаруженные на двумерном изображении, будут использованы для уточнения гипотез моделей трехмерных объектов. Соответственно, те выбросы, которые не удовлетворяют уточненной модели, будут отфильтровываться.
Результат 3. Универсальный алгоритм комплексирования данных сенсоров видимого диапазона света с данными, полученными от двумерных или трехмерных сенсоров иной природы.
Эффект: будет получена возможность привязки массивов данных с разных сенсоров. Под привязкой подразумевается нахождение точек соответствия в данных и приведение массивов данных в единую систему координат. Будут разработаны следующие алгоритмы привязки:
(а) алгоритм привязки трехмерного облака точек к двумерным изображениям;
(б) алгоритм привязки трехмерных облаков точек друг к другу;
(в) алгоритм привязки двумерных изображений друг к другу.
Привязка массивов данных с разных сенсоров друг другу делает возможным слияние результатов обработки трехмерных и двумерных данных.
Отличие от аналогов - в отличие от аналогов, в алгоритме сопоставления характерных точек будет задействована оптимизационная модель, учитывающая, в том числе, информацию о принадлежности характерных точек объектам определенных классов.
Результат 4. Алгоритм детектирования и локализации объектов и событий заданных классов в потоках двумерных и трехмерных данных с применением методов слияния информации.
Эффект: определение координат объектов и времени возникновения событий в потоковых двумерных и трехмерных данных.
Отличие от аналогов - разработанный алгоритм будет обладать следующими преимуществами перед аналогами:
(a) Повышенная точность за счет применения иерархического метода модельной кластеризации с регуляризацией трехмерных моделей на основе результатов обнаружения объектов на соответствующем участке 2D-изображения;
(б) В качестве моделей на разных уровнях иерархии будут использованы нейросетевые модели на основе глубинного обучения;
(в) Повышенное быстродействие при расчете на многоядерных процессорах за счет параллельной структуры как метода модельной кластеризации в целом, так и отдельных моделей в узлах этой иерархии.
Результат 5. Алгоритм классификации объектов и событий заданных классов в двумерных и трехмерных данных с применением методов слияния информации.
Эффект: определение классов объектов и событий в потоковых двумерных и трехмерных данных.
Отличие от аналогов - разработанный алгоритм будет обладать следующими преимуществами перед аналогами:
(а) Повышенная точность классификации, достигаемая за счет:
- прецизионного определения характеристик объектов на основе уточнения трехмерных моделей объектов результатами обнаружения и классификации на двумерных изображениях;
- адаптивного выбора компонент сигнатуры объекта с использованием нейронных сетей с глубинным обучением;
- использования потоковости данных для уточнения характеристик объектов «из движения».
(б) Повышенное быстродействие при расчете на многоядерных процессорах за счет использования существенно параллельных алгоритмов классификации.
Результат 6. Алгоритм структурирования потоковых данных
Эффект: возможность аннотирования потоковых данных для последующего эффективного поиска в архивах фото- или видеоданных.
Отличие от аналогов - в отличии от аналогов в алгоритм будет включен блок поиска трехмерных динамических сцен (событий) по пространственно-временным проекциям. Трехмерные динамические сцены будут реконструироваться по серии привязанных друг к другу двумерных изображений из видеопотока.
Результат 7. Экспериментальный образец программного комплекса (ЭО ПК) обработки изображений и потоковых данных, реализующего разработанные алгоритмы.
Эффект - возможность апробации теоретических решений в ходе практических экспериментальных решений. Существенный РИД для применения в продукции Индустриального Партнера.
В дополнение к оригинальному техническому заданию будет разработан дополнительный программный модуль – «Модуль прикладных задач», предназначенный для демонстрации возможностей разработанных методов и алгоритмов на примере решения следующих конкретных практических задач, поставленных Индустриальным Партнером:
а) Оценка длины очереди (в людях) и получение статистики о среднем и максимальном времени, проведенном каждым человеком в очереди;
б) Оценка наиболее популярных областей магазина, в которых останавливаются люди, заключающаяся в определении количества остановившихся людей, среднего и максимального время остановки;
в) Подсчет прошедших через точку контроля людей с обеспечением устойчивости различения человека и крупногабаритных предметов (чемоданов, торговых тележек, и т.п.);
г) Определение маршрутов перемещения покупателей и определение популярности (в людях за единицу времени) каждого маршрута внутри крупных магазинов и торговых центров;
д) Обнаружение остановившего автомобиля в реальных условиях автомагистралей (колебания камеры, регулярные заслонения проезжающим транспортом, засветки от фар, плохие погодные условия и т.п.).
Отличие от аналогов - уникальность данного программного обеспечения будет заключаться в практической реализации алгоритмического базиса для обнаружения и распознавания объектов на основе слияния данных 2D- и 3D-данных с использованием распараллеливания на многоядерные вычислители.
Основными социально-экономическими эффектами применения результатов ПНИ станет улучшение функциональности и качества по сравнению с существующими программными пакетами обработки двумерных и трехмерных данных, повышение уровня автоматизации производства, сокращение производственного цикла.
Так как в ходе ПНИ ожидается получение новых методов обработки двумерных и трехмерных данных и параллельных алгоритмов их реализации, то можно говорить о патентоспособности результатов ПНИ.

Назначение и область применения, эффекты от внедрения результатов проекта:
Наибольший эффект от внедрения результатов ПНИ ожидается в широком спектре систем видеонаблюдения и мониторинга – от систем безопасности до мониторинга природных (наземных) объектов, природно-техногенных систем, мест общественного пользования и т.п. Результаты ПНИ будут использованы во многих областях науки и техники: обработка и анализ информации, геодезия, горное дело, гидрология, энергетика, археология, промышленная дефектоскопия, медицина и многих других отраслях.
Основными конкурентными преимуществами станут высокая точность распознавания объектов, высокая степень устойчивости к шумам и искажениям в данных, более широкий спектр типов распознаваемых объектов, быстродействие.
Основной моделью использования результатов ПНИ станет внедрение разработанных программных решений в существующие пакеты обработки двумерной и трехмерной информации и использование отдельных программных компонент при создании специализированных приложений обработки и анализа двумерных и трехмерных данных. Исходя из этого, результатами ПНИ смогут воспользоваться компании-разработчики и компании-интеграторы, которые непосредственно будут поставлять свои решения, основанные на результатах ПНИ, на рынок программных продуктов. Также возможна сервисная модель внедрения результатов, когда на рынок поставляются не сами программные решения, а услуги, осуществляемые с помощью этих решений.
Основными социально-экономическими эффектами применения результатов ПНИ станет улучшение функциональности и качества по сравнению с существующими программными пакетами обработки двумерных и трехмерных данных, повышение уровня автоматизации производства, сокращение производственного цикла.
Так как в ходе ПНИ ожидается получение новых методов обработки двумерных и трехмерных данных и параллельных алгоритмов их реализации, то можно говорить о патентоспособности результатов ПНИ.

Текущие результаты проекта:
Выполнены следующие работы:
1) Аналитический обзор современной научно-технической, нормативной, методической литературы, затрагивающей научно-техническую проблему, исследуемую в рамках ПНИ
2) Сравнительный анализ математических методов, применяемых в алгоритмах автоматического выделения информативных признаков объектов на двумерных и трехмерных изображениях.
3) Сравнительный анализ математических методов, применяемых в алгоритмах автоматической настройки классификаторов объектов (обучение без учителя).
4) Сравнительный анализ математических методов, применяемых в алгоритмах оптимизации классификаторов объектов с использованием регуляризации.
5) Сравнительный анализ методов распараллеливания алгоритмов самообучения для автоматического формирования модельного описания новых объектов и распознавания образов на современных центральных и графических процессорах.
6) Прототипирование программных решений, реализующих алгоритмы самообучения для решения задач автоматического формирования модельного описания новых объектов и распознавания образов.
7) Прототипирование программных решений, реализующих методы распараллеливания алгоритмов самообучения для автоматического формирования модельного описания новых объектов и распознавания образов на современных центральных и графических процессорах.
8) Поиск и анализ баз данных двумерных и трехмерных объектов для настройки, тестирования и отладки алгоритмов, разрабатываемых в рамках данной ПНИ, включая:
- Базы данных двумерных объектов, снятых в
условиях близких к идеальным.
- Базы данных двумерных объектов с
существенным уровнем шума и сложным задним фоном.
- Базы данных оцифрованных трехмерных объектов, а также исходные фото- и видеоматериалы, по которым производилось построение трехмерных объектов.
- Базы данных двумерных и трехмерных изображений объектов.