Регистрация / Вход
Прислать материал

Разработка программных средств параллельной обработки и комплексирования двумерных и трехмерных данных для автоматического обнаружения и распознавания объектов

Номер контракта: 14.579.21.0070

Руководитель: Балухто Алексей Николаевич

Должность руководителя: ведущий научный сотрудник

Докладчик: Казанцев Павел Александрович, Руководитель отдела разработок

Аннотация скачать
Постер скачать
Презентация скачать
Ключевые слова:
обнаружение объектов, распознавание объектов, кластеризация, параллельные алгоритмы обработки, обработка трехмерных данных, обработка изображений, слияние данных, gpu.

Цель проекта:
1. Расширение функционала и диапазона рабочих условий интеллектуальных систем безопасности и технического зрения за счет слияния двумерных и трехмерных потоковых данных. 2. Исследование и разработка научно-технических решений, направленных на создание промышленного, конкурентоспособного на мировом рынке программного обеспечения для решения прикладных задач обработки изображений и потоковых данных, включая данные сенсоров, работающих вне видимого диапазона, для задач автоматического формирования модельного описания новых объектов и распознавания образов.

Основные планируемые результаты проекта:
1. Экспериментальный образец программного комплекса обработки изображений и потоковых данных, реализующий алгоритмы предварительной обработки и комплексирования двумерных и трехмерных данных, обнаружения и классификации объектов в двумерных и трехмерных данных с применением методов слияния информации, а также включающий модуль прикладных задач, предназначенный для демонстрации возможностей разработанных методов и алгоритмов на примере решения практических задач, и модуль аппаратного ускорения вычислений.
2. Высокая точность детекции, классификации и слежения за объектами в потоковых данных в реальном времени и сложных условиях, включая: шумы и искажения, заслонения и частичные перекрытия объектов интереса, произвольную ориентацию объектов интереса относительно сенсора, засветку и плохую освещенность сцены, пропуски в данных (например, потеря части кадров в потоке).

Краткая характеристика создаваемой/созданной научной (научно-технической, инновационной) продукции:
1. SDK (Software Development Kit) для интеллектуальной совместной обработки двумерных и трехмерных потоковых данных различной природы, для решения задач автоматического формирования модельного описания новых объектов и распознавания образов с поддержкой аппаратного ускорения вычислений. Основная функциональность SDK: обнаружение, классификация и слежение за объектами в комплексированных потоках двумерных и трехмерных данных.
2. Основой научных решений, найденных в данной ПНИ, лежит современная парадигма глубинного обучения (глубинные сверточные нейронные сети, глубинные автоэнкодеры). Получателем субсидии получено несколько решений, обладающих научной новизной. Во-первых, разработан новый метод регуляризации процесса обучения глубинных автоэнкодеров для решения задачи классификации образов. Точность классификации при использовании этого метода на общепризнанных тестах превышает мировой уровень на 1% при снижении числа обрабатывающих нейронов в пять раз. Во-вторых, разработан алгоритм детекции пешеходов в потоках двумерных и трехмерных данных с использованием глубинных нейронных сетей. Такой подход до этого не применялся в мировой практике, но показал свою эффективность в сравнении с мировыми аналогами – алгоритм показывает практически одинаковую точность с лучшим зарубежным алгоритмом, однако работает при гораздо более сильных искажениях объектов и не требует аппаратной поддержки для работы в реальном времени, в отличие от зарубежного аналога. В третьих, разработан метод регуляризации для обучения многоярусных разреженных шумоподавляющих автоэнкодеров с целью построения модельного описания объектов, которое используется для шумоподавления и дорисовки изображений. Предложенный метод регуляризации позволяет повысить обобщающую способность модельного описания, что приводит к большей устойчивости использующих его методов шумоподавления по отношению к изменению вида шума. В три указанных выше решения приняты к публикации в научных журналах, индексируемых в базе данных Scopus, и будут опубликованы в декабре 2015 года.
3. Разработанные алгоритмы слияния двумерных и трехмерных данных, а также найденные новые научные решения в рамках парадигмы глубинного обучения позволили достичь высокой точности детекции, классификации и слежения за объектами в потоковых данных в гораздо более сложных условиях съемки и сцены, нежели те, которые рассматриваются в аналогичных работах, определяющих мировой уровень. При этом, разработанное программное обеспечение, работает практически в реальном времени даже без использования аппаратного ускорения, к использованию которых прибегают в зарубежных работах. При использовании методов распараллеливания вычислений, также разработанных в ходе данной ПНИ, позволяет повысить число обрабатываемых кадров в секунду до уровня 15-20 FPS, что приемлемо для практического использования в системах видеонаблюдения реального времени.
4. В начале ПНИ были выявлены основные направления разработки научных решений. На основе обширного аналитического обзора было установлено, что основным трендом научных исследований в данной области является парадигма глубинного обучения. При этом, в рамках этой парадигмы решаются все задачи, поставленные в рамках данной ПНИ (от предварительной обработки до классификации). Далее, было установлено, что, с практической точки зрения, наиболее привлекательной комбинацией сенсоров являются RGB-D камеры. Такой тип сенсоров позволяет захватывать синхронизированные потоки двумерных и трехмерных данных. Двумерные данные захватываются в оптическом диапазоне с помощью RGB-D камеры, а трехмерные - с помощью инфракрасного сенсора (вне видимого диапазона). После выявления теоретического и практического направлений, разработки проводились в русле использования глубинных моделей для интеллектуальной обработки RGB-D данных.
В ходе разработки, все алгоритмы были сначала разработаны и опробованы на предварительно собранных RGB-D данных отдельно друг от друга, а затем все объединены в единый конвейер обработки, основная функциональность которого заключается в обнаружении, классификации и слежения за объектами в потоковых RGB-D данных. Данный конвейер лежит в основе модуля прикладных задач, где в качестве объектов интереса выступают пешеходы и транспортные средства. Данные для апробирования модуля прикладных задач были получены Индустриальным партнером на объектах внедрения его систем. Таким образом, полученные данные отражают условия реального применения.

Назначение и область применения, эффекты от внедрения результатов проекта:
1. Основной областью применения планируемых результатов являются интеллектуальные системы видеонаблюдения и мониторинга – от систем безопасности до мониторинга природных (наземных) объектов, природно-техногенных систем, мест общественного пользования и т.п.
2. Результаты данной ПНИ в виде разработанных алгоритмов и программного обеспечения на их основе будут использованы при создании SDK (Software Development Kit) для интеллектуальной совместной обработки двумерных и трехмерных потоковых данных с целью обнаружения, классификации и слежения за объектами, а также построения статистики перемещений объектов и детекции событий во времени.
Апробирование экспериментального образца программного комплекса обработки изображений и потоковых данных будет производиться на мощностях Индустриального партнера в реальных условиях применения.
3. Можно спрогнозировать, что результаты ПНИ, окажут влияние на современное научно-техническое состояние в данной области по двум главным направлением. Первое направление – теоретическое. Разработанные методы регуляризации процесса обучения глубинных моделей и их последующее развитие позволит существенно повысить информативность автоматически выделяемых признаков объектов. Второе направление – практическое. Разработанные алгоритмы детекции, классификации и слежения за объектами в комплексированных потоках двумерных и трехмерных данных, и программное обеспечение на их основе, позволит вывести современные системы видеонаблюдения на принципиально новый уровень – за счет относительно небольших затрат на модернизацию сенсоров, станет возможным не только существенное повышение точности в текущих рабочих условиях, но и значительное расширение диапазона рабочих условий таких систем.
4. Можно спрогнозировать, что практическое внедрение результатов данной ПНИ, окажет существенное влияние на развитие информационной инфраструктуры городов и объектов общественного пользования за счет получения исчерпывающей статистики о местоположении и перемещении объектов (траектории перемещения, места остановки, длина очереди, контроль габаритов транспортных средств, и др.).

Текущие результаты проекта:
В ходе ПНИ были разработаны алгоритмы совместной обработки двумерных и
трехмерных данных, при этом все алгоритмы - от предварительной обработки до классификации - основаны на базе глубинных нейросетевых моделей (глубинных автоэнкодерах или глубинных сверточных нейронных сетях). Таким образом, была создана алгоритмическая база, позволяющая объединить все стадии обработки внутри перспективной единой глубинной модели – своего рода конвейера обработки потоковых двумерных и трехмерных данных.
Были разработаны все программные модули ЭО ПК ОИПД. Для разработанных модулей составлены методики экспериментальных исследований. Предварительные экспериментальные исследования модулей позволяют сделать положительный прогноз относительно достижения требуемых технических показателей ЭО ПК ОИПД.