Регистрация / Вход
Прислать материал

Разработка методов и средств обработки и интеллектуального анализа изображений и потоковых данных, получаемых со множества стационарных и подвижных сенсоров, с использованием высокопроизводительных распределенных вычислений для задач мониторинга помещений и прилегающих территорий

Номер контракта: 14.607.21.0088

Руководитель: Тищенко Игорь Петрович

Должность руководителя: Заведующий лабораторией

Докладчик: Кондратьев Алексей Анатольевич, Инженер-исследователь

Аннотация скачать
Постер скачать
Презентация скачать
Ключевые слова:
потоковая обработка, распознавание, малогабаритный летательный аппарат, сенсоры, комплексирование, детектирования, локализация, классификация, индексация, прослеживание, прогнозирование, структурирование, параллельная обработка

Цель проекта:
1 Исследование и разработка научно-технических решений, направленных на создание промышленного, конкурентоспособного на мировом рынке программного обеспечения для решения прикладных задач обработки изображений и потоковых данных, поступающих с сенсоров, работающих вне видимого диапазона, для задач автоматического формирования модельного описания новых целевых объектов и распознавания образов, позволяющего существенно расширить функционал систем безопасности и технического зрения в совокупности с расширением диапазона рабочих условий. 2 Повышение эффективности алгоритмов обнаружения, распознавания и прослеживания объектов на изображениях за счет использования комплекса цифровых сенсоров, в том числе подвижных сенсоров, устанавливаемых на подвижные технические средства (летающие, ездящие).

Основные планируемые результаты проекта:
1. Основные результаты:
1.1 Алгоритмы обработки изображений и потоковых данных, включая данные сенсоров, работающих вне видимого диапазона:
1.1.1 алгоритм предварительной обработки, в том числе фильтрации и подавления шумов, потоковых данных с оптических сенсоров разных частотных диапазонов, а также потоковых локационных данных;
1.1.2 универсальный алгоритм комплексирования данных сенсоров видимого диапазона света с данными полученными от двумерных или трехмерных сенсоров иной природы (локационных, полученных в результате сканирования, а также инфракрасных)
1.1.3 алгоритм поиска и распознавания объектов и событий заданных классов в потоках двумерных и трехмерных данных с применением методов слияния информации;
1.1.4 алгоритм классификации объектов и событий заданных классов в двумерных и трехмерных данных с применением методов слияния информации;
1.1.5 алгоритм структурирования потоковых данных.
1.2 Алгоритмы позиционирования подвижных сенсоров в задачах облета территории, а также задачах поиска и сопровождения объектов интереса.
1.3 Алгоритмы обработки изображений и потоковых данных с подвижных сенсоров для задач обнаружения, сопровождения, распознавания объектов интереса.

2. Основные характеристики планируемых результатов:
2.1 Использование различных средств распараллеливания и ускорения вычислений: многоядерные процессоры, кластерные вычислительные установки, графические ускорители. Ускорение алгоритмов локализации и классификации с использованием одного графического процессора – не менее чем в 10 раз по сравнению с 4-ядерным CPU.
2.2 Возможность работы с не менее чем 16 классами объектов или событий и с не менее чем 8 объектами в каждом классе.
2.3 Обработка данных с частотой не менее 6 кадров секунду. Число одновременно детектируемых или распознаваемых объектов в поле зрения сенсора: не менее 8.
2.4 Поиск объектов по содержанию в базе размером несколько миллионов экземпляров объектов и более.
2.5 Индексация данных для поиска событий по запросу в архиве, объем которого может достигать нескольких суток непрерывной записи потоковых данных.
2.6 Возможность сравнения построенной карты с эталонной, с целью выявления изменений между ними.
2.7 Точность распознавания на базах аналогичных объектов (не хуже зарубежных и отечественных аналогов):
2.7.1 не менее 94.6% на базе лиц Labeled Faces In The Wild;
2.7.2 не менее 86.5% на базе объектов Caltech-101;
2.7.3 не менее 75.9% на базе объектов Pascal VOC.

Краткая характеристика создаваемой/созданной научной (научно-технической, инновационной) продукции:
1. Конечный продукт: программно-аппаратный комплекс обработки изображений и потоковых данных, получаемых со множества
стационарных и подвижных сенсоров, с использованием высокопроизводительных распределенных вычислений для задач
мониторинга помещений и прилегающих территорий. Комплекс будет обеспечивать проверку работоспособности разработанных методов и алгоритмов предобработки, комплексирования информации, локализации, распознавания и прослеживания объектов определенных классов.

2. Элементы новизны:
2.1 Применение малогабаритных летательных и наземных подвижных аппаратов (на колесном или гусеничном ходу) в задачах мониторинга зданий, объектов и районов, в том числе промышленных. Это облегчает решение задач обнаружения, распознавания и прослеживания объектов интереса.
2.2 Всестороннее использование сенсоров, работающих вне видимого диапазона, в совокупности с использованием и разработкой методов и алгоритмов комплексирования разнородной информации, расширяет возможности и рабочий диапазон систем наблюдения и безопасности.

3. Сопоставление с результатами аналогичных работ:
Рынок бесплатных систем видеонаблюдения развит достаточно слабо, практически все системы подобного рода не обеспечивают высокий уровень производительности и ориентированы на ОС Windows. Примеры таких систем: ZoneMinder, Ispyconnect, Axxon Next.

Программное обеспечение Panoptes от фирмы IntuVision использует возможности графических процессоров NVIDIA Tesla для ускорения анализа видеоматериалов (интеллектуальная система анализа видео, которая способна определять подозрительные предметы, пропавшие/украденные объекты и вход на запрещенную территорию. Использование видеокарт позволило ускорить обработку видео в 12 раз.

Система BLUECHERRY предназначена для серверов на ОС Linux, но является платной и не поддерживает GPU-ускорение.

Компания Ivideon предоставляет платный сервис хранения видеоданных с различных камер, предназначенных для наблюдения. Но из интеллектуальных возможностей присутствуют только детекторы движения и звука.

Программа для видеонаблюдения Xeoma: является кроссплатформенной, содержит детектор звука, автоматическое слежение за движущимися объектами с зуммированием, поиск в архиве обнаруженных движений по дате и в выбранной зоне, детектор движения. Недостатки программы: является платной, нет поддержки GPU.

Интеллектуальное видеонаблюдение Kipod: ОС Linux, автоматического распознавания объектов и ситуаций в потоковом видео, с поддержкой GPU на стороне сервера и клиента. Обнаружение, слежение, классификация,распознавание объектов.Графический ускоритель - Intel HD Graphics (уступает возможностям графических ускорителей NVIDIA и AMD).

Система видеонаблюдения «Линия», включает в себя цифровой детектор движения с возможностью создания до 64 зон детекции. Возможность одновременной работы с несколькими серверами "Линия", удаленными друг от друга.

Цифровая система видеонаблюдения GLOBOSS. Имеет интеллектуальный детектор движения, эффективный анализатор событий. Операционная система - только Windows.

CCTV Facial Recognition & Video Analytics Software Systems - система анализа видео, возможности: определение виртуального периметра и организация оповещения о его нарушении, подсчет людей и автотранспорта в потоке, анализ трафика (остановки, нарушения, движения задним ходом и др.), автоматическое управление камерами для обеспечения возможности распознавания лиц и отслеживания объектов наблюдения, слежение за объектами (сигнализация в случае исчезновения из зоны видимости), поиск по цифровым архивам, распознавание лиц, идентификация личностей.

Sighthound Video – программное обеспечение для видеонаблюдения, отличительной чертой является поддержка распознавания людей на кадрах

iCatcher Console - система видеонаблюдения, поддерживает обнаружение движений, расписание активности, запись и воспроизведение, удаленный веб-интерфейс пользователя. В связке с камерами может использовать автоматическое слежение за объектами.

Aventura Intelligent Video Analytic Software - Мощный комплекс анализа видеоизображений. Возможности: отслеживание периметра, движения автотранспорта, подсчет людей в видеопотоке, детектирование брошенных и потерянных вещей, обнаружение вандализма, определение порчи камер наблюдения.

4. Заявленные результаты будут достигаться путем применения и разработки методов и алгоритмов обработки изображений и видеоданных, распознавания образов, объединения разнородной информации, а также применения подвижных сенсорных устройств. Необходимый уровень производительности будет обеспечиваться применением кластерных вычислительных установок, эффективность методов распределения операций и данных по узлам обеспечивается применением и разработкой эффективных структур данных, а также использованием последних достижений в области теории алгоритмов. Основным риском является проблема обеспечения должного уровня производительности и быстродействия системы, для уменьшения риска, будут использованы многоядерные процессоры и графические ускорители, возможности которых позволят обрабатывать данные в режиме, близкому к реальному времени.

Назначение и область применения, эффекты от внедрения результатов проекта:
1. Области применения планируемых результатов: системы видеонаблюдения, промышленного контроля, системы безопасности и контроля доступа.

2. Перспективы использования планируемых результатов: повышение надежности и эффективности систем наблюдения и контроля, снижение влияния человеческого фактора.

3. Прогноз влияния планируемых результатов на развитие научно-технических и технологических направлений, разработку новых технических решений: интеграция сферы беспилотных летательных аппаратов и других подвижных технических средств в области видеонаблюдения, промышленного контроля и систем безопасности.

4. Прогноз влияния планируемых результатов на развитие исследований в рамках международного сотрудничества: обеспечение безопасности и контроля в различных сферах является актуальной задачей для всех стран, в дальнейшем возможно проведение исследований с зарубежными партнерами по внедрению результатов на промышленные предприятия.

Текущие результаты проекта:
1. Разработан метод векторизации и организации массированных параллельных вычислений, основанный на автоматической трансляции программ, реализованных на высокоуровневом языке QuickPSA (язык алгоритма параллельных подстановок), в программы на низкоуровневых языках (Verlog, C) для соответствующей аппаратной платформы (ПЛИС, GPU)
2. Разработаны принципы и методы организации и работы систем наблюдения, на основе концепции сенсорных вычислительных узлов (СВУ), объединяющих в себе микрокомпьютеры, микроконтроллеры, а также различные сенсоры. Посредством сети Wi-Fi или Ethernet отдельные СВУ объединяются в систему.
3. Разработана методика использования подвижных сенсоров в задачах мониторинга зданий территорий и районов, а также в задачах поиска и слежения за объектами. Методика включает в себя способы определения координат подвижных технических средств и объектов интереса, способы предварительной обработки эталонных снимков местности, а также принципы использования одновременно нескольких ПТС.
4. Разработана общая архитектура, выбрано алгоритмическое обеспечение, обоснованы принципы функционирования создаваемого программного комплекса:
а) поддержка многоуровневой структуры вычислительной сети (grid);
б) масштабирование;
в) гетерогенный характер вычислительной сети (кластерные вычислительные установки, персональные компьютеры, микрокомпьютеры, микроконтроллеры);
г) использование ссылок на ресурсы как средство уменьшения количества операций копирования данных;
д) представление вычислительного комплекса общим набором состояний вычислительных узлов в виде одноранговой сети с наличием маршрутов между всеми узлами;
е) наличие хранилища данных (ресурсы, данные для обработки и передачи), стратегии управления и менеджер каналов;
ж) параллельно-конвейерная обработка потоковых данных.