Регистрация / Вход
Прислать материал

Разработка интеллектуальных алгоритмов обнаружения и распознавания дорожных ситуаций для бортовых систем беспилотных летательных аппаратов, осуществляющих автоматическое патрулирование транспортных магистралей с применением ГЛОНАСС

Номер контракта: 14.576.21.0051

Руководитель: Ким Николай Владимирович

Должность: Научный руководитель работ

Аннотация скачать
Постер скачать
Ключевые слова:
беспилотные летательные аппараты (бпла), бортовая система распознавания, глонасс, спутниковое оповещение, безопасность дорожного движения, мониторинг дорожной обстановки, интеллектуальное видеонаблюдение, обнаружение и классификация объектов на видеоизображениях, трекинг, машинное зрение, искусственные нейронные сети.

Цель проекта:
1 Обнаружение и классификация транспортных средств бортовой системой машинного зрения БПЛА и классификация дорожных ситуаций и оповещение о них с применением данных ГЛОНАСС. 2 Разработка бортовой программно-аппаратной системы беспилотных летательных аппаратов с функциями обнаружения и классификации дорожных ситуаций для повышения уровня активной, пассивной и общей безопасности при перевозках с использованием спутникового оповещения о происшествиях на транспорте с использованием ГЛОНАСС.

Основные планируемые результаты проекта:
1 Комплекс интеллектуальных алгоритмов обнаружения и распознавания дорожных ситуаций для бортовых систем технического зрения.
Модель принятия решения об оповещении, о возникновении дорожных ситуаций.
Экспериментальный образец специального программного обеспечения (ЭО СПО) идентификации дорожных ситуаций по изображениям с камер БПЛА и сигналам ГЛОНАСС.
Программно-аппаратный макет (ПАМ) бортовой системы обнаружения и распознавания дорожных ситуаций для систем беспилотных летательных аппаратов, осуществляющих автоматическое патрулирование транспортных магистралей с применением ГЛОНАСС.
Аннотированной базы данных бортовых видеозаписей БПЛА содержащей примеры движущихся и неподвижных транспортных средств и дорожных ситуаций.
Исследовательские испытания разработанных ЭО СПО и ПАМ.
2 Разрабатываемые алгоритмы должны обеспечить высокую точность и достоверность обнаружения дорожных ситуаций, и оптимальность принятия решения об оповещении. Алгоритмы должны иметь быстродействие достаточное для применения в бортовых системах БПЛА.

Краткая характеристика создаваемой/созданной научной (научно-технической, инновационной) продукции:
1 Конечный продукт: система автоматического патрулирование транспортных магистралей с применением БПЛА. В ходе проекта разрабатываются и испытываются алгоритмы автоматического обнаружения и распознавания дорожных ситуаций и модели принятия решения об оповещении.
2 Научная новизна проекта заключается в разработке новых эффективных алгоритмов компьютерного зрения, которые позволяют быстро детектировать движущихся и неподвижные транспортные средства и дорожные ситуаций в видеопотоке на борту БПЛА. Среди используемых методов распознавания образов применяются многоуровневые каскадные классификаторы, метод SVM, методы глубинного обучения, которые позволяет работать с зашумленными данными большой размерности. Используются современные быстрые методы сегментации изображений, в том оригинальный метод сегментации, основанный на кластеризации под управлением моделей и сверхбыстрый алгоритм сегментации позволяющий выделить область дороги. Эффективные методы Новые научные подходы обеспечивают повышенное быстродействие и точность по сравнению с существующими подходами, что позволяет применять их на бортовых системах в реальном времени. Также разрабатываются новые алгоритмы классификации дорожных ситуаций. Данные методы основаны на современных методах обучения на больших выборках, в том числе на и на методе глубинного обучения. Обучающиеся выборки формируются на основе размеченных оператором (в полуавтоматическом режиме) данных и на основе искусственных данных полученных с помощью имитационных моделей дорожного движения и варьирования размеченных данных. Такой подход позволяет многократно увеличить объем и разнообразие обучающей выборки и повысить точность классификации. Новые научные подходы обеспечивают повышенное быстродействие и точность по сравнению с существующими подходами, что позволяет применять их на бортовых системах в реальном времени.
3 Проводимые работы соответствуют современному мировому уровню достижений в этой области. Проект направлен на решение задач, которые не решены в полной мере в мировой практике: обеспечение достаточной точности распознания транспортных средств, дорожных ситуаций и их характеристик; обеспечение эффективной бортовой программно-аппаратной реализации разрабатываемых алгоритмов.
4 В начале ПНИ были выявлены основные направления разработки научных решений, разработан детальный план работ. Сейчас уже исследованы, разработаны и верифицированы основные алгоритмы, используемые в проекте. В данных алгоритмах применены современные методы технического зрения и машинного обучения, применяется комплексное использование данных ГЛОНАСС и данных технического зрения. Созданы базы данных дорожных событий, которые используются для обучения и испытания алгоритмов. Разработаны эскизы программных и аппаратных решений. Проводится имитационное моделирование, готовится исследовательские испытания.

Назначение и область применения, эффекты от внедрения результатов проекта:
1 Беспилотные системы, транспорт, системы безопасности.
2 Результаты ПНИ будут использованы как основа для программно-аппаратной разработки бортовой системы БПЛА предназначенного для патрулирования автодорог в автоматическом режиме.
3 Результаты ПНИ, смогут оказать влияние на современное научно-техническое состояние в данной области по двум главным направлением. Первое - повышение точности обнаружения транспортных средств, дорожных ситуаций и их характеристик за счет применения современных методов обучения и комплексного использования данных системы технического зрения (СТЗ) и навигации (в частности ГЛОНАСС). Второе – бортовая реализаций данных алгоритмов, осуществляемая, за счет их ускорения (в частности распараллеливания) и эффективного определения региона интереса, также с использованием данных СТЗ и навигации.
4 Практическое внедрение результатов данной ПНИ окажет существенное влияние на развитие транспортной инфраструктуры в различных странах за счет повышения пропускной способности и безопасности движения. Также внедрение системы расширяет возможности новых систем экстренного реагирования при авариях и других нештатных ситуациях на дорогах, таких как “ЭРА-ГЛОНАСС”, eCall, 911 и др.

Текущие результаты проекта:
В ходе реализации проекта были получены следующие основные результаты:
1) Проведен аналитический обзор современной научно-технической литературы по теме проект. Показана перспективность развития выбранного направления;
2) Проведены патентные исследования. Показана новизна решаемой в ПНИ задачи. Выявлены ведущие компании, патентующие технические решения, содержащие методы контроля движения транспорта с целью учета или регулирования движения;
3) Проведен анализ и верификация существующих методов обнаружения и распознавания объектов наблюдения, включая методы обнаружения и распознавания дорожных ситуаций для бортовых систем беспилотных летательных аппаратов.
4) Обоснована возможность обнаружения и классификации дорожно-транспортных происшествий и иных событий на борту БПЛА. Разработан эскиз специализированного вычислительного модуля реализующего функции бортового обнаружения и распознавания дорожных ситуаций.
5) Выбраны направления исследования: Комплексное применение алгоритмов распознавания движущихся и неподвижных транспортных средств с учетом навигационных данных (ГЛОНАСС). Применение методов глубинного нелинейного обучения для распознавания объектов и дорожных ситуаций. Программные и аппаратные методы распараллеливания и ускорения разработанных бортовых алгоритмов технического зрения.
6) Разработан алгоритм поиска и сопровождения транспортных средств на видеоизображениях, ориентированных на программно-аппаратную реализацию, позволяющую осуществлять обработку видеопотока непосредственно на борту БПЛА в режиме реального времени; В данном алгоритме использовался многоуровневый обучаемый каскадный детектор. Получено многократное ускорение алгоритма за счет выделения региона интереса.
7) Разработан алгоритм слияния динамических данных, получаемых из ГЛОНАСС с обработанными данными бортовой системой идентификации дорожных событий;
8) Разработан алгоритм автоматического обнаружения дорожных ситуаций и спутникового оповещения с применением беспилотных летательных аппаратов (БПЛА), эффективно использующего возможности ГЛОНАСС;
9) Разработан алгоритм классификации дорожных ситуаций по динамическим изображениям с бортовой системы видеонаблюдения, сопоставленных с ГЛОНАСС-координатами БПЛА.
11) Подготовлены и аннотированы базы данных бортовых видеозаписей БПЛА содержащей примеры движущихся и неподвижных транспортных средств и дорожных ситуаций и базы данных результатов моделирования дорожных ситуаций.
12) Выработаны требования к энергопотреблению и габаритам программно-аппаратного макета для идентификации дорожных ситуаций по изображениям с камер БПЛА и сигналам ГЛОНАСС, исходя из грузоподъемности и энерговооружённости модельного ряда БПЛА
13) Разработана программа для ЭВМ - “Детектирование транспортных средств в видеопотоке, полученном при аэро-видеосъемке” и подготовлена заявка на получение свидетельства на нее.
14) Подготовлено 5 научных публикаций (3 из них опубликованы и 2 будут опубликованы до конца 2015 года) индексируемых в базе данных Scopus и ряд докладов на конференциях по теме проекта.