Регистрация / Вход
Прислать материал

14.576.21.0051

Аннотация скачать
Постер скачать
Общие сведения
Номер
14.576.21.0051
Тематическое направление
Транспортные и космические системы
Исполнитель проекта
Общество с ограниченной ответственностью "ПАВЛИН Технологии"
Название доклада
Разработка интеллектуальных алгоритмов обнаружения и распознавания дорожных ситуаций для бортовых систем беспилотных летательных аппаратов, осуществляющих автоматическое патрулирование транспортных магистралей с применением ГЛОНАСС
Докладчик
Ким Николай Владимирович
Тезисы доклада
Цели и задачи исследования
Основной задачей исследования является - обнаружение и классификация транспортных средств (ТС) бортовой системой машинного зрения беспилотных летательных аппаратов (БПЛА), а также классификация дорожных ситуаций и оповещение о них с применением данных ГЛОНАСС.
Цель исследования - разработка бортовой программно-аппаратной системы БПЛА с функциями обнаружения и классификации дорожных ситуаций для повышения уровня безопасности на автодорожном транспорте с использованием спутникового оповещения о происшествиях на транспорте с использованием ГЛОНАСС.
Актуальность и новизна исследования
Задача разработки средств, обнаружения и распознавания дорожных ситуаций является чрезвычайно актуальной на сегодняшний день в России и в мире. Применение БПЛА носит ряд преимуществ, особенно для участков транспортных магистралей, находящихся на большом удалении от крупных городов, так как видеонаблюдение при помощи видеокамер невозможно из-за отсутствия соответствующей информационной инфраструктуры. Установка и обслуживание стационарной сети постов видеонаблюдения на всей протяженности удаленных магистралей чрезвычайно затратным.
На данный момент существуют отдельные примеры использования БПЛА для мониторинга дорог в России и в мире. Но проблема мониторинга удаленных магистралей не решена. Существующие БПЛА-решения основаны на непрерывной видеотрансляции по радиоканалам, что существенно ограничивает возможности применения БПЛА для мониторинга за дорожным движением по ряду существенных причин:
1) оператор должен непрерывно наблюдать за видеосъёмкой БПЛА для визуальной оценки ситуации, что уменьшает возможную зону покрытия, либо требует больших затрат;
2) необходимость трансляции видео по радиоканалам ограничивает дальность территории обслуживания и усложняет решение.
В данном исследовании осуществляется распознавание дорожных ситуаций на борту БПЛА.
Новизна проекта заключается в разработке новых эффективных алгоритмов компьютерного зрения, которые позволят быстро детектировать движущиеся и неподвижные ТС, распознавать дорожные ситуации на борту БПЛА.
Описание исследования

Принципы работы системы.

БПЛА совершает патрулирование магистрали по заранее заданному маршруту.

БПЛА постоянно ведет видеосъемку магистрали. Это видео сохраняется в бортовом архиве.

БПЛА, используя видеоинформацию и навигационные данные, распознает зону автодороги, транспортные средства, определяет их скорость и ориентацию.

На основе полученных данных БПЛА распознает дорожные ситуации, в том числе, определяет опасные и передает информацию о них оператору.

Оператор также имеет возможность получить видеоинформацию от БПЛА.

Имеется режим, при котором БПЛА самостоятельно изменяет маршрут для детального обзора ситуации.

Можно выделить ряд отдельных задач, связанных с автоматическим патрулированием транспортных магистралей в режиме реального времени:

- трекинг транспортных средств, отслеживание их перемещений, оценка скорости путем привязки к координатам ГЛОНАСС;

- поиск неподвижных ТС;

- поиск и классификация внештатных дорожных ситуаций в заданном районе: скопление машин, неестественное расположение ТС на проезжей части, обнаружение ТС за пределами проезжей части, обнаружение посторонних объектов на проезжей части, распознавание типа машины (легковая, грузовая) и цвета. 

В данной работе разрабатывается решение, позволяющее оснастить БПЛА бортовой интеллектуальной системой автоматического распознавания дорожных ситуаций, что позволяет:

•        привлекать внимание оператора только на выявленные события, без необходимости непрерывного слежения за видеотрансляцией;

•        избавиться от необходимости поддерживать видеосвязь реального времени между БПЛА и базой наблюдения, так как сообщения о распознанных событиях и прилагаемые к ним изображения могут передаваться по обычным каналам сотовых операторов (например, в формате MMS) - это позволит существенно удешевить внедрение и эксплуатацию БПЛА-мониторинга.

Среди используемых методов: многоуровневые каскадные классификаторы, метод глубинного обучения, методы быстрой сегментации изображений. Новые подходы обеспечивают повышенное быстродействие и точность по сравнению с существующими подходами.

Результаты исследования

В ходе реализации проекта были получены следующие основные результаты:

  1. Подготовлены и аннотированы базы данных бортовых видеозаписей БПЛА, содержащие примеры движущихся и неподвижных транспортных средств и дорожных ситуаций и базы данных результатов моделирования дорожных ситуаций. База транспортных средств объединена с рядом других подобных баз, находящихся в открытом доступе. Таким образам, получена крупнейшая в мире база изображений автотранспортных средств.
  2. Разработан алгоритм поиска и сопровождения ТС на видеоизображениях, ориентированных на программно-аппаратную реализацию, позволяющую осуществлять обработку видеопотока непосредственно на борту БПЛА в режиме реального времени. В данном алгоритме использовался многоуровневый обучаемый каскадный детектор. Получено многократное ускорение алгоритма за счет выделения региона интереса.
  3. Разработан алгоритм слияния динамических данных, получаемых из ГЛОНАСС с обработанными данными бортовой системой идентификации дорожных событий.
  4. Разработан алгоритм автоматического обнаружения дорожных ситуаций и спутникового оповещения с применением беспилотных летательных аппаратов (БПЛА), эффективно использующий возможности ГЛОНАСС.
  5. Разработан алгоритм классификации дорожных ситуаций по динамическим изображениям с бортовой системы видеонаблюдения, сопоставленных с ГЛОНАСС-координатами БПЛА.
  6. Проведено имитационное моделирование и экспертная оценка автоматического принятия решений об оповещении, показавшая его адекватность. Осуществлена программная реализация разработанных алгоритмов распознавания ТС и дорожных ситуаций в составе экспериментального образца специального программного обеспечения (ЭО СПО). Разработан и изготовлен программно-аппаратный макет (ПАМ) для проведения экспериментальных исследований. Разработаны программа и методики для проведения исследовательских испытаний ПАМ и ЭО СПО. Произведена подготовка к исследовательским испытаниям ПАМ и ЭО СПО.
  7. Разработаны программы для ЭВМ – “Детектирование транспортных средств в видеопотоке, полученном при аэро-видеосъемке” и “Распознавание дорожных ситуаций в видеопотоке, полученном при помощи беспилотного летательного аппарата” и получены свидетельства о регистрации этих программ. Получен патент на полезную модель «Интеллектуальная система автоматического управления беспилотным летательным аппаратом».
  8.  Подготовлено 8 научных публикаций, 7 из которых уже опубликованы в журналах, индексируемых в базе данных Scopus. Подготовлен ряд докладов на конференциях и выставках по теме проекта.

Проект направлен на решение задач, которые не решены в мировой практике: обеспечение достаточной точности распознания ТС, дорожных ситуаций и их характеристик; обеспечение эффективной бортовой программно-аппаратной реализации разрабатываемых алгоритмов.

Практическая значимость исследования
Результаты проекта будут использованы в качестве основы для программно-аппаратной разработки бортовой системы БПЛА, предназначенного для патрулирования автодорог и определения загруженности парковок в автоматическом режиме.
Практическое внедрение результатов проекта окажет существенное влияние на развитие транспортной инфраструктуры в России и других странах за счет повышения пропускной способности и безопасности движения. Также внедрение системы расширяет возможности новых систем экстренного реагирования при авариях и других нештатных ситуациях на дорогах, таких как “ЭРА-ГЛОНАСС”, eCall и др.
Разработанные в ходе проекта алгоритмы также могут быть использованы для решения широкого круга задач в области применения СТЗ и БПЛА, связанных с распознаванием и отслеживанием объектов, например, плавающих объектов, людей, животных.
Область применения результатов – автоматизация процесса наблюдения за дорожными ситуациями на магистралях с целью повышения безопасности дорожного движения. Объектами для применения данной технологии станут федеральные трассы и дороги местного значения. Сферы применения: внедрение разработок для: патрулирования магистралей; осуществление розыска ТС; сопровождение БПЛА особо важных грузов и ТС. Наработки, полученные в результате ПНИ, найдут применение для решения различных задач мониторинга с применением БПЛА.
Создание новой продукции – интеллектуальных БПЛА, ведущих автоматический мониторинг без необходимости непрерывного участия в процессе мониторинга оператора. Интеллектуальные БПЛА будут обладать способностью к ведению мониторинга в течение длительного времени и на значительных удалениях от наземной станции управления. Снижение издержек эксплуатации, в частности уменьшение требований к радиоканалам. Повышение уровня автоматизации процессов мониторинга. Решение задач поиска и классификации внештатных дорожных ситуаций в заданном районе.