Регистрация / Вход
Прислать материал

Создание научно-технического задела в области разработки мобильных систем технического зрения для транспортных систем

Номер контракта: 14.575.21.0083

Руководитель: Сойфер Виктор Александрович

Должность руководителя: Ректор

Докладчик: Якимов Павел Юрьевич, Старший научный сотрудник

Организация: федеральное государственное автономное образовательное учреждение высшего образования "Самарский национальный исследовательский университет имени академика С.П. Королева"
Организация докладчика: федеральное государственное автономное образовательное учреждение высшего образования "Самарский государственный аэрокосмический университет имени академика С.П. Королева (национальный исследовательский университет)"

Аннотация скачать
Постер скачать
Ключевые слова:
дифракционная оптика, хроматическая аберрация, восстановление и коррекция изображений, стереоизображения, цифровая модель рельефа, интеллектуальные автомобильные системы, распознавание образов, обработка изображений, высокопроизводительные вычисления, графические процессоры

Цель проекта:
1. Реализация проекта направлена на решение проблемы безопасности эксплуатации транспортных средств. 2. Целью реализуемого проекта является разработка и исследование новых методов и алгоритмов анализа окружающей дорожной обстановки в мобильных системах технического зрения, обеспечивающих повышение характеристик безопасности при эксплуатации транспортных средств; создание прототипа аппаратно-программного комплекса для оперативной обработки изображений в интеллектуальной автомобильной системе помощи водителю. Реализация проекта позволит создать автомобильную интеллектуальную систему информационной помощи водителю. Исследуемая мобильная система технического зрения призвана решить несколько функциональных задач, в том числе: детектирование и распознавание дорожных знаков, детектирование и распознавание дорожной разметки, построение трехмерной модели окружающей дорожной обстановки и анализ трехмерной данных окружающей дорожной обстановки с целью детектирования объектов. Решение указанных задач позволит повысить безопасность эксплуатации транспортных средств за счет автоматизированного оповещения водителей об окружающей дорожной обстановке.

Основные планируемые результаты проекта:
1.1 Методика расчета и экспериментальный образец плоского дифракционного объектива, отличающегося малыми габаритно-весовыми характеристиками (в 1,5-2 раза меньше известных) и высоким разрешением в 1,2-1,3 раза превосходящим разрешение систем на классической оптике.
1.2 Методы, алгоритмы и программное обеспечение для предварительной обработки изображений, предназначенные для устранения искажений (аберраций) и шумов, обеспечивающие высокое качество изображений и сокращение времени обработки на 10-15% по сравнению с известными методами и алгоритмами.
1.3 Новые методы, алгоритмы и программное обеспечение для решения задач локализации и распознавания объектов, ориентированные на параллельную реализацию в гибридных вычислительных системах с графическими процессорами, обеспечивающие существенное сокращение (в 10 – 15 раз) времени обработки видеопотоков.
1.4 Действующий экспериментальный образец модуля регистрации для системы анализа окружающей дорожной обстановки в реальном времени. Прототип будет испытан на отечественном автомобиле.
1.5 Результаты научных исследований будут опубликованы в научных журналах, индексируемых в базе данных Scopus и WEB of Science. Также будут получены свидетельства о регистрации разрабатываемых программ и алгоритмов.
1.6 После обобщения полученных теоретических результатов будет создан экспериментальный образец аппаратно-программного комплекса для демонстрации результатов в интеллектуальной системе автомобильной безопасности для отечественных автомобилей.
1.7 Будут подготовлены рекомендации и проект технического задания на ОКР для использования в дальнейшем результатов проекта для улучшении потребительских качеств и конкурентоспособности отечественных изделий, использующих системы технического зрения.

Краткая характеристика создаваемой/созданной научной (научно-технической, инновационной) продукции:
1. Разрабатываемый в рамках настоящего проекта прототип интеллектуальной автомобильной системы помощи водителю будет обладать следующим функционалом:
- детектирование и распознавание дорожных знаков;
- распознавание дорожной разметки;
- построение трехмерной модели окружающей обстановки;
- детектирование и распознавание различных объектов с использованием трехмерной модели окружающей обстановки.
Аппаратно-программный комплекс будет выполнен в виде набора компактных устройств, установленных внутри автомобиля, не нарушая удобство пользования транспортным средством (эргономика, обзор с водительского сиденья и т.п.). Вспомогательная информация для помощи в управлении автомобилем будет выводиться на дисплей, установленный на приборной панели.
Информация, предоставляемая водителю, позволит оперативнее реагировать на возможные угрозы и препятствия при движении, а также поспособствует соблюдению правил дорожного движения, устанавливаемых дорожными знаками и дорожной разметки. Это позволит повысить безопасность транспортного средства как для водителя, так и для окружающих.

2. Разрабатываемая методика расчета плоского дифракционного объектива высокого разрешения, позволит создавать системы регистрации с высокими характеристиками чувствительности и сверхмалыми габаритно-весовыми характеристиками. Реализация АПК на гибридных многопроцессорных системах, включающих графические процессоры, обеспечит решение задач улучшения качества изображений, построения цифровой модели рельефа, локализации и распознавания объектов на изображениях в реальном времени.
Новизна предлагаемой тематики состоит в том, что впервые будет разработана новая система регистрации и оперативного анализа обстановки, включающая сверхминиатюрный блок регистрации изображений высокого разрешения, в котором будет использоваться объектив с плоской дифракционной линзой и быстродействующее устройство предварительной обработки для устранения хроматических аберраций и сжатия изображений. Система будет включать также вычислительный блок высокопроизводительной обработки информации, осуществляющий прием, распаковку и улучшение качества изображений, восстановление 3D-сцен, оперативное распознавание объектов и анализ обстановки в целом. Таким образом, актуальность предлагаемых исследований состоит в использовании принципиально новых подходов к построению систем технического зрения, которые позволят существенно улучшить их характеристики, в частности, минимизировать габаритно-весовые характеристики регистрирующей подсистемы и повысить качество и быстродействие подсистемы обработки изображений с целью оперативного анализа обстановки и восстановления 3D-сцен.

3. Самым известным прототипом, решающим подобные задачи, является беспилотный автомобиль компании Google. Google self-driving car обладает всем функционалом системы, разрабатываемой в настоящем проекте, однако такая система не является универсальным решением. Прототип, разрабатываемый в рамках настоящих ПНИ является компактным и относительно недорогим решением с возможностью установки в любое транспортное средство. При этом, использование новейших вычислительных средств и разработанных оригинальных методов обработки данных позволят избежать излишней нагрузки на бортовую электрическую сеть и практически не требуют места в салоне транспортного средства. А использование ограниченного набора недорогих сенсоров позволяют значительно снизить стоимость системы. Вместе с этим, высокое качество функционирования системы на уровне мировых аналогов подтверждается научными публикациями о результатах исследований.

4. Для обеспечения достижения запланированных результатов планируется использовать оригинальные разработанные методы и алгоритмы обработки данных, решающие поставленные для обеспечения функционала задачи.
Индустриальный партнер ООО "Светооптика" обладает большим опытом разработки и исследований по теме проекта. За более, чем восемь лет исследований в области расчета оптики коллективом этой компании были созданы несколько прорывных технологий. Выбор данной компании в качестве индустриального партнера позволит использовать их большой опыт в разработке оптических систем. Одной из ключевых целей данного проекта является именно создание нового типа системы технического зрения с дифракционным объективом. ООО "Светооптика" является организацией реального сектора экономики и поможет коллективу настоящего проекта в доведении прототипа до коммерциализуемого продукта.
Было достигнуто соглашение с компанией ОАО "АВТОВАЗ", которая заинтересована в результатах настоящего ПНИ. Крупнейший российский автопроизводитель готов в будущем использовать результаты исследований для оборудования своих автомобилей нашей системой технического зрения. Это означает, что существует большая вероятность довести результаты ПНИ до конечного потребителя.
Также планируется сотрудничество с другими отечественными и зарубежными автопроизводителями в области разработки интеллектуальных автомобильных систем технического зрения.

Назначение и область применения, эффекты от внедрения результатов проекта:
1. Разрабатываемый АПК позволит повысить безопасность эксплуатации транспортных средств. В настоящем проекте планируется исследовать применение интеллектуальной автомобильной системы безопасности на легковом автомобиле. Однако, потенциально возможно применение АПК на грузовом, общественном и железнодорожном транспорте.
Разработка методов и алгоритмов для функционирования в составе мобильной системы технического зрения позволит в целом улучшить эффективность использования систем технического зрения во многих задачах, связанных с детектированием и распознаванием объектов.
2. Результаты ПНИ планируется использовать для разработки и производства совместно с заинтересованном в настоящем проекте ОАО «АВТОВАЗ» интеллектуальной системы техническое зрения для помощи водителю. Такая система позволит значительно повысить конкурентоспособность отечественных автомобилей. Также планируется сотрудничество с другими отечественными и зарубежными автопроизводителями в области разработки интеллектуальных автомобильных систем технического зрения.
Результаты ПНИ в дальнейшем могут быть использованы при разработке компонент систем видеонаблюдения, стационарных системах технического зрения, робототехника и др.
Для доведения результатов до потребителя созданный экспериментальный образец будет демонстрироваться на выставках с участием представителей бизнеса.
3. Внедрение результатов проекта позволит повысить безопасность эксплуатации транспортных средств. Предполагается, что все функциональные задачи АПК будут решатся в реальном времени, что означает более широкие функциональные возможности по сравнению с конкурентами. Также вырастет эффективность применения систем технического зрения, которые используют алгоритмы детектирования и распознавания объектов и алгоритмы анализа трехмерной сцены.
4. Создаваемый в ходе реализации проекта аппаратно-программный позволит существенно повысить эффективность систем оперативного анализа обстановки в комплексах различного назначения. Разрабатываемая методика расчета плоского дифракционного объектива высокого разрешения, позволит создавать системы регистрации с высокими характеристиками чувствительности и сверхмалыми габаритно-весовыми характеристиками. Реализация АПК на гибридных многопроцессорных системах, включающих графические процессоры, обеспечит решение задач улучшения качества изображений, построения цифровой модели рельефа, локализации и распознавания объектов на изображениях в реальном времени.

Текущие результаты проекта:
В рамках выполнения проекта на настоящий момент получены следующие результаты.
а) Для задачи детектирования и распознавания дорожных знаков:
- разработаны метод и алгоритмы предварительной обработки видеокадров, обеспечивающих возможность последующего оперативного помехоустойчивого обнаружения знаков в реальном времени;
- создана информационная технология детектирования, обеспечивающая последующее надежное распознавание при минимальных вычислительных затратах;
- построен вычислительный метод и алгоритмы для обработки изображений высокого разрешения и построения перепрограммируемой системы, функционирующей в реальном времени.
б) Для задачи распознавания дорожной разметки:
- исследованы методы, улучшающие цветопередачу, корректирующих эффекты ограниченного динамического диапазона изображения и исключающие/корректирующие предположительно неподходящие для последующей обработки части изображения;
- исследованы методы выделения контуров, в частности, гибридных методов на основе локальной пороговой обработки, градиентных методов контурного анализа и методов активного контура;
- исследованы и сравнены алгоритма RANSAC с методом активного контура, преобразованием Хафа и сплайнами;
- исследована применимость фильтра Калмана, динамических байесовских сетей, об-ратного преобразования перспективы, а также различных методов усреднения и оценки расстояния между изображениями.
в) Для решения задачи построения трехмерной модели окружающей обстановки исследованы эпиполярные ограничения, позволяющие выполнять локальный поиск соответствующих точек на изображениях за приемлемое время с обеспечением высокого качества получаемой трёхмерной модели сцены.
г) Для решения задачи детектирования и распознавания различных объектов с использованием трехмерной модели окружающей обстановки разработаны и исследованы метод и алгоритмы детектирования различных объектов с использованием трехмерной модели окружающей дорожной обстановки. За счет использования модификации метода Хафа для трехмерных данных удалось достичь надежного детектирования объектов в трехмерном облаке точек.
д) Проведены исследования путей создания мобильной системы технического зрения для транспортных систем. Проведено сравнение различных возможных конфигурации прототипа интеллектуальной системы помощи водителю, выбраны 3 варианта, отличающихся составом сенсоров для блока регистрации окружающей дорожной обстановки.
Созданные алгоритмы были ускорены при помощи технологии программирования графических процессоров CUDA, ускорение достигает 16 раз.