14.574.21.0084

Важной задачей, решаемой вычислительными средствами, устанавливаемыми на борту самолетов и вертолетов гражданской авиации, является генерация синтезированного изображения, помогающая пилоту ориентироваться в сложных метеорологических условиях, в темное время суток, в гористой местности, а также в других ситуациях, требующих быстрого принятия решений. Целью проекта является разработка программно-аппаратного комплекса синтезированного видения в составе бортовых систем гражданской авиации для улучшения ситуационной осведомленности пилота и повышения эффективности и безопасности выполнения полетных заданий в сложных условиях.

Новизна реализованных модулей состоит в том, что впервые были реализованы имитационные модели телевизионной, тепловизионной и радиолокационной камер, работающих синхронно (с генерацией кадров для модельных задач с указанными характеристиками) с минимальными задержками между выдачей кадров.

Новизна модуля совмещения разнородных изображений состоит в реализации алгоритмов совмещения, обладающих научной новизной. В частности, были реализованы уникальные алгоритмы совмещения, основанные на применении древовидного бинарного классификатора и ограниченной стохастической машины Больцмана.

Новизна модуля выделения и оценки качества информативных составляющих исходных и синтезированных изображений состоит в реализации уникальных алгоритмов выделения и оценки качества информативных составляющих изображений, основанных на применении самоорганизующихся нейронных карт Кохонена.

Новизна модуля комплексирования цифровых карт местности и синтезированных изображений состоит в реализации алгоритма комплексирования, основанного на анализе временных меток и эвристическом предсказании получения очередных кадров от различных каналов технического зрения.

Новизна аппаратного модуля совмещения разнородных изображений состоит в аппаратной реализации алгоритмов совмещения разнородных изображений на базе ПЛИС.

Новизна аппаратного модуля выделения и оценки качества информативных составляющих исходных и синтезированных изображений состоит в аппаратной реализации алгоритмов совмещения разнородных изображений на базе ПЛИС.

Изготовление имитационной модели программно-аппаратного комплекса синтезированного видения было выполнено ФГБОУ ВО «Тверской государственный университет» на базе научной лаборатории университета. В качестве вычислителя в составе имитационной модели был использован сервер лаборатории, удовлетворяющий характеристикам, предъявляемым к вычислителю в составе программно-аппаратного комплекса. К серверу были подключены две ПЛИС Xilinx Virtex-7, на базе которых были реализованы аппаратные модули в составе комплекса.

Результатом данных работ стала технология, включающая в себя ряд методов и алгоритмов, прорывных для создания технологии изготовления бортовых вычислительных комплексов для гражданских летательных аппаратов (ЛА) 5-го поколения.

В ходе работ была выполнена разработка и изготовление имитационной модели программно-аппаратного комплекса синтезированного видения.

Имитационная модель программно-аппаратного комплекса синтезированного видения предназначена для исследования работы совокупности алгоритмов функционирования системы синтезированного видения на модельных задачах с целью определения временных характеристик алгоритмов, оценки эффективности их работы, оценки объема ресурсов вычислительной системы, необходимых для их работы, оценки пригодности применения аппаратной реализации некоторый из данных алгоритмов.

Имитационная модель состоит из набора описанных далее модулей.

Модуль вычислителя представляет собой модель бортового вычислителя. В качестве имитационной модели данного модуля был использован персональный компьютер, работающий под управлением операционной системы GNU/Linux (дистрибутив ArchLinux) и имеющий несколько портов USB3 для связи с ПЛИС, реализующих имитационные модели других аппаратных модулей в составе программно-аппаратного комплекса.

Модуль вычислителя предназначен для выполнения программных модулей, реализующих алгоритмы синтезированного видения.

Программные модули, реализующие имитационные модели датчиков, предназначены для передачи тестовых изображений из соответствующих баз данных на вход программно-аппаратных модулей обработки изображений.

Модуль совмещения разнородных изображений предназначен для геометрического совмещения цифровых карт местности (ЦКМ) и разнородных изображений, к которым относятся изображения, полученные от телевизионных камер (ТВ камер) в видимом диапазоне частот, от тепловизионных камер в ближнем инфракрасном и среднем инфракрасном диапазонах частот, от радиолокаторов.

Модуль выделения и оценки качества информативных составляющих исходных и синтезированных изображений предназначен для оценки информативности исходных разнородных изображений, оценки пригодности использования данных изображений для решения задачи совмещения изображений с ЦКМ, оценки информативности ЦКМ, оценки информативности изображений, синтезированных из исходных разнородных изображений путем их совмещения.

Модуль комплексирования цифровых карт местности и синтезированных изображений предназначен для комплексирования изображений, синтезированных из исходных разнородных изображений путем их совмещения, и изображений, полученных путем отрисовки ЦКМ, отдельных информационных слоев ЦКМ и отдельных элементов информационных слоев ЦКМ.

Модуль визуализации информации от датчиков авиационных радиолокационных систем предназначен для имитации вывода на дисплей пилота показателей датчиков авиационных систем.

Аппаратный модуль совмещения разнородных изображений предназначен для аппаратной реализации отдельных этапов процесса совмещения разнородных изображений с использованием ПЛИС для минимизации временных задержек при совмещении изображений.

Аппаратный модуль  предназначен для аппаратной реализации отдельных этапов процесса выделения и оценки качества информативных составляющих изображений с использованием ПЛИС для минимизации временных задержек выделения и оценки качества информативных составляющих изображений.

Внедрение данной технологий комплексной обработки информации от бортовых систем технического зрения позволит повысить функциональную надёжность навигации и пилотирования ЛА, а также вероятность выполнения конкретного полётного задания, безопасность выполнения захода на посадку и посадку ЛА гражданской и транспортной авиации, повысит эффективность использования вертолетов при выполнении спасательных работ и использования ЛА различного назначения.
Потенциальными потребителями результатов НИР являются научные организации, научно-конструкторские центры, научно-технические центры, конструкторские бюро и учреждения высшего профессионального образования, специализирующиеся в области разработки бортового радиоэлектронного оборудования перспективных ЛА гражданского назначения, а также подготовки специалистов в этой области.
Результаты НИР позволят осуществить проведение приемо-сдаточных испытаний изделий комплексной обработки и представления визуальной информации в бортовых авиационных системах улучшенного/синтезированного видения и в дальнейшем проводить отработку элементов взаимодействия экипажа с бортовыми системами технического зрения.