Регистрация / Вход
Прислать материал

Организационно-технические аспекты разработки цифровой портативной аппаратуры для панорамной съемки

Докладчик: Лазарев Сергей Александрович

Должность: Заместитель директора по научной и международной деятельности института инженерных технологий и естественных наук, к.э.н.

Цель проекта:
Задача: Формирование технологической компетенции и создание опережающего научно-технологического задела приборостроительной отрасти в области разработки устройств фото и видео регистрации и обработки цифровых панорамных изображений от нескольких источников в режиме реального времени. Цели проекта: 1.1 Исследование и разработка масштабируемой программно-аппаратной архитектуры устройства обработки информации при регистрации панорамного изображения от нескольких источников в режиме реального времени. 1.2 Разработка и реализация алгоритмов обработки и формирования цифрового панорамного изображения от нескольких источников в режиме реального времени. 1.3 Разработка и реализация аппаратно-программной платформы устройства регистрации панорамных изображений.

Основные планируемые результаты проекта:
Основные планируемые результаты:
1 Комплексный анализ современных подходов и методов обработки больших объемов графической информации при формировании единого панорамного изображения.
2 Структурная модель масштабируемой архитектуры устройства цифровой регистрации панорамного изображения.
3 Алгоритмы управления оптической и мехатронной частью устройства, реализующие индивидуальную настройку всех параметров (фокусировка, экспозиция) функционирования для каждой из камер.
4 Алгоритмы параллельной обработки сигналов и потоков данных совокупности светочувствительных сенсоров, реализующие задачу управления параметрами светочувствительных сенсоров и преобразование сигналов в цифровое RGB-изображение.
5 Алгоритмы обработки, сжатия и декомпрессии статических и потоковых изображений в современные форматы, адаптированных для реализации на программируемых логических интегральных схемах (ПЛИС).
6 Алгоритмы формирования в режиме реального времени панорамного изображения от нескольких источников, работающих синхронно, реализующие задачу "склейки" множества цифровых изображений полученных от различных камер.
7 Специализированная операционной среда, реализующая функции управления устройством формирования цифровых панорамных изображений (интерфейс взаимодействия с пользователем, управление вводом/выводом данных, настройка параметров функционирования).
8 Технические требования к аппаратурной архитектуре устройства.
9 Опытный образец устройства регистрации и обработки цифровых панорамных изображений.
10 Техническое задание на проведение НИОКР с целью создания серийного образца устройства регистрации и обработки цифровых панорамных изображений.
11 Технико-экономическое обоснование разработки серийных видов продукции различного назначения на основе полученных разработок.

Характеристики основных научно-технических результатов
1 Структурная модель масштабируемой архитектуры устройства цифровой регистрации панорамного изображения, должна отражать и описывать принципиальные технические решения в соответствии с целями и задачами исследования с учетом следующих особенностей:
1.1 Возможность масштабирования для реализации функции:
- панорамное зрение - угол охвата изображения по горизонтали не менее 210 градусов, количество используемых камер не менее 3;
- круговое панорамное зрение, угол охвата изображения по горизонтали 360 градусов - количество используемых камер не менее 5;
- полусферическое зрение - количество используемых камер не менее 6;
- сферическое зрение - количество используемых камер не менее 12.
1.2 Угол зрения и их взаимное расположение должны обеспечивать отсутствие «слепых пятен».
1.3 Оптимальное количество камер, угол охвата изображения и взаимное расположение камер, в разрабатываемом устройстве для каждого частного случая должно быть уточнено в процессе выполнения исследований.
2 Алгоритмы формирования в режиме реального времени панорамного изображения от нескольких источников, работающих синхронно, должны реализовывать задачу "склейки" множества цифровых изображений полученных от совокупности камер, с возможностью не менее 10 кратного программного приближения просматриваемого фрагмента изображения.
3 Специализированная операционной система должна реализовывать функции управления устройством формирования цифровых панорамных изображений: графический интерфейс взаимодействия с пользователем, управление вводом/выводом данных, настройка параметров функционирования, запись и хранение изображений, поиск и просмотр изображений.

Характеристики и область применения новых видов продукции:
1 Номенклатура:
- портативное устройство регистрации цифровых панорамных изображений.
2 Назначение:
- цифровая панорамная фотосъемка с высоким разрешением;
- цифровая панорамная видеосъемка с высоким разрешением;
3 Область применения:
- любительская и профессиональная фото и видеосъемка;
- обеспечение панорамного обзора операторов дистанционно управляемых технических средств;
- обеспечение видеонаблюдения и регистрации в системах охраны стационарных и подвижных объектов;
- аэрофотосъемка земной поверхности беспилотными летательными аппаратами.
4 Характеристики:
- количество используемых камер – не менее 12 шт.
- угол охвата поля изображения по горизонтали – 360 градусов;
- угол охвата поля изображения по вертикали – 360 градусов;
- чувствительность по ISO 100, 200, 400, 800, 1600, 3200 единиц;
- коррекция экспозиции +/- 2 единиц (EV);
- диапазон выдержек для фотографического изображения:1/4000, 1/2000, 1/ 1000, 1/500, 1/250, 1/125, 1/60, 1/30, 1/15, 1/8, 1/4, 1/2, 1, 2, 4, 8, 15, 30 сек.;
- управление балансом белого – автоматическое или на основе предустановленных параметров;
- управление экспозицией – автоматическое или на основе предустановленных параметров;
- электронные регулировки – яркость, контрастность, время экспозиции, баланс белого, чувствительность;
- формат сжатия фотографических изображений JPEG, RAW;
- формат сжатия видео изображений – H.264, H.265;
- программное (цифровое) приближение просматриваемого изображения – не менее 10 раз.
- максимальное разрешение применяемых ОСС от 5 до14 Мп для каждой камеры;
- максимальная частота кадров записываемых видеоданных с разрешением 3840×2160 (Ultra HD) точек – 30 кадров в секунду;

Новизна предлагаемого проекта заключается на разработке архитектуры многокамерного устройства регистрации панорамного изображения в качестве платформы для масштабируемых суперкамер высокого разрешения. Каждая камера включает в себя интегрированный механизм фокусировки и специальные модули управления. Используя эту платформу можно строить камеры с различными размерами сектора панорамного обзора и высокими разрешениями. Традиционные конструкции монолитных линз должны увеличить сложность объектива и уменьшить поле зрения при увеличении масштаба изображения.
В предлагаемом проекте решение этой задачи базируется на создании масштабируемой архитектуры устройства, которая сочетает в себе моноцентрический объектив с массивами вторичных микрокамер. Использование микрокамер значительно упрощающих проектирование и изготовление. Методология построения масштабируемой архитектуры устройства регистрации изображений подразумевает увеличение поля обзора за счет увеличения числа встраиваемых микрокамер вдоль фокальной поверхности объектива. На практике поле обзора ограничено физическим корпусом камеры. Каждая микрокамера работает независимо, что дает гораздо больше гибкости в захвате изображения, экспозиции и параметрах фокусировки. Предлагаемая особенность построения оптической схемы регистрации изображений более эффективна по сравнению с масштабированием размера оптической системы, поскольку приводит к увеличению оптического пути и различным ошибкам в результате аберрации. Из-за этого крупные оптические системы требуют больше сложных поверхностей и элементов для обеспечения дифракционной эффективности. Масштабируемая конструкция позволяет избежать этих сложностей. Вместо того, чтобы формировать изображение с одной монолитной системы линз, масштабируемая конструкция разделяет задачу визуализации между линзой объектива и множеством более мелких микро-оптик. Объектив является точным, но одновременно более простым, формируя изображение с известной аберрацией. Каждая микро-оптическая камера передает часть изображения на соответствующий ей сенсор. Как правило, типовая оптика микрокамер намного меньше и, следовательно, проще и дешевле в изготовлении. Простота микрокамер делает возможным серийное производство сложных асферических форм при одновременной минимизации количества элементов.
Другом важным преимущество данного подхода является сохранение работоспособности устройства регистрации панорамного изображения при повреждении одного из оптических элементов (и/или его сенсора) и возможность компенсации потерянного фрагмента изображения за счет соседних камер. Система управления устройством (электроника и программное обеспечение) должна поддерживать соответствующую масштабируемую оптическую конструкцию для произвольного числа микрокамер. При этом параметры каждой камеры должны независимо контролироваться устройством, являюсь ключевым его компонентом. Процесс формирования целостного изображения основан на обработке массива фрагментов изображений полученных с микрокамер. Поскольку каждая камера работает независимо, этот процесс должен учитывать выравнивание, вращение, освещение и расхождения между микрокамерами. Для реализации обработки информации при регистрации панорамного изображения в режиме реального времени, основанной на масштабируемой оптической конструкции используется сопоставления отдельных пикселей изображения в глобальном координатном пространстве. Формируемое в результате этого панорамное изображение будет иметь очень высокое разрешение, что потребует разработки и применения специализированных программно-аппаратных средств для его обработки и хранения в реальном времени.

В зарубежных источниках представлены разработки, которые направлены на цифровую панорамную фото- и видеосъемку высокого разрешения как средство формирование специализированного мультимедийного контента при трансляции спортивных и развлекательных мероприятий. (проекты Fascinate, AWARE).
Данные проекты находятся в стадии разработки и не имеют законченных технических решений. В них также рассматривается идея формирования единого цифрового изображения от нескольких камер.

Одним из путей решения стоящей проблемы является разработка масштабируемого устройства, в котором панорамное изображение формируется от нескольких цифровых камер и связанных сними сенсоров в режиме реального времени. Процесс формирования целостного изображения основан на обработке массива фрагментов изображений полученных с множества цифровых камер с помощью специальных алгоритмов.
Поскольку каждая камера работает независимо, этот процесс должен учитывать выравнивание, вращение, освещение и расхождения между камерами. Для реализации обработки информации при регистрации панорамного изображения в режиме реального времени, основанной на масштабируемой оптической конструкции используется сопоставления отдельных пикселей изображения в глобальном координатном пространстве.
Масштабируемая архитектура устройства должна позволять формировать требуемый угол панорамного обзора путем увеличения или уменьшения количества используемых камер. В пределе данная архитектура позволить формировать сферическое цифровое изображение, реализуя функцию кругового обзора.
Система управления устройством и его программно-аппаратная архитектура должны поддерживать соответствующую масштабируемую оптическую конструкцию для произвольного числа камер. При этом параметры каждой камеры должны независимо контролироваться устройством.
Используя эту архитектуру можно строить цифровые камеры с различными размерами сектора панорамного обзора и высокими разрешениями. Наличие таких средств позволит формировать единою панораму окружающей обстановки в реальном времени, а цифровой формат изображения дает возможность с помощью специальных алгоритмов решать задачи анализа, обнаружения и распознавания заданных объектов.

В настоящее время достаточной степени проработаны теоретические методы улучшения корректировки и склейки панорамных изображений. Однако большинство из них не адаптировано к требованиям по производительности, масштабируемости и реализации на современных средствах параллельной много потоковой обработки данных, что потребует проведений дальнейших исследований по разработке соответствующей архитектуры, алгоритмов и их программной реализации.
Основной трудность при проведении исследований и реализации данного проекта является разработка программных алгоритмов параллельной высокопроизводительной обработки больших объемов графической информации в режиме реального времени, что требует соответствующей аппаратной архитектуры.

Существующие в настоящее время аргументы против решения поставленной проблемы предложенным способом -
Дороговизна технических средств (высокопроизводительные ПЛИС, аппаратных средства сжатия и декомпрессии изображений), недоступность специализированных графических процессоров, высококачественных светочувствительных сенсоров. Отсутствие отечественных разработок в этой области.

Существующие препятствия организационного и юридического плана на пути решения проблемы предлагаемым способом -
Необходимость использовать лицензируемые программные средства зарубежных фирм для разработки и реализации специализированных алгоритмов. Необходимость приобретения зарубежной элементной базы и повышение ее стоимости в рублевом выражении.

Назначение и область применения, эффекты от внедрения результатов проекта:
Области применения, способы использования ожидаемых результатов:
1. Реализация функции панорамного обзора "машинного зрения" в современной наземной технике (роботы, манипуляторы, транспорт специального назначения), в пилотируемых и беспилотных летательных аппаратах различного назначения;
2. Системы видео наблюдения в различных технических решениях по обеспечению комплексной безопасности объектов;
3. Специализированные профессиональные средства фото и видео фиксации цифровых изображений.

Отсутствие доступных отечественных разработок в данной области и потребность гражданской и оборонной промышленности в данных разработках определяют актуальность данного проекта и необходимость разработки масштабируемой программно-аппаратной архитектуры устройства и алгоритмов обработки информации при регистрации панорамного изображения в режиме реального времени.

Реализация проекта, в конечном итоге, обеспечит:
- получение значимых научных результатов, позволяющих переходить к созданию новых видов научно-технической продукции, гражданского и оборонного назначения;
- создание высокотехнологичной продукции, замещение импорта и расширение экспортного потенциала.

Текущие результаты проекта:
Планируемые результаты по итогам 2014 года:
1. Аналитический обзор информационных источников;
2. Адаптация, поддержка и сопровождение программного и аппаратного обеспечения, используемого при выполнении ПНИЭР;
3. Патентные исследования;
4. Оценка технико-экономических показателей проекта;
5. Исследование методов и технологий сжатия цифровых растровых изображений;
6. Исследование методов и технологий улучшения и коррекции цифровых растровых изображений;
7. Исследование методов и технологий распознавания объектов на цифровых растровых изображениях;
8. Разработка функциональной и имитационной модели технического устройства, реализующего многопотоковую обработку цифровых изображений в режиме реального времени;
9. Исследование методов и технологий получения и обработки цифровых панорамных изображений от нескольких источников в режиме реального времени;
10. Анализ существующей элементной базы и специализированных программных средств разработки и отладки для соответствующей элементной базы и разработка технических предложений по их использованию при разработке цифровой портативной фото/видео аппаратуры для панорамной съемки;
11. Создание специализированного стенда для проектирования, программирования, проверки и отладки цифровых устройств на базе программируемых логических интегральных схем (ПЛИС).
12. Разработка экспериментальной лабораторной установки по исследованию оптической и мехатронной подсистем устройства регистрации панорамных изображений.