Регистрация / Вход
Прислать материал

14.581.21.0003

Аннотация скачать
Постер скачать
Общие сведения
Номер
14.581.21.0003
Тематическое направление
Информационно-телекоммуникационные системы
Исполнитель проекта
федеральное государственное автономное образовательное учреждение высшего образования "Белгородский государственный национальный исследовательский университет"
Название доклада
Резульатты реализации проекта по исследованию и разработке новой цифровой портативной аппаратуры для панорамной съемки
Докладчик
Лазарев Сергей Александрович
Тезисы доклада
Цели и задачи исследования
Цель исследования:
Формирование технологической компетенции и создание опережающего научно-технологического задела приборостроительной отрасти в области разработки устройств фото и видео регистрации и обработки цифровых панорамных изображений от нескольких источников в режиме реального времени.

Задачи проекта:
1 Исследование и разработка масштабируемой программно-аппаратной архитектуры устройства обработки информации при регистрации панорамного изображения от нескольких источников в режиме реального времени.
2 Разработка и реализация алгоритмов обработки и формирования цифрового панорамного изображения от нескольких источников в режиме реального времени.
3 Разработка и реализация аппаратно-программной платформы устройства регистрации панорамных изображений.
Актуальность и новизна исследования
Актуальность исследований, выполняемых в рамках проекта, обусловлена тем, что панорамные изображения широко используются как средство информационного обеспечения различных систем управления.
На сегодняшний день не разработаны универсальные аппаратно-программные комплексы, позволяющие проводить обработку изображений и потоков видеоинформации в реальном масштабе времени с выполнением всех основных функций, регистрации и обработки панорамных изображений.
Самое большое распространение технология панорамного видео получила в охранных панорамных системах: обеспечение обзорного видеонаблюдения за безопасностью специальных, промышленных, административных и других объектов.

Новизна представляемого проекта заключается в решении новой научно-технической задачи регистрации цифрового панорамного изображения высокого разрешения в режиме реального времени на основе масштабируемого многокамерного подхода.
Описание исследования

Современные системы панорамной фотографии и видео съемки строятся, как правило, на основе массива светочувствительных сенсоров, имеющих различные способы размещения в пространстве. В проводимом авторами исследовании ставилась задача создания портативной высококачественной системы панорамной фото-видео съемки с использованием 12 светочувствительных сенсоров и формирования видео стандарта Ultra HD 4K. По результатам моделирования было установлено, что оптимальным расположением 12 светочувствительных сенсоров совместно с объективами является размещение их в центре граней додекаэдра. В этом случае, часть изображения, формируемая объективом на каждом светочувствительном сенсоре, имеет уникальную (не повторяющуюся в других сенсорах) часть панорамы в виде правильного пятиугольника. Такая конструкция, позволяет формировать панораму с обзором 360 градусов.

Задача проецирования панорамного изображения высокого качества с 12-ти камер на сферу, в реальном времени, требует больших вычислительных ресурсов, что затрудняет практическую реализацию в компактном устройстве. Эта задача решена при помощи построения и оптимизации, путем уменьшения вычислительных процедур, методики формирования панорамных изображений на основе математической модели додекаэдра и получения коэффициентов преобразования информации от каждого светочувствительного сенсора. При исследовании установлено, что оптимальным соотношением сторон светочувствительных сенсоров является 4:3. Использование различных объективов в разрабатываемой системе показало, что необходимо устранение дисторсии, а для компенсации возможных отклонений от идеальной модели размещения камер, в математической модели имеются калибровочные параметры для каждого светочувствительного сенсора. Калибровочные параметры учитывают линейные смещения камер от центра додекаэдра и их повороты. Калибровка и устранение дисторсии системы 12 камер  выполняется в автоматическом режиме с использованием специально подготовленного стенда. По результатам калибровки формируются матрицы коэффициентов для выполнения быстрой выборки изображения, коррекции и формирования сферической панорамы.

Математическая модель додекаэдра, позволила сформировать все коэффициенты преобразований без использования тригонометрических функций. Таким образом, набор операций при формировании сферического изображения ограничивается сложением, вычитанием, умножением, делением и извлечением квадратного корня. При калибровке изображения применялась математическая модель на основе на основе новых математических операций Zeration и Deltation.  Полученная математическая модель формирования панорамного сферического изображения с 12-ти камер оптимизирована для реализации на ПЛИС (FPGA).

Разработанные алгоритмы формирования  цифрового панорамного изображения с нескольких источников, реализованные на ПЛИС, выполняют следующие функции:
- определение принадлежности каждого пикселя входного кадра вписанному в него пятиугольнику;
- формирование массивов локальных координат V_x и V_y для каждого пикселя;
- построение модели додекаэдра и пересчет локальных координат входного изображения в пространственные координаты на выбранной грани додекаэдра;
- построение модели сферы и пересчет имеющегося массива пространственных координат в сферические координаты с целью получения отображения додекаэдра в виде сферы;
- построение эквидистантной цилиндрической проекции сферы на основании заданных углов обзора (по умолчанию формируется проекция 360х360 градусов);
- формирование адресных матриц (карт) для построения эквидистантной цилиндрической проекции сферы в режиме реального времени;
- компенсация искажений, вызванных объективом камеры (коррекция дисторсии) с учетом коэффициента дисторсии и коэффициента масштабирования изображения;
- выделение областей перекрытия входных кадров соседних сенсоров;
- детектирование пар контрольных (реперных) точек в областях перекрытия изображений входных кадров, поступающих с соседних сенсоров;
- нелинейные деформации входного кадра в областях перекрытия по данным о парах контрольных точек.

Множество программных компонентов управления устройством регистрации цифровых панорамных изображений включает в себя несколько элементов (рисунок 1):
- центральный модуль управления (ЦМУ) в составе операционной системы;
- программный модуль обработки и формирования панорамного изображения (ПМОПИ);
- программный модуль управления FPGA и получения изображения (ПМУ FPGA).

Рисунок 1 – Схема взаимодействия программных компонентов

Результаты исследования

Основным результатом проекта является разработка автономного портативного цифрового устройства, предназначенного для панорамной съемки с качеством UltraHD.

Основные  технические характеристики устройства:
- количество используемых камер – 12 шт.;
- угол охвата поля изображения по вертикали и горизонтали – 360 градусов;
- максимальная частота кадров записываемых видеоданных с разрешением 3840×2160 (Ultra HD) точек – 30 кадров в секунду;
- снаряженная масса с источником питания – 5 кг.;
- габаритные размеры – 300х300х300 мм.

Разработанная архитектура устройства регистрации цифровых панорамных изображений определяет особенности конструкции экспериментального образца, который состоит из 12 автономных оптических модулей на базе ПЛИС (рисунок 2), платы интерфейсов MIPI, модуля питающих устройств с аккумуляторам и интегрирующей платы на базе мобильного процессора NVidia Tegra X1.

Рисунок 2 – Оптический модуль в сборе.

Корпус макета устройства представляет собой оригинальную форму в виде додекаэдра с двенадцатью выпуклыми гранями.  В центре каждой грани (крышки) располагается объектив оптического модуля (рисунок 3).

Одна из 12 крышек корпуса имеет дополнительные отверстия для установки в них стандартных разъемов: питания, USB и HDMI. Также эта грань имеет специальный вырез под LCD дисплей и 2 сенсорные кнопки (рисунок 4).

Корпус экспериментального образца устройства был изготовлен с применением аддитивных технологий из полиамида путем селективного лазерного спекания. 

Схема расположения оптических модулей в устройстве определила конструкцию его рамы. Рама в устройстве является несущей, она повторяет форму додекаэдра и состоит из двух частей – полурам. Полурама содержит места крепления оптических модулей и обеспечивает их точное пространственное расположение в соответствии с оптической схемой устройства, определенной в математической модели.

Рисунок 3 – Сборка компонентов устройства

 

Рисунок 4 – Устройство в сборе на штативе 

Сопутствующие результаты проекта:
- адаптивная математическая модель формирования панорамного (сферического) изображения в форме эквидистантной проекции;
- алгоритмы формирования и обработки панорамного изображения, реализованные на ПЛИС;
- алгоритмы сжатия и декомпрессии фото- видеоизображения, реализованные на ПЛИС (JPEG, H.264, H.265);
- интеллектуальный оптический модуль на базе ПЛИС;
- прототип специализированного процессора для сжатия и декомпрессии фото- видеоизображения на ПЛИС;
- специализированная операционная система для управления портативным цифровым устройством.

Преимущества по отношению к аналогам
Разработанный экспериментальный образец выполняет функции получения и мультиплексирования потока данных изображений с нескольких камер, формирования целостного панорамного (сферического) изображения, а также в реальном времени позволяет выполнять с данными изображениями операции выравнивания геометрии и изменения яркостных характеристик.

Особенность разработки заключается в создании архитектуры многокамерного устройства регистрации панорамного изображения в качестве платформы для масштабируемых суперкамер высокого разрешения. Каждая камера включает в себя интегрированный оптический модуль с объективом, светочувствительный сенсор, блок управления экспозицией и диафрагмой, а также интерфейсы согласования управления. Используя эту платформу, можно строить камеры с различными размерами сектора панорамного обзора и высокими разрешениями.

Практическая значимость исследования
Областью применения ожидаемых результатов является:
- реализация функций панорамного обзора «машинного зрения» в современной наземной технике (роботы, манипуляторы, транспорт специального назначения), в пилотируемых и беспилотных летательных аппаратах различного назначения;
- системы видеонаблюдения по обеспечению комплексной безопасности объектов в различных технических решениях;
- специализированные профессиональные средства фото- и видеофиксации цифровых изображений.
Ожидаемый эффект от внедрения результатов исследования связан с актуальностью и значимостью вопроса замещения импортной продукции в системах технического зрения и создания отечественной аппаратуры для цифровой фото- и видеосъемки.