Регистрация / Вход
Прислать материал

14.607.21.0165

Аннотация скачать
Постер скачать
Общие сведения
Номер
14.607.21.0165
Тематическое направление
Информационно-телекоммуникационные системы
Исполнитель проекта
Федеральное государственное бюджетное учреждение науки Институт космических исследований Российской академии наук
Название доклада
Экономичный ко-дизайн многоядерного вычислителя для решения задач мультиспектрального дистанционного зондирования ночной поверхности Земли из космоса
Докладчик
Пойда Алексей Анатольевич
Тезисы доклада
Цели и задачи исследования
Разработка технического задела по созданию специализированной многоядерной вычислительной платформы для большого массива данных (изображений), оптимизированной под массивно-параллельные алгоритмы обработки мультиспектральных космических снимков
Актуальность и новизна исследования
В последнее время при создание суперкомпьютеров активно применяется ко-дизайн, когда архитектура вычислителя с самого начала разработки оптимизируется под конкретный набор прикладных задач, которые будут на нем решаться. В настоящем проекте решается проблема поиска оптимальной конфигурация (co-design) многоядерного вычислителя (суперкомпьютера) для специальных алгоритмов обработки космических снимков.
Для этого будет разработан набор тест-алгоритмов (benchmarks), включая новейшие алгоритмы обработки ночных мультиспектральных космоснимков, и по ним проведены оценки производительности суперкомпьютеров с различной архитектурой. По результатам испытаний будет разработан и реализован “в железе” прототип наиболее перспективной вычислительной платформы для космических исследований на ближайшие годы.
Одновременно с разработкой специализированного суперкомпьютера мы ожидаем лавинообразный рост объема данных с новых мультиспектарльных камер космического базирования, обработать которые в реальном времени без спецвычислителя будет невозможно. Из всего многообразия научных приложений в данном проекте мы выделяем работу с наименее исследованными данными с ночной стороны Земли. Наши предварительные результаты в области распознавания и каталогизации объектов, видимых на Земле ночью из космоса, доказывают актуальность таких исследований, которые будут иметь целый ряд приложений в экономике, экологии и геофизике.
Описание исследования

За последние 3 года наблюдается значительный рост числа низкоорбитальных и геостационарных спутников, оснащенных мультиспектральными камерами в видимом (0.4 – 1 мкм) и ближнем-среднем-дальнем ИК диапазонах (1 – 20 мкм), способные видеть ночную поверхность Земли. Для повышения чувствительности ИК диапазоны «центрируют» в окнах прозрачности атмосферы, поэтому наборы спектральных полос, доступные с разных спутников, отличаются числом, но пересекаются по длинам волн. Максимальное число полос, включая видимый диапазон, имеют низкоорбитальные спутники Suomi NPP (запущен в 2012 г.), его аналог JPSS-1 (запуск в начале 2017 г.) и геостационарные Himawari 8 (запущен в 2015 г.) и GOES-R (запуск в конце 2016 г.), однако разрешение, площадь покрытия и чувствительность у геостационаров существенно ниже. Наиболее перспективным для анализа ночных мультиспектральных изображений является радиометр VIIRS на спутниках Suomi NPP и JPSS-1. Этот анализ можно дополнять историческими данными с сенсоров MODIS и уточнять «по месту» снимками Landsat 8.

Обработка данных осуществляется по шаблону Map-Reduce. На первом этапе анализируется их целостность и делается предварительная обработка – преобразование проекций, оценки резкости, выделение ярких точек (спайков), кросс-корреляция видимого и ИК каналов для уточнения карты облаков. Затем выполняются алгоритмы детектирования на наборе из 10-20 послойных изображений. Выходные данные детектора в виде CSV-таблиц загружаются в базу данных, откуда с помощью картографических веб сервисов они наносятся на карты (QGIS, MapServer или Google Maps). Для обработки потока мультиспектральных спутниковых данных со скоростью, близкой к реальному времени (без накопления задержки), необходим параллельный вычислительный кластер с большим объемом оперативной памяти и дискового пространства на каждом узле. Наиболее времяемкие алгоритмы – преобразование проекций, преобразования Фурье и вейвлетов, кросс-корреляция спектральных каналов.

Традиционные высокопроизводительные вычислительные системы обычно создаются на базе микропроцессоров общего назначения, специализированных в серверном сегменте. Архитектура этих микропроцессоров в значительной степени определяется необходимостью эффективного выполнения большого числа однотипных инструкций над объемными массивами чисел с плавающей запятой (двойной точностью). При этом согласно т.н. "закону Мура" происходило быстрое обновление компонентной базы (микропроцессоров, модулей памяти, сетевых устройств), за счет чего, в течение времени разработки специализированной архитектуры, системы общего назначения наращивали свою производительность обнулявшие преимущества специализированной системы, использующей устаревшие технологические процессы и т.п.

В течение ближайшего десятилетия ожидается замедление темпов обновления элементной базы по "закону Мура", что, как ожидается, откроет больше возможностей для специализированных архитектур и устройств.

В данном проекте будут использоваться следующие особенности алгоритмов обработки изображений:

1) Относительно небольшой (после оптимизации) объем операций над числами с плавающей запятой двойной точности (64 бита)

2) Относительной малый объем обменов при параллельном счете (при 2-х мерной пространственной декомпозиции данных)

За счет первого обстоятельства будут испытаны несколько микропроцессорных архитектур (Intel KNL, GPU, ARM и другие) а также систем на кристалле (например, используемых в мобильных телефонах или цифровых фотокамерах)  и определены наиболее энергоэффективные для решаемых в проекте задач.

Второе обстоятельство может быть использовано при обеспечении коммуникационной сети мультипроцессорного кластера на основе технологий 1-10 GigE или других доступных на выбранной платформе сетевых интерфейсов, заметно уступающих традиционным технологиям интерконнекта типа Инфинибенда.

Результаты исследования

Результатом выполнения исследований является экономичный и энергоэффективный вычислитель, построенный на основе "облегченных" процессорных ядер, связанных между собой "сетью первого уровня" (например, PCI Express) в модуль мультипроцессорной вычислительной системы. Другими компонентом модуля являются элементы хранения (флеш-накопители)  и коммуникационные элементы, обеспечивающие высокопроизводительные коммуникации между модулями системы (например, адаптеры Infiniband).

Подобный вычислитель пригоден для использования не только в центре хранения и обработки «больших данных» (например, в Институте космических исследований РАН), но и на удаленной станции прямого приема спутниковых данных (в частности, в Институте вулканологии и сейсмологии ДВО РАН).

Предмет исследования – мультипроцессорная обработка ночных изображений Земли из космоса в разных полосах спектра – пока  не имеет мировых аналогов, а полученные в ходе исследования результаты превышают мировой уровень.

Практическая значимость исследования
«Окном возможностей» для новых приложений и алгоритмов в ДЗЗ является разработка специализированных алгоритмов для детектирования и диагностики ночных мультиспектральных изображений. Перечислим наиболее «очевидные» из них и возможные приложения, реализуемые на вычислителе:
1. Каталог стабильных ночные огни
Ежедневные наблюдения ночной поверхности суши и моря в безлунные ночи с фильтрацией данных, искаженных облаками, полярным сиянием и артефактами сенсора позволит составить карты стабильных ночных огней от людских поселений, дорог, теплиц, факелов и т.п. с разрешением на местности порядка 100 м. В свою очередь анализ последовательности таких карт, полученных в течение нескольких лет, позволит оценить демографические и экономические тренды.
2. Быстрые изменения ночных огней
Быстрые изменения ночных огней (блэкауты) происходят вследствие природных или техногенных катастроф. Масштаб явления можно оценить путем сравнения ночных огней до и после катастрофы. Задача осложняется наличием облаков и лунной засветкой исследуемой сцены. Существующие продукты ДЗЗ высокого уровня – карты облаков, оптической толщи и аэрозолей в атмосфере – недостаточно точны для уверенного выделения области, где огни исчезли из-за блэкаута, а не закрыты облаками.
3. Рыболовные суда
Ночное рыболовство предполагает использование ярких источников света для приманки рыбы. Эти бортовые огни можно детектировать на изображениях в видимом канале DNB спутника Suomi NPP. Число детекций судов в южных морях составляет порядка 30 тыс. за ночь.
4. Источники горения
За год на Земле наблюдается порядка 25000 факелов на скважинах, нефтеперегонных заводах и газоналивных терминалах. Оценки объемов сжигания попутного газа по странам за 2013 г. методом Nightfire были опубликованы в январе 2016 г. Объем сжигания для России составил ~ 25 млрд. куб. м. Представляет особый интерес детектирование лесных пожаров новым методом в связи с известной недооценкой их площади в Забайкалье в 2014–16 гг.