14.613.21.0037

Цель: совместная разработка прототипа аппаратно-программной платформы распределенного исследовательского центра (РИЦ) для мониторинга и прогнозирования региональных климатических и экологических изменений на внетропических территориях Северного полушария, представляющих взаимный интерес и демонстрация преимуществ подхода, объединяющего взаимодополняющий опыт и знание региональных особенностей этих территорий. В рамках проекта инновационный подход "облачной" обработки и анализа больших наборов геопривязанных данных об окружающей среде будет реализован на технических платформах двух организаций США и России, вовлеченных в изучение климатических изменений и их последствий. Планируемые результаты откроют возможность разработки и создания виртуальных международных тематических исследовательских центров, направленных на междисциплинарные исследования, выполняемые международными коллективами исследователей.
Задачи: 1) разработать архитектуру и определить ключевые аппаратные и программные компоненты РИЦ; 2) разработать базу метаданных и ПО для распределённой обработки и анализа больших геопространственных данных; 3) разработать геопортал, веб-клиент и веб-сервисы, предоставляющие исследователям доступ к «облачным» вычислительным ресурсам РИЦ; 4) создать прототип РИЦ, интегрирующий архивы данных ESRC и ИМКЭС СО РАН; 5) выполнить тестирование и апробацию прототипа на примере анализа недавних региональных климатических изменений для территории Северной Евразии и Северной Америки.

В настоящее время общепризнано, что, начиная с середины прошлого столетия, климат Земли существенно меняется (IPCC, 2013) и эти изменения уже начинают влиять на ход региональных экологических и социально-экономических процессов. Возможные негативные последствия климатических изменений вызвали бурное развитие климатической науки и её приложений. Развитие вычислительной техники обеспечило переход от климатических моделей к моделям системы Земля и увеличение пространственного разрешения вычисляемых характеристик, что привело к существенному увеличению объёмов данных. Так, объем архива результатов проекта сравнения современных климатических моделей CMIP5 уже близится к 2 Пб и содержит более 4,5 миллионов файлов данных. Значительный рост объёмов получаемых архивов данных делает сомнительным использование традиционного подхода к анализу климатической информации и требует перехода к другой, распределённой и использующей современные информационные технологии, организации работы. На сегодняшний день существует несколько вычислительно-информационных систем, направленных, в той или иной мере, на обработку геофизических данных об окружающей среде. Однако, ни одна из них не может в принципе решать весь спектр задач, возникающих в области климато-экологического мониторинга, и нужно создавать тематически-направленные системы, удовлетворяющие требованиям к общей схеме интерактивного взаимодействия геопространственных данных, метаданных, пользователей и вычислительных инструментов.

Решение поставленных задач выполняется в рамках четырёх пакетов работ. Первый пакет работ посвящён разработке программного комплекса для распределённой обработки и анализа геопространственных данных. Быстрый рост объёмов геопространственных данных в последние десятилетия привёл к невозможности их хранения и обработки в моно-серверной аппаратной конфигурации. Для эффективной «облачной» обработки больших геопространственных данных уже требуется сеть распределённых вычислительных узлов, выполняющих параллельную обработку локальных (для каждого узла) данных. Данный проект нацелен на разработку распределённого исследовательского центра, одним из ключевых элементов которого является информационно-вычислительный комплекс (вычислительное ядро), выполняющий распределённую обработку геопространственных данных. В основу архитектуры этого программного комплекса положена парадигма «shared nothing», предоставляющая наиболее удачный подход к решению поставленной задачи. В рамках этой парадигмы каждый вычислительный узел является независимым и самодостаточным, то есть, узлы не имеют общей памяти или дискового пространства. Преимуществом данной архитектуры является высокая надёжность вычислительной сети, высокая скорость обработки данных и простая масштабируемость кластера. Коллектив ИМКЭС, имеющий опыт разработки информационно-вычислительных веб-ГИС разработал, установил и выполнил конфигурацию вычислительного ядра, проведя тестирование взаимодействия вычислительного ядра и подготовленных данных ESRC. Исследователи из ESRC и ИМКЭС СО РАН совместно провели анализ архивов данных ESRC, разработав алгоритмы быстрого поиска и доступа данных, и сформировав списки  метаданных, необходимых для реализации проекта. Второй пакте работ посвящён созданию локальной точки доступа к инструментам обработки и анализа наборов данных ESRC. Опираясь на требования потенциальных пользователей к функциональности РИЦ по обработке и анализу данных, коллектив ESRC выработал технические требования к графическому интерфейсу пользователя веб-клиента. Затем коллективом ИМКЭС СО РАН был разработан локальный геопортал, веб-клиент и набор веб-сервисов, предоставляющих доступ к результатам обработки данных. Полученный программный пакет, включающий в себя геопортал, веб-клиент и веб-сервисы, был устанавлен и сконфигурирован на технической площадке ESRC. Третий пакет работ посвящён подготовке и связыванию с информационно-вычислительным комплексом РИЦ наборов геопространственных данных, имеющихся в распоряжении ESRC. Коллектив ESRC, используя свой опыт по работе с большими наборами геопространственных данных, предоставил исследователям ИМКЭС СО РАН описания, доступ и алгоритмы чтения наборов данных ESRC. Затем была выполнена предварительная обработка и структуризация, а также заполнение базы метаданных описанием наборов данных ESRC. Коллективом ИМКЭС СО РАН, используя алгоритмы и наработки ESRC, разработаны программные модули вычислительного ядра для доступа, чтения и поиска наборов геопространственных данных ESRC. Разработанные модули, были подключены к вычислительному ядру РИЦ; выполнено их тестирование и оценка производительности. Четвёртый пакет работ посвящён созданию прототипа аппаратно-программной платформы РИЦ, его финальному тестированию и апробации при решении научной задачи исследования климатических изменений в заданном регионе. Коллектив ИМКЭС СО РАН объединяет вычислительное ядро, геопортал, веб-клиент, веб-сервисы и наборы данных ESRC и ИМКЭС СО РАН в единый вычислительный комплекс, состоящий из нескольких вычислительных узлов, размещённых на аппаратных площадках ESRC и ИМКЭС СО РАН. Затем исследователи ИМКЭС СО РАН и ESRC совместно проводят тестирование и апробацию созданного прототипа РИЦ на примере решения задачи анализа недавних региональных климатических изменений для территории Северной Евразии и Северной Америки.

Результаты представляют собой следствия решения ключевых задач проекта. Разработанная модель хранения и обработки наборов больших геопространственных данных обеспечивает высокую скорость поиска, доступа и выборки многомерных массивов, и их анализа, а также алгоритмы её реализующие. Разработанная библиотека программных компонент обеспечивает доступ, поиск и выборку многомерных массивов из архивов геопространственных данных ESRC. Созданный действующий прототип аппаратно-программной платформы РИЦ позволяет проводить совместные мультидисциплинарные исследования климатических и экологических изменений международными исследовательскими коллективами с использованием распределённых архивов больших геопространственных данных, размещённых на технической площадке ESRC. Сформированная научная и технологическая основа позволяет выполнять разработку и развёртывание сети тематических РИЦ мониторинга и прогнозирования региональных климатических изменений и их последствий. Инновационные подходы и алгоритмы, полученные в результате выполнения проекта, открывают новые перспективы в проведении анализа больших геопространственных данных с использованием «облачных» технологий. Полученные результаты исследований опубликованы в высокорейтинговых изданиях.

Научные результаты найдут применение в следующих областях:
-климатология, гидрометеорология и смежные с ней области;
-мониторинг окружающей природной среды, включая ее реакцию на климатические изменения;
-геофизические процессы;
-математическое моделирование в задачах физики атмосферы и океана;
-охрана окружающей среды;
-геофизика;
-телекоммуникационные системы и математическое обеспечение суперкомпьютеров.
Прикладные результаты найдут применение в тех отраслях промышленности, которые зависят от местных или региональных климатических условий и послужат научно обоснованным фундаментом для выработки мер по адаптации к климатическим изменениям и уменьшению их негативных последствий.
Способы использования ожидаемых результатов:
-разработка методов прогнозирования изменений состояния окружающей среды и оценки последствий климатических изменений, включая экстремальные явления, ведущие к чрезвычайным ситуациям.
- разработка научно-обоснованных рекомендаций для принятия управленческих решений по охране окружающей среды, рациональному природопользованию, предупреждению и ликвидации последствий чрезвычайных ситуаций.
-разработка мер по адаптации к климатическим изменениям и уменьшению их негативных воздействий на локальном, региональном и отраслевом уровне.
-решение широкого спектра задач в области наук о Земле для получения новых знаний о различных процессах и явлениях, происходящих в атмосфере, гидросфере, геологической среде, на поверхности Земли и в околоземном космическом пространстве с использованием аэрокосмических методов и технологий.
-разработка общесистемных принципов создания сложных аэрокосмических систем и проведение многоуровневого комплексного мониторинга окружающей среды
-создание и актуализация баз данных по характеристикам различных объектов окружающей среды.