Регистрация / Вход
Прислать материал

14.587.21.0024

Аннотация скачать
Постер скачать
Общие сведения
Номер
14.587.21.0024
Тематическое направление
Информационно-телекоммуникационные системы
Исполнитель проекта
федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики"
Название доклада
Вычислительные шаблоны для высокопроизводительных многомасштабных вычислений
Докладчик
Бухановский Александр Валерьевич
Тезисы доклада
Цели и задачи исследования
Целью исследований является разработка семейства предметно-независимых вычислительных алгоритмов для эффективной реализации методов многомасштабного моделирования на основе обобщенных вычислительных шаблонов и создание на их основе программного инструментария на суперкомпьютерных системах эксафлопсного диапазона производительности. Для этого подразумевается формализация основных предметно-независимых вычислительных шаблонов многомасштабного моделирования и разработка методов и средств на их основе для эффективной организации балансировки нагрузки, обмена данными и их размещения в хранилищах данных и вычислительной инфраструктуре, обеспечение надежности и энергоэффективности вычислений с учетом особенностей архитектуры вычислителей эксафлопсного диапазона. На их основе разрабатывается программная платформа, обеспечивающая адаптацию предметно-ориентированных алгоритмов и программных кодов многомасштабного моделирования.
Актуальность и новизна исследования
Решение научных и практических задач в различных предметных областях часто основывается на предсказательном моделировании, при выполнении которого возникает проблема, когда повышение точности расчетов в отдельных ситуациях не может достигаться стандартными методами. Для преодоления этого барьера требуется перейти на новый уровень детализации, позволяющий объяснить происхождение тех или иных параметров, которые ранее назначались эмпирически. Одним из следствий такого подхода является многомасштабная модель, состоящая из набора отдельных подмоделей, связанных друг с другом параметрически, через начальные или граничные условия.
Реализация многомасштабного моделирования на суперкомпьютерных и кластерных системах, отличается и осложнена необходимостью обеспечения эффективной совместной работы программных модулей, построенных на различных принципах и конкурирующих за общие ресурсы. Ситуация усугубляется при использовании суперкомпьютеров эксафлопсного диапазона производительности.
Это обусловлено как внутренними особенностями самого процесса моделирования, например, высокого уровня обмена данными между программными модулями многомасштабной модели, так и спецификой его организации. При этом наравне с проблемой масштабируемости для таких систем в полной мере проявляются проблемы энергоэффективности и отказоустойчивости. Существующие инструментальные платформы не предназначены для суперкомпьютеров эксафлопсного диапазона производительности. Однако из опыта предметных областей в настоящее время становится очевидным, что для различных систем реального мира задачу многомасштабного моделирования можно свести к одному из нескольких вычислительных шаблонов или их комбинации.
Описание исследования

Для представления приложений многомасштабного моделирования используется модель КП в виде WF и интерактивных WF. При этом необходимо расширить данную модель за счет введения   нового слоя – формализованных шаблонов многомасштабного моделирования. Необходимо организовать построение многомасштабного приложения за счет построения мета WF, который на этапе трансляции осуществляет сборку структуры КП. На этапе планирования определяющей является структура полученного КП, которая может быть по-разному развернута для различных вычислительных архитектур согласно логике кодизайна: для каждого из блоков КП должна подбираться наиболее подходящая вычислительная инфраструктура на основе учета особенностей иерархической параллельной архитектуры таких систем. Такая сборка и развертка многомасштабного приложения невозможна без параметрических моделей производительности, которые должны быть построены для шаблонов HMC, ES и RC. На основе данных моделей разрабатываются методы и алгоритмы планирования, учитывающие изменчивость в суперкомпьютерных системах и коммуникационных средах, а также методы оптимизации размещения и доступа к данным.  Данные алгоритмы базируются на эволюционных и гибридных схемах. Разработанные методы оптимизации выполнения многомасштабных КП и подходы к построению и трансляции таких КП реализуются в промежуточном программном обеспечении, предназначенном для упрощения конструирования многомасштабных приложений, их выполнения и контроля за ними, а также повышения их эффективности выполнения на суперкомпьютерных системах.

Результаты исследования

Для осуществления возможности планирования были разработаны модели производительности для шаблонов HMC, ES и RC, используемые для прогнозирования времени выполнения многомасштабных приложений с учетом как моделей отдельных блоков многомасштабного приложения, так и особенностей самих суперкомпьютерных систем. Система планирования, осуществляющая запуск многомасштабных КП в вычислительной среде, состоящих из суперкомпьютеров, связанных коммуникационными средами, должна обеспечивать функционирование в условиях непредсказуемости времени выполнения отдельных блоков, исполняющихся под контролем их систем исполнения заданий, а также в условиях отказа отдельных вычислительных блоков и ресурсов и изменения их производительности ввиду внешних факторов. Как следствие, возникает жесткая необходимость динамического планирование, адаптирующее расписание в условиях «шума», создаваемого системами управления отдельных суперкомпьютеров и наличия других факторов. В докладе представляется разработанный гибридный метод динамического планирования многомасштабных КП в распределенной неоднородной вычислительной среде, включающей как простые вычислительные ресурсы, так и суперкомпьютеры с собственными системами управления заданиями. При этом метод поддерживает процедуру коэволюции, обеспечивающую не только оптимизацию структуры многомасштабного КП, но и динамическую конфигурацию вычислительных ресурсов для эффективного исполнения его блоков.

Также в докладе будут представлены разработанные алгоритмы эффективного динамического размещения данных, которые могут быть использованы системой планирования для повышения эффективности исполнения отдельных КП и групп КП.  Сравнение программного алгоритма оптимизации размещения больших данных CGA, с программным алгоритмом, адаптированным под многоуровневое хранение TCGA, показало прирост оценочной функции алгоритма TCGA в 46 %, над случайным распределением, и в 17 %. над CGA алгоритмом. Это является существенных приростом в рамках решения задач оптимизации размещения данных в статической среде. Учет динамической составляющей в алгоритме позволяет генерировать ещё более эффективные решения по сравнению со статическим алгоритмом.

Практическая значимость исследования
Практическая значимость разработанного семейства алгоритмов эффективного планирования многомасштабных КП в рамках разработанного инструментария, заключается в чрезмерной потребности результатов моделирования подобных комплексных задач с использованием оптимального числа ресурсов, как в области моделирования городских и социальных процессов, так и задачах моделирования биомедицины или прогнозировании экстремальных гидрометеорологических явлений.
Постер

Poster_ComPat.ppt