Регистрация / Вход
Прислать материал

Обеспечение эффективности суперкомпьютерных центров будущего на основе технологий обработки больших объемов данных и экстремальных вычислений

Номер контракта: 14.607.21.0006

Руководитель: Воеводин Владимир Валентинович

Должность: Заместитель директора Научно-исследовательского вычислительного центра Московского государственного университета им. М.В. Ломоносова

Аннотация скачать
Постер скачать
Презентация скачать
Ключевые слова:
суперкомпьютер, производительность, эффективность, надёжность, мониторинг, визуализация, обработка больших объемов данных, экстремальные вычисления.

Цель проекта:
Архитектура суперкомпьютерных центров совершенствуется с каждым годом. Это приводит к тому, что эффективность выполнения приложений деградирует, поскольку все сложнее становится учитывать возрастающее многообразие аппаратных особенностей суперкомпьютеров, каждая из которых может кардинальным образом влиять на скорость расчетов. На данный момент эффективность на уровне 3-5 процентов уже является нормой; однако подобное неоптимальное использование вычислительных ресурсов приводит к серьезным временны́м и, в конечном итоге, финансовым потерям. Требуется разработка прототипов программно-технических решений, которые позволят проводить разносторонний анализ эффективности как отдельных пользовательских приложений, так и суперкомпьютерного центра в целом. Целью прикладного научного исследования является создание научных и программно-технических решений в области обеспечения эффективности суперкомпьютерных центров малого, среднего и высокого уровней производительности, а также перспективных центров сверхвысокого уровня производительности.

Основные планируемые результаты проекта:
В результате выполнения проекта будут получены следующие результаты:
1. Будут разработаны методики оценки технических характеристик функционирования суперкомпьютерных центров.
2. Будут разработаны прототипы программно-технических решений по созданию системы обеспечения эффективности функционирования суперкомпьютерных центров.
3. Будут определены технические требования к разработанным решениям, составлено описание принципов функционирования созданных решений, разработаны методы программной реализации отдельных программных компонентов системы обеспечения эффективности функционирования суперкомпьютерных центров.

Краткая характеристика создаваемой/созданной научной (научно-технической, инновационной) продукции:
В результате выполнения проекта будут созданы заделы для разработки новых технологий оперативной диагностики
состояния и экспертизы внутренних ресурсов суперкомпьютеров для обеспечения эффективности суперкомпьютерных
центров на основе технологий обработки больших объемов данных и экстремальных вычислений. Разрабатываемые
прототипы программно-технических решений будут охватывать наиболее значимые аспекты функционирования большого
суперкомпьютерного комплекса с точки зрения его использования, администрирования и поддержки его функционирования.
Разрабатываемые программно-технические решения являются новыми и не имеют аналогов в мире.

Назначение и область применения, эффекты от внедрения результатов проекта:
В рамках данного проекта создается набор методов и программных средств, направленных на обеспечение эффективности
функционирования существующих вычислительных систем и суперкомпьютерных центров будущего. Это позволит ускорить
проведение исследований в таких областях, как нефтегазовый сектор, машиностроение, производство новых материалов,
экология, энергетика и других. Применение полученных в данном проекте результатов окажет позитивное влияние на
развитие не только суперкомпьютерной отрасли, но и науки, техники и промышленности в целом.
Использование разработанных в данном проекте методов и программных средств позволит в значительной степени повысить
эффективность функционирования современных вычислительных систем. Поэтому внедрение результатов проекта в
российские суперкомпьютерные центры будет способствовать развитию сферы исследований и разработок в области
прикладных исследований в России.

Текущие результаты проекта:
Выполнен аналитический обзор современной литературы, затрагивающей научно-техническую проблему, исследуемую в рамках ПНИ. Данный обзор показывает, что, несмотря на актуальность рассматриваемой проблемы и богатый накопленный опыт существующих работ, общая задача обеспечения эффективности суперкомпьютерных центров далека от решения.
Разработаны следующие методики оценок: 1) объемов и вариабельности данных о состоянии компонентов суперкомпьютера и их общего объема; 2) объема и частоты съема данных, необходимых для обеспечения бесперебойного функционирования суперкомпьютера; 3) объема данных о структуре потока программ, исполняющихся на суперкомпьютере, и структуры этих данных; 4) свойств различных способов хранения данных с точки зрения их пригодности для хранения необходимых объемов данных и их выборки для последующей обработки. По разработанным методикам выполнены соответствующие оценки, отражающие общий объем данных, которые необходимо собирать и анализировать для получения детальной информации о
состоянии современных суперкомпьютеров.
Выполнены теоретические оценки необходимого объема хранимых данных для анализа эффективности работы реальных приложений пользователей.
Разработана архитектура прототипа программной системы обеспечения эффективности функционирования
суперкомпьютерных центров и определен набор его компонентов.
На основе определенной на 1 этапе архитектуры разработаны все компоненты прототипа программной системы обеспечения эффективности функционирования суперкомпьютерных центров:
1) прототип программных средств для определения ключевых характеристик эффективности работы реальных приложений пользователей: использования CPU, оперативной памяти, коммуникационной сети и ввода-вывода;
2) прототип программных средств для получения данных о структуре потока программ, исполняющихся на суперкомпьютере;
3) прототипы программно-технических решений сбора данных наборов датчиков;
4) прототип программных средств для автоматизированного построения программных моделей суперкомпьютерных комплексов;
5) программные подсистемы визуализации графиков характеристик эффективности работы реальных приложений пользователей, динамических характеристик работы суперкомпьютера, структуры потока программ, исполняющихся на суперкомпьютере;
6) программные средства анализа работоспособности компонентов суперкомпьютера;
7) программная подсистема хранения данных о состоянии суперкомпьютеров и выполняющихся на них программ;
8) программные средства для повышения надежности работы программных средств обеспечения бесперебойного функционирования и уменьшения времени простоя суперкомпьютеров;
9) пользовательский интерфейс программных средств обеспечения бесперебойного функционирования и уменьшения времени простоя суперкомпьютеров.

Разработана программная документация по компонентам в отдельности и прототипу в целом в соответствии с требованиями ТЗ.
Разработана программа и методики экспериментальных исследований прототипа программного комплекса системы обеспечения эффективности функционирования суперкомпьютерных центров.