Регистрация / Вход
Прислать материал

Разработка мультиагентной технологии управления распределенными гетерогенными вычислительными ресурсами для адаптивной балансировки загрузки устройств в реальном времени

Аннотация скачать
Постер скачать
Ключевые слова:
мультиагентные технологии, информационные технологии, распределенные ресурсы, агенты, адаптивность, вычислительные ресурсы

Цель проекта:
Проект направлен на решение задачи управления децентрализованной сетью гетерогенных вычислительных ресурсов для динамической обработки поступающего потока задач в рамках распределенной вычислительной среды, что позволит существенно повысить эффективность использования вычислительных ресурсов, надежность и живучесть системы. Основной целью проекта является разработка комплекса научных и программно-технических решений в области создания перспективных технологий управления распределенными гетерогенными вычислительными ресурсами для эффективного распределения задач с применением мультиагенных технологий. Созданная технология и разработанные средства позволяют объединить гетерогенные распределенные ресурсы в единую вычислительную систему и обеспечить адаптивное распределение (и перераспределение) нагрузки по поступающим запросам для обработки задач в реальном времени.

Основные планируемые результаты проекта:
По результатам прикладных научных исследований получены следующие результаты:
- Научно-технические решения (архитектура, алгоритмы, протоколы взаимодействия) на основе проведенных исследований, теоретических результатов, обзоров и анализа современных моделей, методов, алгоритмов динамического планирования и адаптивного распределения задач в сетях распределенных устройств;
- Программно-техническое решение в виде прототипа мультиагентной системы управления распределенными гетерогенными вычислительными ресурсами для динамического планирования. В качестве практической задачи для тестирования системы выбрана задача динамического планирования маршрутов децентрализованной группы сверхлегких беспилотных летательных аппаратов (БПЛА). В такой системе помимо учета изначально заданных водных данных (ветер, температура, давление) должны учитываться и изменения этих данных в процессе самого планирования, а также перераспределение заданий в процессе выполнения маршрута.
- Технико-экономическая оценка результатов ПНИ, рекомендации и предложения по использованию результатов ПНИ;
- Проект технического задания на проведение ОКР по теме: "Разработка интеллектуальной системы управления распределенными гетерогенными вычислительными ресурсами с динамическим перераспределением задач в реальном времени для построения масштабируемых сервис-ориентированных комплексов обработки данных";
- Патентное исследование в соответствии с ГОСТ 15.011-96;

Краткая характеристика создаваемой/созданной научной (научно-технической, инновационной) продукции:
По результатам исследований разработаны научные и научно-технические решения в области создания перспективных технологий управления распределенными гетерогенными вычислительными ресурсами для эффективного распределения задач с применением мультиагенных технологий. Предлагаемые в работе подходы, основанные на применении мультиагентных технологий, позволяют повысить эффективность работы сети распределенных устройств за счет балансировки загрузки узлов сети посредством переговоров между агентами и перераспределения подзадач. Такой подход позволяет адаптивно реагировать на изменение системы и сократить время выполнения отдельных подзадач и всей задачи в целом. На основе разработанных решений создан прототип системы для решения задачи адаптивного планирования маршрутов сверхлегких БПЛА работающих в децентрализованной сети. Прототип системы имеет следующие черты:
• Язык программирования JAVA;
• Применение библиотеки Akka, которая позволяет писать многопоточные приложения;
• Сетецентрический подход;
• Мультиагентные технологии;
• Протокол взаимодействия и переговоров агентов при разрешении конфликтов для распределения нагрузки в сетях гетерогенных вычислительных устройств;
• Визуальные компоненты;
• Распределение заданий в группе БПЛА.
За счет внедрения принципов и технологий разработанных при выполнении ПНИ прототип системы способен не только выполнять планирование для гетерогенной сети сверхлегких БПЛА, но и реализовать адаптивное перераспределение заданий как на стадии планирования, так и в процессе выполнение заданий.

Назначение и область применения, эффекты от внедрения результатов проекта:
Результаты ПНИ могут быть применены при решении широкого спектра задач в различных областях, в том числе:
- для управления распределением нагрузки в уже существующих вычислительных центрах и центрах обработки данных, что позволит более эффективно использовать имеющиеся ресурсы;
- для объединения в облачные структуры большого количества гетерогенных вычислительных устройств, позволяя гибко предоставлять требуемые вычислительные мощности по запросу, в том числе при решении исследовательских задач;
- для организации и создания на базе разработанной технологии специализированных, отраслевых облачных сервисов хранения данных и предоставления услуг. Например, создание облачного сервиса для ресурсогенерирующих, ресурсотранспортных и ресурсосбытовых компаний сферы электро-газо-теплоснабжения, который позволяет производить распределенные расчеты текущих и прогнозных значений по генерации, транспортировке и потреблению ресурсов конечными потребителями;
- для организации на базе технологии облака "Интернета вещей", когда устройство может выполнять ту или иную вычислительную работу в собственных интересах или в интересах пользователей по запросам;
- для организации прозрачного взаимодействия произвольного количества различных распределенных сервисов для решения одной общей композитной сложной задачи;
- для организации как частных облачных сервисов, так и публичных с использованием как собственных вычислительных мощностей организации (в том числе и отдельных компьютеров сотрудников), так и с привлечением арендуемых мощностей (ресурсы центров обработки данных), то есть возможность реализации гибридной инфраструктуры;
- для реализации распределенных вычислений в задачах планирования использования распределенных вычислительных ресурсов для удовлетворения текущего множества имеющихся потребностей.
Предполагается, что технология будет использована для создания полноценной промышленной системы, которая может быть использована для проектирования конфигурации новых и модернизации существующих центров обработки данных и дата-центров.
Также полноценная система может быть использована телекоммуникационными провайдерами для управления работой существующими вычислительными и телекоммуникационными средами с целью улучшения текущих характеристик. Помимо этого, система может быть использована для задач планирования использования ресурсов вычислительных систем и систем обработки данных исследовательских центров и институтов, где определенное время доступа к вычислительным мощностям системы заранее не определено.
Кроме того предполагается, что полноценная система может быть использована пользователями мобильных устройств для решения повседневных задач планирования активностей с учетом имеющихся потребностей и возможностей окружения. Частными примерами таких потребностей и возможностей пользователей могут являться ежедневные задачи пользователей, которые могут быть удовлетворены только при участии других пользователей системы.
Основными потребительскими группами системы, разработанной с учетом наработанного в ходе выполнения работы научно-технического задела могут быть:
- многопользовательские виртуальные центры обработки данных (ЦОДы) и дата-центры (ДЦ)
- WAN-сети (глобальные сети) и корпоративные сети;
- сотовые сети мобильных операторов;
- крупные провайдеры (магистральные сети);
- компании разработчики робототехнических комплексов.
Разработанный прототип системы для решения задач адаптивного планирования маршрута сверхлегких БПЛА может быть использован в различных компаниях, которые либо производят сверхлегкие БПЛА, либо применяют их в различных целях.
Разработанная система способна повлиять на развитие новых технических решений в области работы с данными в гетерогенных сетях не только в промышленности, но и в направлении повышения эффективности использования общедоступных ресурсов (работа группы мобильных устройств). Исследование источников показало, что разработанная система является актуальной на мировом уровне и её разработка даст новые темы к международному сотрудничеству как с промышленностью, так и с научным сообществом.

Текущие результаты проекта:
- выполнен обзор современной научно-технической, нормативной, методической литературы, затрагивающей научно-техническую проблему, исследуемую в рамках НИР, в том числе научных информационных источников (статьи в ведущих зарубежных и российских научных журналах, монографии и патенты);
- выполнены патентные исследования в соответствии с ГОСТ 15.011-96;
- проведено исследование методов, алгоритмов и протоколов для управления распределенными гетерогенными вычислительными устройствами при распределении нагрузки;
- разработаны базовые классы агентов, базовые протоколы взаимодействия и переговоров агентов системы управления распределенными вычислительными ресурсами, базовые алгоритмы функционирования и принятия решений агентами по распределению задач между вычислительными устройствами;
- разработан прототип мультиагентной системы управления распределенными ресурсами при планировании порядка выполнения ресурсами поступающих подзадач. Прототип реализован с применением мультиагентных технологий и сетецентрического подхода для решения задачи адаптивного планирования и перераспределения подзадач в децентрализованной группе сверхлегких БПЛА;
- разработаны общая структура, алгоритмы, протоколы взаимодействия и переговоров агентов при разрешении конфликтов для распределения нагрузки в сетях гетерогенных устройств. В протоколы включены теоретические результаты по исследованию свойств и обоснованию использования протокола локального голосования, полученные на первом этапе выполнения проекта;
- разработаны визуальные компоненты прототипа для реализации возможности интерактивного взаимодействия Пользователя с программными модулями прототипа;
- проведено тестирование и оценка работы прототипа мультиагентной системы управления распределенными гетерогенными вычислительными ресурсами;
- разработаны программа и методики экспериментальных исследований, подобраны операторы для исследований, подготовлены рабочие места. На основе промежуточных результатов исследований проведены работы по доработке прототипа системы;
- разработана техническая документация в соответствии с требования ТЗ;
- разработан проект технического задания на проведение ОКР по теме: "Разработка интеллектуальной системы управления распределенными гетерогенными вычислительными ресурсами с динамическим перераспределением задач в реальном времени для построения масштабируемых сервис-ориентированных комплексов обработки данных";
- по результатам исследований подготовлено семь статей в изданиях, которые индексируются в Scopus или Web of Science (по плану - 5 );
- по теме проекта подана заявка на регистрацию программы ЭВМ (план – 1);
- промежуточные результаты представлены на 11-ти мероприятиях, направленных на освещение и популяризацию результатов (по плану -5);
- средний возраст исследователей - 29,9 (план - 37) и доля исследователей до 39 лет – 85,7 (по плану - 80);
- привлечено 1,7 млн. рублей внебюджетных средств (по плану – 1,7 млн.);
- использован ресурсный центр «ВЦ СПбГУ».
В качестве практической реализации разработан прототип системы для согласованного планирования и адаптивного перераспределения подзадач в децентрализованной группе БПЛА. Система позволяет планировать маршруты каждого БПЛА до взлета, в процессе планирования адаптивно корректировать маршрут в зависимости от изменения входной информации (добавления в группу новых устройств, отключения устройств, добавления и удаления задач-областей), а также проводить корректировку планов уже в процессе выполнения задачи. Полного аналога разработанной системы исполнителем не было найдено. Существующие планировщики преимущественно обладают возможностью статического планирования для одного устройства в зависимости от заданных оператором входных данных.