Регистрация / Вход
Прислать материал

Разработка мультиагентной технологии управления распределенными гетерогенными вычислительными ресурсами для адаптивной балансировки загрузки устройств в реальном времени

Докладчик: Граничин Олег Николаевич

Должность: профессор кафедры, Профессор

Цель проекта:
1. Проект направлен на решение задачи управления децентрализованной сетью гетерогенных вычислительных ресурсов, для динамической обработки поступающего потока задач в рамках распределенной вычислительной среды, что позволит существенно повысить эффективность использования вычислительных ресурсов, надежность и живучесть данных систем. Создаваемая технология и средства призваны объединить гетерогенные распределенные ресурсы в единую вычислительную систему и обеспечить адаптивное распределение нагрузки по поступающим запросам для обработки задач в реальном времени. 2. Целью выполнения прикладных научных исследований является разработка комплекса научных и программно-технических решений в области создания перспективных технологий управления распределенными гетерогенными вычислительными сетевыми ресурсами для эффективного распределения вычислительных задач с применением мультиагенных технологий, а также разработка программно-технического решения в виде прототипа мультиагентной системы управления распределенными гетерогенными вычислительными ресурсами для динамического планирования вычислительных задач в реальном времени. Предполагается, что в дальнейшем технология может быть применена для разработки промышленной версии интеллектуальной системы управления вычислительными средами, включающие различные по программным и аппаратным возможностям устройства.

Основные планируемые результаты проекта:
1. В результате исследований будет разработана мультиагентная технология адаптивного управления распределенными гетерогенными вычислительными устройствами для динамической обработки поступающего потока задач в рамках распределенной вычислительной среды.
Будут разработаны протоколы и алгоритмы взаимодействия агентов, представляющих отдельные задачи и вычислительные устройства, с целью динамической балансировки загрузки сети и повышения эффективности ее работы.
В ходе выполнения ПНИ должны быть получены следующие результаты:
 обзор современных моделей, методов, алгоритмов динамического планирования и адаптивного распределения вычислительной нагрузки в сетях распределенных гетерогенных устройств в реальном времени;
 архитектура, классы агентов, протоколы взаимодействия агентов, алгоритмы функционирования и принятия решений агентами по распределению задач между вычислительными устройствами системы управления распределенными вычислительными устройствами;
 программно-техническое решение в виде прототипа мультиагентной системы управления распределенными гетерогенными вычислительными ресурсами для динамического планирования вычислительных задач в реальном времени;
 технико-экономическая оценка результатов ПНИ;
 рекомендации и предложения по использованию результатов ПНИ;
 проект технического задания на проведение опытно-конструкторских работ по теме: "Разработка интеллектуальной системы управления распределенными гетерогенными вычислительными ресурсами с динамическим перераспределением задач в реальном времени для построения масштабируемых сервис-ориентированных комплексов обработки данных".

2. Основные характеристики планируемых результатов (в целом и/или отдельных элементов), планируемой научной (научно-технической, инновационной) продукции:
 Обзор современной научно-технической, нормативной, методической литературы, затрагивающей научно-техническую проблему, исследуемую в рамках НИР, в том числе научных информационных источников: статьи в ведущих зарубежных и (или) российских научных журналах, монографии и (или) патенты) - не менее 15 научно-информационных источников за период 2009 – 2013 гг.;
 Патентные исследования в соответствии с ГОСТ 15.011-96;
 Исследование методов, алгоритмов и протоколов для управления распределенными гетерогенными вычислительными устройствами при распределения нагрузки в реальном времени;
 Классы агентов системы управления распределенными вычислительными ресурсами, алгоритмы функционирования и принятия решений агентами по распределению задач между вычислительными устройствами;
 Протоколы взаимодействия и переговоров агентов при разрешении конфликтов для распределения нагрузки в сетях гетерогенных вычислительных устройств;
 Прототип мультиагентной системы управления распределенными вычислительными ресурсами при распределении потоков данных;
 Программа и методики экспериментальных исследований прототипа системы управления распределенными гетерогенными вычислительными ресурсами для адаптивной балансировки загрузки устройств в реальном времени;
 Экспериментальные исследования в соответствии с Программой и методиками.
 Проект технического задания на проведение опытно-конструкторских работ по теме: "Разработка интеллектуальной системы управления распределенными гетерогенными вычислительными ресурсами с динамическим перераспределением задач в реальном времени для построения масштабируемых сервис-ориентированных комплексов обработки данных".

3. Предполагается использовать новые оригинальные научные и технологические решения.
Предлагаемые в ПНИ подходы, основанные на применении мультиагентных технологий для решения задачи управления вычислительными ресурсами при распределении поступающих потоков задач и находятся на уровне, соответствующем мировому. Для реализации поставленной цели прикладных научных исследований проведены аналитический обзор информационных источников научно-технической, методической литературы по исследуемой предметной области, исследования патентных и непатентных источников, теоретические исследования путей создания технологии.Обзор источников свидетельствует об отсутствии полных аналогов предлагаемой интеллектуальной мультиагентной системы управления распределенными вычислительными ресурсами, построенной по мультиагентному принципу. Основным сущностям моделируемой системы ставятся в соответствие программные агенты, определяющие свойства, поведение и правила взаимодействия моделируемых объектов системы. Каждый агент имеет определенную цель и стремится к ее достижению, взаимодействуя посредством сообщения от другими агентами и изменяя значения свойств, за счет чего достигается согласованное локально-оптимальное состояние всей системы в каждый момент времени.

4. Имеющийся у исполнителей научно-технический задел по проекту позволяет предположить соответствие ожидаемых результатов аналогичным работам, определяющим мировой уровень. Текущие результаты работ по проекту представлены на ведущих российских и международных конференциях.
Проведение исследований позволяет создать экспериментальный образец, удовлетворяющий современному уровню развития техники и оборудования.
Тенденции имеющихся на рынке разработок подтверждают правильность выбранного направления исследований, поскольку демонстрируют появление новых более интеллектуальных возможностей моделирования и согласованного управления всей инфраструктурой сети вычислительных ресурсов.

5. Задачи управления и распределенного взаимодействия в сетях динамических систем привлекают в последние десятилетия внимание все большего числа исследователей. Во многом это объясняется широким применением мультиагентных систем в разных областях, включая разработку автоматизированных систем управления, автоматическую подстройку нейронных сетей распознавания, управление формациями, роение, распределенные сенсорные сети, управление перегрузкой в сетях связи, взаимодействие групп БПЛА, относительное выравнивание групп спутников, управление движением групп мобильных роботов, синхронизации в энергосистемах и др.
Мультиагентные технологии предлагают принципиально новый метод решения задач. В отличие от классического способа, когда проводится поиск некоторого четко определенного (детерминированного) алгоритма, позволяющего найти наилучшее решение проблемы, в мультиагентных технологиях решение получается автоматически в результате взаимодействия множества самостоятельных целенаправленных программных модулей — так называемых программных агентов.

В ходе выполнения проекта планируется разработать новые, более сложные модели, методы и средства адаптивного динамического распределения задач по вычислительным ресурсам, связанные с выявлением и разбором конфликтов по предварительно забронированным ресурсам, а также получить теоретические оценки сходимости и других важных параметров данного процесса.Новые возможности агентов позволят производить анализ агентами задач доступных ресурсов вычислительной системы, отслеживать их характеристики, идентифицировать незадействованные устройства и гибко перестраивать структуру сети «на лету», своевременно определять возможность миграции на незадействованные ресурсы с целью их подключения к распределенной вычислительной системе, балансировать нагрузку системы за счет адаптивного выбора ресурсов для выполнения поступающих задач в реальном времени.
Предполагается, что разработанные в рамках ПНИ технология, а также прототип системы могут быть использованы для создания коммерческих версий специализированных мультиагентных систем для управления гетерогенными сотовыми и вычислительными сетями. Основными потребительскими группами системы, разработанной с учетом наработанного в ходе выполнения работы научно-технического задела, могут быть многопользовательские виртуальные центры обработки данных (ЦОДы) и дата-центры (ДЦ), WAN-сети (глобальные сети) и корпоративные сети, сети мобильных операторов, крупные провайдеры (магистральные сети).
Помимо этого, предполагается, что разрабатываемая технология может быть использована для построения отраслевых облачных сервисов хранения и обработки данных. Для реализации подобной системы необходимо выбрать те сервисы,которые особенно требовательны к вычислительным мощностям и для которых возможность автоматического подключения дополнительных вычислительных мощностей является критически важным. Примерами подобных отраслей являются сфера расчета научных исследований, энергетическая сфера в части расчета тарифов, текущих и прогнозных значений по производству и потреблению энергии(например, электроэнергии), сфера жилищно-коммунального хозяйства для расчета и оперативного пересчета платежей по коммунальным услугам и многие другие. Необходимо создание пилотной версии системы управления распределенными вычислительными ресурсами, которые используются совместно для решения вычислительных задач при расчете тех или иных значений (платежей, норм, прогнозов), которые требуется для данной выбранной отрасти народного хозяйства.

Назначение и область применения, эффекты от внедрения результатов проекта:
Обоснованием необходимости проведения ПНИ является высокая сложность решения задачи управления распределенными системами хранения и обработки данных, что обусловлено резко возросшим количеством устройств и потоков данных. Сетевой трафик, его структура изменились в связи с тем, что каждый запрос создает большое количество обращений к серверам приложений, базам данных, другим системам хранения и обработки информации. Сложность современной инфраструктуры сетей и вычислительных систем и рост трафика существующих тенденциях, способны вызвать резкое ухудшение скоростных характеристик предоставления сервисов и результатов вычислений.
Проведенные в ходе научно-исследовательской работы исследования и материалы отчетов показывают, что разработанные классы агентов, протоколы и алгоритмы могут быть использованы для разработки технологии
управления распределенными гетерогенными вычислительными ресурсами для адаптивной балансировки загрузки устройств в реальном времени.

1. Результаты ПНИ могут быть применены при решении широкого спектра задач в различных областях, в том числе:
 для управления распределением нагрузки в уже существующих вычислительных центрах и центрах обработки данных, что позволит более эффективно использовать имеющиеся ресурсы;
 для объединения в облачные структуры большого количества гетерогенных вычислительных устройств позволит гибко предоставлять требуемые вычислительные мощности по запросу, в том числе при решении исследовательских задач;
 для организации и создания на базе технологии специализированных, отраслевых облачных сервисов хранения данных и предоставления услуг. Например, создание облачного сервиса для ресурсогенерирующих, ресурсотранспортных и ресурсосбытовых компаний сферы электро-газо-теплоснабжения, который позволяет производить распределенные расчеты текущих и прогнозных значений по генерации, транспортировке и потреблению ресурсов конечными потребителями;
 для организации на базе технологии облака "Интернета вещей", когда устройство может выполнять ту или иную вычислительную работу в собственных интересах или в интересах пользователей по запросам;
 для организации прозрачного взаимодействия произвольного количества различных распределенных сервисов для решения одной общей композитной сложной задачи;
 для организации как частных облачных сервисов так и публичных с использованием как собственных вычислительных мощностей организации (в том числе и отдельных компьютеров сотрудников) так и с привлечением арендуемых мощностей (ресурсы центров обработки данных),то есть возможность реализации гибридной инфраструктуры;
 для реализации распределенных вычислений в задачах планирования имеющихся потребностей на существующие возможности текущим множеством распределенных вычислительных ресурсов.

2. После завершения работ по разработке технологии управления распределенными гетерогенными вычислительными устройствами будет разработан прототип системы, позволяющий использовать множество различных гетерогенные устройств как единый набор вычислительных ресурсов при выполнения тех или иных задач (вычисления, предоставление услуг посредством запроса сервиса). Предполагается, что технология будет использована для создания полноценной промышленной системы, которая может быть использована для проектирования конфигурации новых и модернизации существующих центров обработки данных и дата-центров.

Также полноценная система может быть использована телекоммуникационными провайдерами для управления работой существующими вычислительными и телекоммуникационными средами с целью подтверждения предполагаемых и улучшения текущих характеристик. Помимо этого, система может быть использована для задач планирования использования ресурсов вычислительных систем и систем обработки данных, исследовательских центров и институтов, где определенное время доступа к вычислительным мощностям системы заранее не определено.

Кроме того предполагается, что полноценная система может быть использована пользователями мобильных устройств для решения повседневных задач планирования активностей с учетом имеющихся потребностей и возможностей окружения. Частными примерами таких потребностей и возможностей пользователей могут являться ежедневные задачи пользователей, которые могут быть удовлетворены только при участии других пользователей системы.

Основными потребительскими группами системы, разработанной с учетом наработанного в ходе выполнения работы научно-технического задела могут быть:
 многопользовательские виртуальные центры обработки данных (ЦОДы) и дата-центры (ДЦ)
 WAN-сети (глобальные сети) и корпоративные сети;
 сотовые сети мобильных операторов;
 крупные провайдеры (магистральные сети).

3. По нашим исследованиям разрабатываемая система способна повлиять на развитие новых технических решений в области работы с данными в гетерогенных сетях не только в промышленности, но и в общедоступном направлении (работа группы мобильных устройств). Исследование источников показало, что разрабатываемая система является актуальной на мировом уровне и её разработка даст новые темы к мировому сотрудничеству как в промышленном отношении так и в научном.

Текущие результаты проекта:
В результате выполнения первого этапа работ по ПНИ выполнены следующие работы:
1. Выполнен обзор современной научно-технической, нормативной, методической литературы, затрагивающей научно-техническую проблему, исследуемую в рамках НИР, в том числе научных информационных источников: статьи в ведущих зарубежных и (или) российских научных журналах, монографии и (или) патенты).

2. Выполнены патентные исследования в соответствии с ГОСТ 15.011-96.

3. Проведено исследование методов, алгоритмов и протоколов для управления распределенными гетерогенными вычислительными устройствами при распределения нагрузки.

4. Разработаны базовые классы агентов, базовые протоколы взаимодействия и переговоров агентов, системы управления распределенными вычислительными ресурсами, базовые алгоритмы функционирования и принятия решений агентами по распределению задач между вычислительными устройствами.

5. Разработан макет прототипа мультиагентной системы управления вычислительными ресурсами при распределении потоков данных, моделирующий процессы поступления и перераспределения задач вы сети вычислительных ресурсов.

6. Разработано техническое задание на разработку визуальных компонент системы управления распределенными вычислительными ресурсами для динамического планирования вычислительных задач в реальном времени.

7. Участие в мероприятиях, направленных на освещение и популяризацию промежуточных результатов ПНИ, в таких как XII Всероссийское совещание по проблемам управления (16-19 июня 2014 г., Москва), Экономическая миссия делегации Самарской области в Республику Корея, г. Сеул (15-20 сентября 2014 г.), Форум «Открытые инновации» (31 октября-2 ноября 2014 г.), Международный инновационный форум «Пуцзян» (22-28 октября 2014 г.), 2014 IEEE International Symposium on Intelligent Control, Antibes, France (8-10 октября 2014 г.), 53st IEEE Conference on Decision and Control, Los Angeles, California, USA (15-17 декабрь 2014 г.).

8. По результатам исследований подготовлено несколько публикаций, в частности, три научных статьи в изданиях, которые индексируются в Scopus и Web of Science:
 Amelina N., Granichin O., Granichina O., Ivanskiy, Y., Jiang Y. Differentiated consensuses in a stochastic network with priorities // In: Proc. of the 2014 IEEE International Symposium on Intelligent Control, Antibes, France, October 8-10, 2014.
 Amelina N., Granichin O., Jiang Y. Differentiated consensuses in decentralized load balancing problem with randomized topology, noise, and delays // In: Proc. of the 53st IEEE Conference on Decision and Control, Los Angeles, California, USA, December 15-17, 2014.
 Granichin O., Amelina N. Simultaneous Perturbation Stochastic Approximation for Tracking under Unknown but Bounded Disturbances // Transactions on Automatic Control.

Архитектура системы, базовые классы, протоколы и мультиагентные алгоритмы описаны UML-диаграммами, в том числе диаграммами классов системы, диаграммами последовательности, описаны компоненты системы и порядок их взаимодействия. Архитектурные и проектные решения прошли проверку на адекватность. Для проверки адекватности и точности был разработан макет прототипа системы, реализующий базовые классы агентов и сущностей, протоколы взаимодействия и алгоритмы мультиагентного перераспределения поступающих задач, разработаны несколько тестовых сценариев и проведены исследования. Результаты исследований показали, что созданный в результате выполнения первого этапа работ прикладных научных исследований макет прототипа системы и заложенные в него технологические решения обеспечивают возможность адаптивного перераспределения задач в сетях вычислительных ресурсов и возможность обработки задач в соответствии с требованиями технического задания.

Макет прототипа системы, созданный в рамках 1 этапа работ обеспечивает возможность моделирования динамического перераспределения задач посредством взаимодействия агентов ресурсов, что позволяет гибко реагировать на непредвиденные события, возникающие (моделируемые на 1 этапе) в условиях работы сетевых систем обработки и хранения данных, что позволяет планировать, оптимизировать и контролировать распределение ресурсов и работу вычислительной системы в режиме реального времени. Моделирование позволяет проводить симуляции сценариев, анализировать реакции и упреждающие воздействия системы в ответ на непредвиденные события.

Макет прототипа системы может применяться для дальнейшего развития технологии, при анализе и проектировании новых алгоритмов управления сетевыми вычислительными ресурсами, процесс работы которых характеризуются постоянными перестроениями конфигураций, динамикой изменений в среде, а также неопределенностью в характеристиках поступающих вычислительных задач, что требует адаптивности при реакции на непредсказуемые события в режиме реального времени.