Регистрация / Вход
Прислать материал

Разработка технологий параллельной обработки сверхбольших объемов данных с использованием колоночного представления и сжатия информации на кластерных вычислительных системах с многоядерными ускорителями и создание на их основе параллельной СУБД.

Номер контракта: 14.574.21.0035

Руководитель: Соколинский Леонид Борисович

Должность: Проректор по информатитзации

Организация: федеральное государственное автономное образовательное учреждение высшего образования "Южно-Уральский государственный университет (национальный исследовательский университет)"
Организация докладчика: Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Уральский государственный университет"(национальный исследовательский университет)

Аннотация скачать
Постер скачать
Ключевые слова:
сверхбольшие базы данных, параллельные и распределенные системы баз данных, многоядерные ускорители, колоночное представление данных, кластерные вычислительные системы, оперативная обработка транзакций, оперативная аналитическая обработка, фрагментный параллелизм, параллельные субд, колоночные индексы, доменно-интервальная фрагментация

Цель проекта:
Разработка комплекса научных и программно-технических решений в области технологий параллельной обработки сверхбольших объемов данных с использованием колоночного представления и сжатия информации на кластерных вычислительных системах с многоядерными ускорителями

Основные планируемые результаты проекта:
Методы индексирования и колоночного хранения реляционных таблиц, использующая сжатие данных на многоядерных ускорителях, которая обеспечивает эффективную параллельную обработку запросов к сверхбольшим распределенным базам данных.
Методы параллельного сжатия и распаковки данных на многоядерных ускорителях, ориентированные на применение в реляционных базах данных, использующих колоночное представление данных.
Методы выполнения основных реляционных операций на основе распределенных колоночных индексов.

Краткая характеристика создаваемой/созданной научной (научно-технической, инновационной) продукции:
Конечным продуктом является колоночный сопроцессор баз данных КСОП, способный взаимодействовать с реляционной СУБД. КСОП позволяет выполнять ресурсоемкие запросы с использованием распределенных колоночных индексов. Предложенное решение позволяет достичь ускорения 100-300 раз при выполнении запросов классов OLAP над сверхбольшими базами данных по сравнению с традиционными СУБД. Предложенный подход является новым, не имеет аналогов и находится на мировом уровне научных исследований в области обработки больших данных.

Назначение и область применения, эффекты от внедрения результатов проекта:
Результаты проекта предполагается использовать в следующих областях.
Решение практических задач и проведение фундаментальных исследований в широком спектре предметных областей, которые требуют оперативной и аналитической обработки баз данных сверхбольших объемов (научные базы данных в задачах моделирования климата и погоды, экспериментальных установок для изучения элементарных частиц, химических соединений и смесей и др., медицинские базы данных с историями болезней пациентов, базы данных социальных сетей и др.).
Моделирование и исследование произвольных аппаратных платформ параллельных систем баз данных, использующих многоядерные ускорители, в контексте оперативной и аналитической обработки сверхбольших баз данных.

Текущие результаты проекта:
Выполнена разработка методов и алгоритмов выполнения реляционных операций с использованием колоночных индексов.
Выполнена разработка методов и алгоритмов сжатия информации с использованием многоядерных ускорителей.
Выполнена формулировка технических требований к программной реализации разрабатываемых методов и алгоритмов.
Выполнена программная реализация разрабатываемых методов и алгоритмов в виде параллельной СУБД с сопроцессором баз данных.
Выполнена разработка программной документации на программную реализацию параллельной СУБД с сопроцессором баз данных.
Выполнена разработка системы тестовых наборов данных.
Выполнена разработка программы и методик экспериментальных исследований.
Проведены экспериментальные исследования программной реализации параллельной СУБД с сопроцессором баз данных.
Выполнена обработка и интерпретация результатов экспериментальных исследований.
Выполнена разработка методики подсчета энергоэффективности при выполнении ресурсоемких операций над сверхбольшими базами данных.
Результаты ПНИ представлены на пяти международных научных конференциях.
Получено одно свидетельство и поданы две заявки на регистрацию программ.
По результатам проекта защищена одна кандидатская диссертация и принята к защите 23 декабря 2015 г. еще одна кандидатская диссертация.
По результатам ПНИ опубликованы 2 статьи и приняты к печати 2 статьи в изданиях, индексируемых в SCOPUS и Web of Science.