Регистрация / Вход
Прислать материал

Разработка интеллектуального кэша данных, самомасштабируемой сервис-ориентированной архитектуры и экспериментального образца аналитической системы (BI) для обработки сверхбольших объемов данных.

Стадии проекта
Предложение принято
Конкурс завершен
Выполнение этапа проекта
Проект
14.579.21.0069
Руководитель работ
Ройтберг Михаил Абрамович
Продолжительность работ
2014 - 2016, 25 мес.
Бюджетные средства
19,48 млн
Внебюджетные средства
15,3 млн

Исследование и разработка комплекса научно-технических решений, направленных на создание методов и подходов повышения производительности аналитических систем за счет механизмов формирования интеллектуального кэша данных с использованием многоуровневой сервис-ориентированной архитектуры.

Участники проекта

Зам. руководителя работ
Чесов Роман Геннадьевич

Этапы проекта

1
24.11.2014 - 31.12.2014
Проведен аналитический обзор современной научно-технической литературы по теме проект. Показана перспективность развития выбранного направления. Проведены патентные исследования. Выявлены ведущие компании, патентующие технические решения, содержащие методы контроля движения транспорта с целью учета или регулирования движения. Проведен анализ и верификация существующих методов обнаружения и распознавания объектов наблюдения, включая методы обнаружения и распознавания дорожных ситуаций для бортовых систем беспилотных летательных аппаратов (БПЛА). Обоснована возможность обнаружения и классификации дорожно-транспортных происшествий и иных событий на борту БПЛА. Разработан эскиз специализированного вычислительного модуля реализующего функции бортового обнаружения и распознавания дорожных ситуаций.
Развернуть
2
01.01.2015 - 30.06.2015
Проведен анализ и обоснование выбора наиболее оптимальных алгоритмов управления и администрирования многоуровневой сервис-ориентированной архитектурой (СОА).
Проведен анализ и обоснование выбора наиболее оптимальных алгоритмов создания прикладной бизнес-логики ввода и обработки данных, графического представления пользовательского интерфейса.
Проведен анализ и обоснование выбора наиболее оптимальных алгоритмов изоляции и масштабирования на уровне ядра операционной системы отдельных узлов СОА.
Порведена программная реализация алгоритмов кэширования и алгоритмов интеллектуального определения алгоритмов кэширования.
Развернуть
3
01.07.2015 - 31.12.2015
Проведена программная реализация алгоритмов многоуровневой сервис-ориентированной архитектуры, в том числе:
  алгоритмов сервера приложений, обеспечивающих обработку прикладной бизнес-логики системы;
  алгоритмов серверов масштабирования и управления запросами, обеспечивающих эластичность производительности системы;
  алгоритмов обеспечивающих платформонезависимую разработку пользовательского интерфейса;
  алгоритмов обеспечивающих интерфейс внешнего разработчика прикладной бизнес-логики и управления масштабирование и кластеризацией.

  Проведена программная реализация прототипов алгоритмов изоляции и масштабирования на уровне ядра операционной системы отдельных узлов СОА.

Проведена программная реализация прототипа кластера, состоящего из узлов СОА, и исследование его производительности.

Проведена разработка программы и методики экспериментальных исследований программной реализации исследуемых алгоритмов.
Развернуть
4
01.01.2016 - 30.06.2016
Разработаны программа и методика тестирования пользовательского интерфейса. Разработан экспериментальный стенд для пользовательского тестирования. Разработан экспериментальный стенд для определения производительности алгоритмов. Разработана программа и методики экспериментальных исследований. Разработан и спроектирован демонстрационный стенда. Разработана и спроектирована система автоматической генерации пользовательских интерфейсов.
Развернуть
5
01.07.2016 - 31.12.2016
Разработана контейнеризированная многоуровневая клиент-серверная архитектура, включающая в себя подсистему кэширования, алгоритмы интеллектуального выбора политик замещения данных, подсистему масштабирования, которые обеспечивают создание высокопроизводительных промышленных аналитических систем. Создан стенд для тестирования производительности алгоритмов и проведения пользовательского тестирования. В результате экспериментальных исследований показано, что разработанная аналитическая система для обработки сверхбольших объемов данных соответствует требованиям ТЗ, и по ряду параметров превосходит их. При тестировании производительности алгоритмов кэширования определены наиболее перспективные алгоритмы LFU и LRU, которые позволяют уменьшить время отклика системы более чем в 30 раз, при этом время отклика системы не меняется при увеличении объема данных сервера управления базами данных и файлового хранилища до 1 ТБайта. При тестировании масштабируемости архитектуры продемонстрирован линейный рост производительности при увеличении числа процессоров и ядер, получена производительность 575 запросов в секунду для 1 ядра, что на порядок превосходит требования ТЗ. При исследовании производительности пользовательского интерфейса показано, что среднее время отклика интерфейса для различных операций составляет около 80 мс, что на 20% ниже заданного в ТЗ. "
Развернуть

Программа

Программа "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы"

Программное мероприятие

1.3 Проведение прикладных научных исследований и разработок, направленных на создание продукции и технологий
Тема
Создание комплекса проблемно-ориентированных сервисов доступа к прикладным программным ресурсам грид-инфраструктуры ННС на основе веб-сервисных технологий и интеллектуальных интерфейсов пользователя.
Продолжительность работ
2011, 7 мес.
Бюджетные средства
60 млн
Количество заявок
2
Тема
Разработка технологии создания высокопроизводительных модульно-наращиваемых многопроцессорных вычислительных систем с программируемой архитектурой на основе реконфигурируемой элементной базы.
Продолжительность работ
2005 - 2006, 23 мес.
Бюджетные средства
10,5 млн
Количество заявок
4
Тема
Исследования и разработка быстродействующей кластерной системы хранения и обработки сверхбольших объемов данных.
Продолжительность работ
2014 - 2016, 25 мес.
Бюджетные средства
70,88 млн
Количество заявок
6
Тема
Проведение проблемно-ориентированных исследований в области создания интеллектуальных интегрированных систем газо-, тепло- и электроснабжения сетецентрической архитектуры.
Продолжительность работ
2013, 6 мес.
Бюджетные средства
30 млн
Количество заявок
22
Тема
Разработка алгоритмов, технологий и прототипа информационной системы подготовки, обработки и представления больших объемов неструктурированных данных для использования на мобильных устройствах с ограниченной производительностью в транзакционно-нагруженных клиент-серверных решениях с учетом возможной работы в условиях нестабильной связи (на примере создания мобильного клиента специализированной системы информационно-аналитического обеспечения Президента РФ)
Продолжительность работ
2011 - 2013, 28 мес.
Бюджетные средства
160 млн
Количество заявок
1