Регистрация / Вход
Прислать материал

14.579.21.0010

Аннотация скачать
Постер скачать
Общие сведения
Номер
14.579.21.0010
Тематическое направление
Информационно-телекоммуникационные системы
Исполнитель проекта
Общество с ограниченной ответственностью "Проект Икс"
Название доклада
Технологии и программное обеспечение распределенных и высокопроизводительных вычислительных систем. Хранение и обработка больших данных
Докладчик
Владимир Винников Владимирович
Тезисы доклада
Цели и задачи исследования
Цель проекта - разработка инновационных научно-технических решений по созданию программного комплекса для управления системами хранения данных петабайтных объемов с применением программных средств контроля целостности вместо аппаратных.
Задачи - создание математических методов и разработка эффективных алгоритмов повышения надежности хранения больших объемов данных, экспериментальная проверка свойств полученных алгоритмов на опытном образце СХД и объемах данных от 230 Тб до 3 Пб.
Актуальность и новизна исследования
Актуальность и научная новизна выполняемой исследовательской работы подтверждаются объективными недостатками аналогичных существующих решений и результатов научных проектов, а также большим количеством проводимых зарубежных исследований и разрабатываемых решений.
Описание исследования

Результаты работ по ПНИ будут предназначены для проведения опытно-конструкторских работ по реализации программных технологий повышения надежности хранения данных и последующей коммерциализации этих инновационных программных решений по управлению высоконадёжным хранением больших объемов данных.

Разработанные программные решения будут оптимизированы под задачи высокопроизводительного хранения многих петабайт данных, поскольку в этой сфере рынка IT-технологий прогнозируется динамичный рост потребления и относительно низкий уровень конкуренции, что позволяет говорить о перспективе лидерства в данном сегменте в случае выпуска коммерческих решений, основанных на разработанных технологиях и программных решениях.

Предметом исследования являются: анализ свойств надежности и отказоустойчивости распространенных систем хранения данных в случае их использования для хранения быстро растущих объемов данных, измеряемых петабайтами; анализ эффективности алгоритмов обеспечения надежности хранения; анализ существующих и разработка новых методов и алгоритмов; анализ существующих и проектирование инновационных методов, алгоритмов и технологий построения систем хранения больших данных, обеспечивающих высоконадежное длительное хранения сверхбольших массивов информации, включая хранение в частных и публичных облаках и позволяющих значительно сократить расходы на архивное хранение данных.

Результаты исследования

Создание экспериментального образца ПО, реализующего надежное хранение данных с возможностью масштабирования до 3 Пб. Экспериментальное подтверждение высокой надёжности и производительности созданных программных решений при работе с большими объемами данных по сравнению с существующими аналогами типа Ceph. Получение патентоспособных РИД, публикация результатов исследований в периодической научной литературе и подготовка кандидатских диссертационных работ. Ожидаемое программное решение будет превосходить существующие мировые разработки в сегменте долгосрочного архивирования резервных копий первичных данных. Преимущества над аналогами: инновационные методы обеспечения надежности хранения в условиях сбоев, неограниченная масштабируемость доступного пространства СХД при сохранении заданных эксплуатационных характеристик и высокая доступность данных, а также низкие конкурентоспособные стоимости хранения клиентских данных и обслуживания СХД за счёт самовосстановления, гибкой адаптации к меняющимся требованиям и совместимости с распространёнными приложениями резервного копирования.

Текущие результаты проекта:
Разработана модульная программная архитектура ПрК уСХД в составе алгоритмических компонентов, реализующих следующую функциональность: помехоустойчивое кодирование данных согласно заданной схеме, определение размера блока хранимых данных, распределение данных по серверам хранения, выявление аппаратных дисковых и сетевых сбоев на уровне серверовк и стоек, проверка целостности хранимых данных на скрытые битовые ошибки, восстановление данных при обнаружении ошибок и сбоев.
Разработана программная документация на модульные компоненты ЭО уСХД, обеспечивающие надёжность хранения данных и реализующие помехоустойчивые коды Рида — Соломона, проверку контрольных сумм данных — скраббинг, обнаружение явных аппаратных сбоев, миграцию данных с потенциально сбойных дисков, распределение данных по узлам СХД с учётом сосредоточенности данных (locality) и ограничений на области отказов (failure domain), обеспечение высокой доступности сервисов СХД, автоматическое детектирование недоступных сервисов и перезапуск этих сервисов на одной из машин СХД. 
Индустриальным партнером разработано служебное ПО для автоматизации экспериментального исследования ЭО на аппаратном тестовом стенде в связке с программным обеспечением Acronis Backup Индустриального партнёра. С использованием разработанного служебного ПО и в соответствии со структурой разработанной ПМЭИ проведены исследовательские эксперименты, включающие: настройку исследуемого системного ПО, реализующего СХД; выполнение серийных тестов и сравнительный анализ полученных измерений с существующими аналогами типа GLuster и Ceph.​

Практическая значимость исследования
Области возможного применения результатов проекта – это системы хранения данных, предназначенные для эффективного решения таких задач как:
1) анализ данных непосредственно из архива вместо раздельных процессов хранения больших данных и обработки их копий;
2) активный архив для индексации цифровых ресурсов с возможностью поиска;
3) хранилище цифровых документов;
4) архив данных средств массовой информации, финансовых рынков, пр., нормированных по времени;
5) долговременное хранение цифровых записей аудио и видео наблюдений;
6) хранилище исходных кодов программ и системы для тестирования ПО;
7) хранилище вторичных данных образов виртуальных машин;
8) хранилище больших объемов для резервных копий данных.
В результате выполнения ПНИ по теме исследования предполагается исследовать, теоретически обосновать и экспериментально проверить, а затем реализовать в виде прототипа программного обеспечения инновационные методы организации эффективного высоконадежного хранения и обработки больших объемов данных, направленные на достижение:
1) экономии на стоимости СХД для хранения данных;
2) экономии на обслуживании и поддержке СХД емкостью 1 Пб и более;
3) повышенной надежности хранения данных на протяжении длительного (десятки лет) срока хранения больших объемов данных.
Постер

Poster_template_IT.ppt