Регистрация / Вход
Прислать материал

Технологии и программное обеспечение распределенных и высокопроизводительных вычислительных систем. Хранение и обработка больших данных

Номер контракта: 14.579.21.0010

Руководитель: Лядвинский Максим Викторович

Должность руководителя: Технический директор

Докладчик: Винников Владимир Владимирович, Специалист по технической документации

Аннотация скачать
Постер скачать
Презентация скачать
Ключевые слова:
хранение данных, большие данные, архивы, масштабируемость схд

Цель проекта:
Цель - разработка инновационных научно-технических решений по созданию программного комплекса для управления системами хранения данных петабайтных объемов с применением программных средств контроля целостности вместо аппаратных. Задачи - Создание математических методов и разработка эффективных алгоритмов повышения надежности хранения больших объемов данных. Экспериментальная проверка свойств полученных алгоритмов на опытном образце СХД и объемах данных от 230 Тб до 3 Пб. Актуальность и научная новизна выполняемой исследовательской работы подтверждаются объективными недостатками аналогичных существующих решений и результатов научных проектов, а также большим количеством проводимых зарубежных исследований и разрабатываемых решений.

Основные планируемые результаты проекта:
Разработка и обоснование методов повышения надежности хранения данных.
Математическое доказанное подтверждение эффективности созданных алгоритмов на больших объемах данных.
Создание экспериментального образца ПО, реализующего надежное хранение данных с возможностью масштабирования до 3 Пб.
Получение патентоспособных РИД.
Ожидаемое программное решение будет превосходить существующие мировые разработки в сегменте долгосрочного архивирования резервных копий первичных данных. Преимущества над аналогами: инновационные методы обеспечения надежности хранения в условиях сбоев, неограниченная масштабируемость доступного пространства СХД при сохранении заданных эксплуатационных характеристик и высокая доступность данных, а также низкие конкурентоспособные стоимости хранения клиентских данных и обслуживания СХД за счёт самовосстановления, гибкой адаптации к меняющимся требованиям и совместимости с распространёнными приложениями резервного копирования.

Краткая характеристика создаваемой/созданной научной (научно-технической, инновационной) продукции:
Результаты работ по ПНИ будут предназначены для разработки базовых программных технологий повышения надежности хранения данных и последующей коммерциализации этих технологий в составе инновационных программных решений для управления хранением и обеспечения надежности хранения больших объемов данных.
Исследуемые алгоритмы и методы будут оптимизирована под задачи долгосрочного хранения данных многих петабайт данных, потому что именно в этой сфере прогнозируется динамичный рост потребления и относительно низкий уровень конкуренции, что позволяет говорить о перспективе лидерства в данном сегменте в случае выпуска коммерческих решений, основанных на исследуемых технологиях.
Согласно исследованию IDC Digital Universe Study, снижение стоимости комплектующих жестких дисков в системах хранения данных будет происходить значительно медленнее, чем будет расти объем хранимой информации. Таким образом, с учетом розничных цен на популярные системы хранения и жесткие диски в течение 2014 года в диапазоне от 100 до 800 тысяч долларов за петабайт существует незанятая рыночная область. Именно на создание решения в этой области нацелены предлагаемые научные исследования и экспериментальные разработки. Объем данной области, согласно прогнозам IDC, в ближайшие годы составит 1,8 миллиардов долларов.

Назначение и область применения, эффекты от внедрения результатов проекта:
Области возможного применения результатов проекта – это системы хранения данных, предназначенные для эффективного решения таких задач как:
1) анализ данных непосредственно из архива вместо раздельных процессов хранения больших данных и обработки их копий;
2) активный архив для индексации цифровых ресурсов с возможностью поиска;
3) хранилище цифровых документов;
4) архив данных средств массовой информации, финансовых рынков, пр., нормированных по времени;
5) долговременное хранение цифровых записей аудио и видео наблюдений;
6) хранилище исходных кодов программ и системы для тестирования ПО;
7) хранилище вторичных данных образов виртуальных машин;
8) хранилище больших объемов для резервных копий данных.

В результате выполнения ПНИ по теме исследования предполагается исследовать, теоретически обосновать и
экспериментально проверить, а затем реализовать в виде прототипа программного обеспечения инновационные методы организации эффективного высоконадежного хранения и обработки больших объемов данных, направленные на достижение:
1) экономии на стоимости СХД для хранения данных;
2) экономии на обслуживании и поддержке СХД емкостью 1 Пб и более;
3) повышенной надежности хранения данных на протяжении длительного (десятки лет) срока хранения больших объемов данных



Текущие результаты проекта:
Выявлены основные организационные, экономические и технические ограничения, возникающие при построении СХД петабайтного масштаба на основе имеющихся технологий. Определены перспективные распределенные файловые системы, предоставляющие архитектурный базис для построения высоконадёжных, легкомасштабируемых и высокодоступных СХД для хранения объемов данных свыше 1 Пбайт. Разработано семейство новых аналитических моделей для оценки надёжности СХД. Выработаны практические рекомендации в области разработки методов, алгоритмов и технологий для повышения надёжности и экономичности хранения больших объемов данных. Разработана математическая модель надёжности СХД, создано моделирующее ПО, а также экспериментальный стенд для сравнительной опытной оценки существующих решений.