Регистрация / Вход
Прислать материал

Технологии и программное обеспечение распределенных и высокопроизводительных вычислительных систем. Хранение и обработка больших данных

Докладчик: Лядвинский Максим Викторович

Должность: Технический директор

Цель проекта:
Цель работы – разработка комплекса научно-технических решений, направленных на создание программного комплекса, предназначенного для управления системами хранения данных для хранения больших (от сотен терабайт до десятков петабайт и более) объемов данных, включая научно-технические решения, направленные на отказ от применяемых аппаратных средств контроля целостности данных в пользу предлагаемых программных реализаций, основанных на разработанной в ходе исследований математической модели повышения надежности хранения больших данных.

Основные планируемые результаты проекта:
Результатами выполнения научных исследований будут:
-выводы об эффективности существующих систем хранения для больших данных и рекомендации по возможным улучшениям в области надежности и производительности при проектировании новых систем хранения данных
Предполагаемый технико-экономический эффект от внедрения результатов исследований может составить:
-экономию до 200% на стоимости СХД для хранения данных
-экономию до 150 дней в год на обслуживание и поддержку СХД емкостью 1 Пб
-повышение надежности хранения данных в 10 и более раз на протяжении длительного (десятки дет) срока
хранения больших объемов данных
-в 2-3 раза более высокая плотность хранения данных при значительно превосходящей аналоги надежности хранения
-математическая база, позволяющая научным путем на основе математического моделирования
вероятности выхода из строя компонент систем хранения подтвердить параметры надежности,
масштабируемости и отказоустойчивости архитектуры и программных алгоритмов хранения данных
Внедрение прототипа будет осуществлено на предприятие партнера. Результатом внедрения будет опытное сравнение разработанного прототипа с доступными коммерческими аналогами по следующим параметрам:
-производительность ввода-вывода;
-устойчивость по отношению к сбоям аппаратного обеспечения;
-удобство эксплуатации;
-себестоимость хранения данных.
На основе полученных результатов будет проведено усовершенствование архитектуры и реализованных алгоритмов для увеличения надежности и уменьшения себестоимости хранения данных.

Назначение и область применения, эффекты от внедрения результатов проекта:
Прототип инновационного программного обеспечения для организации масштабируемого и надежного хранения сверхбольших объемов данных возможно использовать:
-в областях, порождающих большое количество информации (анализ физических процессов, геологоразведочные работы);
-в медиа сфере и телекоммуникациях (обработка и хранение сообщений);
-в деловой сфере (финансовое моделирование, обработка статистики, хранение данных потребителей).
Прототип будет востребован везде, где получит широкое распространение виртуализация, которая является одной из причин быстрого роста объемов хранимых данных. Актуальным будет применение прототипа и там, где ограничено использование сервисов, предоставляемых публичными облаками. По результатам проведенной экспертизы не только в области хранения данных, но и в области виртуализации, было выявлено, что дальнейшее развитие прототипа должно предполагать объединение в программной архитектуре функций хранения и обработки данных с использованием гипервизора, что позволит расширить применение и улучшить показатели ROI для применяемого программного обеспечения.
Проведенные переговоры с десятками потенциальных клиентов из числа крупных финансовых институтов, телекоммуникационных операторов и компаний, занятых производством видео, подтвердили, что прототип сможет обеспечить наиболее востребованное и эффективное решение для совокупности ключевых проблем хранения данных: обеспечения надежности, масштабируемости и оптимизации стоимости хранения.
Предварительный расчет показывает, что применение прототипа обеспечит преимущество от 2100 до 2600 долларов на каждый хранимый терабайт данных за три года использования по сравнению с традиционными системами хранения. Для компании, использующих около 10 петабайт данных, это означает минимум 2,1 миллиона долларов экономии за три года или 700 тысяч долларов ежегодно

Текущие результаты проекта:
Выполнен аналитический обзор
Проведено патентное исследование на 80%
Разработано обоснование выбора направления исследования
Проведено исследования рынка систем хранения данных для облачного хранения
Сформирован перечень оборудования для создания тестового стенда.