14.612.21.0001

Целью исследования является разработка комплекса научно-технических решений в сфере облачных технологий для создания высокомасштабируемой системы хранения и управления данными с регулируемой избыточностью, интегрированной системой безопасности и гарантированным уровнем доступа и отказоустойчивости, предназначенных для использования в центрах данных государственных организаций и обслуживания компонент сайта электронных государственных услуг.
Задачами исследования являются:
1. Разработка облачной системы хранения и управления данными в датацентрах, включающей:
a. Распределённое хранение и обработку данных,
b. Высокомасштабируемые алгоритмы хранения сверхбольших объёмов данных,
c. Cнижение себестоимости хранения данных.
2. Разработка технологии предсказания и профилактики сбоев в аппаратных носителях данных, включающий:
a. Алгоритмы машинного обучения и предсказания снижения уровня отказоустойчивости распределённых систем хранения данных,
b. Алгоритмы профилактики, предотвращающие вероятность снижения уровня отказоустойчивости из-за аппаратных сбоев.
3. Разработка технологии защиты данных в датацентрах, включающей:
a. Технологию шифрования данных, находящихся на хранении,
b. Алгоритмы выявления и предотвращения атак на искажение или удаление хранимых данных.

Сегодня направление облачных вычислений формируется как доминирующее среди наиболее динамично развивающихся направлений ИТ-сектора. Актуальность облачных вычислений в условиях стремительного развития телекоммуникационных технологий трудно переоценить. В настоящее время остро стоит задача перевода существующей IT инфраструктуры и формата пользования ПО на новые основы. Если раньше ПО, хранение информации и ее обработка осуществлялись на компьютере конечного пользователя или серверах предприятий, то уже сегодня ПО и вычислительные мощности предоставляются пользователю за абонентскую плату. В этом есть множество преимуществ: низкая стоимость обслуживания, профессиональная техническая поддержка, автоматизация бизнеса и др.
Таким образом, назрела насущная необходимость проведения исследования в области создания распределенного облачного хранилища информации с гарантированной доступностью и интегрированной системой безопасности без выделенного центра, с учетом изменившейся инфраструктуры, всеобщего проникновения интеллектуальных устройств (мобильных устройств, смартфонов, подключенных к интернету устройств и др.), изменившихся требований к безопасности и надежности, новых интерфейсов пользователя и т.д.

Для решения поставленных проблем использованы методы дискретной математики и алгебры, вычислительной математики, методы математической статистики, методы теории операционных систем и системного программирования и алгоритмы машинного обучения.

В качестве основы решений заложено понятие «мобильности» как ключа к организации компьютерной среды:

• Мобильность пользователя - оказываемый пользователю сервис не зависит от доступности пользователя и от наличия у пользователя специфических устройств,
• Мобильность вычислительных ресурсов - вычислительные ресурсы прозрачным образом «следуют» за пользователем - перемещаются между физическими носителями,
• Мобильность данных – они, так же, как и вычислительные ресурсы, «следуют» за пользователем и имеют возможность перемещаться от одного физического носителя к другому,
• Независимость сетевого доступа от внешних параметров - доступ к сети и сетевым источникам практически не зависит от состояния внешней среды.

Существующие в настоящее время решения, связанные с распределенными хранилищами, имеют ряд существенных недостатков:

• Требование дорогих аппаратных решений,
• Отсутствие защиты и шифрования данных,
• Централизация обработки,
• Плохая масштабируемость для хранения сверх больших объёмов данных.

Для устранения, обозначенных недостатков использованы новые принципы представления данных в децентрализованном хранилище:

• В системе нет ни одного сервера, недоступность которого означала бы невозможность получения какого-либо файла данных,
• Предоставляемый сервис может быть получен от любого сервера системы,
• В хранилище заложены критерии функционирования, использующие в качестве параметра отказоустойчивости «количество доступных северов»,
• Система безопасности базируется на «декларируемых» полномочиях, то есть клиент хранилища перед началом работы декларирует наличие каких-либо полномочий, на основании которых и происходит дальнейшая работа,
• В случае любых действий клиента или сервера системы права и возможности других пользователей системы не должны меняться,
• Система не требует специальной поддержки со стороны аппаратного обеспечения или операционной системы,
• Хранение сверх больших объёмов данных.

Решение поставленных задач, с использованием вышеуказанных новых принципов представления данных в децентрализованном хранилище, позволило получить ряд результатов, способных к правовой охране. В частности:

• Метод организации виртуального отказоустойчивого хранилища на базе (n,k) схемы представления данных,
• Технология реализации отказоустойчивого хранилища,
• Модель безопасности децентрализованной системы хранения данных, базирующаяся на декларируемых полномочиях.

Метод оптимизированного размещения данных в группах серверов. 

1. Архитектура и принципы построения ВСХУД обеспечивают:

• подключение не менее 50 миллионов пользователей и не менее 50 тысяч групп пользователей,
• взаимосвязь не менее 5 географически распределенных узлов,
• производительность - не менее 10 IOPS.

2. Методы проектирования, установки и конфигурирования ВСХУД обеспечивают соответствие техническим требованиям по доступности, надежности и безопасности, предъявляемым регулирующими органами (ФСТЭК России, Роскомнадзор и другими) к технологиям, применяемым в составе сайта электронных государственных услуг.

3. Методы ТСИХД должны обеспечивают снижение стоимости обслуживания ОХ не менее, чем на 20%, в долгосрочном (более 5 лет) периоде по сравнению с распространенными в настоящее время аппаратными системами хранения, применяемыми для больших (от 1 Пбайт) объемов данных при сопоставимой надежности.

Полученные в ходе ПНИЭР результаты и разработанные решения предназначаются для организации масштабируемых облачных хранилищ данных в распределенных датацентрах, поддерживающих надежное и безопасное долговременное хранение больших (от 1 Пбайт) и сверхбольших (от 10Пбайт) объемов данных с возможностью высокопроизводительного доступа к данным по сетям Интернет общего пользования с различными протоколами подключения и характеристиками, распространенными в сетях на территории Российской Федерации и используемым в том числе для организации доступа к сайтам электронных государственных услуг и для организации архивного хранения данных.
Разрабатываемые в ходе ПНИЭР принципы, методы, алгоритмы и технологии направлены на:
1. Повышение скорости передачи данных между облачным хранилищем и потребителями для сокращения времени доступа к данным для полного восстановления из архивной копии данных,
2. Обеспечение глобальной доступности данных в облачных системах хранения, расположенных преимущественно в региональных датацентрах, датацентрах со слабой связанностью через Интернет, а также в регионах, потенциально подверженных чрезвычайным ситуациям,
3. Обеспечение безопасного и надежного распределенного хранения больших и сверхбольших объемов данных с возможностью последующего развертывания внутри центров данных государственных организаций,
4. Оптимизацию себестоимости хранения данных в облачных хранилищах с использованием инновационных методов сжатия, дедупликации и снижения избыточности хранения данных,
5. Повышение эффективности обработки данных путем предоставления доступа к данными независимо от используемого устройства и места расположения потребителя данных.