Регистрация / Вход
Прислать материал

Создание распределенной системы сбора, хранения, обработки и управления потоками научных и технологических данных для наноиндустрии

Стадии проекта
Предложение принято
Конкурс завершен
Проект закончен
Проект
01.647.11.2002
Организация
ФГУП "НИИ "Волга"
Руководитель работ
Жуков Николай Дмитриевич
Продолжительность работ
2008 - 2009, 15 мес.
Бюджетные средства
45 млн
Внебюджетные средства
14,5 млн
Конкурс
Создание распределенной системы сбора, хранения, обработки и управления потоками научных и технологических данных для наноиндустрии

Цель работы – создание системы распределенного сбора, хранения, обработки и управления потоками научных, индустриальных и технологических данных (далее распределенная система данных), объединяющую сеть онлайновых центров данных с помощью интегрированного каталога метаданных и механизма логической адресации единиц хранения. Объектами хранения могут быть файлы, коллекции файлов, и базы данных.
Пользователь должен получить масштабируемое прозрачное хранилище гетерогенных данных с гарантированным качеством сервиса (защита, сохранность, скорость доступа) и унифицированными механизмами обмена данными разного типа (файлы, таблицы, массивы), которое будет совместимо с вычислительными сервисами Грид-инфраструктуры.
В части хранения целью работы является создание системы хранения научных данных для поддержания долговременного хранения, поиска и удобного доступа к параметрам экспериментов, необработанным экспериментальным данным, результатам обработки, данным имитационного моделирования, инструкциям по эксплуатации оборудования, методикам проведения экспериментов, научным отчетам и комментариям и другим материалам, а также организация поддержки процессов управления жизненным циклом данных, включая создание материалов, передачу, сохранение и доступ ко всем электронным и неэлектронным материалам, с обеспечением необходимой масштабируемости системы в соответствии с развитием сферы нанотехнологий и наноиндустрии.

Соисполнители

Организация
ЗАО "Прагма электроника"
Организация
ФГБОУ ВО "Саратовский ГАУ"
Организация
ФГБОУ ВО Саратовский ГМУ им. В.И. Разумовского Минздрава России
Организация
ИПТМУ РАН

Участники проекта

Зам. руководителя работ
Соловьев Владимир Михайлович

Этапы проекта

1
18.08.2008 - 15.09.2008
АННОТАЦИЯ
к отчету по 1 этапу работы «Создание распределительной системы сбора, хранения, обработки и управления потоками научных и технологических данных для наноиндустрии»
Шифр работы 2008-2-2.1-002-006.
Госконтракт 01.647.11.2002 от 18.08.2008 г.

Работа посвящена созданию системы, сбора, хранения, обработки и управления потоками научных и технологических данных для наноиндустрии.
Работа предназначена для использования в национальной информационной нанотехнологической сети (ННС).
Работа проводится на базе достижений организаций-участников, имеющих заделы по исследованиям и разработкам объектов наноиндустрии и информационным технологиям. На основе анализа литературных данных из задельных результатов выбраны основные технические решения, позволяющие выполнить требования Задания.
За основу разрабатываемой распределенной системы данных взят продукт gLite 3 и использованы следующие готовые компоненты: GridFTP, Storage Element, AMGA Meta Catalog, OGSA-DAI, встроенные грид-сервисы архитектуры OGSA, GENIUS web portal. Отсутствующие компоненты системы (брокер ресурсов, цифровая библиотека) будут реализованы с помощью интеграции с существующими компонентами (продукты iRODS, Fedora или аналогичные) и разработаны в рамках архитектуры gLite. Все выбранные и созданные компоненты будут интегрированы для получения полнофункциональной системы.
Выполнение работы позволит получить распределенную систему данных, обеспечивающую унифицированный, прозрачный, безопасный и авторизованный доступ к распределенным ресурсам хранения данных, включая каталоги файлов и базы данных для нанотехнологий и наноиндустрии по сервис-ориентированной технологии с гарантированным качеством сервиса (защита, сохранность, скорость доступа) и унифицированными механизмами загрузки, пересылки и получения данных разного типа (файлы, таблицы, массивы), которая будет совместима с вычислительными сервисами грид-инфраструктуры.
Программно-технический комплекс (ПТК) распределенной системы данных будет создан с использованием международных стандартов OGF, OGSA и UNIDATA. На рабочих местах доступ пользователей к сервисам распределенной системы данных будет осуществляться через веб-порталы и грид- и веб-сервисы по сети Интернет. ПО, используемое в точках доступа, будет поддерживать ОС Linux.
Экономическая значимость работы заключается в создании в стране единой взаимосвязанной информационной системы, позволяющей ускорять и удешевлять процессы разработок, внедрения, маркетинга и развития.
Прогнозные предположения о развитии системы оценивается как очень высокие в силу огромной положительной динамики состояния нанотехнологической и информационной составляющих жизнедеятельности общества.
Отчет содержит 176 cтр., 5 рис., 4 таблицы, 87 источников.
Развернуть
2
16.09.2008 - 05.12.2008
Краткое описание выполненных работ:

• Развернута первая очередь распределенной системы данных на основе двух зеркальных центров данных национальной нанотехнологической сети, грид-сервисов по обработке данных и каталога метаданных.
• Проведены испытания, отладка отдельных компонентов и первой очереди распределенной системы данных в целом.
• Подготовлена техническая документация по первой очереди системы.
• Разработаны реальные информационные элементы (научно-технических дисциплин) системы.
• Разработана программа работ на 2009г.
Развернуть
3
12.01.2009 - 15.05.2009
Разработка архитектуры и технических характеристик полнофунк-циональной системы.
  Разработка дополнительного необходимого программного обеспе-чения, программных интерфейсов и грид-сервисов.
  Разработка реально масштабируемых (исследования, технологии, мето-ды, анализы, научная организация) элементов системы по направлениям,
  Разработка программной документации (описание и текстов программ),
  Разработка программ и методик предварительных и приёмочных испы-таний.
Проведение анализа алгоритмов и разработанного программного обес-печения, результаты автономной отладки ПО РСД с проведением испытаний отдельных функций.
Развернуть
4
16.05.2009 - 05.11.2009
1. Проведены испытания, отладка отдельных компонент и системы в целом.
2. Разработаны методы и внедрены процедуры и регламенты сбора, передачи и хранения информации в распределенной системе данных.
3. Организованы мониторинг и администрирование распределенной системы данных с учетом необходимой мас¬штабируемости системы с учетом развития сферы нанотехно¬логий и наноиндустрии.
4. Организована служба поддержки пользователей.
5. Подготовлена техническая документация для системного адми¬нистрирования и руководства пользователей.
6. Проведены приемочные испытания распределенной системы данных
Развернуть

Программа

Программа "Развитие инфраструктуры наноиндустрии в Российской Федерации на 2008 - 2011 годы"

Программное мероприятие

2.1 Мероприятие по формированию информационной инфраструктуры наноиндустрии
Разработка распределенных алгоритмов и высокопроизводительной программной системы для облачного хранения, потоковой обработки и сбора в реальном времени сверхбольших наборов научных данных
Продолжительность работ
2011 - 2012, 11 мес.
Бюджетные средства
6 млн
профинансировано
Разработка алгоритмов и программных средств иерархической файловой системы для хранения и обработки сверхбольших наборов научных данных
Продолжительность работ
2011 - 2012, 11 мес.
Бюджетные средства
5,02 млн
Организация
АО "НИЦЭВТ"
профинансировано
Технологии и методы создания параллельной СУБД для решения задач хранения и обработки сверхбольших наборов научных данных на основе программного обеспечения с открытым исходным кодом
Продолжительность работ
2011 - 2012, 11 мес.
Бюджетные средства
5 млн
Организация
ФГАОУ ВО "ЮУрГУ (НИУ)"
профинансировано
Разработка алгоритмов и программных систем для решения задач сбора, хранения и обработки сверхбольших наборов данных дистанционного зондирования для решения научных задач в области науки о Земле и глобального изменения климата.
Продолжительность работ
2011 - 2012, 11 мес.
Бюджетные средства
6 млн
Организация
ИКИ РАН
профинансировано
Обработка, хранение, передача и защита технологической информации в распределенных системах управления
Продолжительность работ
2010 - 2012, 30 мес.
Бюджетные средства
1,5 млн
профинансировано
Создание распределенной системы сбора, хранения, обработки и управления потоками научных и технологических данных для наноиндустрии
Тема
Создание распределенной системы сбора, хранения, обработки и управления потоками научных и технологических данных для наноиндустрии
Продолжительность работ
2008 - 2009, 16 мес.
Бюджетные средства
70 млн
Количество заявок
3
Разработка алгоритмов и программных систем для решения задач хранения и обработки сверхбольших наборов научных данных и сбора потоков данных в реальном времени.
Тема
Разработка алгоритмов и программных систем для решения задач хранения и обработки сверхбольших наборов научных данных и сбора потоков данных в реальном времени.
Продолжительность работ
2011 - 2012, 14 мес.
Бюджетные средства
50 млн
Количество заявок
14
Разработка моделей интегральных систем off-line обработки, хранения и распределенного анализа данных экспериментов на будущих научных мегаустановках.
Тема
Разработка моделей интегральных систем off-line обработки, хранения и распределенного анализа данных экспериментов на будущих научных мегаустановках.
Продолжительность работ
2011 - 2012, 14 мес.
Бюджетные средства
50 млн
Количество заявок
5
Разработка технологий построения распределенных интегрируемых систем обработки, хранения и передачи информационных ресурсов на основе открытых спецификаций моделей данных и сервисов поддержки информационной инфраструктуры науки.
Тема
Разработка технологий построения распределенных интегрируемых систем обработки, хранения и передачи информационных ресурсов на основе открытых спецификаций моделей данных и сервисов поддержки информационной инфраструктуры науки.
Продолжительность работ
2008 - 2009, 15 мес.
Бюджетные средства
75 млн
Количество заявок
8
НК-425П Проведение поисковых научно-исследовательских работ по направлениям: «Обработка, хранение, передача и защита информации», «Создание интеллектуальных систем навигации и управления», «Распределенные вычислительные системы» в рамках мероприятия 1.2.2 Программы
Тема
НК-425П Проведение поисковых научно-исследовательских работ по направлениям: «Обработка, хранение, передача и защита информации», «Создание интеллектуальных систем навигации и управления», «Распределенные вычислительные системы» в рамках мероприятия 1.2.2 Программы
Продолжительность работ
2009 - 2011, 25 мес.
Бюджетные средства
0 млн
Количество заявок
67