Регистрация / Вход
Прислать материал

14.578.21.0189

Аннотация скачать
Постер скачать
Общие сведения
Номер
14.578.21.0189
Тематическое направление
Информационно-телекоммуникационные системы
Исполнитель проекта
федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики"
Название доклада
Разработка технологии автоматической бимодальной верификации по лицу и голосу с защитой от использования подложных биометрических образцов
Докладчик
Симончик Константин Константинович
Тезисы доклада
Цели и задачи исследования
Разработка технологии бимодальной верификации по лицу и голосу и программных средств защиты от использования подложных биометрических образцов.
Реализация разработанной технологии в виде перспективных программно-технических решений автоматической бимодальной верификации, обеспечивающих увеличение уровня безопасности при доступе к удаленным защищенным ресурсам, содержащим конфиденциальную информацию.
Актуальность и новизна исследования
Надежное распознавание и подтверждение личности стали необходимым атрибутом современной жизни. Во многом это связано с ростом количества преступлений в сфере информационных технологий - распространение вредоносных программ (вирусов), взлом паролей, кража номеров банковских карт и других банковских реквизитов. Например, клиенты хранят данные доступа прямо на ноутбуке или смартфоне. При утере или краже устройства доступ к сервисам легко могут получить третьи лица.
Еще одним недостатком паролей или электронной цифровой подписи (ЭЦП) является невысокое удобство использования — необходимость помнить пароль или хранить файл ЭЦП на отдельном носителе.
Оптимальным решением обеспечения безопасности дистанционной верификации является внедрение в системы контроля и управления доступом (в том числе удаленным с использованием защищенного интернет-соединения) бимодальной верификации по лицу и голосу с защитой от использования подложных биометрических образцов.
Из всех существующих вариантов идентификация личности по голосу и лицу является наименее навязчивой, наиболее доступной для человека, а также может осуществляться удаленно, например, по телефону. Более того, голосовая и лицевая биометрия – это технология, которая, помимо микрофона и видеокамеры, не требует дополнительного специального оборудования.
Защита от использования подложных биометрических образцов позволяет определить, находится ли перед камерой живой человек или его изображение.
В данном проекте предлагается разработать технологию бимодальной верификации, использующую трехфакторную защиту: верификация пользователя по лицу; верификация пользователя по голосу; защита от использования подложных биометрических образцов.

Описание исследования

В рамках проекта будут решены следующие научно-технические и технологические задачи:

1. Создание алгоритмов детектирования речевой активности, обеспечивающих:

- оценку таких параметров записи, как отношение сигнал/шум, время реверберации;

- оценку корректности произнесения парольной фразы.

Для решения задачи планируется использовать алгоритмы на основе извлечения соответствующих признаков речевого сигнала и анализ в признаковом пространстве.

2. Создание алгоритмов текстозависимой верификации пользователя по голосу, обеспечивающих:

- создание образца голоса пользователя по одной или нескольким аудиозаписям произнесения парольной фразы;

- сравнение созданных образцов голоса пользователей и оценку их степени схожести.

Для решения задачи планируется использование использование глубоких нейронных сетей (Deep Neural Networks). Исследования в области верификации по голосу показывают эффективность предлагаемых методов в рассматриваемой задаче, по сравнению с другими существующими методами (метод на основе скрытых марковских моделей, универсальной фоновой модели и др.)

3. Создание алгоритмов оценки портретных характеристик изображения лица, обеспечивающих:

- поиск лица на изображении;

- оценку характеристик изображения лица, таких как: размытие, равномерность освещения, степень закрытости рта и глаз, фронтальное отклонение глаз, вертикальное и фронтальное отклонение головы.

Для решения задачи планируется использование сверточных нейронных сетей (Convolutional Neural Networks). Современные исследования показывают абсолютное превосходство предлагаемых методов и все более широкое распространение в задачах обработки изображений.

4. Создание алгоритмов верификации пользователя по лицу в контролируемых условиях, обеспечивающих:

- создание образца лица пользователя по одной или нескольким изображениям;

- сравнение созданных образцов лица пользователей и оценку их степени схожести.

Для решения задачи планируется использование современных модификаций сверточных нейронных сетей (Convolutional Neural Networks). Исследования в области верификации по лицу показывают перспективность использования подобных подходов, в том числе для неконтролируемых условиях.

5. Создание алгоритмов защиты от попыток использования подложных биометрических образцов на основе анализа соответствия записи речи и видеоизображения лица в процессе произнесения пользователем парольной фразы, обеспечивающих:

- поиск и отслеживание положения характеристических точек лица, таких как: глаза, нос, контур губ;

- оценку соответствия движения губ произнесенной парольной фразе.

Для решения задачи планируется использованием собственных оригинальных разработок, составляющих основу отличительных особенностей всего предлагаемого решения от аналогов, представленных на рынке биометрических систем. Подход использует детектирование особых точек лица с использованием CLM (Constrained Local Models) и искусственных нейронных сетей для валидации синхронизации речевого сообщения с видеоизображением лица пользователя.

6. Создание алгоритмов, обеспечивающих принятия обобщенного решения на основе результатов:

- верификации по лицу;

- верификации по голосу;

- проверки защиты от попыток использования подложных биометрических образцов.

Планируется исследование методов и алгоритмов композиции классификаторов (SGB, голосование, AdaBoost) применительно к задаче бимодальной верификации.

Решение данных задач способствует созданию системы многомодальной защиты персональных данных непосредственно на мобильных устройствах (смартфонах, планшетах, без доступа к сети Интернет). Направленность на разработку расширяемого и легко встраиваемого решения для различных платформ и операционных систем, включающих в себя в том числе быстро развивающиеся мобильные устройства.

Результаты исследования

В ходе выполнения ПНИЭР должны быть получены научно-технические результаты:

1) Методы автоматической бимодальной верификации пользователя по лицу и голосу с защитой от попыток использования подложных биометрических образцов.

2) Алгоритмы, реализующие методы бимодальной верификации пользователя по лицу и голосу с защитой от попыток использования подложных биометрических образцов.

3) Программно-технические решения в виде экспериментального образца программного комплекса (далее — ЭО ПК), реализующего разработанные алгоритмы.

На момент завершения работ по первому этапу:

1. Выполнен аналитический обзор современной научно-технической, нормативной, методической литературы, затрагивающей научно-техническую проблему автоматической бимодальной верификации по лицу и голосу с защитой от использования подложных биометрических образцов, в том числе обзор научных информационных источников: не менее 15 источников за период 2011–2016 гг.

2. Проведены патентные исследования в соответствии с ГОСТ Р 15.011-96.

3. Выполнен выбор и обоснование направления исследований

4. Разработаны методы автоматической бимодальной верификации пользователя по лицу и голосу с защитой от попыток использования подложных биометрических образцов

Практическая значимость исследования
Результаты работ по проекту позволят создать решения на основе различных платформ, в том числе мобильных устройств, обеспечивающих:
- Автоматический контроль условий записи голоса и изображения лица, корректности произнесения парольной фразы.
- Автоматическое создание эталона голоса и лица пользователя.
- Сравнение эталонов голоса и лица пользователей.
- Автоматическую защиту от попыток использования подложных биометрических образцов.
Уникальной отличительной особенностью предложенного решения от аналогов, имеющихся на рынке, является наличие защиты от попыток злоумышленником использования подложных биометрических образцов.

Потребителем научно-технических результатов проекта, в первую очередь, является индустриальный партнер ООО «ЦРТ». Научно-технические результаты проекта планируется интегрировать в продукты индустриального партнера, а также на базе полученных результатов создать новый продукт.

Потенциальными потребителями научно-технических результатов проекта являются клиенты, партнеры и дилеры индустриального партнера не только в России, но и во всем мире.

Разрабатываемая технология является языконезависимой и может быть внедрена, например, в системы контроля и управления доступом в государственных структурах, в учреждениях здравоохранения и социальных службах, в правоохранительных органах и службах безопасности, финансовых организациях, на промышленном предприятии, на транспорте, в образовательных учреждениях, контактных центрах, спортивных объектах и местах массового скопления людей, в судебной системе.