Регистрация / Вход
Прислать материал

14.581.21.0011

Аннотация скачать
Постер скачать
Презентация скачать
Общие сведения
Номер
14.581.21.0011
Тематическое направление
Информационно-телекоммуникационные системы
Исполнитель проекта
федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский Нижегородский государственный университет им. Н.И.Лобачевского"
Название доклада
Система регистрации и декодирования биоэлектрической активности мозга и мышц человека (СРД-1)
Докладчик
Казанцев Виктор Борисович
Тезисы доклада
Цели и задачи исследования
Целью проекта является создание новых методов и технологий, направленных на решение задачи дистанционного управления исполнительными устройствами различного функционального назначения. Акцент проекта сделан на интеграцию биоинформационных сигналов человека в контур управления. Такой подход предполагает регистрацию и интерпретацию сигналов различных модальностей (электроэнцефалограммы мозга и электрической активности мышц человека), в сигналы исполнительных устройств и робототехнических систем. Ключевой особенностью предлагаемого метода является разработка программируемого пользователем универсального транслятора биоинформационных сигналов, ассоциирующего характерным паттернам активности мозга и мышц человека с командами исполнительного устройства.
Актуальность и новизна исследования
Выполненные в рамках проекта исследования ориентированы на развитие технологий, предназначенных для решения задачи адаптивного управления исполнительными устройствами. Несмотря на значительные достижения, полученные в области машинного обучения, сравнительно недавно было доказано, что в рамках существующих теорий создание универсального адаптирующегося к различным условиям алгоритма не представляется возможным. В рамках проекта предпринята попытка разработки альтернативного подхода. В частности, особое внимание предлагается уделять разработке решений, предполагающих использование интеллектуальных функций человека для реализации эффективных систем управления исполнительными устройствами.
Проект, выполняемый при поддержке федеральной целевой программы, сфокусирован на разработке научно-технических решений, которые выполняли бы роль своего рода транслятора мыслительной деятельности человека в команды, понятные устройствам. Ключевой задачей проекта является разработка универсального программируемого пользователем интерпретатора, предназначенного для интеграции биоинформационных сигналов человека различной модальности, их преобразования, а также супервизорного управления исполнительным устройством по некоторому протоколу.
Описание исследования

В процессе разработки разработаны широкий круг уникальные методов регистрации сигналов биоэлектрической активности и ее интерпретации. В частности, выполнена разработка мультиэлектродных матриц для регистрации моторных движений в виде биоэлектрических потенциалов мышц. На матрице расположен массив электродов для регистрации активности группы мышц. Матрицы состоят из гибких материалов для обеспечения максимального контакта с поверхностью кожи. Уникальность разработки состоит в максимальной информативности многоканальных данных за счет оптимальной конфигурации массива электродов, которая разработана с учетом анатомических особенностей расположения мышц. Кроме того выполнены исследования по подбору материала покрытия электродов, отвечающего требованиям долговременной регистрации и позволяющего регистрировать сигналы амплитудой в несколько десятков микровольт.

Отдельное внимание в ходе исследований уделялось качеству сигнала и его предварительной обработке. Необходимость применения методов предварительной обработки обусловлена, главным образом, относительно низкими значениями амплитуды полезного сигнала, особенно это актуально для сигналов активности головного мозга. Для нивелирования воздействия шумовых факторов на процедуру классификации в ходе реализации проекта разработаны методы предварительной обработки данных регистрации электроэнцефалограммы. В частности, предложен метод подавления окулографических артефактов (искажений ЭЭГ сигнала вследствие движения глаз). Оценка коэффициента подавления оказалась в интервале -25.5 ±4.48 ДБ с вероятностью более 95%. Кроме того, предложен метод идентификации миографических артефактов, которые являются следствием электрических процессов, происходящих мышцах, окутывающих скальп.

Несмотря на более высокие значения амплитуды мышечных сигналов они также подвержены существенному зашумлению ввиду ряда причин. Это обстоятельство также потребовало создания специальных алгоритмов для обработки ЭМГ сигнала, способствующих эффективной работе классификатора паттернов миоэлектрической активности. Разработанные методы предобработки сигналов предполагают применение средств фильтрации, манипуляции с сигналом в частотной области, корректировку амплитудных характеристик (извлечение постоянной составляющей, масштабирование).

Следующим этапом развития проекта стола разработка методов классификации паттернов биоэлектрической многоканальной активности мышц. Паттерны представляют собой набор последовательностей импульсов на всех электродах в виде частоты импульсов и времен возникновения. Для инициализации классификатора выполняется процедура «обучения», когда выполняется запись шаблонных паттернов при определенном сокращении мышц - сгибание/разгибание кисти, сгибание/разгибание отдельных пальцев, поворот кисти и т.д., и каждому паттерну в соответствие ставится идентификатор класса. Система регистрации и классификации, сохранив шаблонные паттерны, с высокой точностью классифицирует сгенерированный мышцами паттерн и идентифицирует из «обученного» набора шаблонов.

В ходе выполнения проекта реализована методика анализа биоэлектрической активности мозга, которая представляется наиболее естественной и практичной парадигмой, позволяющей сохранить внимание на окружающей обстановке, методика, основанная на воображаемом движении. Пользователь такого интерфейса кодирует команду представлением о движении определенной конечности (кисти, руки, ноги). Такое воображаемое движение сопровождается десинхронизацией сенсомоторного мю-ритма (12-14 Гц). Регистрируемые амплитудные значения биоэлектрической активности в моторных областях классифицируются нейронной сетью. Разработанный алгоритм продемонстрировал высокую эффективность, позволив классифицировать 4 класса с точностью порядка 80%. Однако, как показала практика, точность работы классификатора достаточно сильно варьировалась в тестовой группе испытуемых. С целью минимизации разброса значений был разработан метод тренировки с использованием нейрообратной связи для усиления мощности мю-ритма. Кроме того были предложены модификации алгоритма (расширение обучающей выборки; использования константы линейной регрессии и др.) направленные на решение проблем, связанных с классификацией паттернов ЭЭГ.

Результаты исследования

По проекту ФЦП ИР №14.581.21.0011 «Система регистрации и декодирования биоэлектрической активности мозга и мышц человека (СРД-1)» был разработан экспериментальный образец устройства, позволяющего использовать многоканальные сигналы нервной системы человека для управления роботизированными платформами.

Существенное внимание в рамках выполнения проекта уделялось разработке и реализации алгоритмов детектирования и классификации паттернов биоэлектрической активности мышц человека. В ходе работ по проекту была предложен новый подход к реализации классификатора паттернов мышечной активности. В частности было предложено использовать гибридные нейронные сети, сочетающие преимущества нейронов, моделируемых в соответствии с нейробиологическими принципами и их математической абстракции (персептроны). Результаты, полученные при детектировании и классификации миопаттернов, продемонстрировали возможность классификации 9 паттернов с точностью до 98.3%. Кроме того, предложенная схема обработки электромиографических сигналов позволяет реализовать одновременное управление на основе классификации и пропорциональное управление.

Реализовано программное обеспечение для оптимизации набора ЭЭГ сенсоров. Было показана возможность достижения приемлемой (> 75%) медианной точности классификации четырёх состояний, используя всего 7 электродов. Полученный результат сопоставим и отличается в лучшую сторону от описанных в недавней международной литературе результатов. Так, при помощи 11 каналов Yang et. al. (2013) достиг средней эффективности в 78% при классификации 2-х воображаемых движений. Wei и Wang (2011) при помощи от 9-14 каналов и, используя оптимизацию параметров методом роя частиц, достигли 73% правильной классификации для трёх классов.

Проведены экспериментальные исследования разработанного ЭО ПАК СРД-1. В ходе работы комплекс продемонстрировал корректную работу при управлении реальными исполнительными устройствами (Aldebaran Robotics NAO и экзоскелетон нижних конечностей). Показано, что предложенные алгоритмы классификации движений позволяют СРД-1 занять достойную позицию среди разрабатываемых в мире человеко-машинных интерфейсов. Предложены как варианты модификации используемых алгоритмов анализа данных, так и подходы к обучению пользователя генерации более устойчивого сигнала Получены результаты, иллюстрирующие эффект от предлагаемых изменений, подтверждающие повышение качества декодирования состояний пользователя (в среднем на 5-10%). Работы проекта являются новыми, выполнены на высоком научном уровне, соответствуют мировым тенденциям, формирующимся в предметной области проекта. Разрабатываемый в ходе проекта ПАК СРД-1 способен поднять на принципиально новый уровень качество быта человека (концепция «умный дом», управляемые роботы) и существенно повысить уровень жизни людей с различной степенью нарушений двигательных функций.

Практическая значимость исследования
Одной из наиболее востребованных областей применения результатов проекта является их использование в качестве инструмента для реабилитации людей с ограниченными возможностями. Например, данные системы могут применяться в экзоскелетонных комплексах, протезах и других устройствах, направленных на реабилитацию пациентов с нарушениями опорно-двигательного аппарата. Здесь разрабатываемым техническим решениям отводится одна из ключевых ролей. Измеряя степень активации мышечной системы пациента, они позволяют адаптировать интенсивность механической роботизированной ассистенции движениям конечностей пользователя, активируя механизмы биологической обратной связи, что, в конечном итоге, способствует более продуктивному процессу реабилитации.
Другой вариант применения интерфейсов заключается в использовании их в качестве систем диагностики функционального состояния оператора. Т.е. осуществляя мониторинг биоэлектрической активности человека, можно предупредить усталость оператора и переход в зону повышенных ошибок. Таким образом, развитие средств коммуникации человека с вычислительными устройствами будет способствовать повышению безопасности.
Особый интерес работы по усовершенствованию существующих интерактивных систем представляют для производителей бытовой техники и игровой индустрии. Такие системы могут стать частью популярной в последнее время концепции «умного дома» или быть использованы в качестве её альтернативы.
Результаты реализации проекта могут быть внедрены в роботизированные системы и устройства-манипуляторы, управляемые человеком при помощи нейро-мио интерфейсов. Смена парадигмы от простого к мультимодальному способу адаптивного контроля позволит вывести разработки систем управления на новый уровень. А широкое применение стандартизированных человеко-машинных интерфейсов подтолкнет к появлению нового класса реабилитационных платформ, промышленного оборудования, бытовых и игровых устройств, в которых будет успешно сочетаться эффективность вычислительного устройства и интеллект человека.