Электромиографические интерфейсы с пропорциональным управлением для бионических протезов с большим числом степеней свободы

На сегодняшний день проблема декодирования движений руки по данным миографической (мышечной) активности является актуальной для создания биоэлектрических (бионических) протезов кисти. Даже самые современные протезы управляются с помощью простейшей классификации напряжения и расслабления двух мышц плеча или предплечья, а увеличение количества хватов достигается за счет последовательных паттернов сокращения этих мышц или переключения схватов на смартфоне. Изучение возможности восстановления точных движений по активности мышц у людей с ампутацией и врожденным недоразвитием верхней конечности является необходимой частью для создания системы управления протезом нового поколения. Для создания подобных устройств и систем управления необходим сбор, обработка и тщательный анализ миографических данных как у здоровых людей, так и у людей с врожденным отсутствием или ампутацией кисти.

Существующие решения по классификации и декодированию движений пальцев у людей с инвалидностью направлены, прежде всего, на классификацию жестов, то есть совместного движения нескольких пальцев. Однако современные методы машинного обучения могут не только улучшить классификацию жестов, но и восстановить свободные, естественные движения пальцев, рукописный текст (Okorokova et al., 2015) или намерения движений по электромиографии (ЭМГ). Целью данного проекта является изучение возможности подобного декодирования у людей с врожденным отсутствием или ампутацией кисти в сравнении со здоровыми людьми. В данном проекте реализуются различные подходы к анализу и сбору миографических данных и их последующего декодирования с применением нейронных сетей.

Методы сбора данных включают в себя ЭМГ высокой плотности (high-density EMG) в виде сеток (8х8 см и 4х4 см), представленных на рисунке ниже, а также браслеты, позволяющие собирать информацию со всей окружности предплечья.

 
Рис. 1. Электромиографические сетки с высокой плотностью расположения электродов.

Для детекции позиции пальцев в проекте используются технологии захвата движений: фреймворк MediaPipe для видеозаписей и алгоритмы внутри шлемов виртуальной реальности, таких как Oculus Quest 2. Выходные данные содержат 21 точку позиции пальцев в каждый момент времени в 3-ёх пространственных координатах (x, y, z).



Рис. 2. Выходные данные трекинга рук и шлем виртуальной реальности Oculus Quest 2.

Предварительные результаты проведённых экспериментов и декодирования показывают высокую точность восстановления углов сгибания пальцев на здоровых участниках (ошибка предсказания: 15-20 градусов в углах, корреляция настоящей кинематики пальцев и предсказанных значений: 0.7-0.9). На данный момент ведется сбор и анализ данных на людях с отсутствующей конечностью, проверяются гипотезы, вовлекающие человека в обучение нейронной сети (декодера) в режиме реального времени. Проект был поддержан Фондом содействия инновациям по программе “Студенческий стартап”, на основе которого разрабатывается программное обеспечение (виртуальная среда и алгоритмы) для бионических протезов, а также собственные ЭМГ-браслеты и электронные схемы для сбора данных.


Рис. 3. Среда виртуальной реальности для сбора ЭМГ-данных и обучения участника исследования.

На изображениях выше представлена среда виртуальной реальности для тренировки и записи данных. На экране выводятся инструкция и жесты, которые необходимо выполнять человеку. Слежение камерами на шлеме происходит лишь за одной рукой, тогда как визуализация второй - это отражение движений первой. Это необходимо для тренировки людей, перенесших ампутацию - для них представлены обе руки и их движения. После обучения модели координаты пальцев второй (отраженной) руки начинают зависеть от сигнала с мышц - так человек понимает, как модель предсказывает его намерения, и обучается управлять паттернами сокращения мышц.

Опубликованная статья по проекту: Okorokova, E., Lebedev, M., Linderman, M., & Ossadtchi, A. (2015). A dynamical model improves reconstruction of handwriting from multichannel electromyographic recordings. Frontiers in neuroscience, 9, 389. https://doi.org/10.3389/fnins.2015.00389