Нейроинтерфейсы

Организм существует в непрерывном взаимодействии с окружающей средой, причем эффективность этого взаимодействия у животных во многом обеспечивается работой нервной системы. Так, мозг человека получает информацию от органов чувств и посылает сигналы мышцам, регулируя движение и снова получая информацию о его результатах. Это развившаяся в ходе эволюции сбалансированная система, однако работа ее звеньев может оказаться нарушена в результате травмы или болезни: например, поражение звуковоспринимающего аппарата вызывает потерю слуха; поражение двигательных нейронов при боковом амиотрофическом склерозе приводит к параличу конечностей и атрофии мышц; повреждение спинного мозга приводит к потере чувствительности и возможности движения тела ниже места травмы. В первую очередь для восстановления возможностей взаимодействия в таких ситуациях разрабатываются нейрокомпьютерные интерфейсы (НКИ) - системы, которые позволяют измерять электрическую активность в центральной и периферической нервной системе, интерпретировать ее и превращать в сигналы для некоторого устройства (например, протеза руки), либо влиять на эту активность, сообщая организму информацию о внешнем мире. 

Мозг-компьютер интерфейс (МКИ) - разновидность нейрокомпьютерного интерфейса, в котором обмен информацией происходит непосредственно на уровне мозга (а не, например, периферических нервных волокон); таким образом, например, пользователь может управлять некоторым внешним устройством, намеренно моделируя активность своего мозга. 

В последние несколько десятилетий подобные системы нашли как клиническое, так и исследовательское применение и получили множество различающихся по разным параметрам реализаций. В клинике сессии управления идеомоторным (контролируемым при помощи воображаемых движений) МКИ используются для постинсультной реабилитации и восстановления возможностей движения; другой тип терапии - нейрообратная связь - помогает пациентам с неврологическими нарушениями, такими как эпилепсия, научиться самостоятельно регулировать ритмы мозга, улучшая свое состояние. Кроме того, замкнутая система, включающая в себя измерение активности мозга с обратной связью, может быть применена для исследования нейрофизиологических процессов, которые используются для генерации команд, мониторинга эффективности обучения или состояния оператора, а также проведения экспериментов в closed-loop парадигме, моделирующей помимо прочих параметров изменение состояния мозга в течение эксперимента.

Идеомоторный мозг-компьютер интерфейс на основе ЭЭГ

Электроэнцефалограмма (ЭЭГ) - метод регистрации активности головного мозга, часто используемый как в клинике, так и в когнитивной науке благодаря безопасности, эргономичности и доступности оборудования. ЭЭГ обеспечивает высокое временное разрешение, позволяя регистрировать быстро меняющиеся во времени сигналы, однако из-за характерных особенностей такого способа записи (удаленность от источника, рассеяние электрического поля при прохождении через мозговые оболочки и череп, артефакты, вызванные активностью мышц и движением глаз) отношение сигнал-шум в сигнале ограничивает количество возможных команд и время отклика. 

Для надежного декодирования команды необходимо, чтобы ей соответствовал достаточно масштабный нейрофизиологический феномен, который может быть детектирован несмотря на перечисленные сложности. Примером такого феномена является падение мощности сигнала в мю-диапазоне (8-12 Гц), которое наблюдается во время движения над участком коры, в котором представлена движущаяся часть тела. Как правило, при неинвазивной записи используются движения частей тела, имеющих обширное представительство в сенсомоторной коре (и, следовательно, вызывающих при движении более заметное изменение сигнала). В частности, разработанный нашей группой идеомоторный интерфейс на основе ЭЭГ может использовать в качестве команд реальные и воображаемые движения рук, ног и языка.

Детектирование изменений в сигнале, соответствующих командам, и различение команд между собой осуществляется при помощи алгоритмов обработки сигнала и анализа данных. Из-за нестационарности сигнала, связанной с шумом, индивидуальными особенностями пользователей интерфейса, пластичностью мозга и изменчивостью условий записи для декодирования команд используются алгоритмы с рядом параметров, настраиваемых индивидуально перед использованием интерфейса. Для настройки параметров алгоритма необходимо произвести запись, в ходе которой человек воспроизводит состояния, которые будут использоваться в качестве команд для интерфейса, причем для каждого момента времени известно, какое состояние воспроизводится в этот момент. После этого при помощи алгоритмов машинного обучения можно построить функцию, обрабатывающую новые данные и декодирующую состояние исключительно по сигналам мозга. Процесс записи калибровочных данных и использования интерфейса показан на видео ниже.

                          Демонстрация калибровки и использования разработанного идеомоторного мозг-компьютер интерфейса на основе ЭЭГ.

Следующее видео показывает пример использования того же интерфейса двумя пользователями. Взаимодействие может быть построено в кооперативном либо соревновательном режиме: оба оператора управляют движением устройства, пытаясь отклонить его либо в одну, либо в противоположные стороны. Такая парадигма может быть использована как в экспериментальных условиях, так и в контексте реабилитации в качестве задачи, мотивирующей и вовлекающей пользователя в выполнение действий, стимулирующих нейропластичность и повышающих шансы на восстановление.

Использование интерфейса двумя пользователями в соревновательном режиме.

Разработка двунаправленного интерфейса на основе ЭКоГ

Как правило, интерфейсы мозг-компьютер реализуются на основе неинвазивных методов, однако значительное повышение пропускной способности канала между мозгом и внешним устройством возможно только при использовании технологий, требующих хирургического вмешательства. Электрокортикография (ЭКоГ) - минимально инвазивный метод регистрации электрической активности мозга, который обеспечивает высокую пространственную и временную разрешающую способность при низком уровне рисков для пациента. Сигнал ЭКоГ содержит информацию о кинематических характеристиках движения, декодирование которых может быть осуществлено при помощи различных алгоритмов анализа данных. Кроме того, регистрация сигнала ЭКоГ может быть совмещена со стимуляцией участков коры головного мозга, которую можно использовать для передачи тактильной обратной связи. Таким образом, ЭКоГ является перспективной технологией для реализации двунаправленного интерфейса мозг-компьютер, которая является основной целью Международного центра биоэлектрических интерфейсов.

Наши пилотные исследования, проведенные с участием пациентов, прошедших субдуральную имплантацию электродов-полосок для предоперационного картирования коры, подтверждают возможность декодирования по сигналу ЭКоГ кинематических параметров движения. В частности, для синхронной регистрации характеристик движения и сигнала ЭКоГ была проведена серия экспериментов, во время которых испытуемый производил простые повторяющиеся движения пальца в свободном темпе. Движения пальца регистрировались при помощи трехосного акселерометра параллельно записи ЭКоГ с электродов-полосок, имплантированных на контралатеральной моторной коре. После этого решалась задача декодирования траектории движения пальца, которую характеризовал сигнал акселерометра, по данным многоканальной записи ЭКоГ.

Регистрация сигнала ЭКоГ (оранжевый) и сигнала акселерометра (фиолетовый). При помощи алгоритмов машинного обучения (схемы справа) решается задача восстановления сигнала акселерометра по сигналу ЭКоГ. Для оценки точности декодирования используется коэффициент корреляции между реальным и предсказанным сигналом акселерометра.

Было показано, что даже при использовании относительно простого алгоритма декодирования, основанного на вычислении абсолютных значений вейвлет-коэффициентов и винеровской фильтрации, профиль движения пальца может быть восстановлен с высокой точностью (коэффициент корреляции 0.56 между реальным и предсказанным сигналом акселерометра в каузальном режиме декодирования, т.е. при использовании данных ЭКоГ, предшествующих моменту времени, для которого восстанавливается сигнал акселерометра). При использовании сигналов ЭКоГ каналов в некаузальном режиме классический алгоритм позволяет достичь 70% точности.

Постимплантационное КТ головного мозга пациента. ЭКоГ электроды видны как яркие точки на таком изображении.

Тем не менее, высокое содержание информации в данных ЭКоГ по сравнению с неинвазивной записью дает основания предполагать, что использование сложных алгоритмов машинного обучения с большим числом параметров позволит более точно описать структуру данных и улучшить качество декодирования. К таким алгоритмам относятся методы глубинного обучения - семейства алгоритмов, которые позволяют моделировать сложные иерархические закономерности в данных. Использование глубинной сверточной нейронной сети, изображенной на рисунке выше, позволило декодировать профиль движения пальца с коэффициентом корреляции 0.8 в каузальном и 0.88 в некаузальном режиме декодирования, что показывает возможность представления глубинной сверточной нейронной сетью информации, связанной с кинематическими параметрами движения. Кроме того, анализ влияния отдельных каналов и полос частот на качество декодирования показал физиологически правдоподобную картину распределения весов между признаками. Таким образом, была показана возможность реализации декодирования кинематических параметров движения с высокой точностью при помощи минимально инвазивного метода ЭКоГ и современных алгоритмов глубинного обучения, что создает основу для реализации управления устройствами с большим количеством степеней свободы, а также исследования процессов, которые обеспечивают совершение моторного акта. 

Пример участка записи с графиком истинных (черный) и предсказанных (синий - без сглаживающего фильтра, красный - с фильтром) значений сигнала акселерометра.



Пример тепловой карты, показывающий вклад отдельных признаков (каналов и кадров в использованном
для декодирования участке записи ЭКоГ) в предсказание сигнала акселерометра.