Прикладные исследования

Проект "Нейробарометр"

Цель проекта – разработка системы мониторинга слухового внимания (СМСВ) на основе электроэнцефалограммы (ЭЭГ), записываемой в процессе прослушивания текста. 

Система может быть полезна в образовании и нейромаркетинге для оценки качества восприятия и потенциального воздействия информационных материалов на целевую аудиторию.

Например, при разработке учебных материалов (лекций, аудио- и видеоматериалов) система позволит определить, насколько внимательно обучаемые слушают преподавателя, а также сделать вывод об эффективности того или иного варианта подачи контента.

В нейромаркетинге информацию о глубине внимания можно будет использовать для индексирования валидности ответов участников фокус-групп. Например,  если степень слухового внимания, оценённая с помощью данной системы, не будет превышать порогового значения, ответы респондентов будут исключаться из анализа.

Дизайн эксперимента 
В ходе эксперимента испытуемому одновременно или попеременно предъявляются информационные сообщения. В процессе эксперимента, в соответствии с инструкцией на экране, требуется внимательно слушать указанный аудиопоток, стараясь при этом игнорировать другой. 

МЕТОДЫ АНАЛИЗА ДАННЫХ

Фильтры Винера
Данный метод предполагает реконструкцию прослушиваемого сообщения с помощью оптимального линейного преобразования ЭЭГ-сигнала. Предыдущие исследования продемонстрировали принципиальную работоспособность данного подхода для декодирования 60-секундных фрагментов аудио. Наша задача – дальнейшее совершенствование данного алгоритма и обеспечение приемлемой точности оценки внимания на более коротких отрезках аудио.

Метод вызванных потенциалов
В публикации Центра (Koshkin, Shtyrov, Myachykov, & Ossadtchi, 2017) была продемонстрирована принципиальная возможность оценки внимания к исходному тексту на основе величины ранних вызванных потенциалов P1/N1. Мы продолжаем дальнейшую отработку метода, а также работу по созданию онлайновой системы мониторинга внимания на его основе.


Свёрточные нейросети

Нестационарность и высокий уровень шума затрудняют анализ и интерпретацию ЭЭГ-сигнала. Однако как было показано в ряде исследований, свёрточные нейросети способны успешно преодолевать данную проблему и имеют большой потенциал для классификации ментальных состояний по сигналу ЭЭГ, в том числе для оценки внимания. Мы ведём поиск эффективных нейросетевых архитектур и оптимальных гиперпараметров, которые позволят решить задачу оценки внимания с точностью более 90 процентов на коротких сегментах данных.

Публикации:

Koshkin R, Shtyrov Y, Myachykov A, Ossadtchi A (2018) Testing the efforts model of simultaneous interpreting: An ERP study. PLoS ONE 13(10): e0206129. https://doi.org/10.1371/journal.pone.0206129