Прикладные исследования
Проект "Нейробарометр"
Цель проекта – разработка системы мониторинга слухового внимания (СМСВ) на основе электроэнцефалограммы (ЭЭГ), записываемой в процессе прослушивания текста.
Система может быть полезна в образовании и нейромаркетинге для оценки качества восприятия и потенциального воздействия информационных материалов на целевую аудиторию.
Например, при разработке учебных материалов (лекций, аудио- и видеоматериалов) система позволит определить, насколько внимательно обучаемые слушают преподавателя, а также сделать вывод об эффективности того или иного варианта подачи контента.
В нейромаркетинге информацию о глубине внимания можно будет использовать для индексирования валидности ответов участников фокус-групп. Например, если степень слухового внимания, оценённая с помощью данной системы, не будет превышать порогового значения, ответы респондентов будут исключаться из анализа.
Дизайн эксперимента
В ходе эксперимента испытуемому одновременно или попеременно предъявляются информационные сообщения. В процессе эксперимента, в соответствии с инструкцией на экране, требуется внимательно слушать указанный аудиопоток, стараясь при этом игнорировать другой.
МЕТОДЫ АНАЛИЗА ДАННЫХ
Фильтры Винера
Данный метод предполагает реконструкцию прослушиваемого сообщения с помощью оптимального линейного преобразования ЭЭГ-сигнала. Предыдущие исследования продемонстрировали принципиальную работоспособность данного подхода для декодирования 60-секундных фрагментов аудио. Наша задача – дальнейшее совершенствование данного алгоритма и обеспечение приемлемой точности оценки внимания на более коротких отрезках аудио.
Метод вызванных потенциалов
В публикации Центра (Koshkin, Shtyrov, Myachykov, & Ossadtchi, 2017) была продемонстрирована принципиальная возможность оценки внимания к исходному тексту на основе величины ранних вызванных потенциалов P1/N1. Мы продолжаем дальнейшую отработку метода, а также работу по созданию онлайновой системы мониторинга внимания на его основе.
Свёрточные нейросети
Нестационарность и высокий уровень шума затрудняют анализ и интерпретацию ЭЭГ-сигнала. Однако как было показано в ряде исследований, свёрточные нейросети способны успешно преодолевать данную проблему и имеют большой потенциал для классификации ментальных состояний по сигналу ЭЭГ, в том числе для оценки внимания. Мы ведём поиск эффективных нейросетевых архитектур и оптимальных гиперпараметров, которые позволят решить задачу оценки внимания с точностью более 90 процентов на коротких сегментах данных.
Публикации:
Koshkin R, Shtyrov Y, Myachykov A, Ossadtchi A (2018) Testing the efforts model of simultaneous interpreting: An ERP study. PLoS ONE 13(10): e0206129. https://doi.org/10.1371/journal.pone.0206129
Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.