В этой статье обсуждается, как построить интерфейс мозг-компьютер, опираясь на оборудование потребительского класса и стационарные визуально вызванные потенциалы. Для этого одноканальный электроэнцефалограф, использующий сухие электроды, был интегрирован с очками дополненной реальности для представления стимулов и визуализации выходных данных. Окончательная система была неинвазивной, носимой и портативной.
Настоящая работа сосредоточена на том, как создать носимый интерфейс мозг-компьютер (BCI). BCI — это новое средство взаимодействия человека с компьютером, которое основано на прямых измерениях сигналов мозга, чтобы помочь как людям с ограниченными возможностями, так и трудоспособным. Примеры применения включают роботизированное управление, промышленный контроль и нейрореабилитацию. Примечательно, что недавние исследования показали, что стационарные визуально вызванные потенциалы (SSVEP) особенно подходят для приложений связи и управления, и в настоящее время предпринимаются усилия по внедрению технологии BCI в повседневную жизнь. Для достижения этой цели окончательная система должна опираться на носимые, портативные и недорогие приборы. При использовании SSVEP требуется мерцающий визуальный стимул с фиксированной частотой. Таким образом, при рассмотрении ограничений повседневной жизни в этом исследовании была изучена возможность предоставления визуальных стимулов с помощью умных очков. Кроме того, для обнаружения вызванных потенциалов рассматривалось коммерческое устройство для электроэнцефалографии (ЭЭГ). Он состоит из одного дифференциального канала с сухими электродами (без проводящего геля), что обеспечивает максимальную износостойкость и портативность. В таком BCI пользователь может взаимодействовать с умными очками, просто глядя на значки, появляющиеся на дисплее. На основе этого простого принципа был создан удобный и недорогой BCI путем интеграции очков расширенной реальности (XR) с коммерчески доступным устройством ЭЭГ. Функциональность этого носимого XR-BCI была изучена в ходе экспериментальной кампании с участием 20 испытуемых. Точность классификации составляла в среднем от 80% до 95% в зависимости от времени стимуляции. Учитывая эти результаты, система может быть использована в качестве человеко-машинного интерфейса для промышленного контроля, а также для реабилитации при СДВГ и аутизме.
Интерфейс мозг-компьютер (BCI) представляет собой систему, позволяющую взаимодействовать с устройствами и/или управлять ими без естественных нейронных путей1. Технология BCI – это самое близкое, что есть у человечества к управлению объектами силой разума. С технической точки зрения работа системы работает путем измерения индуцированной или вызванной мозговой активности, которая может быть либо непроизвольно, либо произвольно сгенерирована субъектом2. Исторически сложилось так, что исследования были сосредоточены на оказании помощи людям с двигательными нарушениями с помощью BCI3, но сегодня все большее число компаний предлагают инструменты на основе BCI для игр4, робототехники5, индустрии6 и других приложений, связанных с взаимодействием человека и машины. Примечательно, что BCI могут сыграть роль в четвертой промышленной революции, а именно в индустрии 4.07, где киберфизические производственные системы меняют взаимодействие между людьми и окружающей средой8. Вообще говоря, европейский проект BNCI Horizon 2020 определил сценарии применения, такие как замена, восстановление, улучшение, усиление или дополнение утраченных естественных функций центральной нервной системы, а также использование BCI в исследовании мозга9.
В этих рамках последние технологические достижения означают, что интерфейсы мозг-компьютер могут быть применимы для использования в повседневной жизни10,11. Для достижения этой цели первым требованием является неинвазивность, которая важна для предотвращения рисков хирургического вмешательства и повышения приемлемости пользователя. Тем не менее, стоит отметить, что выбор неинвазивной нейровизуализации влияет на качество измеряемых сигналов мозга, и дизайн BCI должен тогда иметь дело с соответствующими подводными камнями12. Кроме того, требуется износостойкость и портативность. Эти требования соответствуют потребности в удобной для пользователя системе, но также создают некоторые ограничения. В целом, упомянутые аппаратные ограничения устраняются за счет использования электроэнцефалографической (ЭЭГ) системы с безгелевыми электродами6. Такой BCI на основе ЭЭГ также будет недорогим. Между тем, с точки зрения программного обеспечения, было бы желательно минимальное обучение пользователей (или, в идеале, отсутствие обучения); А именно, было бы лучше избегать длительных периодов настройки алгоритма обработки, прежде чем пользователь сможет использовать систему. Этот аспект имеет решающее значение в BCI из-за межсубъектной и внутрисубъектной нестационарности13,14.
Предыдущая литература продемонстрировала, что обнаружение вызванных потенциалов мозга является надежным в отношении нестационарности и шума при приеме сигнала. Другими словами, BCI, основанные на обнаружении вызванного потенциала, называются реактивными и являются наиболее эффективными BCI с точки зрения распознавания мозговых паттернов15. Тем не менее, они требуют сенсорной стимуляции, что, вероятно, является главным недостатком таких интерфейсов. Таким образом, цель предлагаемого метода состоит в том, чтобы создать носимый и портативный BCI, основанный на носимых готовых приборах. Сенсорные стимулы здесь состоят из мерцающих огней, генерируемых умными очками, которые способны вызывать стационарные визуально вызванные потенциалы (SSVEP). В предыдущих работах уже рассматривалась интеграция BCI с виртуальной реальностью либо отдельно, либо в сочетании с дополненной реальностью16. Например, была предложена система BCI-AR для управления квадрокоптером с SSVEP17. Виртуальная реальность, дополненная реальность и другие парадигмы обозначаются термином расширенная реальность. В таком сценарии выбор умных очков соответствует требованиям к носимости и портативности, а умные очки могут быть интегрированы с минимальной настройкой сбора данных ЭЭГ. В этой статье показано, что BCI на основе SSVEP также требует минимального обучения при достижении приемлемых классификационных характеристик для приложений связи и управления с низкой и средней скоростью. Следовательно, этот метод применяется к BCI для повседневных применений и, по-видимому, особенно подходит для промышленности и здравоохранения.
Правильное функционирование системы включает в себя два важнейших аспекта: выявление SSVEP и сбор сигнала. Помимо конкретных устройств, выбранных для текущего исследования, SSVEP может быть вызван различными устройствами, обеспечивающими мерцающий свет, хотя умные очки предпочтительнее д…
The authors have nothing to disclose.
Эта работа была выполнена в рамках проекта «ИКТ для здравоохранения», который был финансово поддержан Министерством образования, университетов и исследований Италии (MIUR) в рамках инициативы «Департаменты передового опыта» (Закон о бюджете Италии No 232/2016) за счет гранта за выдающиеся достижения, присужденного Департаменту информационных технологий и электротехники Неаполитанского университета им. Федерико II. Неаполь, Италия. Проект действительно стал возможен благодаря поддержке инициативы Res4Net и TC-06 (Новые технологии в измерениях) Общества контрольно-измерительных приборов и измерений IEEE. Авторы хотели бы также поблагодарить Л. Каллегаро, А. Чоффи, С. Крискуоло, А. Культреру, Г. Де Блази, Э. Де Бенедетто, Л. Дураччо, Э. Леоне и М. Ортолано за их ценный вклад в разработку, тестирование и проверку системы.
Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
Earclip electrode | OpenBCI | N/A | Ear clip |
EEG-AE | Olimex | N/A | Active electrodes |
EEG-PE | Olimex | N/A | Passive electrode |
EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
Moverio BT-200 | Epson | N/A | Smart glasses |
Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |