Одновременное головы электроэнцефалография (ЭЭГ), электромиография (ЭМГ) и всего тела сегментных инерциальных Запись для Мультимодальные нейронных декодирование
Summary
Разработка эффективной мозг-машинного интерфейса (ИМТ) системы для восстановления и реабилитации прямохождения требует точной расшифровкой намерений пользователя. Здесь мы представляем новый экспериментальный протокол и технологию сбора данных для одновременной неинвазивной приобретение нейронной активности, мышечной активности, и всего тела кинематику различных задач во время передвижения и условий.
Abstract
Последние исследования подтверждают участие супраспинальном сетей в управление двуногих ходьбы человека. Часть этих доказательств проводятся исследования, в том числе наших предыдущих работ, демонстрируя, что походка кинематики и координации конечностей во время беговой дорожке ходьба может быть выведено из головы электроэнцефалограммы (ЭЭГ) с достаточно высокой точностью декодирования. Эти результаты дают импульс к развитию неинвазивных мозг-машинного интерфейса (ИМТ) системы для использования в восстановлении и / или увеличение походке Основная цель реабилитации исследований. На сегодняшний день исследования по изучению ЭЭГ декодирования деятельности при ходьбе были ограничены беговой дорожке ходить в контролируемой среде. Однако, чтобы быть практически жизнеспособной системы ИМТ должны быть применимы для использования в повседневных задач, таких как опорно-двигательного над землей ходьбе и поворотах. Здесь мы представляем новый протокол для неинвазивного коллекции активности мозга (ЭЭГ), мышечной активности (электромиографии (ЭМГ)), а Wholэлектронной кинематических данных тела (голова, туловище и конечности траекторий) как во время беговой дорожкой и над землей ходьбе задач. Собирая эти данные в неконтролируемой среде понимание можно получить относительно возможности декодирования неограниченной походки и ЭМГ от головы ЭЭГ.
Introduction
Этот протокол использует три системы сбора данных для одновременной записи ЭЭГ, ЭМГ, и всего тела кинематики (рис. 1, таблица 1). ЭЭГ данные собираются по беспроводной сети с 64 каналов с частотой дискретизации 1000 Гц в то время как субъекты ходить. Электромиографии (ЭМГ) собирается в 1000 Гц от поверхности электродов, расположенных на двусторонней основе четырех групп мышц: передней большеберцовой (TA), икроножной (Гаст), двуглавой мышцы бедра (BF) и латеральной (VL). Кинематическая данные собираются на 128 Гц от 11 беспроводных датчиков, установленных на голове, верхней части туловища, поясничной области, рук, бедер, голени и ступни для записи движения во время ходьбы. Каждый датчик содержит трехосный магнитометр, гироскоп трехосных и трехосный акселерометр (т.е. датчик MARG).
Данные собираются из каждой системы и синхронизированы во времени с одного ПК хозяина. Синхронизация осуществляется с помощью триггера сигнал, посланный в непрерывном Серидр. связи доступны для всех трех систем данных одновременно. Спусковой механизм был выполнен в виде простого переключателя. При нажатии кнопки сигнал запуска (1) отправляется на хост-компьютере, в то время как нулевой сигнал (0) отправляется, когда не нажата. Нажатие на кнопку пуска также вызывает 0,5 сек тона, используемого в качестве аудио сигнал для субъекта, как описано в протоколе ниже. Пять пар инфракрасный (ИК) датчики были изготовлены для использования в качестве расположение вызывает течение относительно земли ходьбе экспериментах, описанных ниже. Когда сигнал ИК прерывается сигнал запуска (1) отправляется к управляющему компьютеру через последовательный ссылку с помощью радиочастот (RF) связь с ручной коробкой курок.
Пользовательских C + + приложения, используя Software Development Kit (SDK), предоставляемых каждой системы, был разработан для записи и синхронизации данных. Код использует многопоточность техники; функции для сохранения данных из каждой системы (ЭЭГ, ЭМГ, и Margs) содержатся в индивидуумахidual темы. Программный алгоритм показан на рисунке 2. Сбор данных начинается, когда приложение выполняется и заканчивается, когда клавишу 'Q' нажата. Пять темы активируются при выполнении приложения. Один поток (рис. 2) отслеживает значение (0 или 1) сигнала триггера с последовательным соединением. Начальное значение триггера равна нулю. Когда триггер получил (т.е. когда нажата кнопка или прямой видимости между парой ИК датчик сломан) глобальные переменные триггера устанавливаются в 1. Эти переменные остаются 1, пока они не сбрасываются в темы, сбор данных.
ЭЭГ нить удаленный доступ головы ЭЭГ данных в режиме реального времени с использованием протокола TCP / IP. Данные записываются в текстовый файл строка за строкой на соответствующей частоте дискретизации (1000 Гц). Глобальный ЭЭГ сигнала запуска записывается в первом столбце, а столбцы 2-65 являются 64 каналов ЭЭГ. Если глобальный ЭЭГ сигнала запуска было 1, он сбрасывается в нуль. Данныеписьменно продолжается до тех пор ЭЭГ поток не прекращается. Два независимых рекорд темы MARG данных датчиков. Два потока являются необходимыми, поскольку 11 беспроводных датчиков MARG передачу данных с использованием программного обеспечения производителя в прочном потокового режима, который буферизует данные об отдельных датчиков для предотвращения потери данных в случае проблемы беспроводной передачи. Это ухудшает буферизации данных в реальном времени передачи: если один датчик не может передавать данные для данного образца все 11 датчиков сохранить этот момент времени в их буфера и направить его в следующей доступной точки образца. MARG беспроводную передачу данных неизбежно отстает ЭЭГ, таким образом MARG датчики нужно время, чтобы разгрузить буфер данных с компьютером пользователя после сбора данных остановлен. Чтобы решить эту проблему, две темы, которые используются в коллекции MARG данных алгоритм (рис. 2). Первый поток заполняет MARG буфера триггера из глобальной переменной триггер MARG на частоте дискретизации датчиков (128 Гц), а ЭЭГ нить сбораданных. При сборе данных прекращает запись тревожного буфера также завершается. Тема MARG (рис. 2) использует функции от датчика SDK для приема данных от датчиков и записать ее в файл в том же порядке, что и данные ЭЭГ. То есть, первый столбец имеет значение глобальной триггера MARG (полученный из MARG буфер триггер) и следующие 99 столбцов значений от 11 MARG датчиков (9 датчиков на единицу MARG). Нить MARG записывает данные до времени индекс MARG буфер триггера равна последнего индекса время данные ЭЭГ, при котором выполнение точки нити прекращается.
В отличие от ЭЭГ и MARG данных, ЭМГ данные не записываются без проводов. Вместо этого, ЭМГ данные записываются на SD карту в течение регистрации данных блока. Сигнал передается по Bluetooth подключение для запуска и остановки записи данных на карту памяти SD. Запись начинается, когда первый триггер руководство полученных ЭЭГ нити. Запись данных останавливается с ЭЭГпоток, когда кнопка «Q» нажата.
Следующий протокол был рассмотрен и одобрен этическими комитетами в Университете Хьюстона. Все предметы получил, прочитал и подписал форму согласия до участия.
Protocol
Representative Results
Discussion
Протокол, представленные здесь объединяет три системы сбора данных для одновременной записи активности мозга, мышечной активности, и всего тела кинематики при выполнении различных задач локомотива. Завершение весь протокол занимает примерно 3 часа, в том числе 1 час предметной подготовки. Каждая система смонтирована на, и перемещается вместе, предмет. Поэтому, очень важно, чтобы проверить связь ЭЭГ и ЭМГ электродов до начала каждого нового судебного разбирательства. Это можно легко сделать с помощью программных пакетов в компетенции соответствующих производителей, что позволяет данные, которые будут рассмотрены в реальном времени с использованием графического интерфейса на хост-компьютере. Приложение сбора данных требует эти программные пакеты, которые будут работать, упрощения процесса проверки. Кроме того, необходимо соблюдать осторожность, что MARG датчики надежно прикреплена к предмету перед каждым испытанием.
ЭЭГ и MARG данные передаются по беспроводной 2,4-2,5 ГГцобласти спектра. Поскольку много других электронных устройств использовать эту полосу частот, важно рассмотреть возможность беспроводного интерфейса в экспериментальной среде. Важным аспектом сбора данных линии прямой видимости видимость между подвижной тележки и субъект, который обеспечивает устойчивость к беспроводной помех. Оба ЭЭГ беспроводной приемник и MARG точки доступа (рис. 1) обеспечить светодиодами для индикации соединения верности. Хост-ПК и беспроводные приемники для ЭЭГ и MARG датчики размещаются на передвижную тележку для поддержания прямой видимости и максимально беспроводной передачи данных как субъект подошел землю. Мы нашли надежный сбор данных был наилучшим образом обеспечивается, сохраняя передвижную тележку пределах 5 метров от объекта, расстояние, которое не ограничивает движение объекта во время любого из задач. C + + приложение использует несколько потоков для сбора данных, чтобы обеспечить устойчивость к потере данных из-за прерывания беспроводной Cсвязности ЭЭГ. Если ЭЭГ связь потеряна, MARG и ЭМГ данные по-прежнему записана, но никаких данных ЭЭГ не будет доступна для тех моментов времени. MARG датчики обеспечивают на единицу буферизации, как описано выше для предотвращения потери данных в случае беспроводного соединения, в то время как ЭМГ данные хранятся на SD-карту в мобильном блок регистрации данных.
Общая проблема со сбором данных ЭЭГ во время ходьбы является наличие артефактов в сигналах. Вообще говоря, артефакты могут быть разделены на две группы: физиологические источники артефактов, включая мигает, движения глаз, лицевой мышечной активности, сердце бьется, и механические артефакты, такие как движения электродов и / или кабелей при выполнении экспериментального протокола. Удаление артефактов является предметом текущих исследований, и включает в себя такие методы, как анализ независимых компонентов и 15,16 канала шаблон на основе регрессии процедур 17. Минимизации артефактов и удаление является важным шагом в PReprocessing данных для нейронной декодирование движения тела. Установка, представленная здесь, как и в предыдущих исследованиях, в которых кабели электрода ЭЭГ были объединены в один разъем. Результаты этих исследований показывают, что механические артефакты, вызванные влиянием кабеля или движение не играют роль в декодировании движения от нейронной активности 7,8. Эти результаты подтверждаются данными других исследований, которые к выводу, что походка связанные артефакты были несущественными в медленных до умеренно скоростях ходьбы 17. Тем не менее, этот эксперимент меры ЭЭГ во время мероприятий, которые требуют больше движения тела, чем в предыдущих исследованиях, в том числе сидят в стоящее переходы, над землей ходьбе, и превращения, и, таким образом, тщательное изучение исходных данных ЭЭГ должны быть предприняты для выявления потенциальных от механических загрязнений артефактов. Хотя не получили широкого распространения, эти потенциальные проблемы могут быть решены за счет интеграции новых аппаратных в текущем протоколе. Такие аппаратные IncLudes активных электродов ЭЭГ (используемые в настоящем протоколе) и подпружиненные, сухой ЭЭГ электродов, которые имеют потенциал для улучшения состояния кожи-контакт электрода сопротивление во время движения 18. Эти технологии включаются в беспроводной ЭЭГ системы, которые могут уменьшить влияние артефактов движения 19. Интеграция новых аппаратных несмотря на это, этот протокол предоставляет уникальную возможность для продолжения разработки новых алгоритмов движения и ЭМГ артефакт отказ, потому что каждый сегмент тела была внедрена 16. Мы планируем изучить временных рядов и последовательность корреляции частотной области между показателями ЭЭГ, ЭМГ, и двигательного сегмента по разработке мощных артефактов отказ парадигм применима к в настоящее время ЭЭГ установок. Наши декодирования показали устойчивость к артефактам 7,8; эти методы будут рассмотрены в соответствии с более сложных сценариев в настоящем протоколе.
Особенности записанной поверхностиЭМГ зависят от многих факторов, и интерпретации поверхность сигналы EMG для изучения нейронных стратегий требует их рассмотрение 20. Строгие процедуры для подготовки кожи и ЭМГ размещения электродов, используемых в этом протоколе были разработаны, чтобы минимизировать влияние не-физиологических факторов на поверхности сигналов EMG. Амплитуда и частота ЭМГ, записанные с помощью протокола связаны с сетью единица активности мотор, и поэтому запись не следует интерпретировать как прямое представление нейронной активности нужного мышцы. Тем не менее, тщательное рассмотрение ЭМГ сигнала и более продвинутые методы оценки нейронных езды от мышц путем разложения ЭМГ сигнал для определения относительных изменений в нервной активации (например, путем определения разряда в единицы двигателя) может предоставить ценную информацию о модели мышечной активации 20. Более того, в контексте нейронных декодирования, хотя деятельность мозгаприобретенный Инвазивно было показано, содержат информацию о поверхность EMG 21, в настоящее время неизвестно, будет ли головы ЭЭГ также может быть использована для декодирования более низкую активность мышц конечностей во время ходьбы, в дополнение к походка кинематикой. Мы ожидаем, что этот протокол позволит нам изучить вопрос о пониженной пространственное разрешение неинвазивных методов визуализации головного мозга достаточно, чтобы изолировать нейронной активности, связанные с отдельными мышцами.
Предыдущие исследования показали возможности в использовании неинвазивного ЭЭГ для декодирования кинематики беговой дорожке во время ходьбы 7,8 придании импульса для развития интерфейса мозг машины (ИМТ), чтобы восстановить ходьбе с использованием сигналов от мозга. Временной области декодирования на основе амплитудной модуляции дельта-диапазона ЭЭГ сигналов также было показано нечувствительным к искусственной компоненты 7,8. Тем не менее, беговая дорожка Обучение происходит в контролируемой среде в течение которого пользователь зрения и управления движениемограничен, тем самым ограничивая загрязнение нейронной активности из-за внешних раздражителей. Посредством включения беспроводных данных каротажа, этот протокол позволяет собирать синхронизированных ЭЭГ, ЭМГ, и кинематических данных при выполнении различных задач передвижения и окружающей среды. Интеграция инерциальных датчиков для отслеживания движения требует больше вычислений и автономную обработку для извлечения кинематики, чем система захвата движения, и в результате мер содержат небольшое – но приемлемое – погрешности, которые не будут присутствовать в камеру система, основанная на 22. Эти управляемые трудности необходимость создания экспериментальной протокол, который позволяет мобильным исследование когнитивно-моторного поведения в изменяющейся среде. Как уже говорилось в другом месте 10,11, такую установку почти безграничны в исследовании вопросов, которые могут быть решены. В центре нашего внимания в ближайшем будущем будет на решение важнейших проблем развития ИМТ для реабилитации стоять и ходить послетравмы головного мозга и невропатии. Одним из ключевых компонентов, как упоминалось выше, будет разработка новых устойчивых стратегий развития декодирования для мозга-машинных интерфейсов на реабилитацию робототехнических систем, что может отказаться от физиологических и механических артефактов, чтобы восстановить движение с использованием сигналов, измеренных от мозга. Например, коридор ходьбе протокол выполняется в публичном пространстве с другими людьми присутствовать при сборе данных, и тем самым обеспечивает испытательного стенда для развития нейронных декодирования в естественной среде. Другие вопросы исследований, представляющих интерес с использованием этого протокола включать в себя сравнение реабилитации с участием роботов парадигм ритмические по сравнению с не-ритмической походке подготовки кадров и исследований нейронной активности во время функционального восстановления после травмы в острой и хронической фазе.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Работа выполнена при поддержке Национального института неврологических расстройств и инсульта (NINDS) грант № R01NS075889-01. Это исследование было поддержано частично Внутренние программы исследований NIH, Клинический центр. Авторы также благодарят Shahriar Икбал и Yongtian Он за помощь в сборе данных. Стоимость открытого доступа публикации этой статьи был организован АПДМ, Inc (Портленд, Орегон; http://apdm.com ).
Materials
| Name | Company | Quantity | |
| BrainAmp Amplifier | Brain Products, Gmbh | Quantity: 2 | |
| actiCAP EEG cap with 64 electrodes | Brain Products, Gmbh | Quantity:1 | |
| Brainvision MOVE wireless EEG system | Brain Products, Gmbh | Quantity:1 | |
| DataLOG MWX8 EMG data collection unit | Biometrics, Ltd. | Quantity:1 | |
| SX230 EMG electrodes | Biometrics, Ltd. | Quantity:8 | |
| R506 EMG ground electrode | Biometrics, Ltd. | Quantity:1 | |
| Opal movement monitor (MARG sensor) | APDM, Inc. | Quantity:11 | |
| Opal docking station for wireless data streaming | APDM, Inc. | Quantity:2 | |
| Opal wireless access point | APDM, Inc. | Quantity:2 | |
| Infrared Light Barrier Kit MK120 | Velleman, Inc. | Quantity:5 | |
| Wixel Programmable USB Wireless Module | Pololu, Inc. | Quantity:6 | |
| Table 1. Equipment |
References
- Choi, J. T., Bastian, A. J. Adaptation reveals independent control networks for human walking. Nature Neuroscience. 10 (8), 1055-1062 (2007).
- Grillner, S., Wallen, P., et al. Neural bases of goal-directed locomotion in vertebrates – an overview. Brain Research Reviews. 57, 2-12 (2008).
- Petersen, T. H., Willerslev-Olsen, M., Conway, B. A., Nielsen, J. B. The motor cortex drives the muscles during walking in human subjects. Journal of Physiology. 590 (10), 2443-2452 (2012).
- Fitzsimmons, N. A., Lebedev, M. A., et al. Extracting kinematic parameters for monkey bipedal walking from cortical neuronal ensemble activity. Frontiers in Integrative Neuroscience. 3, 3 (2009).
- Harada, T., Miyai, I., Kubota, K. Gait capacity affects cortical activation patterns related to speed control in the elderly. Experimental Brain Research. 193 (3), 445-454 (2009).
- Gwin, J. T., Gramann, K., Makeig, S., Ferris, D. P. Electrocortical activity is coupled to gait cycle phase during treadmill walking. Neuroimage. 54, 1289-1296 (2011).
- Presacco, A., Goodman, R., Forrester, L., Contreras-Vidal, J. L. Neural decoding of treadmill walking from noninvasive electroencephalographic signals. Journal of Neurophysiology. 106, 1875-1887 (2011).
- Presacco, A., Forrester, L. W., Contreras-Vidal, J. L. Decoding intra-limb and inter-limb kinematics during treadmill walking from scalp electroencephalographic (EEG) signals. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 20 (2), 212-219 (2012).
- Wagner, J., Solis-Escalante, T., et al. Level of participation in robotic-assisted treadmill walking modulates midline sensorimotor EEG rhythms in abled-bodied subjects. NeuroImage. 63, 1203-1211 (2012).
- Makeig, S., Gramann, K., et al. Linking brain, mind, and behavior. International Journal of Psychophysiology. 73, 95-100 (2009).
- Gramann, K., Gwin, J. T., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22, 593-608 (2011).
- Wilson, J. A., Schalk, G., et al. Using an EEG-based brain computer interface for virtual cursor movement with BCI2000. J. Vis. Exp. (29), e1319 (2009).
- Brummer, V., Schneider, S., et al. Coherence between brain cortical function and neurocognitive performance during changed gravity conditions. J. Vis. Exp. (51), e2670 (2011).
- Delorme, A., Makeig, S. EEGLAB: an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis. Journal of Neuroscience Methods. 134 (1), 9-21 (2004).
- Makeig, S., Bell, A. J., et al. Independent component analysis of electroencephalographic data. Advances in Neural Information Processing Systems. 8, 145-151 (1996).
- Rong, F., Contreras-Vidal, J. L. Magnetoencephalographic artifact identification and automatic removal based on independent component analysis and categorization approaches. Journal of Neuroscience Methods. 157, 337-354 (2006).
- Gwin, J. T., Gramann, K., Makeig, S., Ferris, D. P. Removal of movement artifact from high-density EEG recorded during walking and running. Journal of Neurophysiology. 103, 3526-3534 (2010).
- Liao, L. D., Wang, I. J., Chen, S. F., Chang, J. Y., Lin, C. T. Design, fabrication, and experimental validation of a novel dry-contact sensor for measuring electroencephalography signals without skin preparation. Sensors. 11, 5819-5834 (2011).
- Liao, L. D., Lin, C. T., et al. Biosensor technologies for augmented brain-computer interfaces in the next decades. Proceedings of the IEEE. 100, 1553-1566 (2012).
- Farina, D., Merletti, R., Enoka, R. M. The extraction of neural strategies from the surface EMG. Journal of Applied Physiology. 96, 1486-1495 (2004).
- Flint, R. D., Ethier, C., et al. Local field potentials allow accurate decoding of muscle activity. Journal of Neurophysiology. 108, 18-27 (2012).
- Luinge, H. J., Veltink, P. H. Measuring orientation of human body segments using miniature gyroscopes and accelerometers. Medical & Biological Engineering & Computing. 43, 273-282 (2005).
