Électroencéphalographie simultanée du cuir chevelu (EEG), l'électromyographie (EMG), et l'ensemble du corps d'enregistrement d'inertie segmentaire pour Multi-modal Neural Decoding
Summary
Développement d'un système cerveau-machine interface (IMC) efficace pour la restauration et la réhabilitation de locomotion bipède nécessite décodage précis de l'intention de l'utilisateur. Nous présentons ici un protocole expérimental original et technique de collecte de données pour l'acquisition simultanée non-invasive de l'activité neuronale, l'activité musculaire et du corps entier cinématique au cours de diverses tâches et les conditions de locomotion.
Abstract
Des études récentes soutiennent l'implication des réseaux supraspinaux dans le contrôle de la marche bipède humain. Une partie de ces éléments de preuve comprend des études, y compris nos précédents travaux, démontrant ainsi que la cinématique marche et la coordination des membres lors de la marche sur tapis roulant peuvent être déduites à partir de l'électroencéphalogramme du cuir chevelu (EEG) avec des précisions raisonnablement élevés de décodage. Ces résultats fournissent une impulsion au développement des systèmes cerveau-machine interface non-invasive (IMC) pour une utilisation dans la restauration et / ou l'augmentation de la démarche-un des principaux objectifs de la recherche en réadaptation. À ce jour, les études portant sur le décodage de l'activité EEG au cours de la marche ont été limitées à marche sur tapis roulant dans un environnement contrôlé. Toutefois, pour être pratiquement viable un système IMC doit être applicable pour une utilisation dans des tâches de locomotion quotidiennes comme marcher sur un sol et en tournant. Ici, nous présentons un nouveau protocole pour la collecte non-invasive de l'activité cérébrale (EEG), l'activité musculaire (électromyographie (EMG)) et grosdonnées cinématiques e-corps (tête, torse, et membre trajectoires) pendant deux tapis de course et de marche sur un sol tâches. En recueillant ces données dans l'aperçu de l'environnement non contrôlé peut être acquise en ce qui concerne la faisabilité de décodage sans contrainte démarche et EMG de surface du cuir chevelu EEG.
Introduction
Ce protocole utilise trois systèmes de collecte de données à enregistrer simultanément EEG, EMG, et la cinématique du corps entier (figure 1, tableau 1). Données de l'EEG sont collectées sans fil à partir de 64 canaux à une fréquence d'échantillonnage de 1000 Hz alors que les sujets à pied. Électromyographie (EMG) est recueilli à 1000 Hz à partir d'électrodes de surface placées bilatéralement sur quatre groupes de muscles: jambier antérieur (TA), jumeau (Gast), biceps fémoral (BF), et vaste externe (VL). Les données cinématiques sont recueillies à 128 Hz de 11 capteurs sans fil montées sur la tête, le haut du torse, la région lombaire, les bras, les cuisses, les tiges et les pieds pour enregistrer le mouvement pendant la marche. Chaque capteur contient un magnétomètre triaxial, un gyroscope triaxial, et accéléromètre triaxial (c'est à dire un capteur MARG).
Les données sont recueillies auprès de chaque système et synchronisés en temps par un seul PC hôte. La synchronisation est effectuée en utilisant un signal de déclenchement envoyé par un seri continuliaison de communication al consultée par les trois systèmes de données simultanément. L'élément déclencheur a été mis en œuvre comme un commutateur à bouton simple. Lorsque le bouton est enfoncé un signal de déclenchement (1) est envoyé à l'ordinateur hôte, en un signal nul (0) est envoyé quand il n'est pas actionné. En appuyant sur le bouton de déclenchement provoque également un ton sec 0.5 utilisé comme un signal sonore pour le sujet, tel que décrit dans le protocole ci-dessous. Cinq paires de infrarouge (IR) des capteurs de proximité ont été fabriqués pour être utilisés comme lieu se déclenche pendant le dessus du sol expériences décrites ci-dessous la marche. Lorsque le signal infrarouge est interrompu un signal de déclenchement (1) est envoyé à l'ordinateur hôte via la liaison série par l'intermédiaire d'une fréquence radio (RF) de liaison avec la boîte de déclenchement manuel.
Une coutume application C + +, en utilisant le kit de développement logiciel (SDK) fourni par chaque système, a été développé pour enregistrer et synchroniser les données. Le code utilise une technique multi-threading; fonctions pour enregistrer les données de chaque système (EEG, EMG, et Margs) sont contenues dans indivdiscussions iduels. L'algorithme du logiciel est illustrée à la figure 2. Collecte de données commence lorsque l'application est exécutée et se termine lorsque la touche 'q' est enfoncé. Cinq fils sont activées lors de l'exécution de l'application. Un fil (figure 2) surveille la valeur (0 ou 1) du signal de déclenchement à partir de la connexion série. Valeur de déclenchement initial est égal à zéro. Quand un déclencheur est reçu (c'est à dire lorsque le bouton est pressé ou ligne de visée entre la paire de détecteurs IR est cassé) les variables de déclenchement mondiaux sont mis à 1. Ces variables restent 1 jusqu'à ce qu'ils sont remis à zéro dans les discussions de collecte de données.
Le fil EEG accède à distance aux données de l'EEG de cuir chevelu en temps réel en utilisant le protocole TCP / IP. Les données sont écrites sur une ligne du fichier de texte ligne par ligne à la fréquence d'échantillonnage correspondant (1000 Hz). Le signal de déclenchement EEG globale est écrit dans la première colonne, tandis que les colonnes sont de 2 à 65 des 64 canaux EEG. Si le signal de déclenchement EEG global était de 1, il est remis à zéro. Donnéesl'écriture se poursuit jusqu'à ce que le fil EEG est terminée. Deux record de threads indépendants IMPR données du capteur. Deux fils sont nécessaires parce que les 11 capteurs de MARG sans fil transmettent des données en utilisant le logiciel du fabricant dans le mode de diffusion robuste, qui tamponne les données sur les capteurs individuels pour éviter toute perte de données en cas de problèmes de transmission sans fil. Ce tampon dégrade transfert de données en temps réel: si un capteur est incapable de transmettre les données d'un échantillon donné les 11 capteurs conserver ce point de temps dans leur tampon et la transmettre au prochain point de l'échantillon disponible. MARG transfert de données sans fil accuse inévitablement derrière EEG; ainsi capteurs MARG besoin de temps pour décharger les données en mémoire tampon vers le PC hôte après la collecte de données est arrêté. Pour surmonter ce problème, deux threads sont utilisés dans l'algorithme de collecte de données MARG (Figure 2). Le premier fil remplit un tampon de déclenchement MARG partir de la variable de déclenchement de MARG globale à la fréquence d'échantillonnage du capteur (128 Hz), tandis que le fil EEG recueilledonnées. Lorsque la collecte des données cesse d'écrire dans la mémoire tampon de déclenchement se termine également. Le fil MARG (Figure 2) utilise les fonctions du SDK de la sonde à recevoir des données en provenance des capteurs et de l'écrire dans un fichier de la même manière que les données de l'EEG. Autrement dit, la première colonne est la valeur de la gâchette de MARG global (obtenu à partir de la mémoire tampon de déclenchement MARG) et les 99 colonnes suivantes les valeurs des capteurs 11 de MARG (9 capteurs par unité MARG). Le fil MARG écrit des données jusqu'à ce que l'index de temps de la mémoire tampon de déclenchement MARG est égal à l'index de dernier instant des données de l'EEG au cours de laquelle l'exécution des threads de point est terminée.
Contrairement aux données de l'EEG et Marg, les données EMG ne sont pas enregistrés sans fil. Au lieu de cela, les données EMG sont enregistrés sur une carte SD dans l'unité d'enregistrement de données. Un signal est envoyé via une connexion Bluetooth pour démarrer et arrêter l'écriture de données sur la carte SD. L'écriture commence lorsque le premier déclencheur manuel est reçue par le fil EEG. écriture de données s'arrête avec l'EEGfil quand la touche «q» est enfoncée.
Le protocole suivant a été examiné et approuvé par l'Institutional Review Board de l'Université de Houston. Tous les sujets ont reçu, lu et signé un formulaire de consentement avant la participation.
Protocol
Representative Results
Discussion
Le protocole présenté ici réunit trois systèmes de collecte de données à enregistrer simultanément l'activité du cerveau, l'activité musculaire, et la cinématique du corps entier au cours d'une variété de tâches de locomotives. La réalisation de l'ensemble du protocole dure environ 3 heures, dont 1 h de préparation sujet. Chaque système est monté sur et se déplace avec l'objet. Par conséquent, il est essentiel de vérifier les connexions des électrodes EEG et EMG avant le début de chaque nouveau procès. Ceci peut être facilement fait en utilisant les logiciels fournis par le constructeur respectif, ce qui permet aux données d'être examinés en temps réel à l'aide d'interfaces graphiques sur le PC hôte. L'application de collecte de données exige que ces logiciels soient en cours d'exécution, ce qui simplifie le processus de vérification. En outre, il faut prendre soin que les capteurs MARG sont solidement attachés à l'objet, avant chaque essai.
Données de l'EEG et Marg sont transmises sans fil sur le 2.4-2.5 GHzgamme de fréquences. Parce que de nombreux autres appareils électroniques utilisent cette bande de fréquences, il est important de considérer la possibilité d'interface sans fil dans l'environnement expérimental. Un aspect essentiel de la collecte de données est la visibilité en ligne de mire entre le chariot mobile et le sujet, qui offre robustesse aux interférences sans fil. Le récepteur sans fil EEG et les points d'accès MARG (Figure 1) fournissent LED pour indiquer la fidélité de connexion. Le PC hôte et récepteurs sans fil pour les capteurs EEG et Marg sont placés sur un chariot mobile pour maintenir une ligne de vue directe et maximiser la transmission de données sans fil comme le sujet se dirigea sol. Nous avons trouvé la collecte de données robuste a été le mieux conservé en gardant le chariot mobile à moins de 5 mètres de l'objet, une distance qui ne limite pas le mouvement du sujet pendant l'une des tâches. L'application C + + utilise plusieurs threads pour la collecte des données afin de fournir robustesse à la perte de données due à une interruption de fil connection de l'EEG. Si la connexion est perdue EEG, Marg et les données EMG est encore enregistrée, mais pas de données EEG seront disponibles pour les points dans le temps. Les capteurs fournissent MARG en unité tampon tel que discuté ci-dessus pour éviter toute perte de données en cas de connexion sans fil, tandis que les données EMG est stockée sur une carte SD dans l'unité d'enregistrement de données mobile.
Un problème commun à la collecte de données de l'EEG lors de la marche est la présence d'un artefact dans les signaux. D'une manière générale, les artefacts peuvent être divisés en deux groupes: les sources physiologiques d'objets, y compris clignote, le mouvement de l'œil, l'activité des muscles du visage, des battements cardiaques, et des objets mécaniques telles que le mouvement des électrodes et / ou des câbles pendant l'exécution du protocole expérimental. Correction de l'artefact est un sujet de recherche en cours et comprend des techniques telles que l'analyse en composantes indépendantes 15,16 et procédures de régression modèles basés sur un canal 17. minimisation de l'artefact et l'enlèvement est une étape cruciale dans la preprocessing de données pour le décodage de neurones de mouvement du corps. La configuration présentée ici est similaire à des études précédentes en ce que les câbles d'électrodes EEG ont été regroupés dans un seul connecteur. Les résultats de ces études indiquent que les artefacts mécaniques dues au balancement du câble ou du mouvement n'ont pas joué un rôle dans le décodage de mouvement à partir de l'activité neuronale 7,8. Ces résultats sont corroborés par d'autres études qui concluent que les artefacts liés à la marche étaient négligeable dans lente à modérée vitesses de marche 17. Cependant, cette expérience, on mesure EEG au cours d'activités qui nécessitent plus de mouvement du corps que les études précédentes, y compris les sit-debout transitions, sur un terrain de marche, et le tournage, et donc, un examen attentif des données EEG brutes doit être entrepris pour identifier le potentiel contamination des artefacts mécaniques. Bien que n'étant pas encore largement disponibles, ces problèmes potentiels pourraient être résolus grâce à l'intégration de nouveaux matériels dans le protocole actuel. Ces matériels incLudes électrodes actives EEG (utilisé dans ce protocole) et à ressort, des électrodes EEG secs, qui ont le potentiel d'améliorer le contact peau-impédance de l'électrode pendant le mouvement 18. Ces technologies sont intégrées dans les systèmes EEG sans fil qui peut réduire l'effet des artefacts de mouvement 19. L'intégration des nouveaux matériels nonobstant, ce protocole offre une occasion unique de continuer à développer de nouveaux algorithmes pour le mouvement et l'EMG rejet d'artefact parce que chaque segment du corps a été instrumenté 16. Nous avons l'intention d'étudier des séries chronologiques corrélation et la cohérence du domaine de fréquence entre EEG, EMG, et le mouvement du segment de développer robustes artefacts paradigmes de rejet applicables aux configurations EEG actuellement disponibles. Nos méthodes de décodage ont montré la robustesse contre les artefacts 7,8; ces méthodes seront examinées dans le cadre des scénarios plus complexes dans le présent Protocole.
Caractéristiques de la surface enregistréeEMG dépendent de nombreux facteurs, et l'interprétation des signaux EMG de surface pour l'étude des stratégies neuronales nécessite leur examen 20. Les procédures strictes pour la préparation de la peau et le placement des électrodes EMG utilisé dans ce protocole ont été conçus pour minimiser l'influence des facteurs non physiologiques sur les signaux EMG de surface. L'amplitude et la fréquence de l'EMG enregistrée par ce protocole sont liés à l'activité de l'unité motrice net, et donc l'enregistrement ne doivent pas être interprétées comme une représentation directe de l'activité neuronale du muscle désiré. Pourtant, un examen attentif du signal EMG de surface et les méthodes les plus avancées pour estimer dur neural au muscle en décomposant le signal EMG pour déterminer les changements relatifs à l'activation de neurones (par exemple en identifiant les temps de décharge des unités motrices) peuvent fournir de précieuses informations sur les modèles d'activation musculaire 20. En outre, dans le contexte de décodage neuronal, bien que l'activité cérébraleacquis invasive a été montré pour contenir des informations sur surface EMG 21, il est actuellement inconnu si EEG de surface peut également être utilisé pour décoder l'activité musculaire des membres inférieurs lors de la marche en plus de cinématique démarche. Nous nous attendons à ce protocole nous permettra d'examiner si la résolution spatiale réduite de modalités d'imagerie cérébrale non invasives est suffisante pour isoler l'activité neuronale liée aux muscles individuels.
Des études antérieures ont montré la faisabilité de l'utilisation non invasive EEG pour décoder cinématique au cours de marche sur tapis roulant 7,8 donner une impulsion pour le développement d'une interface cerveau-machine (BMI) pour restaurer la marche grâce aux signaux du cerveau. Dans le domaine temporel méthodes de décodage basé sur la modulation d'amplitude des signaux EEG delta-band ont également été montré pour être insensibles aux composants artéfactuelles 7,8. Pourtant, des études de tapis roulant se déroulent dans un environnement contrôlé au cours de laquelle la vision et le mouvement de l'utilisateurest restreint, limitant ainsi la contamination de l'activité neuronale due à des stimuli externes. Grâce à l'incorporation de l'enregistrement de données sans fil, ce protocole permet de collecter des synchronisé EEG, EMG, et les données cinématiques au cours d'une variété de tâches de locomotion et d'environnements. L'intégration des capteurs inertiels pour le suivi de mouvement nécessite plus de calculs et hors traitement pour extraire cinématique d'un système de capture de mouvement, et les mesures résultant contient une petite – mais acceptable – marge d'erreur qui ne serait pas présent dans un système de caméra 22 en fonction. Ces difficultés gérables sont une nécessité de mettre en place un protocole expérimental qui permet d'étudier mobile du comportement cognitif-moteur dans des environnements changeants. Comme nous l'avons d'ailleurs 10,11, une telle configuration est presque illimitées dans les questions de recherche qui peuvent être abordées. Notre objectif dans un proche avenir sera sur des questions cruciales pour le développement de l'IMC pour la réhabilitation de tenir debout et marcher à la suitelésions cérébrales et de la neuropathie. Un élément clé, comme mentionné ci-dessus, sera le développement de nouvelles stratégies de décodage robustes pour les interfaces cerveau-machine pour les systèmes robotiques de réadaptation qui peut rejeter des artefacts physiologiques et mécaniques pour rétablir le mouvement en utilisant des signaux mesurés à partir du cerveau. Par exemple, le protocole de marche de couloir est réalisée dans un espace public avec d'autres personnes présentes lors de la collecte des données, et fournit ainsi un banc d'essai pour le développement de neurones techniques de décodage dans le milieu naturel. D'autres questions de recherche d'intérêt qui utilisent ce protocole comprennent la comparaison réhabilitation paradigmes robotiques impliquant entraînement à la marche rythmée par rapport aux non-rythmique, et l'étude de l'activité neuronale au cours de la récupération fonctionnelle après une lésion dans les phases aiguës et chroniques.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Ce travail a été soutenu par le National Institute of Neurological Disorders and Stroke (NINDS) accorder # R01NS075889-01. Cette recherche a été financée en partie par le Programme de recherche intra-muros des NIH, Clinical Center. Les auteurs remercient également Shahriar Iqbal et Yongtian Il l'aide à la collecte des données. Le coût de la publication en libre accès de cet article a été parrainé par APDM, Inc. (Portland, OR; http://apdm.com ).
Materials
| Name | Company | Quantity | |
| BrainAmp Amplifier | Brain Products, Gmbh | Quantity: 2 | |
| actiCAP EEG cap with 64 electrodes | Brain Products, Gmbh | Quantity:1 | |
| Brainvision MOVE wireless EEG system | Brain Products, Gmbh | Quantity:1 | |
| DataLOG MWX8 EMG data collection unit | Biometrics, Ltd. | Quantity:1 | |
| SX230 EMG electrodes | Biometrics, Ltd. | Quantity:8 | |
| R506 EMG ground electrode | Biometrics, Ltd. | Quantity:1 | |
| Opal movement monitor (MARG sensor) | APDM, Inc. | Quantity:11 | |
| Opal docking station for wireless data streaming | APDM, Inc. | Quantity:2 | |
| Opal wireless access point | APDM, Inc. | Quantity:2 | |
| Infrared Light Barrier Kit MK120 | Velleman, Inc. | Quantity:5 | |
| Wixel Programmable USB Wireless Module | Pololu, Inc. | Quantity:6 | |
| Table 1. Equipment |
References
- Choi, J. T., Bastian, A. J. Adaptation reveals independent control networks for human walking. Nature Neuroscience. 10 (8), 1055-1062 (2007).
- Grillner, S., Wallen, P., et al. Neural bases of goal-directed locomotion in vertebrates – an overview. Brain Research Reviews. 57, 2-12 (2008).
- Petersen, T. H., Willerslev-Olsen, M., Conway, B. A., Nielsen, J. B. The motor cortex drives the muscles during walking in human subjects. Journal of Physiology. 590 (10), 2443-2452 (2012).
- Fitzsimmons, N. A., Lebedev, M. A., et al. Extracting kinematic parameters for monkey bipedal walking from cortical neuronal ensemble activity. Frontiers in Integrative Neuroscience. 3, 3 (2009).
- Harada, T., Miyai, I., Kubota, K. Gait capacity affects cortical activation patterns related to speed control in the elderly. Experimental Brain Research. 193 (3), 445-454 (2009).
- Gwin, J. T., Gramann, K., Makeig, S., Ferris, D. P. Electrocortical activity is coupled to gait cycle phase during treadmill walking. Neuroimage. 54, 1289-1296 (2011).
- Presacco, A., Goodman, R., Forrester, L., Contreras-Vidal, J. L. Neural decoding of treadmill walking from noninvasive electroencephalographic signals. Journal of Neurophysiology. 106, 1875-1887 (2011).
- Presacco, A., Forrester, L. W., Contreras-Vidal, J. L. Decoding intra-limb and inter-limb kinematics during treadmill walking from scalp electroencephalographic (EEG) signals. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 20 (2), 212-219 (2012).
- Wagner, J., Solis-Escalante, T., et al. Level of participation in robotic-assisted treadmill walking modulates midline sensorimotor EEG rhythms in abled-bodied subjects. NeuroImage. 63, 1203-1211 (2012).
- Makeig, S., Gramann, K., et al. Linking brain, mind, and behavior. International Journal of Psychophysiology. 73, 95-100 (2009).
- Gramann, K., Gwin, J. T., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22, 593-608 (2011).
- Wilson, J. A., Schalk, G., et al. Using an EEG-based brain computer interface for virtual cursor movement with BCI2000. J. Vis. Exp. (29), e1319 (2009).
- Brummer, V., Schneider, S., et al. Coherence between brain cortical function and neurocognitive performance during changed gravity conditions. J. Vis. Exp. (51), e2670 (2011).
- Delorme, A., Makeig, S. EEGLAB: an open source toolbox for analysis of single-trial EEG dynamics including independent component analysis. Journal of Neuroscience Methods. 134 (1), 9-21 (2004).
- Makeig, S., Bell, A. J., et al. Independent component analysis of electroencephalographic data. Advances in Neural Information Processing Systems. 8, 145-151 (1996).
- Rong, F., Contreras-Vidal, J. L. Magnetoencephalographic artifact identification and automatic removal based on independent component analysis and categorization approaches. Journal of Neuroscience Methods. 157, 337-354 (2006).
- Gwin, J. T., Gramann, K., Makeig, S., Ferris, D. P. Removal of movement artifact from high-density EEG recorded during walking and running. Journal of Neurophysiology. 103, 3526-3534 (2010).
- Liao, L. D., Wang, I. J., Chen, S. F., Chang, J. Y., Lin, C. T. Design, fabrication, and experimental validation of a novel dry-contact sensor for measuring electroencephalography signals without skin preparation. Sensors. 11, 5819-5834 (2011).
- Liao, L. D., Lin, C. T., et al. Biosensor technologies for augmented brain-computer interfaces in the next decades. Proceedings of the IEEE. 100, 1553-1566 (2012).
- Farina, D., Merletti, R., Enoka, R. M. The extraction of neural strategies from the surface EMG. Journal of Applied Physiology. 96, 1486-1495 (2004).
- Flint, R. D., Ethier, C., et al. Local field potentials allow accurate decoding of muscle activity. Journal of Neurophysiology. 108, 18-27 (2012).
- Luinge, H. J., Veltink, P. H. Measuring orientation of human body segments using miniature gyroscopes and accelerometers. Medical & Biological Engineering & Computing. 43, 273-282 (2005).
