SSVEP basé procédure expérimentale pour Brain-Robot Interaction avec des robots humanoïdes
Summary
The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.
Abstract
Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.
Introduction
Brain-Robot Interaction (BRI), qui fournit une voie de communication innovant entre l'humain et un dispositif robotique via des signaux du cerveau, est prospective pour aider les personnes handicapées dans leur vie quotidienne 1,2. Une variété de méthodes sont en mesure d'acquérir les signaux du cerveau soit invasive ou non invasive, comme électrocorticographie (ECoG), électroencéphalogramme (EEG), l'imagerie par résonance magnétique fonctionnelle (IRMf), etc. La méthode non-invasive la plus couramment utilisée pour la construction du système BRI est d'acquérir des signaux EEG à partir des électrodes placées sur le cuir chevelu. Cette méthode est peu coûteuse, facile à utiliser, et offre une résolution temporelle acceptable 3. Parmi une variété de dispositifs robotiques, robots humanoïdes sont avancés car ils sont créés pour imiter certains des mêmes tâches physiques et mentales que les humains subissent quotidiennement. BRI avec un robot humanoïde va jouer un rôle important en aidant les malades et les personnes âgées, ainsi que l'exécution des emplois insalubres ou dangereux. Mais le contrôled'un robot humanoïde à travers le système BRI est très difficile, car le robot humanoïde avec le mouvement du corps entier est conçu pour effectuer des tâches complexes telles que l'assistance personnelle 4, 5.
Steady-State potentiels évoqués visuels (SSVEP) est un type de signal du cerveau provoquée par la modulation du stimulus visuel à une fréquence donnée 6. Il contient des sinusoïdes à des fréquences fondamentales et harmoniques de la stimulation de scintillement, et bien en vue apparaît à travers le cortex visuel dans la région occipitale du cuir chevelu 7. La raison du choix des signaux de SSVEP est que le système à base BRI-SSVEP donne un taux de transfert de l'information relativement élevé et nécessite moins de formation 8. Autres types d'ondes cérébrales, comme les potentiels évoqués (ERP) 9 ou moteur-imagerie (MI) les potentiels 10, peuvent également être intégrés dans cette procédure expérimentale.
Notre procédure d'interaction cerveau-robot humanoïderobots sont basées sur Cerebot – une plateforme de robot humanoïde de contrôle mental – constitué d'un système d'acquisition de données EEG et un robot humanoïde 11. Le système EEG est capable d'enregistrer des signaux bio-potentiel affichage acquises par divers types d'électrodes de pré-processus et. Il fournit analogique multiples E / S et E / S numériques et est capable d'enregistrer jusqu'à 128 canaux de signaux simultanément à un taux d'échantillonnage de 30 kHz avec une résolution de 16 bits. Ses kits de développement logiciel en C ++ et MATLAB sont faciles pour les utilisateurs de concevoir les procédures expérimentales. Le robot humanoïde possède 25 degrés de liberté et est équipé de plusieurs capteurs, y compris les 2 caméras, 4 micros, 2 télémètres sonar, 2 IR émetteurs et récepteurs, 1 planche d'inertie, 9 capteurs tactiles, et 8 capteurs de pression. Il fournit Choregraphe et SDK C ++ pour créer et éditer les mouvements et les comportements des robots interactifs.
L'objectif global de cette méthode est d'établir une procé expérimentale basée SSVEP-dure en intégrant plusieurs logiciels, comme OpenViBE, Chorégraphe, le logiciel central ainsi que de programmes développés utilisateur écrites en C ++ et MATLAB, afin de permettre l'étude de l'interaction cerveau-robot avec des robots humanoïdes 11. La figure 1 montre la structure du système. L'ordinateur de la présentation du stimulus dédié (CPS) affiche l'interface utilisateur pour fournir le sujet avec des stimuli visuels, des instructions et des évaluations environnementales. L'ordinateur de traitement de données dédié (DPC) exécute l'enregistreur de données et l'analyseur de données hors ligne dans le processus de formation en ligne, et exécute le processeur de signal en ligne et la commande du robot pour le contrôle en ligne du robot humanoïde. Comparé à d'autres systèmes de contrôle basés SSVEP, notre système est plus fiable, plus souple, et surtout plus pratique pour être réutilisés et mis à jour comme il est développé en intégrant un certain nombre de logiciels normalisés, tels que OpenViBE, Chorégraphe, le logiciel central, et modules écrits en C ++et MATLAB.
La procédure suivante a été examiné et approuvé par l'université médicale comité d'éthique de l'hôpital général de Tianjin, et tous les sujets ont donné leur consentement par écrit.
Protocol
Representative Results
Discussion
Cet article présente une procédure expérimentale basée SSVEP à établir le système d'interaction cerveau-robot avec des robots humanoïdes en intégrant plusieurs programmes logiciels. Étant donné que l'intention humaine est perçue par l'interprétation des signaux d'EEG en temps réel, il est essentiel de vérifier les connexions d'électrodes EEG et des qualités de signal avant d'effectuer l'expérience. Si les signaux acquis de toutes les électrodes sont de mauvaises qualités, …
Disclosures
The authors have nothing to disclose.
Acknowledgements
Les auteurs tiennent à exprimer leur gratitude à M. Hong Hu pour son aide dans l'exécution des expériences rapportées dans le présent document. Ce travail a été financé en partie par la Fondation nationale des sciences naturelles de Chine (n ° 61473207).
Materials
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
