SSVEP-gebaseerde Experimentele Procedure voor Brain-Robot Interactie met Humanoid Robots
Summary
The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.
Abstract
Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.
Introduction
Brain-Robot Interactie (BRI), die een vernieuwende communicatie traject tussen mens en een robot apparaat via de hersenen signalen geeft, is aanstaande in het helpen van mensen met een handicap in hun dagelijks leven 1,2. Verschillende methoden kunnen hersenen signalen ontvangt ofwel invasief of niet-invasief, zoals electrocorticography (ECoG), elektro-encefalogram (EEG), functionele magnetische resonantie (fMRI), etc. De meest gebruikte niet-invasieve werkwijze voor het bouwen van de BRI systeem te EEG signalen ontvangt van elektroden op de hoofdhuid. Deze methode is goedkoop, gemakkelijk te gebruiken, en levert een acceptabele tijdsresolutie 3. Onder diverse robot apparaten, humanoidrobots zijn ontwikkeld als ze zijn gemaakt om een aantal van dezelfde fysieke en mentale taken die de mens dagelijks ondergaan imiteren. BRI met een humanoïde robot zal een belangrijke rol spelen in het bijstaan van zieken en ouderen, evenals het uitvoeren van ongezonde of gevaarlijke banen spelen. Maar controlevan een humanoïde robot door de BRI systeem is zeer uitdagend, omdat de humanoïde robot met volledige beweging van het lichaam is ontwikkeld om complexe taken uit te voeren zoals persoonlijke assistentie 4, 5.
Steady-State Visual opgewekte potentiele (SSVEP) is een soort hersenen signaal opgewekt door de modulatie van visuele stimulus bij een gegeven frequentie 6. Het bevat sinusoiden op de fundamentele en harmonische frequenties van de flikkerende stimulus, en prominent verschijnt gedurende de visuele cortex in de occipitale gebied van de scalp 7. De reden voor de keuze van de SSVEP signalen dat de SSVEP-gebaseerde BRI systeem levert relatief hoog informatie overdrachtssnelheid en vereist minder training 8. Andere soorten hersengolven, zoals event-related potentials (ERP's) 9 of motor-beelden (MI) potentialen 10, kan ook worden ingebed in deze experimentele procedure.
Onze procedure voor de hersenen-robot interactie met humanoidrobots is gebaseerd op CEREBOT – een mind-gecontroleerde humanoïde robot-platform – bestaande uit een EEG data-acquisitie-systeem en een humanoïde robot 11. Het EEG systeem kan opnemen, pre-proces en weergave bio-potentiaal signalen verkregen door verschillende typen elektrodes. Het biedt meerdere analoge I / O en digitale I / O's en is geschikt voor het opnemen tot 128 signaal kanalen tegelijk met een sampling rate van 30 kHz met 16-bit resolutie. De software development kits in C ++ en MATLAB zijn gemakkelijk voor gebruikers om de experimentele procedures te ontwerpen. De humanoïde robot heeft 25 graden van vrijheid en is uitgerust met meerdere sensoren, met inbegrip van 2 camera's, 4 microfoons, 2 sonar afstandmeters, 2 IR-zenders en ontvangers, 1 inertie boord, 9 tactiele sensoren en 8 druksensoren. Het geeft Choregraphe en C ++ SDK voor het maken en bewerken van bewegingen en interactieve robot gedrag.
Het algemene doel van deze methode is om een-SSVEP gebaseerde experimentele proce vastdure door het integreren van meerdere software programma's, zoals OpenViBE, Choregraph, Central software en gebruiker ontwikkelde programma's geschreven in C ++ en MATLAB, de studie van de hersenen-robot interactie met humanoïde robots 11 mogelijk te maken. Figuur 1 toont het systeem structuur. De speciale stimulus presentatie computer (SPC) geeft de gebruikersinterface om het onderwerp met een visuele stimuli, instructies en milieu feedbacks bieden. De speciale verwerking computer (DPC) loopt de Data Recorder en de Offline Data Analyzer in de offline opleidingsproces, en loopt de Online Signal Processor en de Robot Controller voor de online controle van de humanoïde robot. Vergeleken met andere SSVEP gebaseerde systemen, ons systeem is betrouwbaarder, flexibeler en vooral geschikter voor hergebruik en uitgebreid zoals is ontwikkeld door integratie van een aantal gestandaardiseerde softwarepakketten, zoals OpenViBE, Choregraph, Central software en modules geschreven in C ++en MATLAB.
De volgende procedure werd beoordeeld en door Tianjin Medical University algemeen ziekenhuis ethische commissie goedgekeurd en alle patiënten gaven schriftelijk toestemming.
Protocol
Representative Results
Discussion
Deze paper presenteert een-SSVEP gebaseerde experimentele procedure om de hersenen-robot interactie systeem met humanoïde robots te vestigen door het integreren van meerdere softwareprogramma's. Omdat menselijke intentie voelbare interpreteren real-time EEG-signalen, is het essentieel om de elektrodeaansluitingen en EEG signaalkwaliteiten controleren voordat het experiment uitvoert. Als signalen verkregen van de elektroden van slechte kwaliteit, is het noodzakelijk om de verbinding van de grond en referentie-elektr…
Disclosures
The authors have nothing to disclose.
Acknowledgements
De auteurs willen graag hun dankbaarheid aan de heer Hong Hu uiten voor zijn hulp bij het uitvoeren van de experimenten beschreven in dit document. Dit werk werd ondersteund in het kader van de National Natural Science Foundation of China (nr 61473207).
Materials
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
