SSVEP-basierten Versuchsdurchführung für Brain-Roboter-Interaktion mit Humanoide Roboter
Summary
The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.
Abstract
Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.
Introduction
Brain-Roboter-Interaktion (BRI), die eine innovative Kommunikationspfad zwischen den Menschen und einem Roboter-Vorrichtung über Gehirnsignale bietet, ist Interessenten zu helfen in ihrem täglichen Leben 1,2 Behinderte. Eine Vielzahl von Verfahren sind in der Lage, Gehirnsignale entweder invasiv oder nicht invasiv für den Aufbau der zu erwerben, wie Elektrokortikographie (ECoG), Elektroenzephalogramm (EEG), die funktionelle Magnetresonanztomographie (fMRI) usw. Die am häufigsten verwendeten nicht-invasive Methode BRI Systems ist es, EEG-Signale von Elektroden, die auf der Kopfhaut erhalten. Dieses Verfahren ist kostengünstig, leicht zu bedienen und bietet eine annehmbare Zeitauflösung 3. Unter einer Vielzahl von Robotervorrichtungen sind humanoide Roboter fortgeschritten wie sie erstellt werden, um einige der gleichen körperlichen und geistigen Aufgaben, die Menschen zu unterziehen täglich imitieren. BRI mit einem humanoiden Roboter werden eine wichtige Rolle bei der Unterstützung der Kranken und Alten, sowie die Durchführung von unhygienischen oder gefährliche Arbeiten zu spielen. Aber Steuereines humanoiden Roboters durch BRI-System ist eine große Herausforderung, da die humanoiden Roboter mit voller Körperbewegung wird entwickelt, um komplexe Aufgaben wie die persönliche Unterstützung 4, 5 durchzuführen.
Steady-State visuell evozierten Potential (SSVEP) ist eine Art von Gehirnsignal durch die Modulation des optischen Reiz mit einer gegebenen Frequenz 6 hervorgerufen. Es enthält Sinuskurven bei den Grund- und Oberschwingungsfrequenzen des flackernden Reiz und prominent erscheint in der gesamten Sehrinde im Hinterkopf der Kopfhaut 7. Der Grund für die Wahl der SSVEP Signalen ist, dass die SSVEP basierte BRI-System ergibt relativ hohe Informationsübertragungsrate und erfordert weniger Trainings 8. Andere Arten von Gehirnwellen, wie beispielsweise ereigniskorrelierte Potenziale (ERP) 9 oder Motor-Bildern (MI) Potentiale 10, kann auch in diesem experimentellen Verfahren eingebettet werden.
Unser Verfahren für Gehirn Roboter-Interaktion mit humanoidenRoboter auf Cerebot basiert – eine gedankengesteuerte humanoide Roboter-Plattform – bestehend aus einem EEG-Datenerfassungssystem und einen humanoiden Roboter 11. Die EEG-System ist in der Lage zu erfassen, Vorverarbeitung und Anzeige von verschiedenen Arten von Elektroden erfasst Biopotential-Signale. Es bietet mehrere analoge I / Os und digitalen I / Os und ist in der Lage die Aufzeichnung von bis zu 128 Signalkanäle gleichzeitig mit einer Abtastrate von 30 kHz mit 16-Bit-Auflösung. Seine Software Development Kits in C ++ und MATLAB sind für die Benutzer einfach, um die experimentellen Verfahren zu entwerfen. Der humanoide Roboter hat 25 Freiheitsgrade und ist mit mehreren Sensoren, darunter 2 Kameras, 4 Mikrofone, 2 Sonarentfernungsmesser, 2 IR-Sender und Empfänger, 1 Trägheitsplatte, 9 taktilen Sensoren, und 8 Drucksensoren ausgestattet. Es bietet chorégraphe und C ++ SDK zum Erstellen und Bearbeiten Bewegungen und interaktive Roboter Verhaltensweisen.
Das übergeordnete Ziel dieses Verfahrens ist es, eine SSVEP-basierten experimentellen proce etablierendure durch die Integration mehrerer Software-Programme, wie zB OpenViBE, Choregraph, Zentral Software sowie Benutzer entwickelten Programme in C ++ und MATLAB geschrieben, um das Studium der Gehirn-Roboter-Interaktion mit humanoiden Robotern 11 zu ermöglichen. Abbildung 1 zeigt die Systemstruktur. Der dedizierte Reizdarbietung Computer (SPC) zeigt die Benutzerschnittstelle, um das Thema mit visuellen Reizen, Anweisungen und Umweltrückmeldungen liefern. Der dedizierte Datenverarbeitung Computer (DPC) wird mit der Data Recorder und das Offline-Data Analyzer in der Offline-Trainingsprozess, und betreibt das Online-Signal-Prozessor und der Robotersteuerung für die Online-Steuerung der humanoiden Roboter. Im Vergleich zu anderen SSVEP-basierte Steuerungssysteme, ist unser System zuverlässiger, flexibler und vor allem bequemer, wiederverwendet und aktualisiert, wie es durch die Integration einer Reihe von standardisierten Softwarepaketen wie OpenViBE, Choregraph, Zentral-Software entwickelt werden, und Module in C ++ geschriebenund MATLAB.
Das folgende Verfahren wurde überprüft und von Tianjin Medical University General Hospital Ethik-Kommission genehmigt, und alle Fächer gab schriftlichen Zustimmung.
Protocol
Representative Results
Discussion
Dieser Beitrag stellt eine SSVEP-basierten experimentellen Verfahren, um das Gehirn-Roboter-Interaktion System mit humanoiden Robotern durch die Integration mehrerer Software-Programme zu etablieren. Weil die menschliche Absicht wird durch Interpretieren Echtzeit-EEG-Signalen wahrgenommen wird, ist es entscheidend, den Elektrodenanschlüssen und EEG-Signalqualitäten vor der Durchführung des Experiments zu verifizieren. Wenn Signale von allen Elektroden erfasst sind von schlechter Qualität, ist es notwendig, die Verbi…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Die Autoren möchten ihren Dank an Herrn Hong Hu für seine Hilfe bei der Durchführung der Versuche in dieser Veröffentlichung zum Ausdruck bringen. Diese Arbeit wurde zum Teil durch die National Natural Science Foundation of China (No. 61473207) unterstützt.
Materials
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
