SSVEP basada Procedimiento Experimental para la interacción cerebro-Robot con Humanoid Robots
Summary
The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.
Abstract
Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.
Introduction
Cerebro-Robot Interaction (BRI), que proporciona una innovadora vía de comunicación entre el ser humano y un dispositivo robótico a través de las señales del cerebro, es posible en ayudar a las personas con discapacidad en su vida diaria 1,2. Una variedad de métodos son capaces de adquirir las señales del cerebro, ya sea invasiva o no invasiva, como electrocorticografía (ECoG), electroencefalograma (EEG), la resonancia magnética funcional (fMRI), etc. El método no invasivo más utilizado para la construcción de la sistema BRI es adquirir señales EEG de electrodos colocados en el cuero cabelludo. Este método es barato, fácil de usar, y proporciona una resolución temporal aceptable 3. Entre una variedad de dispositivos robóticos, los robots humanoides son avanzados, ya que se crean para imitar algunas de las mismas tareas físicas y mentales que los seres humanos se someten a diario. BRI con un robot humanoide jugará un papel importante en la asistencia a los enfermos y ancianos, así como la realización de trabajos insalubres o peligrosos. Pero el controlde un robot humanoide a través del sistema BRI es muy difícil, ya que se desarrolla el robot humanoide con el movimiento de todo el cuerpo para realizar tareas complejas, tales como la asistencia personal 4, 5.
Steady-State potencial evocado visual (SSVEP) es un tipo de señal cerebral evocada por la modulación del estímulo visual a una frecuencia dada 6. Contiene sinusoides a las frecuencias fundamentales y armónicas de estímulo parpadeo, y destacada aparece en toda la corteza visual en la región occipital del cuero cabelludo 7. La razón para elegir las señales SSVEP es que el sistema BRI basado en SSVEP rendimientos relativamente alta tasa de transferencia de información y requiere menos formación 8. Otros tipos de ondas cerebrales, como los potenciales evocados (ERPs) 9 o motor imaginería (MI) Potenciales 10, también puede ser embebido en este procedimiento experimental.
Nuestro procedimiento para la interacción cerebro-robot con humanoiderobots se basa en Cerebot – una plataforma robot humanoide con control mental – que consiste en un sistema de adquisición de datos de EEG y un robot humanoide 11. El sistema EEG es capaz de registrar, pre-proceso y señales bio-potencial de visualización adquiridos por varios tipos de electrodos. Proporciona analógico múltiples E / S y E / S digitales y es capaz de grabar hasta 128 canales de señal simultáneamente a una velocidad de muestreo de 30 kHz con una resolución de 16 bits. Sus kits de desarrollo de software en C ++ y MATLAB son fáciles para los usuarios diseñar los procedimientos experimentales. El robot humanoide tiene 25 grados de libertad y está equipado con varios sensores, incluyendo 2 cámaras, 4 micrófonos, 2 telémetros de sonar, 2 IR emisores y receptores, 1 tablero inercial, 9 sensores táctiles, y 8 sensores de presión. Proporciona chorégraphe y C ++ SDK para la creación y edición de los movimientos y comportamientos de robots interactivos.
El objetivo general de este método es establecer un proce experimental basada en SSVEPmiento mediante la integración de múltiples programas de software, como OpenViBE, Choregraph, software Central, así como los programas desarrollados por el usuario escritas en C ++ y MATLAB, para que el estudio de la interacción cerebro-robot con robots humanoides 11. La figura 1 muestra la estructura del sistema. El ordenador presentación del estímulo específico (SPC) muestra la interfaz de usuario para proporcionar al sujeto con estímulos visuales, instrucciones y evaluaciones ambientales. El equipo de procesamiento de datos dedicada (DPC) corre el Registrador de Datos y el analizador de datos sin conexión en el proceso de capacitación fuera de línea, y ejecuta el procesador de señal en línea y el controlador del robot para el control en línea del robot humanoide. En comparación con otros sistemas de control basados en SSVEP, nuestro sistema es más confiable, más flexible, y sobre todo más conveniente para ser reutilizado y actualizado a medida que se desarrolla mediante la integración de una serie de paquetes de software estandarizados, como OpenViBE, Choregraph, software central, y módulos escritos en C ++y MATLAB.
El siguiente procedimiento fue revisado y aprobado por Tianjin universidad médica comité de ética del hospital general y todos los sujetos dieron su consentimiento por escrito.
Protocol
Representative Results
Discussion
Este trabajo presenta un procedimiento experimental basado en SSVEP para establecer el sistema de interacción cerebro-robot con robots humanoides mediante la integración de múltiples programas de software. Debido a que la intención humana se percibe mediante la interpretación de las señales de EEG en tiempo real, es crítico para verificar las conexiones de electrodo y cualidades señal del EEG antes de realizar el experimento. Si las señales adquiridas de todos los electrodos son de cualidades pobres, es necesar…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Los autores desean expresar su agradecimiento al Sr. Hong Hu por su ayuda en la realización de los experimentos reportados en este trabajo. Esta obra fue financiada en parte por la Fundación Nacional de Ciencias Naturales de China (N ° 61473207).
Materials
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
