SSVEP-based Procedura sperimentale per Brain-Robot Interaction con Humanoid Robots
Summary
The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.
Abstract
Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.
Introduction
Brain-Robot Interaction (BRI), che fornisce un innovativo percorso di comunicazione tra l'uomo e un dispositivo robotico tramite segnali del cervello, è potenziale per aiutare i disabili nella loro vita quotidiana 1,2. Una varietà di metodi sono in grado di acquisire i segnali del cervello sia invasivo o non invasivo, come ad esempio elettrocorticografia (ECoG), elettroencefalogramma (EEG), la risonanza magnetica funzionale (fMRI), etc. Il metodo non invasivo più comunemente usato per la costruzione del Sistema BRI è di acquisire segnali EEG da elettrodi posti sul cuoio capelluto. Questo metodo è poco costoso, facile da usare, e fornisce una risoluzione temporale accettabile 3. Tra una varietà di dispositivi robotici, robot umanoidi sono avanzati in quanto sono creati per imitare alcune delle stesse attività fisiche e mentali che gli esseri umani subiscono quotidianamente. BRI con un robot umanoide svolgerà un ruolo importante nell'assistere i malati e gli anziani, oltre a svolgere i lavori insalubri o pericolosi. Ma il controllodi un robot umanoide attraverso il sistema BRI è molto impegnativo, come il robot umanoide con il movimento di tutto il corpo è stato sviluppato per eseguire attività complesse, come l'assistenza personale 4, 5.
In condizioni di regime visiva Potenziali Evocati (SSVEP) è un tipo di segnale cerebrale evocata dalla modulazione di stimolo visivo ad una determinata frequenza 6. Esso contiene sinusoidi alle frequenze fondamentali ed armoniche dello stimolo sfarfallio e prominente appare in tutta la corteccia visiva nella regione occipitale del cuoio capelluto 7. La ragione della scelta dei segnali SSVEP è che il sistema BRI-based SSVEP rendimenti relativamente alto tasso di trasferimento dati e richiede meno formazione 8. Altri tipi di onde cerebrali, come potenziali evento-correlati (ERP) 9 o al motore-imagery (MI) Potenziali 10, possono anche essere incorporati in questa procedura sperimentale.
La nostra procedura per l'interazione cervello-robot con umanoiderobot si basa su Cerebot – una piattaforma robot umanoide mente controllata – costituita da un sistema di acquisizione dati EEG e un robot umanoide 11. Il sistema EEG è in grado di registrare, visualizzare segnali bio-potenziale acquisite da vari tipi di elettrodi pre-processo e. Esso fornisce analogico multiplo I / O e I / O digitali ed è in grado di registrare fino a 128 canali di segnali simultaneamente a una frequenza di campionamento di 30 kHz con una risoluzione di 16-bit. I suoi kit di sviluppo software in C ++ e MATLAB sono facile per gli utenti di progettare procedure sperimentali. Il robot umanoide ha 25 gradi di libertà ed è dotato di sensori multipli, tra cui 2 fotocamere, 4 microfoni, 2 telemetri sonar, 2 emettitori IR e ricevitori, 1 scheda di inerzia, 9 sensori tattili, e 8 sensori di pressione. Esso fornisce chorégraphe e C ++ SDK per la creazione e la modifica di movimenti e comportamenti del robot interattivi.
L'obiettivo generale di questo metodo è quello di stabilire un proce sperimentale basato SSVEP-Dure integrando più programmi software, come OpenViBE, Choregraph, software centrale così come programmi utente sviluppati scritti in C ++ e MATLAB, per consentire lo studio delle interazioni cervello-robot con robot umanoidi 11. figura 1 mostra la struttura del sistema. Il computer presentazione dello stimolo dedicato (SPC) visualizza l'interfaccia utente di fornire al soggetto con stimoli visivi, istruzioni e feedback ambientali. Il computer di elaborazione dati dedicato (DPC) gestisce il Data Recorder e non in linea Data Analyzer nel processo di formazione non in linea, e gestisce il Signal Processor in linea e il controllore del robot per il controllo on-line del robot umanoide. Rispetto ad altri sistemi di controllo basati SSVEP-, il nostro sistema è più affidabile, più flessibili, e soprattutto più conveniente per essere riutilizzato e aggiornato mentre viene sviluppata integrando un numero di pacchetti software standardizzati, come OpenViBE, Choregraph, software centrale, e I moduli scritti in C ++e MATLAB.
La seguente procedura è stato esaminato e approvato dal Tianjin University Medical policlinico comitato etico, e tutti i soggetti ha dato consenso scritto.
Protocol
Representative Results
Discussion
Questo articolo presenta una procedura sperimentale basato SSVEP a stabilire il sistema di interazione cervello-robot con robot umanoidi, integrando software multipli. Poiché intento umano è percepito interpretando segnali EEG in tempo reale, è fondamentale per verificare le connessioni degli elettrodi e le qualità del segnale EEG prima di condurre l'esperimento. Se i segnali acquisiti da tutti gli elettrodi sono di qualità scarsa, è necessario controllare il collegamento degli elettrodi di massa e di riferime…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Gli autori desiderano esprimere la loro gratitudine al signor Hong Hu per la sua assistenza nello svolgimento degli esperimenti riportati in questo documento. Questo lavoro è stato sostenuto in parte dalla National Science Foundation naturale della Cina (n ° 61.473.207).
Materials
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
