인간형 로봇에 뇌 - 로봇 상호 작용에 대한 실험 절차를 SSVEP 기반
Summary
The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.
Abstract
Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.
Introduction
뇌 – 로봇 상호 작용 인간의 뇌 신호를 통해 로봇 장치 사이의 혁신적인 통신 경로를 제공합니다 (BRI)는, 일상 생활 1, 2에서 장애인을 돕는 미래입니다. 다양한 방법을 구축 등 electrocorticography (ECOG), 뇌전도 (EEG), 기능적 자기 공명 영상 (fMRI)로서, 어느 침습적 또는 비 침습적으로 가장 일반적으로 사용되는 비 침습적 방법을 뇌 신호를 획득 할 수있다 BRI 시스템은 두피에 배치 전극으로부터의 EEG 신호를 획득하는 것이다. 이 방법은 저가의 사용이 용이하고, 허용 가능한 시간 해상도를 제공한다 (3). 그들은 인간이 매일 겪는 동일한 물리적, 정신적 작업의 일부를 모방하기 위해 만든대로 로봇 다양한 장치 중 인간형 로봇은 고급이다. 인간형 로봇 BRI는이 아픈 노인 지원뿐만 아니라 비위생적 또는 위험한 작업을 수행하는 데 중요한 역할을 할 것이다. 그러나 제어전신 운동과 인간형 로봇이 개인 지원 4, 5로 복잡한 작업을 수행하기 위해 개발로 BRI 시스템을 통해 인간형 로봇의 매우 도전이다.
정상 상태 시각 유발 전위 (SSVEP) 지정된 주파수 6시에 시각적 자극의 변조에 의해 유발 된 뇌 신호의 유형입니다. 이 깜박이는 자극의 기본 및 고조파 주파수에서 사인 곡선을 포함하고, 눈에 띄게 두피 7의 후두부에있는 시각 피질 전반에 걸쳐 나타납니다. SSVEP 신호를 선택하는 이유는 SSVEP 기반 BRI 시스템은 상대적으로 높은 정보 전송 속도를 산출하고 8 이하 훈련을 필요로한다는 것이다. 이러한 이벤트 관련 전위 (ERPS) (9) 또는 모터 – 이미지 (MI) (10)에서, 전위 뇌파 등의 다른 유형은 또한이 실험 절차에 내장 될 수있다.
인간과 뇌 – 로봇 상호 작용을위한 우리의 절차로봇 Cerebot을 기반으로 – 마음 제어 인간형 로봇 플랫폼 – 뇌파 데이터 수집 시스템과 인간형 로봇 (11)로 구성. EEG 시스템은 전 공정 및 전극의 다양한 유형에 의해 취득 된 디스플레이 생체 전위 신호를 기록 할 수있다. 그것은 다수의 아날로그 I / OS 및 디지털 I / O를 제공하고, 16 비트 해상도로 30 kHz의 샘플링 레이트에서 128 동시 신호 채널을 녹화 할 수있다. C ++ 및 MATLAB에서 자사의 소프트웨어 개발 키트는 사용자가 실험 절차를 설계하기가 쉽다. 인간형 로봇은 자유 25도를 가지고 있으며, 2 카메라, 4 마이크, 2 소나 거리 측정기, 2 IR 이미 터와 수신기, 1 관성 보드, 9 촉각 센서, 8 압력 센서 등 다양한 센서가 장착되어 있습니다. 그것은 생성 및 편집 움직임과 상호 작용하는 로봇의 행동에 대한 Choregraphe 및 C ++ SDK를 제공합니다.
이 방법의 전반적인 목표는 SSVEP 기반 실험 proce을을 구축하는 것입니다틀리면 인간형 로봇 (11)의 뇌 로봇의 상호 작용의 연구를 가능하게하기 위해, 이러한 OpenViBE, Choregraph 중앙 소프트웨어와 같은 다수의 소프트웨어 프로그램뿐만 아니라, C ++ 및 MATLAB 작성된 사용자 개발 프로그램을 통합하여. 1 시스템 구조를 도시한다. 전용 자극 프레 젠 테이션 컴퓨터 (SPC)는 시각적 자극, 지침 및 환경 피드백와 주제를 제공하는 사용자 인터페이스를 표시합니다. 전용 데이터 처리 시스템 (DPC)를 오프라인 트레이닝 프로세스의 데이터 기록 및 오프라인 데이터 분석을 실행하고, 온라인 신호 프로세서 및 인간형 로봇의 온라인 제어용 로봇 컨트롤러를 실행. 다른 SSVEP 기반 제어 시스템과 비교하여, 우리의 시스템은 재사용하고 그러한 OpenViBE, Choregraph 중앙 소프트웨어와 같은 표준화 된 소프트웨어 패키지들을 통합하여 개발로 업그레이드 될 것이 더 유연하고 더 신뢰성, 특히 더 편리 모듈은 C ++로 작성및 MATLAB.
다음 절차를 검토하고 천진 의과 대학 종합 병원 윤리위원회의 승인을하고, 모든 주제는 서면 동의를 주었다.
Protocol
Representative Results
Discussion
이 논문은 다수의 소프트웨어 프로그램을 통합하여 휴머노이드 로봇 뇌 로봇 작용 장치를 확립 SSVEP 기반 실험 절차를 제시한다. 인간이 의도 실시간 EEG 신호를 해석에 의해 인식되기 때문에, 실험을 실시하기 전에, 전극 연결부와 EEG 신호 품질 정보를 확인하는 것이 중요하다. 모든 전극으로부터 획득 된 신호의 품질이 불량한 경우, 먼저 접지 전극과 기준 전극의 연결 상태를 확인하는 것이 필요…
Declarações
The authors have nothing to disclose.
Acknowledgements
저자는이 논문에서보고 된 실험을 수행 그의 도움 씨 홍콩 후 그들의 감사의 말씀을드립니다. 이 작품은 중국 국가 자연 과학 재단 (제 61473207)에 의해 부분적으로 지원되었다.
Materials
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
Referências
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
