Summary

ヒューマノイドロボットと脳とロボットのインタラクションのための実験手順をSSVEPベース

Published: November 24, 2015
doi:

Summary

The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.

Abstract

Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.

This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.

The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.

Introduction

脳の信号を介して人間とロボット装置との間に革新的な通信経路を提供する脳とロボットのインタラクション(BRI)は、日常生活の中で1,2無効を助けることに前向きです。種々の方法は、構築するための最も一般的に使用される非侵襲的方法など皮質脳波記録(ECOG)、脳波計(EEG)、機能的磁気共鳴画像法(fMRI)などのいずれかの侵襲的または非侵襲的脳信号を取得することが可能ですBRIシステムは頭皮上に配置された電極からのEEG信号を取得することです。この方法は、安価で使いやすい、および許容可能な時間分解能3を提供します。彼らは人間が毎日受けて、同じ物理的および精神的なタスクの一部を模倣するために作成されるロボット装置の様々な中で、ヒューマノイドロボットが進んでいます。ヒューマノイドロボットを使用したBRIは、病人や高齢者を支援するだけでなく、不衛生や危険な仕事を行う上で重要な役割を果たします。しかし、制御BRIシステムによるヒューマノイドロボットの全身運動とのヒューマノイドロボットは、このような個人の支援4、5のような複雑なタスクを実行するために開発されているように、非常に困難です。

定常視覚誘発電位(SSVEP)は、所定の周波数6で視覚刺激の変調によって誘発される脳の信号の種類です。これはちらつき刺激の基本と高調波の周波数で正弦波が含まれていて、目立つ頭皮7の後頭部にある視覚野全体に表示されます。 SSVEP信号を選択する理由は、SSVEPベースBRIシステムは、比較的高い情報転送速度が得られ、より少ない訓練8を必要とすることです 。そのような事象関連電位(ERP)9またはモータ像(MI)10を電位として脳波の他のタイプもまた、この実験手順に埋め込 ​​むことができます。

ヒューマノイドと脳とロボットの相互作用のための私たちの手順心制御ヒューマノイドロボットプラットフォーム- – EEGデータ収集システムと人型ロボット11からなるロボットはCerebotに基づいています。 EEGシステムは、電極の種々のタイプにより取得された、前処理および表示生体電位信号を記録することができます。これは、複数のアナログI / OとデジタルI / Oを提供し、16ビットの分解能では30kHzのサンプリングレートで同時に128の信号チャンネルを記録することができます。 C ++とMATLABでそのソフトウェア開発キットは、実験手順を設計するユーザーのために簡単です。ヒューマノイドロボットは自由の25度を持っており、2台のカメラ、4マイク、2ソナー距離計、2 IRエミッターと受信機、1慣性ボード、9触覚センサ、および8の圧力センサを含む複数のセンサを備えています。これは、動きや対話型ロボットの動作を作成および編集するためのChoregrapheおよびC ++ SDKを提供します。

この方法の全体的な目標は、SSVEPベースの実験的なproceを確立することですdureヒューマノイドロボット11と脳とロボットの相互作用の研究を可能にするために、このようなOpenViBE、Choregraph、中央ソフトウェアなどの複数のソフトウェアプログラムと同様に、C ++とMATLABで記述されたユーザー開発したプログラムを統合することもできます。1は、システム構成を示します。専用の刺激提示コンピュータ(SPC)は、視覚刺激、指示や環境フィードバックを対象に提供するために、ユーザーインターフェイスが表示されます。専用のデータ処理用コンピュータ(DPC)は、オフライン訓練過程でデータレコーダとオフラインデータアナライザを実行し、オンライン・シグナル・プロセッサとヒューマノイドロボットのオンライン制御するロボット制御装置を実行します。他のSSVEPベースの制御システムと比較して、我々のシステムは、より信頼性の高い、より柔軟で、それはそのようなOpenViBE、Choregraph、中央ソフトウェアとして、標準化されたソフトウェア・パッケージの数を統合することによって開発されたとして再利用し、アップグレードするために、特に、より便利で、モジュールは、C ++で書かれましたMATLAB。

次の手順を見直し、天津医科大学総合病院の倫理委員会によって承認され、すべての被験者は、書面による同意を得ました。

Protocol

1.脳波信号を取得被験者に実験手順を説明し、実験に参加するために書面によるインフォームドコンセントを得ます。 巻尺を使用して、被験者の頭部の円周を測定し、測定値に近いEEGキャップサイズを選択します。電極の配置は、「国際10-20システム」12に基づいています。 ナジオンとイニオン間の距離を測定します。キャップを整列させるための基準となる距?…

Representative Results

ここに示された結果を修正対正常なバージョンを有する男性患者から得た。 図7は、空間的にCCA係数( 図7B)を用いてデータをフィルタリング、マルチチャンネルデータのエポック( 図7A)を抽出するなどのEEGデータを処理する手順を示しています正規化されたPSD( 図7C)を算出します 。 <p class="jove_content" fo:keep-t…

Discussion

本論文では、複数のソフトウェアを統合することにより、ヒューマノイドロボットと脳とロボットのインタラクションシステムを確立するために、SSVEPベースの実験手順を提示します。人間の目的は、リアルタイムEEG信号を解釈することによって知覚されるので、実験を行う前に、電極接続及びEEG信号の品質を確認することが重要です。すべての電極から得られる信号は、悪い品質である場?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

著者は、本論文で報告された実験を行う際に、彼の支援のために氏ホン胡に感謝の意を表したいと思います。この作品は、中国の国家自然科学基金(番号61473207)によって部分的にサポートされていました。

Materials

Cerebus EEG Data Acquisition System Blackrock Microsystems 4176-9967
NAO humanoid robot Aldebaran Robotics H25
EEG cap Neuroscan 8732
Ten20 Conductive gel Weaver and company 10-20-8

References

  1. McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
  2. Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
  3. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
  4. Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
  5. Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
  6. Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
  7. Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
  8. Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
  9. Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
  10. Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
  11. Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
  12. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
  13. Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
  14. Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
  15. Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
  16. Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
  17. Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
  18. Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
  19. Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
  20. Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
  21. Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
  22. Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
  23. Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
  24. Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).

Play Video

Cite This Article
Zhao, J., Li, W., Mao, X., Li, M. SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots. J. Vis. Exp. (105), e53558, doi:10.3791/53558 (2015).

View Video