SSVEP القائم على الإجراءات التجريبية للدماغ روبوت التفاعل مع مواصفات البشر الروبوتات
Summary
The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.
Abstract
Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.
Introduction
الدماغ الروبوت التفاعل (BRI)، الذي يوفر مسارا الاتصالات المبتكرة بين الإنسان والجهاز الآلي عبر إشارات الدماغ، هو المحتملين في مساعدة المعاقين في حياتهم اليومية 1،2. مجموعة متنوعة من الأساليب هي قادرة على التقاط إشارات الدماغ إما جراحية أو غير جراحية، مثل تخطيط كهربية قشر الدماغ (ECoG)، التخطيط الكهربائي للدماغ، والتصوير بالرنين المغناطيسي الوظيفي (fMRI)، وما إلى ذلك طريقة غير الغازية الأكثر استخداما لبناء نظام BRI هو الحصول على إشارات EEG من أقطاب توضع على فروة الرأس. هذه الطريقة غير مكلفة وسهلة الاستخدام، ويوفر القرار الزماني مقبول 3. بين مجموعة متنوعة من الأجهزة الروبوتية، والروبوتات الروبوت متقدمة كما أنها يتم إنشاؤها لتقليد بعض من نفس المهام البدنية والعقلية أن البشر يخضع يوميا. سوف BRI مع الروبوت الروبوت لعب دورا هاما في مساعدة المرضى وكبار السن، فضلا عن أداء وظائف غير صحية أو خطرة. لكن السيطرةمن الروبوت الروبوت من خلال نظام BRI يشكل تحديا للغاية، كما تم تطوير الروبوت الروبوت مع حركة الجسم كاملة لأداء المهام المعقدة مثل المساعدة الشخصية 4، 5.
المطرد للدولة البصرية مستدعى المحتملة (SSVEP) هو نوع من إشارة الدماغ التي حركها التشكيل من التحفيز البصري على تردد معين 6. أنه يحتوي على الجيوب في الترددات الأساسية ومتناسق من التحفيز الخفقان، وبشكل بارز يظهر في جميع أنحاء القشرة البصرية في المنطقة القفوية من فروة الرأس 7. سبب اختيار الإشارات SSVEP هو أن النظام BRI استنادا SSVEP-غلة عالية نسبيا معدل نقل المعلومات ويتطلب أقل تدريب 8. أنواع أخرى من الموجات الدماغية، مثل إمكانات ذات الصلة بالحدث (نظم تخطيط موارد المؤسسات) 9 أو الحركية الصور (MI) إمكانات 10، ويمكن أيضا أن يكون متضمنا في هذا الإجراء التجريبي.
إجراءاتنا للتفاعل الدماغ الروبوت مع الروبوتويستند الروبوتات على Cerebot – منصة العقل التي تسيطر عليها الروبوت الروبوت – التي تتكون من نظام الحصول على البيانات EEG والروبوت الروبوت 11. نظام EEG غير قادرة على تسجيل، قبل العملية والإشارات الحيوية المحتملة العرض التي حصل عليها أنواع مختلفة من الأقطاب الكهربائية. أنها توفر التناظرية متعددة الإدخال / الإخراج وأنا الرقمية / الإخراج، وقادر على تسجيل ما يصل إلى 128 قناة في وقت واحد إشارة بمعدل عينة من 30 كيلو هرتز مع قرار 16-بت. في عدد تطوير البرامج في C ++ وMATLAB من السهل للمستخدمين لتصميم الإجراءات التجريبية. الروبوت الروبوت لديه 25 درجات الحرية ومجهز بأجهزة استشعار متعددة، بما في ذلك 2 الكاميرات، 4 ميكروفونات، 2 جهاز ضبط السونار، 2 IR بواعث والمستقبلات، 1 مجلس بالقصور الذاتي، 9 أجهزة استشعار اللمس، و 8 أجهزة استشعار الضغط. ويوفر Choregraphe وC ++ SDK لإنشاء وحركات التحرير والسلوكيات الروبوت التفاعلية.
الهدف العام من هذه الطريقة هو إقامة صناعة تج التجريبي القائم على SSVEPDURE من خلال دمج برامج متعددة، مثل OpenViBE، Choregraph، والبرمجيات المركزي وكذلك برامج المستخدم وضعت مكتوب في C ++ وMATLAB، لتمكين دراسة تفاعل الدماغ الروبوت مع الروبوتات الروبوت 11 الشكل 1 يبين هيكل النظام. يعرض الكمبيوتر عرض الحوافز مخصص (SPC) واجهة المستخدم لتقديم هذا الموضوع مع المثيرات البصرية والتعليمات والاصداء البيئية. الكمبيوتر معالجة البيانات المخصص (DPC) يعمل على تسجيل بيانات ومحلل بيانات دون اتصال في عملية التدريب حاليا، ويتم تشغيل المعالج على الانترنت الإشارات والتحكم روبوت لمراقبة الإنترنت لالروبوت الروبوت. مقارنة مع النظم الأخرى التحكم على SSVEP، نظامنا هو أكثر موثوقية، وأكثر مرونة، وخصوصا أكثر ملاءمة لإعادة استخدامها وترقيتها كما يتم تطويره من خلال دمج عدد من حزم البرمجيات القياسية، مثل OpenViBE، Choregraph، البرامج المركزي، و وحدات مكتوب في C ++وMATLAB.
وجرى استعراض الإجراء التالي والموافقة عليها من قبل الجامعة لجنة للأخلاقيات الطبية المستشفى العام تيانجين، وجميع المواد أعطى موافقة خطية.
Protocol
Representative Results
Discussion
تقدم هذه الورقة إجراء التجارب على أساس SSVEP لإنشاء نظام تفاعل الدماغ الروبوت مع الروبوتات الروبوت من خلال دمج برامج متعددة. لأنه ينظر القصد البشري عن طريق تفسير إشارات EEG في الوقت الحقيقي، فمن الأهمية بمكان للتحقق من وصلات الكهربائي EEG والصفات إشارة قبل إجراء التجربة. …
Disclosures
The authors have nothing to disclose.
Acknowledgements
فإن الكتاب أود أن أعرب عن امتنانهم للسيد كونغ هو لمساعدته في أداء التجارب الواردة في هذه الدراسة. وأيد هذا العمل في جزء من مؤسسة العلوم الطبيعية الوطنية الصينية (رقم 61473207).
Materials
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
