SSVEP основе экспериментальной процедуры для мозгов Robot взаимодействия с человекоподобных роботов
Summary
The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.
Abstract
Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.
Introduction
Мозг-робот взаимодействия (BRI), которая обеспечивает инновационную путь связи между человеком и роботом устройства через сигналы мозга, является перспективным в помощи инвалидам в их повседневной жизни 1,2. Разнообразие методов могут приобрести мозговые сигналы либо инвазивным или неинвазивным, такие как electrocorticography (ЭГ), электроэнцефалографом (ЭЭГ), функциональной магнитно-резонансной томографии (МРТ), и т.д. Наиболее часто используемый неинвазивный метод для построения Система BRI является приобретение сигналы ЭЭГ с электродов, помещенных на коже головы. Этот метод является недорогим, простым в использовании и обеспечивает приемлемый временное разрешение 3. Среди разнообразия роботов устройств, гуманоидные роботы передовые, как они созданы, чтобы подражать некоторые из тех же физических и умственных задач, что люди подвергаются ежедневно. BRI с человекоподобного робота будет играть важную роль в оказании помощи больным и пожилым людям, а также выполнения антисанитарных или опасных работах. Но контрольиз человекоподобного робота через систему BRI весьма сложной задачей, поскольку робот-гуманоид с полным движением тела разработана для выполнения сложных задач, таких, как личная помощь 4, 5.
Установившаяся зрительных вызванных потенциалов (SSVEP) является тип сигнала мозга, вызванный модуляцией зрительного стимула при заданной частоте 6. Он содержит синусоиды на основных и гармонических частот мерцающем стимул, и заметно, появляется в зрительной коре в затылочной области волосистой части головы 7. Причиной выбора SSVEP сигналы, что SSVEP-система BRI дает относительно высокую скорость передачи информации и требует меньше подготовки 8. Другие типы мозговых волн, такие как события, связанные с потенциалами (ССП) 9 или мотор-образов (ИМ) потенциалов 10, также может быть встроен в этой экспериментальной процедуры.
Наша процедура мозг робота-гуманоида взаимодействия сроботы на основе Cerebot – управляемым сознанием человекоподобный робот платформы – состоящий из системы сбора данных ЭЭГ и робота-гуманоида 11. Система ЭЭГ способен записывать, предварительно обрабатывают и отображают био-потенциал сигналы, полученные с помощью различных типов электродов. Это обеспечивает многократное аналогового ввода / вывода и цифрового ввода / вывода и способен записывать до 128 сигнальных каналов одновременно при частоте дискретизации 30 кГц с разрешением 16 бит. Его комплекты разработки программного обеспечения в C ++ и MATLAB легко для пользователей, чтобы разработать экспериментальные процедуры. Гуманоид Робот имеет 25 степеней свободы и оснащен множеством датчиков, в том числе 2-х камер, микрофонов, 4 2 гидроакустических дальномеров, 2 ИК-излучателей и приемников, 1 инерциальной борту, 9 датчиков тактильных и 8 датчиков давления. Она обеспечивает Choregraphe и C ++ SDK для создания и редактирования движений и интерактивных поведения роботов.
Общая цель этого метода заключается в создании SSVEP основе экспериментального процеДюре путем интеграции нескольких компьютерных программ, таких как OpenViBE, Choregraph, Центральной программного обеспечения, а также разработаны пользовательские программы, написанные на C ++ и MATLAB, для того, чтобы изучение мозга робота взаимодействия с человекоподобных роботов 11. Рисунок 1 показывает структуру системы. Выделенный стимулом презентация компьютер (SPC) отображает пользовательский интерфейс, чтобы обеспечить эту тему с визуальными стимулами, инструкций и экологических отзывы. Выделенный компьютерной обработки данных (ЦОД) работает регистратор данных и данных в автономном режиме анализатора в автономном тренировочного процесса, и работает процессор Интернет сигнал и Robot Controller для онлайн контроля робота-гуманоида. По сравнению с другими системами управления SSVEP основе, наша система является более надежным, более гибкой, и, особенно, более удобно использовать повторно и обновлен, как это развивается путем интеграции ряда стандартных пакетов программного обеспечения, таких как OpenViBE, Choregraph, Центральной программного обеспечения, и модулями, написанными на C ++и MATLAB.
Следующая процедура была рассмотрена и одобрена Тяньцзинь медицинского университета больницы общего комитета по этике, и все предметы дал письменное согласие.
Protocol
Representative Results
Discussion
Эта статья представляет собой экспериментальную процедуру SSVEP основе создать систему взаимодействия мозга робота с человекоподобных роботов путем интеграции нескольких программ. Потому что человек намерен воспринимается интерпретации сигналов ЭЭГ в реальном времени, важно, чтобы у…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Авторы хотели бы выразить свою благодарность г-ну Ху Hong за помощь в проведении экспериментов, представленные в этой статье. Эта работа была частично поддержана Национальным фондом естественных наук Китая (№ 61473207).
Materials
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
