Un'interfaccia cervello-computer indossabile a canale singolo e non invasiva per l'industria e la sanità
Summary
Questo documento discute come costruire un’interfaccia cervello-computer facendo affidamento su apparecchiature di livello consumer e potenziali evocati visivamente in stato stazionario. Per questo, un elettroencefalografo a canale singolo che sfrutta elettrodi secchi è stato integrato con occhiali a realtà aumentata per la presentazione degli stimoli e la visualizzazione dei dati di output. Il sistema finale era non invasivo, indossabile e portatile.
Abstract
Il presente lavoro si concentra su come costruire un’interfaccia cervello-computer indossabile (BCI). I BCI sono un nuovo mezzo di interazione uomo-computer che si basa su misurazioni dirette dei segnali cerebrali per assistere sia le persone con disabilità che coloro che sono normodotati. Esempi di applicazioni includono il controllo robotico, l’ispezione industriale e la neuroriabilitazione. In particolare, studi recenti hanno dimostrato che i potenziali evocati visivamente stazionari (SSVEP) sono particolarmente adatti per applicazioni di comunicazione e controllo e sono attualmente in corso sforzi per portare la tecnologia BCI nella vita quotidiana. Per raggiungere questo obiettivo, il sistema finale deve basarsi su strumentazione indossabile, portatile e a basso costo. Nello sfruttamento degli SSVEP è necessario uno stimolo visivo tremolante con frequenze fisse. Pertanto, nel considerare i vincoli della vita quotidiana, in questo studio è stata esplorata la possibilità di fornire stimoli visivi per mezzo di occhiali intelligenti. Inoltre, per rilevare i potenziali indotti, è stato preso in considerazione un dispositivo commerciale per l’elettroencefalografia (EEG). Questo è costituito da un unico canale differenziale con elettrodi secchi (senza gel conduttivo), ottenendo così la massima vestibilità e portabilità. In tale BCI, l’utente può interagire con gli occhiali intelligenti semplicemente fissando le icone che appaiono sul display. Su questo semplice principio, è stato costruito un BCI facile da usare e a basso costo integrando occhiali a realtà estesa (XR) con un dispositivo EEG disponibile in commercio. La funzionalità di questo XR-BCI indossabile è stata esaminata con una campagna sperimentale che ha coinvolto 20 soggetti. L’accuratezza della classificazione era compresa tra l’80% e il 95% in media a seconda del tempo di stimolazione. Dati questi risultati, il sistema può essere utilizzato come interfaccia uomo-macchina per l’ispezione industriale, ma anche per la riabilitazione nell’ADHD e nell’autismo.
Introduction
Un’interfaccia cervello-computer (BCI) è un sistema che consente la comunicazione e/o il controllo di dispositivi senza percorsi neurali naturali1. La tecnologia BCI è la cosa più vicina che l’umanità ha al controllo degli oggetti con il potere della mente. Da un punto di vista tecnico, il funzionamento del sistema funziona misurando l’attività cerebrale indotta o evocata, che potrebbe essere generata involontariamente o volontariamente dal soggetto2. Storicamente, la ricerca si è concentrata sull’aiutare le persone con disabilità motorie attraverso BCI3, ma un numero crescente di aziende oggi offre strumentazione basata su BCI per giochi4, robotica5, industria6 e altre applicazioni che coinvolgono l’interazione uomo-macchina. In particolare, le BCI possono svolgere un ruolo nella quarta rivoluzione industriale, vale a dire l’industria 4.07, in cui i sistemi di produzione ciberfisici stanno cambiando l’interazione tra gli esseri umani e l’ambiente circostante8. In generale, il progetto europeo BNCI Horizon 2020 ha identificato scenari applicativi come la sostituzione, il ripristino, il miglioramento, il potenziamento o l’integrazione delle funzioni naturali perse del sistema nervoso centrale, nonché l’uso del BCI nello studio del cervello9.
In questo contesto, i recenti progressi tecnologici significano che le interfacce cervello-computer possono essere applicabili per l’uso nella vita quotidiana10,11. Per raggiungere questo obiettivo, il primo requisito è la non invasività, importante per evitare i rischi dell’intervento chirurgico e aumentare l’accettazione da parte dell’utente. Tuttavia, vale la pena notare che la scelta del neuroimaging non invasivo influisce sulla qualità dei segnali cerebrali misurati e il progetto BCI deve quindi affrontare le insidie associate12. Inoltre, sono richieste vestibilità e portabilità. Questi requisiti sono in linea con la necessità di un sistema di facile utilizzo, ma pongono anche alcuni vincoli. Nel complesso, i vincoli hardware menzionati sono affrontati dall’uso di un sistema elettroencefalografico (EEG) con elettrodi privi di gel6. Tale BCI basato su EEG sarebbe anche a basso costo. Nel frattempo, in termini di software, sarebbe auspicabile una formazione minima dell’utente (o idealmente nessuna formazione); Vale a dire, sarebbe meglio evitare lunghi periodi per la messa a punto dell’algoritmo di elaborazione prima che l’utente possa utilizzare il sistema. Questo aspetto è critico nelle BCI a causa della non stazionarietà inter-soggetto e intra-soggetto13,14.
La letteratura precedente ha dimostrato che la rilevazione dei potenziali cerebrali evocati è robusta rispetto alla non stazionarietà e al rumore nell’acquisizione del segnale. In altre parole, i BCI che si basano sulla rilevazione del potenziale evocato sono definiti reattivi e sono i BCI più performanti in termini di riconoscimento del pattern cerebrale15. Tuttavia, richiedono una stimolazione sensoriale, che è probabilmente il principale svantaggio di tali interfacce. L’obiettivo del metodo proposto è, quindi, quello di costruire un BCI altamente indossabile e portatile basato su strumentazione indossabile e pronta all’uso. Gli stimoli sensoriali qui consistono in luci tremolanti, generate da occhiali intelligenti, che sono in grado di suscitare potenziali evocati visivamente stazionari (SSVEP). Lavori precedenti hanno già preso in considerazione l’integrazione di BCI con la realtà virtuale da sola o in combinazione con la realtà aumentata16. Ad esempio, è stato proposto un sistema BCI-AR per controllare un quadricottero con SSVEP17. La realtà virtuale, la realtà aumentata e altri paradigmi sono indicati con il termine realtà estesa. In tale scenario, la scelta degli occhiali intelligenti è conforme ai requisiti di vestibilità e portabilità e gli occhiali intelligenti possono essere integrati con una configurazione di acquisizione EEG minima. Questo documento mostra che il BCI basato su SSVEP richiede anche una formazione minima, ottenendo al contempo prestazioni di classificazione accettabili per applicazioni di comunicazione e controllo a bassa-media velocità. Quindi, la tecnica viene applicata al BCI per applicazioni quotidiane e sembra particolarmente adatta per l’industria e la sanità.
Protocol
Representative Results
Discussion
Il corretto funzionamento del sistema coinvolge due aspetti cruciali: l’elicitazione SSVEP e l’acquisizione del segnale. A parte i dispositivi specifici scelti per lo studio attuale, SSVEP potrebbe essere ottenuto con diversi dispositivi che forniscono una luce tremolante, anche se gli occhiali intelligenti sono preferiti per garantire vestibilità e portabilità. Analogamente, potrebbero essere presi in considerazione ulteriori elettroencefalografi commerciali, ma dovrebbero essere indossabili, portatili e coinvolgere u…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Questo lavoro è stato realizzato nell’ambito del progetto ICT for Health, che è stato sostenuto finanziariamente dal Ministero dell’Istruzione, dell’Università e della Ricerca (MIUR), nell’ambito dell’iniziativa Dipartimenti di Eccellenza (Legge di Bilancio n. 232/2016), attraverso un contributo di eccellenza assegnato al Dipartimento di Informatica e Ingegneria Elettrica dell’Università degli Studi di Napoli Federico II, Napoli, Italia. Il progetto è stato infatti reso possibile dal supporto dell’iniziativa Res4Net e del TC-06 (Emerging Technologies in Measurements) della IEEE Instrumentation and Measurement Society. Gli autori ringraziano anche L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone e M. Ortolano per i loro preziosi contributi nello sviluppo, nella sperimentazione e nella validazione del sistema.
Materials
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M., Tan, D. S., Nijholt, A. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. , 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D., Nakatsu, R., Rauterberg, M., Ciancarini, P. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
