Een single-channel en niet-invasieve draagbare brein-computer interface voor de industrie en de gezondheidszorg
Summary
Dit artikel bespreekt hoe een brein-computerinterface kan worden gebouwd door te vertrouwen op apparatuur van consumentenkwaliteit en steady-state visueel opgeroepen mogelijkheden. Hiervoor werd een eenkanaals elektro-encefalograaf die gebruik maakt van droge elektroden geïntegreerd met een augmented reality-bril voor de presentatie van stimuli en visualisatie van uitvoergegevens. Het uiteindelijke systeem was niet-invasief, draagbaar en draagbaar.
Abstract
Het huidige werk richt zich op het bouwen van een draagbare brein-computer interface (BCI). BCI’s zijn een nieuw middel voor interactie tussen mens en computer dat afhankelijk is van directe metingen van hersensignalen om zowel mensen met een handicap als validen te helpen. Toepassingsvoorbeelden zijn robotbesturing, industriële inspectie en neurorevalidatie. Met name recente studies hebben aangetoond dat steady-state visueel opgeroepen potentialen (SSVEP’s) bijzonder geschikt zijn voor communicatie- en besturingstoepassingen, en er worden momenteel inspanningen geleverd om BCI-technologie in het dagelijks leven te brengen. Om dit doel te bereiken, moet het uiteindelijke systeem vertrouwen op draagbare, draagbare en goedkope instrumenten. Bij het benutten van SSVEP’s is een flikkerende visuele prikkel met vaste frequenties vereist. Bij het overwegen van beperkingen in het dagelijks leven werd in deze studie dus de mogelijkheid onderzocht om visuele stimuli te bieden door middel van een slimme bril. Bovendien werd, om de opgewekte potentialen te detecteren, een commercieel apparaat voor elektro-encefalografie (EEG) overwogen. Dit bestaat uit een enkel differentieel kanaal met droge elektroden (geen geleidende gel), waardoor de grootst mogelijke draagbaarheid en draagbaarheid wordt bereikt. In zo’n BCI kan de gebruiker communiceren met de slimme bril door alleen maar te staren naar pictogrammen die op het display verschijnen. Op basis van dit eenvoudige principe werd een gebruiksvriendelijke, goedkope BCI gebouwd door een extended reality (XR) -bril te integreren met een in de handel verkrijgbaar EEG-apparaat. De functionaliteit van deze draagbare XR-BCI werd onderzocht met een experimentele campagne met 20 proefpersonen. De classificatienauwkeurigheid lag gemiddeld tussen de 80% -95%, afhankelijk van de stimulatietijd. Gezien deze resultaten kan het systeem worden gebruikt als een mens-machine-interface voor industriële inspectie, maar ook voor revalidatie bij ADHD en autisme.
Introduction
Een brain-computer interface (BCI) is een systeem dat communicatie met en/of controle van apparaten mogelijk maakt zonder natuurlijke neurale paden1. BCI-technologie komt het dichtst in de buurt van het besturen van objecten met de kracht van de geest. Vanuit technisch oogpunt werkt de systeemwerking door het meten van geïnduceerde of opgeroepen hersenactiviteit, die onvrijwillig of vrijwillig kan worden gegenereerd door het onderwerp2. Historisch gezien was onderzoek gericht op het helpen van mensen met motorische handicaps via BCI3, maar een groeiend aantal bedrijven biedt tegenwoordig BCI-gebaseerde instrumentatie voor gaming4, robotica5, industrie6 en andere toepassingen met interactie tussen mens en machine. Met name BCI’s kunnen een rol spelen in de vierde industriële revolutie, namelijk industrie 4.07, waar cyber-fysieke productiesystemen de interactie tussen mensen en de omgeving veranderen8. In grote lijnen identificeerde het Europese project BNCI Horizon 2020 toepassingsscenario’s zoals het vervangen, herstellen, verbeteren, verbeteren of aanvullen van verloren natuurlijke functies van het centrale zenuwstelsel, evenals het gebruik van BCI bij het onderzoeken van de hersenen9.
In dit kader betekenen recente technologische ontwikkelingen dat brein-computerinterfaces van toepassing kunnen zijn voor gebruik in het dagelijks leven10,11. Om dit doel te bereiken, is de eerste vereiste niet-invasiviteit, wat belangrijk is om de risico’s van chirurgische ingrepen te vermijden en de gebruikersacceptatie te vergroten. Het is echter vermeldenswaard dat de keuze voor niet-invasieve neuroimaging de kwaliteit van gemeten hersensignalen beïnvloedt, en het BCI-ontwerp moet dan omgaan met de bijbehorende valkuilen12. Daarnaast zijn draagbaarheid en draagbaarheid vereist. Deze eisen zijn in lijn met de behoefte aan een gebruiksvriendelijk systeem, maar brengen ook enkele beperkingen met zich mee. Over het algemeen worden de genoemde hardwarebeperkingen aangepakt door het gebruik van een elektro-encefalografisch (EEG) -systeem met gelvrije elektroden6. Zo’n EEG-gebaseerde BCI zou ook goedkoop zijn. Ondertussen zou wat betreft de software minimale gebruikerstraining (of idealiter geen training) gewenst zijn; Het zou namelijk het beste zijn om lange perioden voor het afstemmen van het verwerkingsalgoritme te vermijden voordat de gebruiker het systeem kan gebruiken. Dit aspect is van cruciaal belang in BCI’s vanwege inter-subject en intra-subject non-stationarity13,14.
Eerdere literatuur heeft aangetoond dat de detectie van opgeroepen hersenpotentialen robuust is met betrekking tot niet-stationariteit en ruis bij signaalacquisitie. Met andere woorden, BCI’s die afhankelijk zijn van de detectie van opgewekt potentieel worden reactief genoemd en zijn de best presterende BCI’s in termen van hersenpatroonherkenning15. Niettemin vereisen ze sensorische stimulatie, wat waarschijnlijk het belangrijkste nadeel is van dergelijke interfaces. Het doel van de voorgestelde methode is dus om een zeer draagbare en draagbare BCI te bouwen die afhankelijk is van draagbare, kant-en-klare instrumentatie. De zintuiglijke prikkels bestaan hier uit flikkerende lichten, gegenereerd door slimme brillen, die in staat zijn om steady-state visueel opgeroepen potentialen (SSVEP’s) op te wekken. Eerdere werken hebben al overwogen om BCI te integreren met virtual reality, alleen of in combinatie met augmented reality16. Zo werd een BCI-AR-systeem voorgesteld om een quadcopter met SSVEP17 aan te sturen. Virtual reality, augmented reality en andere paradigma’s worden aangeduid met de term extended reality. In een dergelijk scenario voldoet de keuze van een slimme bril aan de vereisten voor draagbaarheid en draagbaarheid en kan een slimme bril worden geïntegreerd met een minimale EEG-acquisitie-opstelling. Dit artikel toont aan dat op SSVEP gebaseerde BCI ook minimale training vereist en tegelijkertijd aanvaardbare classificatieprestaties bereikt voor communicatie- en besturingstoepassingen met lage tot gemiddelde snelheid. Vandaar dat de techniek wordt toegepast op BCI voor toepassingen in het dagelijks leven, en het lijkt vooral geschikt voor de industrie en de gezondheidszorg.
Protocol
Representative Results
Discussion
De goede werking van het systeem omvat twee cruciale aspecten: SSVEP-elicitatie en signaalacquisitie. Afgezien van de specifieke apparaten die voor de huidige studie zijn gekozen, kan SSVEP worden opgewekt met verschillende apparaten die een flikkerend licht bieden, hoewel slimme brillen de voorkeur hebben om draagbaarheid en draagbaarheid te garanderen. Analoog zou verder commercieel elektro-encefalografen kunnen worden overwogen, maar ze zouden draagbaar en draagbaar moeten zijn en een minimum aantal droge elektroden m…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Dit werk werd uitgevoerd als onderdeel van het ICT for Health-project, dat financieel werd ondersteund door het Italiaanse ministerie van Onderwijs, Universiteit en Onderzoek (MIUR), onder het initiatief Afdelingen van uitmuntendheid (Italiaanse begrotingswet nr. 232/2016), via een excellentiebeurs toegekend aan de afdeling Informatietechnologie en Elektrotechniek van de Universiteit van Napels Federico II, Napels, Italië. Het project werd inderdaad mogelijk gemaakt door de steun van het Res4Net-initiatief en de TC-06 (Emerging Technologies in Measurements) van de IEEE Instrumentation and Measurement Society. De auteurs willen ook L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone en M. Ortolano bedanken voor hun waardevolle bijdragen aan het ontwikkelen, testen en valideren van het systeem.
Materials
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M., Tan, D. S., Nijholt, A. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. , 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D., Nakatsu, R., Rauterberg, M., Ciancarini, P. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
