Endüstri ve sağlık hizmetleri için tek kanallı ve non-invaziv giyilebilir beyin-bilgisayar arayüzü
Summary
Bu makale, tüketici sınıfı ekipmanlara ve kararlı durum görsel olarak uyarılmış potansiyellere dayanarak bir beyin-bilgisayar arayüzünün nasıl oluşturulacağını tartışmaktadır. Bunun için, kuru elektrotlardan yararlanan tek kanallı bir elektroensefalograf, uyaran sunumu ve çıktı verisi görselleştirmesi için artırılmış gerçeklik gözlükleriyle entegre edildi. Son sistem invaziv olmayan, giyilebilir ve taşınabilirdi.
Abstract
Bu çalışma, giyilebilir bir beyin-bilgisayar arayüzünün (BCI) nasıl oluşturulacağına odaklanmaktadır. BCI’lar, hem engelli insanlara hem de bedensel olarak yetenekli olanlara yardımcı olmak için beyin sinyallerinin doğrudan ölçümlerine dayanan yeni bir insan-bilgisayar etkileşimi aracıdır. Uygulama örnekleri arasında robotik kontrol, endüstriyel muayene ve nörorehabilitasyon sayılabilir. Özellikle, son zamanlarda yapılan çalışmalar, kararlı durum görsel olarak uyarılmış potansiyellerin (SSVEP’ler) iletişim ve kontrol uygulamaları için özellikle uygun olduğunu ve şu anda BCI teknolojisini günlük hayata getirmek için çaba sarf edildiğini göstermiştir. Bu amaca ulaşmak için, nihai sistem giyilebilir, taşınabilir ve düşük maliyetli enstrümantasyona dayanmalıdır. SSVEP’lerden yararlanırken, sabit frekanslı titreşen bir görsel uyaran gereklidir. Bu nedenle, günlük yaşam kısıtları göz önüne alındığında, akıllı gözlükler aracılığıyla görsel uyaran sağlama olasılığı araştırılmıştır. Ayrıca, ortaya çıkan potansiyelleri tespit etmek için, elektroensefalografi (EEG) için ticari bir cihaz düşünülmüştür. Bu, kuru elektrotlara sahip tek bir diferansiyel kanaldan oluşur (iletken jel içermez), böylece en üst düzeyde giyilebilirlik ve taşınabilirlik elde edilir. Böyle bir BCI’da, kullanıcı yalnızca ekranda görünen simgelere bakarak akıllı gözlüklerle etkileşime girebilir. Bu basit prensip üzerine, genişletilmiş gerçeklik (XR) gözlüklerini ticari olarak temin edilebilen bir EEG cihazıyla entegre ederek kullanıcı dostu, düşük maliyetli bir BCI üretildi. Bu giyilebilir XR-BCI’nın işlevselliği, 20 deneği içeren deneysel bir kampanya ile incelendi. Sınıflandırma doğruluğu stimülasyon süresine bağlı olarak ortalama %80-95 arasındaydı. Bu sonuçlar göz önüne alındığında, sistem endüstriyel denetim için bir insan-makine arayüzü olarak değil, aynı zamanda DEHB ve otizmde rehabilitasyon için de kullanılabilir.
Introduction
Bir beyin-bilgisayar arayüzü (BCI), doğal sinir yolları olmadan cihazlarla iletişime ve / veya cihazların kontrolüne izin veren bir sistemdir1. BCI teknolojisi, insanlığın nesneleri zihnin gücüyle kontrol etmeye en yakın olduğu şeydir. Teknik açıdan bakıldığında, sistem çalışması, konu2’den istemsiz veya gönüllü olarak üretilebilecek indüklenmiş veya uyarılmış beyin aktivitesini ölçerek çalışır. Tarihsel olarak, araştırmalar BCI3 aracılığıyla motor engelli insanlara yardım etmeye odaklandı, ancak günümüzde giderek artan sayıda şirket, oyun4, robotik5, endüstri6 ve insan-makine etkileşimini içeren diğer uygulamalar için BCI tabanlı enstrümantasyon sunuyor. Özellikle, BCI’lar dördüncü sanayi devriminde, yani siber-fiziksel üretim sistemlerinin insanlar ve çevre arasındaki etkileşimi değiştirdiği endüstri 4.07’de rol oynayabilir8. Genel olarak, Avrupa projesi BNCI Horizon 2020, merkezi sinir sisteminin kayıp doğal fonksiyonlarının değiştirilmesi, geri yüklenmesi, iyileştirilmesi, geliştirilmesi veya desteklenmesi gibi uygulama senaryolarının yanı sıra BCI’nın beynin araştırılmasında kullanılması gibi uygulama senaryolarını tanımladı9.
Bu çerçevede, son teknolojik gelişmeler beyin-bilgisayar arayüzlerinin günlük yaşamda kullanım için uygun olabileceği anlamına gelmektedir10,11. Bu amaca ulaşmak için ilk gereklilik, cerrahi müdahale risklerinden kaçınmak ve kullanıcı kabulünü artırmak için önemli olan non-invazivliktir. Bununla birlikte, non-invaziv nörogörüntüleme seçiminin ölçülen beyin sinyallerinin kalitesini etkilediğini ve BCI tasarımının daha sonra ilişkili tuzaklarla başa çıkması gerektiğini belirtmek gerekir12. Ek olarak, giyilebilirlik ve taşınabilirlik gereklidir. Bu gereksinimler, kullanıcı dostu bir sisteme duyulan ihtiyaçla uyumludur, ancak aynı zamanda bazı kısıtlamalar da getirmektedir. Genel olarak, söz konusu donanım kısıtlamaları, jel içermeyen elektrotlara sahip bir elektroensefalografik (EEG) sistemin kullanılmasıyla elealınmaktadır 6. Böyle bir EEG tabanlı BCI da düşük maliyetli olacaktır. Bu arada, yazılım açısından, minimum kullanıcı eğitimi (veya ideal olarak hiçbir eğitim) istenmeyecektir; Yani, kullanıcı sistemi kullanmadan önce işleme algoritmasını ayarlamak için uzun sürelerden kaçınmak en iyisi olacaktır. Bu yön, BCI’larda özneler arası ve özne içi durağanlık olmaması nedeniyle kritik öneme sahiptir13,14.
Önceki literatür, uyarılmış beyin potansiyellerinin tespitinin, sinyal alımındaki durağanlık ve gürültü açısından sağlam olduğunu göstermiştir. Başka bir deyişle, uyarılmış potansiyelin tespitine dayanan BCI’lar reaktif olarak adlandırılır ve beyin paterni tanıma açısından en iyi performans gösteren BCI’lardır15. Bununla birlikte, muhtemelen bu tür arayüzlerin ana dezavantajı olan duyusal stimülasyona ihtiyaç duyarlar. Bu nedenle, önerilen yöntemin amacı, giyilebilir, kullanıma hazır enstrümantasyona dayanan son derece giyilebilir ve taşınabilir bir BCI oluşturmaktır. Buradaki duyusal uyaranlar, akıllı gözlükler tarafından üretilen, kararlı durum görsel olarak uyarılmış potansiyelleri (SSVEP’ler) ortaya çıkarabilen titreşen ışıklardan oluşur. Önceki çalışmalar, BCI’yı sanal gerçeklikle tek başına veya artırılmış gerçeklik16 ile birlikte entegre etmeyi zaten düşünmüştü. Örneğin, SSVEP17 ile bir quadcopter’ı kontrol etmek için bir BCI-AR sistemi önerildi. Sanal gerçeklik, artırılmış gerçeklik ve diğer paradigmalar, genişletilmiş gerçeklik terimiyle anılır. Böyle bir senaryoda, akıllı gözlük seçimi giyilebilirlik ve taşınabilirlik gereksinimlerine uygundur ve akıllı gözlükler minimum EEG edinme kurulumu ile entegre edilebilir. Bu makale, SSVEP tabanlı BCI’nın düşük-orta hızlı iletişim ve kontrol uygulamaları için kabul edilebilir sınıflandırma performansı elde ederken minimum eğitim gerektirdiğini göstermektedir. Bu nedenle, teknik günlük yaşam uygulamaları için BCI’ya uygulanır ve özellikle endüstri ve sağlık hizmetleri için uygun görünmektedir.
Protocol
Representative Results
Discussion
Sistemin düzgün çalışması iki önemli yönü içerir: SSVEP uyarımı ve sinyal alımı. Mevcut çalışma için seçilen belirli cihazların yanı sıra, SSVEP, titreşen bir ışık sağlayan farklı cihazlarla ortaya çıkarılabilir, ancak giyilebilirlik ve taşınabilirliği sağlamak için akıllı gözlükler tercih edilir. Benzer şekilde, daha fazla ticari elektroensefalograf düşünülebilir, ancak giyilebilir, taşınabilir olmaları ve kullanıcı dostu olmaları için minimum sayıda kuru elektrot iç…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Bu çalışma, İtalya Eğitim, Üniversite ve Araştırma Bakanlığı (MIUR) tarafından Mükemmellik Bölümleri (232/2016 sayılı İtalyan Bütçe Kanunu) girişimi kapsamında, Napoli Federico II Üniversitesi Bilgi Teknolojileri ve Elektrik Mühendisliği Bölümü’ne verilen bir mükemmellik hibesi ile finansal olarak desteklenen Sağlık için BİT projesinin bir parçası olarak gerçekleştirilmiştir. Napoli, İtalya. Proje gerçekten de Res4Net girişiminin ve IEEE Enstrümantasyon ve Ölçüm Topluluğu’nun TC-06 (Ölçümlerde Gelişen Teknolojiler) desteğiyle mümkün olmuştur. Yazarlar ayrıca L. Callegaro, A. Cioffi, S. Criscuolo, A. Cultrera, G. De Blasi, E. De Benedetto, L. Duraccio, E. Leone ve M. Ortolano’ya sistemin geliştirilmesi, test edilmesi ve doğrulanmasındaki değerli katkıları için teşekkür eder.
Materials
| Conductive rubber with Ag/AgCl coating | ab medica s.p.a. | N/A | Alternative electrodes – type 2 |
| Earclip electrode | OpenBCI | N/A | Ear clip |
| EEG-AE | Olimex | N/A | Active electrodes |
| EEG-PE | Olimex | N/A | Passive electrode |
| EEG-SMT | Olimex | N/A | Low-cost electroencephalograph |
| Moverio BT-200 | Epson | N/A | Smart glasses |
| Snap electrodes | OpenBCI | N/A | Alternative electrodes – type 1 |
References
- Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
- Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M., Tan, D. S., Nijholt, A. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. , 181-199 (2010).
- Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
- Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
- Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
- Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
- Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
- Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
- Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
- Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
- Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
- Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
- Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
- Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
- Friedman, D., Nakatsu, R., Rauterberg, M., Ciancarini, P. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. , 151-171 (2015).
- Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
- Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
- Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
- Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
- Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
- Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).
