Summary

産業およびヘルスケア向けの単一チャネルおよび非侵襲的ウェアラブルブレインコンピュータインタフェース

Published: July 07, 2023
doi:

Summary

この論文では、消費者グレードの機器と定常状態の視覚誘発電位に依存してブレインコンピュータインターフェースを構築する方法について説明します。このために、乾式電極を利用する単一チャネル脳波計は、刺激の提示と出力データの視覚化のために拡張現実メガネと統合されました。最終的なシステムは、非侵襲的で、ウェアラブルで、ポータブルでした。

Abstract

本研究では、ウェアラブルブレインコンピュータインターフェース(BCI)の構築方法に焦点を当てています。BCIは、障害を持つ人々と健常者の両方を支援するために脳信号の直接測定に依存する人間とコンピュータの相互作用の新しい手段です。アプリケーション例には、ロボット制御、産業検査、および神経リハビリテーションが含まれます。特に、最近の研究では、定常状態の視覚誘発電位(SSVEP)が通信および制御アプリケーションに特に適していることが示されており、現在、BCI技術を日常生活に取り入れるための努力がなされています。この目的を達成するために、最終的なシステムは、ウェアラブル、ポータブル、および低コストの計測器に依存する必要があります。SSVEPを利用するには、固定周波数のちらつきのある視覚刺激が必要です。そこで,日常生活の制約を考慮するにあたり,スマートグラスによる視覚刺激の提供の可能性について検討した.さらに、誘発電位を検出するために、脳波(EEG)用の市販の装置が検討された。これは、乾式電極(導電性ゲルなし)を備えた単一の差動チャネルで構成されているため、最大限の装着性と携帯性を実現します。このようなBCIでは、ユーザは、ディスプレイに表示されるアイコンを見つめるだけでスマートグラスと対話することができる。この単純な原理に基づいて、拡張現実(XR)メガネと市販のEEGデバイスを統合することにより、ユーザーフレンドリーで低コストのBCIが構築されました。このウェアラブルXR-BCIの機能性は、20人の被験者を対象とした実験キャンペーンで検討されました。分類精度は、刺激時間に応じて平均80%〜95%であった。これらの結果を考えると、このシステムは、工業検査だけでなく、ADHDや自閉症のリハビリテーションのためのヒューマンマシンインターフェースとしても使用できます。

Introduction

ブレインコンピュータインターフェース(BCI)は、自然な神経経路のないデバイスとの通信および/または制御を可能にするシステムです1。BCIテクノロジーは、人類が心の力でオブジェクトを制御するのに最も近いものです。技術的な観点から、システム操作は、被験者2から非自発的または自発的に生成される可能性のある誘発または誘発された脳活動を測定することによって機能します。歴史的に、研究はBCI3を通じて運動障害を持つ人々を支援することに焦点を当てていましたが、今日では、ゲーム4、ロボット工学5、インダストリー6、および人間と機械の相互作用を含むその他のアプリケーション向けにBCIベースの機器を提供する企業が増えています。特に、BCIは、サイバーフィジカル生産システムが人間と周囲の環境との相互作用を変化させている第4.0次産業革命、すなわちインダストリー4.07で役割を果たす可能性があります8。大まかに言えば、ヨーロッパのプロジェクトBNCI Horizon 2020は、中枢神経系の失われた自然機能の交換、回復、改善、強化、または補足などのアプリケーションシナリオ、および脳の調査におけるBCIの使用を特定しました9

この枠組みでは、最近の技術的進歩により、ブレインコンピュータインターフェースが日常生活での使用に適用できる可能性があることを意味します10,11。この目的を達成するために、最初の要件は非侵襲性であり、これは外科的介入のリスクを回避し、ユーザーの受け入れを高めるために重要です。ただし、非侵襲的ニューロイメージングの選択は、測定された脳信号の品質に影響を与えるため、BCI設計は関連する落とし穴に対処する必要があることに注意してください12。さらに、着用性と携帯性が求められます。これらの要件は、ユーザーフレンドリーなシステムの必要性と一致していますが、いくつかの制約もあります。全体として、言及されたハードウェアの制約は、ゲルフリー電極6を備えた脳波(EEG)システムの使用によって対処される。このようなEEGベースのBCIも低コストです。一方、ソフトウェアに関しては、最小限のユーザートレーニング(または理想的にはトレーニングなし)が望まれます。つまり、ユーザーがシステムを使用する前に、処理アルゴリズムを調整するための長い期間を避けるのが最善です。この側面は、被験者間および被験者内の非定常性のためにBCIで重要です13,14

以前の文献は、誘発された脳電位の検出が、信号取得における非定常性およびノイズに関して堅牢であることを示している。言い換えれば、誘発電位の検出に依存するBCIは 反応性と呼ばれ、脳パターン認識の観点から最もパフォーマンスの高いBCIです15。それにもかかわらず、それらは感覚刺激を必要とし、それはおそらくそのようなインターフェースの主な欠点である。したがって、提案手法の目標は、ウェアラブルな既製の計測器に依存する、高度にウェアラブルでポータブルなBCIを構築することです。ここでの感覚刺激は、スマートグラスによって生成されたちらつき光で構成されており、定常状態の視覚誘発電位(SSVEP)を誘発することができます。以前の研究では、BCIを単独で、または拡張現実と組み合わせて仮想現実と統合することをすでに検討しています16。たとえば、SSVEP17でクワッドコプターを制御するためにBCI-ARシステムが提案されました。仮想現実、拡張現実、およびその他のパラダイムは、拡張現実という用語で参照されます。このようなシナリオでは、スマートグラスの選択はウェアラビリティと携帯性の要件に準拠しており、スマートグラスは最小限のEEG取得セットアップで統合できます。この論文では、SSVEPベースのBCIは、低速から中速の通信および制御アプリケーションで許容可能な分類性能を達成しながら、最小限のトレーニングしか必要としないことを示しています。したがって、この技術は日常生活用途のBCIに適用され、特に産業やヘルスケアに適しているようです。

Protocol

この研究は、ナポリ大学フェデリコ2世の人文学部の心理学研究倫理委員会によって承認されました。ボランティアは、実験に参加する前にインフォームドコンセントに署名しました。 1.非侵襲的なウェアラブル脳の準備-コンピューターインターフェース 乾式電極を備えた低コストの民生用脳波計を入手し、シングルチャンネル用に構成します。<l…

Representative Results

上記のシステムの可能な実装を 図1に示します。この実装により、ユーザーは脳活動を通じて拡張現実をナビゲートできます。スマートグラスディスプレイのちらつきアイコンは、アプリケーションのアクションに対応しているため(図1A)、これらのメガネは、ボタンの押下またはタッチパッドに基づく従来のインターフェ?…

Discussion

システムが適切に機能するには、SSVEPの誘発と信号取得という2つの重要な側面が含まれます。現在の研究のために選択された特定のデバイスとは別に、SSVEPは、ちらつきのある光を提供するさまざまなデバイスで引き出すことができますが、ウェアラビリティと携帯性を確保するためにスマートグラスが好まれます。同様に、さらなる商用脳波計を検討することができますが、それらはウェ?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

この作業は、イタリア教育大学研究省(MIUR)がイニシアチブの下で財政的に支援された健康のためのICTプロジェクトの一環として実施されました 優秀部門 (イタリア予算法第232/2016号)、ナポリ大学フェデリコ2世の情報技術および電気工学科に授与された優秀助成金を通じて、 ナポリ、イタリア。このプロジェクトは、Res4NetイニシアチブとIEEE計装および測定ソサエティのTC-06(測定における新興技術)の支援によって可能になりました。著者らはまた、システムの開発、テスト、検証における貴重な貢献に対して、L. Callegaro、A. Cioffi、S. Criscuolo、A. Cultrera、G. De Blasi、E. De Benedetto、L. Duraccio、E. Leone、およびM. Ortolanoに感謝したいと思います。

Materials

Conductive rubber with Ag/AgCl coating  ab medica s.p.a. N/A Alternative electrodes – type 2
Earclip electrode OpenBCI N/A Ear clip
EEG-AE Olimex N/A Active electrodes
EEG-PE Olimex N/A Passive electrode
EEG-SMT Olimex N/A Low-cost electroencephalograph
Moverio BT-200 Epson N/A Smart glasses
Snap electrodes OpenBCI N/A Alternative electrodes – type 1

References

  1. Wolpaw, J. R., et al. Brain-computer interface technology: A review of the first international meeting. IEEE Transactions on Rehabilitation Engineering. 8 (2), 164-173 (2000).
  2. Zander, T. O., Kothe, C., Jatzev, S., Gaertner, M., Tan, D. S., Nijholt, A. Enhancing human-computer interaction with input from active and passive brain-computer interfaces. Brain-Computer Interfaces. , 181-199 (2010).
  3. Ron-Angevin, R., et al. Brain-computer interface application: Auditory serial interface to control a two-class motor-imagery-based wheelchair. Journal of Neuroengineering and Rehabilitation. 14 (1), 49 (2017).
  4. Ahn, M., Lee, M., Choi, J., Jun, S. C. A review of brain-computer interface games and an opinion survey from researchers, developers and users. Sensors. 14 (8), 14601-14633 (2014).
  5. Bi, L., Fan, X. A., Liu, Y. EEG-based brain-controlled mobile robots: A survey. IEEE Transactions on Human-Machine Systems. 43 (2), 161-176 (2013).
  6. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of a low-cost electroencephalograph for wearable neural interfaces in industry 4.0 applications. IEEE International Workshop on Metrology for Industry 4.0 & IoT (MetroInd4. 0&IoT). , 1-5 (2021).
  7. Rüßmann, M., et al. Industry 4.0: The future of productivity and growth in manufacturing industries. Boston Consulting Group. 9 (1), 54-89 (2015).
  8. Angrisani, L., Arpaia, P., Moccaldi, N., Esposito, A. Wearable augmented reality and brain computer interface to improve human-robot interactions in smart industry: A feasibility study for SSVEP signals. IEEE 4th International Forum on Research and Technology for Society and Industry (RTSI). , 1-5 (2018).
  9. Brunner, C., et al. BNCI Horizon 2020: Towards a roadmap for the BCI community. Brain-Computer Interfaces. 2 (1), 1-10 (2015).
  10. Yin, E., Zhou, Z., Jiang, J., Yu, Y., Hu, D. A dynamically optimized SSVEP brain-computer interface (BCI) speller. IEEE Transactions on Biomedical Engineering. 62 (6), 1447-1456 (2014).
  11. Chen, L., et al. Adaptive asynchronous control system of robotic arm based on augmented reality-assisted brain-computer interface. Journal of Neural Engineering. 18 (6), 066005 (2021).
  12. Ball, T., Kern, M., Mutschler, I., Aertsen, A., Schulze-Bonhage, A. Signal quality of simultaneously recorded invasive and non-invasive EEG. Neuroimage. 46 (3), 708-716 (2009).
  13. Grosse-Wentrup, M. What are the causes of performance variation in brain-computer interfacing. International Journal of Bioelectromagnetism. 13 (3), 115-116 (2011).
  14. Arpaia, P., Esposito, A., Natalizio, A., Parvis, M. How to successfully classify EEG in motor imagery BCI: A metrological analysis of the state of the art. Journal of Neural Engineering. 19 (3), (2022).
  15. Ajami, S., Mahnam, A., Abootalebi, V. Development of a practical high frequency brain-computer interface based on steady-state visual evoked potentials using a single channel of EEG. Biocybernetics and Biomedical Engineering. 38 (1), 106-114 (2018).
  16. Friedman, D., Nakatsu, R., Rauterberg, M., Ciancarini, P. Brain-computer interfacing and virtual reality. Handbook of Digital Games and Entertainment Technologies. , 151-171 (2015).
  17. Wang, M., Li, R., Zhang, R., Li, G., Zhang, D. A wearable SSVEP-based BCI system for quadcopter control using head-mounted device. IEEE Access. 6, 26789-26798 (2018).
  18. Arpaia, P., Callegaro, L., Cultrera, A., Esposito, A., Ortolano, M. Metrological characterization of consumer-grade equipment for wearable brain-computer interfaces and extended reality. IEEE Transactions on Instrumentation and Measurement. 71, 1-9 (2021).
  19. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clinical Neurophysiology. 113 (6), 767-791 (2002).
  20. Duszyk, A., et al. Towards an optimization of stimulus parameters for brain-computer interfaces based on steady state visual evoked potentials. PLoS One. 9 (11), 112099 (2014).
  21. Prasad, P. S., et al. SSVEP signal detection for BCI application. IEEE 7th International Advance Computing Conference (IACC). , 590-595 (2017).
  22. Xing, X., et al. A high-speed SSVEP-based BCI using dry EEG electrodes). Scientific Reports. 8, 14708 (2018).
  23. Luo, A., Sullivan, T. J. A user-friendly SSVEP-based brain-computer interface using a time-domain classifier. Journal of Neural Engineering. 7 (2), 026010 (2010).

Play Video

Cite This Article
Arpaia, P., Esposito, A., Moccaldi, N., Parvis, M. A Single-Channel and Non-Invasive Wearable Brain-Computer Interface for Industry and Healthcare. J. Vis. Exp. (197), e65007, doi:10.3791/65007 (2023).

View Video