概要

バーチャルリアリティ対応のブレインコンピュータインターフェース環境における具現化されたデジタルツインによる運動イメージ性能

Published: May 10, 2024
doi:

概要

バーチャルリアリティ環境での運動イメージは、ブレイン・コンピュータ・インターフェース・システムにおいて幅広い用途があります。この原稿では、参加者が想像した動きをバーチャルリアリティ環境で行うのに似たパーソナライズされたデジタルアバターを使用して、没入感と身体の所有権を高める方法について概説しています。

Abstract

本研究では、ブレイン・コンピュータ・インターフェース(BCI)やバーチャルリアリティ(VR)技術を3次元(3D)アバターのカスタマイズと統合することで、神経リハビリテーションの革新的なフレームワークを紹介します。従来のリハビリテーションのアプローチでは、主に深く没入感のあるインタラクティブな体験を提供できないため、患者を十分に関与させることができないことがよくあります。本研究では、運動イメージ(MI)技術を用いて、参加者が身体の動きを視覚化し、実際に実行しないことで、このギャップを埋めることを目指しています。この手法は、脳の神経メカニズムを利用し、動きを想像する際に動きの実行に関与する領域を活性化することで、回復プロセスを促進します。VRの没入型機能と脳波計(EEG)の精度を統合して、想像上の動きに関連する脳活動をキャプチャして解釈することが、このシステムの中核を形成しています。パーソナライズされた3Dアバターの形をしたデジタルツインは、仮想環境への没入感を大幅に向上させるために採用されています。この身体性の高まりは、効果的なリハビリテーションにとって重要であり、患者と仮想の相手との間のつながりを強化することを目的としています。これにより、このシステムは運動イメージのパフォーマンスを向上させるだけでなく、より魅力的で効果的なリハビリテーション体験を提供することも目指しています。BCIのリアルタイムアプリケーションにより、このシステムは、想像上の動きを3Dアバターによって実行される仮想アクションに直接変換し、ユーザーに即座にフィードバックを提供することができる。このフィードバックループは、運動制御と回復に関与する神経経路を強化するために不可欠です。開発されたシステムの最終的な目標は、運動イメージエクササイズをよりインタラクティブでユーザーの認知プロセスに応答させることにより、運動イメージエクササイズの有効性を大幅に向上させ、それによって神経学的リハビリテーションの分野における新たな道を開くことです。

Introduction

神経障害を持つ患者のリハビリテーションパラダイムは、ブレインコンピューターインターフェース(BCI)や没入型バーチャルリアリティ(VR)などの高度なテクノロジーの統合により、変革的な変化を遂げており、回復を促進するためのより微妙で効果的な方法を提供しています。BCIベースのリハビリテーションの中心にある技術である運動イメージ(MI)は、実際の運動実行を伴わない身体運動の精神的なリハーサルを伴います1。MIは、動きを想像すると、身体活動自体を実行するのと密接に一致する脳活動のパターンが引き起こされるという神経メカニズムを利用しています2,3,4。具体的には、心筋梗塞に関与すると、脳の電気的活動のアルファ(8-13Hz)およびベータ(13-25Hz)周波数帯域で事象関連非同期(ERD)として知られる現象が引き起こされます5,6,7。ERDは、ベースラインの脳リズムの抑制を示しており、これは実際の運動中にも観察されるパターンであり、それにより、BCI支援リハビリテーションフレームワーク7内でMIを使用するための神経基質を提供します。このようなMIと身体運動の皮質活性化の類似性は、MIが運動制御に関与する神経ネットワークを効果的に刺激できることを示唆しており、運動障害を持つ患者にとって貴重なツールとなっている8。さらに、MIの実践は、単なるメンタルリハーサルを超えて、行動観察戦略9を含むように拡張されています。タスクに関連する身体の部分の動きや他者の行動を観察することで、行動の観察と実行の両方に反応するニューロンのグループであるミラーニューロンネットワーク(MNN)を活性化することができる9。観察によるMNNの活性化は、機能的MRI10、陽電子放出断層撮影法11、経頭蓋磁気刺激12などのさまざまな神経画像法によって証明されるように、皮質可塑性を誘発することが実証されています。証拠は、行動観察によって強化されたMIトレーニングが、影響を受けた個人の有意な神経適応と回復につながる可能性があるという考えを裏付けています。

バーチャルリアリティ技術は、身体の所有権の感覚を高め、現実世界と仮想世界の区別を曖昧にする没入型環境を提供することにより、MIベースのリハビリテーションの領域に革命をもたらしました13,14,15。VRの没入感は、参加者が仮想環境を現実の15として認識することを可能にするため、行動観察や運動イメージの練習に効果的なツールになります。研究によると、VRデバイスは、従来の2Dモニターディスプレイと比較して、MIトレーニングにより顕著な影響を与えることが示されています15,16。このような発見は、感覚運動皮質におけるERD振幅比の増加などの神経活動の強化によって証明されており、視覚誘導心筋梗塞運動中の脳活動の刺激におけるより高い没入レベルの利点を強調している16。このシステムは、直接フィードバックを提供することにより、腕または手足の動きを伴うタスクの心筋梗塞パフォーマンスを改善するのを助け、それによってリハビリテーションプロセス16,17を強化します。MIとVRの相乗効果は、感覚、知覚、認知、および運動活動の統合を強調しています18,19。この組み合わせは、脳卒中生存者20,21 と退役軍人22 にとって特に有益であり、VR を心筋梗塞ベースのリハビリテーション プロトコルに統合することで、リハビリテーション時間を大幅に短縮し、回復結果を改善できることが研究で示されています。リハビリテーションにおけるVRのユニークな特徴は、特別に設計された仮想環境内に臨場感を作り出す能力にあり、ユーザーの体を表す仮想アバターを含めることでリハビリテーション体験がさらに強化され、運動リハビリテーション研究でますます利用されています23.これらのアバターは、手足の動きをリアルに3次元で表現し、心筋梗塞を助け、運動皮質の活性化に大きな影響を与えます。VRは、参加者が特定のタスクを実行している仮想の自己を視覚化できるようにすることで、心筋梗塞の経験を豊かにするだけでなく、より迅速で効果的な神経の再編成と回復のプロセスを促進する24。MIトレーニングにおける仮想アバターとシミュレートされた環境の実装は、没入型の仮想世界内での仮想身体の自然で統合された使用を強調しています。

リハビリテーションのためのMIでの3DアバターのBCIベースの制御の顕著な利点にもかかわらず、オフライン方法論の主な使用には大きな制限が残っています。現在、ほとんどのBCIアプリケーションは、事前に記録された脳波計(EEG)データをキャプチャすることを含み、それはその後、アバター24,25を操作するために利用される。リアルタイムのアバター制御が達成されるシナリオでも、これらのアバターはしばしば一般的であり、彼らが表す参加者23に似ていません。この一般的なアプローチは、効果的なリハビリテーション24に不可欠な、没入感と身体の所有権の感覚を深める重要な機会を逃しています。被写体の正確な肖像を反映した3Dアバターを作成することで、体験の没入型体験を大幅に向上させることができる16。仮想世界で自分自身を視覚化することにより、参加者は想像上の動きと実際の動きとの間のより強いつながりを育むことができ、より顕著なERDパターンにつながる可能性があり、したがって、より効果的な神経適応と回復につながる可能性があります16。パーソナライズされた3Dアバターのリアルタイム制御に向けて前進することで、BCIとVRの分野はリハビリテーションのパラダイムを大幅に改善し、患者の回復のためのより微妙で魅力的で効果的な方法を提供できます。

本稿では、VRベースのリアルタイムBCIによる3Dアバター制御のハードウェアとソフトウェアの両方の作成、設計、技術的側面を紹介し、運動リハビリテーション環境への統合をサポートする革新的な結果を強調しています。提案システムは、脳波計(EEG)を利用して被験者が生成する運動画像信号をキャプチャし、それを使用してアバターの動きと動作をリアルタイムで制御します。現在のアプローチは、VR技術の高度な機能とEEGの精度を組み合わせて、想像上の動きに関連する脳活動を認識して解釈し、ユーザーが思考の力を通じてデジタル環境と対話するための、より魅力的で効果的なインターフェースを作成することを目指しています。

Protocol

本研究では、脳波で記録されたMI信号を用いて、VR環境下で3Dアバターをリアルタイムに制御することの実現可能性を調査することを目的としています。この研究では、アバターを被写体に似せてパーソナライズすることにより、没入感と身体の所有権の感覚を高めることに焦点を当てています。この議定書は、ヴェールール工科大学の審査委員会から承認を受けました。参加者は、研究の目?…

Representative Results

示されている結果は、上記のプロトコルに従った5人の個人からのものです。21歳から38歳までの年齢の健康な成人5人(女性3人)が研究に参加した。 運動イメージトレーニングとテスト条件の両方での各参加者の個々の分類パフォーマンスを 図2に示します。すべての被験者の平均混同行列を計算して、トレーニングセッションとテストセッションの両…

Discussion

VR技術と組み合わせたMIの応用は、運動計画と実行のための脳の自然なメカニズムを活用することにより、リハビリテーションの有望な道を提供します。身体運動神経活動を反映して、特定の脳周波数帯域で事象関連の非同期を誘導するMIの能力2,3,4は、運動制御8に関与する神経ネットワークを関与させ…

開示

The authors have nothing to disclose.

Acknowledgements

著者は、参加者の皆様にお時間を割いてご協力いただき、ありがとうございました。

Materials

Alienware Laptop Dell High-end gaming laptop with GTX1070 Graphics Card
Oculus Rift-S VR headset Meta VR headset
OpenBCI Cyton Daisy OpenBCI EEG system
OpenBCI Gel-free cap OpenBCI Gel-free cap for placing the EEG electrodes over the participant's scalp

参考文献

  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. . Implicit learning through embodiment in immersive virtual reality. , (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865 (2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204 (2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909 (2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85 (2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895 (2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218 (2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329 (2019).

Play Video

記事を引用
Lakshminarayanan, K., Shah, R., Ramu, V., Madathil, D., Yao, Y., Wang, I., Brahmi, B., Rahman, M. H. Motor Imagery Performance Through Embodied Digital Twins in a Virtual Reality-Enabled Brain-Computer Interface Environment. J. Vis. Exp. (207), e66859, doi:10.3791/66859 (2024).

View Video