Summary

ニューラル マシン インターフェイス運営義足の操作上代理店の感覚の特性

Published: January 07, 2019
doi:

Summary

五感で知覚仮想またはロボット義手の制御を開発代理店の感覚を特徴づけるプロトコルをご紹介します。機関の明示的な経験をキャプチャする心理アンケートを採用し、暗黙的に代理店の感覚を測定する時間間隔の見積もり (意図的なバインディング) を採用します。

Abstract

この作品を明示的に使用することができ、暗黙的に五感で知覚仮想またはロボット義手のニューラル ・ マシン ・ インターフェース (NMI) 制御を開発代理店の感覚を特徴づける方法論的フレームワークについて説明します。代理店の形成は、我々 は我々 自身と我々 の手足と実行するアクションを区別するに不可欠です。高度な上肢義肢を組み込むこれらの同じ知覚メカニズムに努め、私たちは肢制御既存ユーザーの認知的枠組みに人工的な肢をより密接に統合を開始できます。ユーザーの承認、使用、および高度な上肢装具の効果的な管理を促進する上で重要な意味を持ちます。このプロトコルでは参加者は仮想義手を制御し、彼らの既存の Nmi を通して運動感覚の感覚フィードバックを受け取る。一連のバーチャル把持のタスクが実行され、摂動は運動感覚フィードバックと仮想の手の動きに体系的に紹介します。代理店の 2 つの個別の対策を採用: 心理アンケート (機関の明示的な経験をキャプチャ) して時間間隔推定代理店 (意図的なバインディング) の暗黙の意味をキャプチャするためのタスクを確立します。このプロトコルの結果 (アンケート スコアと時間間隔の見積もり) 代理店の形成の程度を定量化する分析することができます。

Introduction

ロボットはますます高度になると関連する感覚フィードバックの重要性は成長していきます。感覚フィードバックには、人間の知覚、対話し、マシンに、ボディ ・ スキーマも統合が影響します。最近 NMI 技術今度義足ユーザーに直感的なコントロールを提供し、達成するため、に関連付けられている感覚に触れる1,2,3,4,5,6,7 ・運動覚 (運動感覚)8,9行方不明四肢で。自己の区別を伝える重要な要素へのアクセスがあるこの感覚情報を操作中に、人工的な肢を見てによって提供される視覚情報と組み合わせれば、我々-その他。このアクセスを活用することはツールだけではなく、自分の体の一部として人工的な肢を動作する義足ユーザーの一歩をもたらすを助けるかもしれない。

身体意識と具現化されている感は代理店 (原作者手足の操作上の経験) と所有権 (手足が体の一部であること感じ) の設立から生じる10,11。所有権は、触覚と視覚情報12の統合を通して仲介される主に。代理店は、意図、運動感覚 (運動感覚)、視覚情報および予測の認知モデル11の統合から出ています。自発的な行動のパフォーマンス中に、演奏者の意図と演奏者の内部モデル13から予測されたアクション感覚の結果を揃えるとき機関の形成します。代理店は所有権とは異なるです。肢所有権の概念は、人工の文学14頻繁に検討されています。タッチ フィードバックがアンケートを通じて明示的にまたは暗黙的に断端の温度の変化を測定、時間順序判断15として、時空間適切な NMI 参加者の所有形態の肢の感覚。しかし、少ないチャンスは、NMI16のコンテキストで代理店を探索する存在しています。NMI の参加者との最近の作品は、意図的に昇格できるし、は所有権8の経験から別に代理店を実証しています。

代理店はロボットの操作で特に重要な因果関係、気持ちの経験を通して人工的な肢の物理的な行動の制御への認知、人工的な肢を制御または何か17に発生します。ロボットがタスクを効果的に実行するユーザーする必要があります協力コンピューター化されたマシンを高度な。グリップ スリップ検出や訂正などの自律機能が組み込まれているいくつかの義肢まだ8,18を適切に実装しない場合は、ユーザーの制御外で実行される機能イライラとして見なすことができますので、これらのシステムは限られた採用を見てきました。これは、自律機械と人間の協調行動のアプリケーション全体にこだまが根本的な課題です。つまり、人間は、多くの場合、コンピューターまたはマシンとのコラボレーションから生じるもので、自分の行動を信頼、この信頼直接自律機能19,20を使用するオペレーターの可能性に影響を与えます。人間は、本質的にいきたいです。 アクションを実行する自分自身と私たちの体を信頼我々これは、我々 は機関の本質的な意味を確立します。興味深いことに、人間とコンピューターの協調動作の代理店の形成に影響します。機関の共有感覚運動21; 上形成人間協調作業中だが、文献は共有代理店は、人間とコンピューターの協調22,23時に妨害されて示唆しています。これらの課題は、上肢義肢に反映され、ロボット装置の除去率が高い、中止の使用24ユーザーの 23%-39% のまま。実際には、多くの義足ユーザーはまだ体供給システム25を好みます。これらのシステムは、制御ループからコンピューターのマシンを削除してより密接にユーザーのワイヤー ケーブル経由で義足の動きに体の動きをカップルします。これは、高度な補装具の使用における認知の統合の重要性をさらに強化します。NMI システムが協力機関、感を確立することに近い人工の手足を移動するために必要な感覚と運動の要素の数を提供してこれは受諾とこれらの真の統合を促進に尽力されることをお勧めユーザーとコンピューター化されたマシンです。

代理店はいくつかの方法で測定されます。心理アンケートを使用する最も簡単なメジャーやスケール、明示的に誰かを参加者に尋ねる彼ら属性イベント17,26,27。これは個人の既存の認識に依存「自己」参加者自己帰属 (すなわち、”I”または別のエンティティのアクションまたはイベントに責任があったかどうかを明示的に判断する) の推論の判断をすることを要求することによって。暗黙的なメジャーは、動作や感覚のイベント中に発生する認知プロセス背景への洞察力を提供します。代理店のこのビューは、個々 によって明示的に認識されていないものを測定しようとします。通常これは参加者の自己および外部-生成されたアクション、たとえば参加者報告の時間彼らが自己と外部-生成イベントの間に発生する認識違いの特徴を持っていることによって達成されます。17,28. 自己生成操作のパフォーマンスの間に代理店は暗黙的に行動と意図的なバインディング28として知られている、その感覚的結果の間の知覚の圧縮として現れます。個人は、彼らがアクションとその結果の間に発生する認識時間を報告、時間の短い認識期間が機関29,30のより強く形作られた感覚に対応しています。興味深いことに、彼らは可能性が高い代理店の感覚を一緒に伝えるさまざまな知覚メカニズム17を特徴付けるが、明示的および暗黙的なメジャーが直接関連付けられませんが実証されています。そのため、義足使用中に代理店の形成のより包括的な理解を確立する明示的および暗黙的な対策を施した実験的プロトコルは必要があります。

この作品を明示的に使用することができ、暗黙的に五感で知覚仮想またはロボット義手の NMI 制御を開発代理店の感覚を特徴づける方法論的フレームワークについて説明します。感覚運動物体把持のタスクのパフォーマンスの間に代理店を測定する 2 つの方法を強調表示されます。確立された心理アンケートの採用機関の明示的な経験をキャプチャする時間間隔の見積もり (意図的なバインド) は暗黙的に代理店の感覚を測定する使用しています。

このプロトコルの範囲は生理学的に関連するアクティブな運動制御と運動感覚のフィードバックを提供する NMI のコンテキストで代理店の感覚を評価する.これらのテクニックは、仮想または物理の補綴 NMI システムに一般化。このプロトコルを実行する募集される個体群に最小限の制限があります。参加者の上肢のモビリティを例えば、二国間に影響できない (彼らは 1 つの音の手足をいる必要があります) と彼らは、時間ベースに判断し経験豊富な感覚を明確に認知の能力を持つ必要があります。

Protocol

このプロトコルは、以前に承認されているし、クリー ブランド クリニックの人間研究倫理委員会のガイドラインに従います。 1 NMI のハードウェアとソフトウェア 個々 の参加者の NMI の制御とフィードバックを確立し、運動を実行しようとすると、彼らを参照してください、その動きを完了仮想人工を感じるので。 参加者の NMI を通して手の運動感覚知覚?…

Representative Results

実験プロトコルは 3 切断患者参加者の NMI8 (図 1)、五感で知覚仮想人工を介して動作を行った。セットアップでは、参加者が制御可能な仮想手 MuJoCo HAPTIX 物理学エンジン31を使用してあらかじめプログラムされた運動学的プロファイルを移動を使用しました。仮想手だった彼らの行方不明の肢を持つ空間?…

Discussion

ここで方法論的なフレームワークは、五感で知覚人工を介してnmi も営業しながら形成される代理店の経験を特徴付けるに提示されます。このコンテキストで代理店は特に関係形成背景の認知プロセスに物理的なアクションをブリッジとして。参加者の義足と NMI、ある代理店の意味を確立する重要な要素の数への直接アクセス: 意図、モーター出力、および運動感覚。高度な義肢の制御…

Disclosures

The authors have nothing to disclose.

Acknowledgements

著者らは、図生成への彼女の貢献のためのマデリーン ニューカムを感謝したいです。この作品、NIH、ディレクター、共通基金の事務所を通じて米国の納税者によって資金が供給された変革 R01 研究賞 (助成金 #1R01NS081710-01) および防衛高等研究計画庁 (契約番号 N66001-15-C-4015 後援の下の生物学技術事務所プログラム マネージャー d. ウェーバー)。

Materials

LabVIEW 2015, Service Pack 1, Version 15.0.1f2 64-bit National Instruments, Austin, TX, USA Full or Pro Version We wrote custom software in LabVIEW to coordinate virtual prosthesis control with kinesthetic feedback as well as to present experimental conditions and record data.
8-Slot, USB CompactDAQ Chassis National Instruments, Austin, TX, USA cDAQ-9178
±60 V, 800 kS/s, 12-Bit, 8-Channel C Series Voltage Input Module National Instruments, Austin, TX, USA NI-9221
100 kS/s/ch Simultaneous, ±10 V, 4-Channel C Series Voltage Output Module National Instruments, Austin, TX, USA NI-9263
Custom Wearable Kinesthetic Tactor HDT Global, Solon, OH, USA N/A This item was custom made. Other methods of delivering kinesthetic feedback are acceptable as long as the participant feels the sensation of the hand moving in real-time with the movements of the virtual hand.
MuJoCo Physics Engine, HAPTIX Version Roboti LLC, Redmond, WA, USA mjhaptix150 Newer versions of MuJoCo should be acceptable as well. We used the MPL Gripper Model.
Myobock Electrodes, powered by Otto Bock EnergyPack in MyoBoy Battery Receptacle Ottobock, Duderstadt, Germany electrodes: 13E200=60
battery: 757B21
battery receptacle: 757Z191=2
Any setup that provides an amplified, filtered, and rectified EMG or neural control signal could be used.

References

  1. Kuiken, T. A., Marasco, P. D., Lock, B. A., Harden, R. N., Dewald, J. P. A. Redirection of cutaneous sensation from the hand to the chest skin of human amputees with targeted reinnervation. Proceedings of the National Academy of Sciences. 104 (50), 20061-20066 (2007).
  2. Hebert, J. S., et al. Novel targeted sensory reinnervation technique to restore functional hand sensation after transhumeral amputation. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 22 (4), 765-773 (2014).
  3. Tan, D. W., et al. A neural interface provides long-term stable natural touch perception. Science Translational Medicine. 257 (6), (2014).
  4. Oddo, C. M., et al. Intraneural stimulation elicits discrimination of textural features by artificial fingertip in intact and amputee humans. eLife. 5 (MARCH2016), (2016).
  5. Raspopovic, S., et al. Bioengineering: Restoring natural sensory feedback in real-time bidirectional hand prostheses. Science Translational Medicine. 6 (222), (2014).
  6. Flesher, S. N., et al. Intracortical microstimulation of human somatosensory cortex. Science Translational Medicine. 8 (361), (2016).
  7. Tabot, G. A., et al. Restoring the sense of touch with a prosthetic hand through a brain interface. Proceedings of the National Academy of Sciences. 110 (45), 18279-18284 (2013).
  8. Marasco, P. D., et al. Illusory movement perception improves motor control for prosthetic hands. Science Translational Medicine. 10 (432), (2018).
  9. Horch, K., Meek, S., Taylor, T. G., Hutchinson, D. T. Object discrimination with an artificial hand using electrical stimulation of peripheral tactile and proprioceptive pathways with intrafascicular electrodes. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 19 (5), 483-489 (2011).
  10. Braun, N., et al. The senses of agency and ownership: A review. Frontiers in Psychology. 9 (APR), (2018).
  11. Van Den Bos, E., Jeannerod, M. Sense of body and sense of action both contribute to self-recognition. Cognition. 85 (2), 177-187 (2002).
  12. Botvinick, M., Cohen, J. Rubber hands "feel" touch that eyes see. Nature. 391 (6669), 756 (1998).
  13. Gallagher, S. Philosophical conceptions of the self: Implications for cognitive science. Trends in Cognitive Sciences. 4 (1), 14-21 (2000).
  14. Niedernhuber, M., Barone, D. G., Lenggenhager, B. Prostheses as extensions of the body: Progress and challenges. Neuroscience & Biobehavioral Reviews. 92, 1-6 (2018).
  15. Marasco, P. D., Kim, K., Colgate, J. E., Peshkin, M. A., Kuiken, T. A. Robotic touch shifts perception of embodiment to a prosthesis in targeted reinnervation amputees. Brain. 134 (3), 747-758 (2011).
  16. Rognini, G., Blanke, O. Cognetics: Robotic Interfaces for the Conscious Mind. Trends in Cognitive Sciences. 20 (3), 162-164 (2016).
  17. Dewey, J. A., Knoblich, G. Do implicit and explicit measures of the sense of agency measure the same thing. PLoS ONE. 9 (10), (2014).
  18. Edwards, A. L. . Adaptive and Autonomous Switching: Shared Control of Powered Prosthetic Arms Using Reinforcement Learning. , (2016).
  19. Desai, M., Stubbs, K., Steinfeld, A., Yanco, H. Creating trustworthy robots: Lessons and inspirations from automated systems. Adaptive and Emergent Behaviour and Complex Systems – Proceedings of the 23rd Convention of the Society for the Study of Artificial Intelligence and Simulation of Behaviour, AISB 2009. , 49-56 (2009).
  20. Lee, J. D., See, K. A. Trust in automation: designing for appropriate reliance. Human Factors. 46 (1), 50-80 (2004).
  21. Moore, J. W. What is the sense of agency and why does it matter?. Frontiers in Psychology. 7 (AUG), 1-9 (2016).
  22. Obhi, S. S., Hall, P. Sense of agency in joint action: Influence of human and computer co-actors. Experimental Brain Research. 211 (3-4), 663-670 (2011).
  23. Sahaï, A., Pacherie, E., Grynszpan, O., Berberian, B. Co-representation of human-generated actions vs. machine-generated actions: Impact on our sense of we-Agency?. 2017 26th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN). , (2017).
  24. Biddiss, E., Chau, T. Upper limb prosthesis use and abandonment: A survey of the last 25 years. Prosthetics and Orthotics International. 31 (3), 236-257 (2007).
  25. Atkins, D. J., Heard, D. C. Y., Donovan, W. H. Epidemiologic overview of individuals with upper-limb loss and their reported research priorities. Journal of Prosthetics and Orthotics. 8 (1), 2-11 (1996).
  26. Kalckert, A., Ehrsson, H. H. Moving a Rubber Hand that Feels Like Your Own: A Dissociation of Ownership and Agency. Frontiers in Human Neuroscience. 6 (March), 1-14 (2012).
  27. Caspar, E. A., Cleeremans, A., Haggard, P. The relationship between human agency and embodiment. Consciousness and Cognition. 33, 226-236 (2015).
  28. Haggard, P., Clark, S., Kalogeras, J. Voluntary action and conscious awareness. Nature Neuroscience. 5 (4), 382-385 (2002).
  29. Engbert, K., Wohlschläger, A., Haggard, P. Who is causing what? The sense of agency is relational and efferent-triggered. Cognition. 107 (2), 693-704 (2008).
  30. Moore, J. W., Wegner, D. M., Haggard, P. Modulating the sense of agency with external cues. Consciousness and Cognition. 18 (4), 1056-1064 (2009).
  31. Kumar, V., Todorov, E. MuJoCo HAPTIX: A virtual reality system for hand manipulation. 2015 IEEE-RAS 15th International Conference on Humanoid Robots (Humanoids). , (2015).
  32. Kuiken, T. A., et al. Targeted reinnervation for enhanced prosthetic arm function in a woman with a proximal amputation: a case study. Lancet. 369 (9559), 371-380 (2007).

Play Video

Cite This Article
Schofield, J. S., Shell, C. E., Thumser, Z. C., Beckler, D. T., Nataraj, R., Marasco, P. D. Characterization of the Sense of Agency over the Actions of Neural-machine Interface-operated Prostheses. J. Vis. Exp. (143), e58702, doi:10.3791/58702 (2019).

View Video