Summary

WheelCon:人間の感覚運動制御を研究するためのホイールコントロールベースのゲームプラットフォーム

Published: August 15, 2020
doi:

Summary

WheelConは、急な、ねじれ、でこぼこしたトレイルをマウンテンバイクを非侵襲的にシミュレートするビデオゲームを設計するための斬新で無料でオープンソースのプラットフォームです。これは、人間の感覚運動制御(遅延、量子化、ノイズ、妨害、および複数のフィードバックループ)に提示するコンポーネントを含み、研究者が感覚運動制御における階層化されたアーキテクチャを研究することを可能にします。

Abstract

フィードバック制御理論は、理論的にヒトの感覚運動制御をモデル化するために広く実施されている。しかし、複数のフィードバックループの重要なコンポーネントを操作できる実験的なプラットフォームは開発に欠けています。本稿では、このような不十分な解決を目的としたオープンソースプラットフォームWheelConについて説明する。WheelConは、コンピュータ、標準ディスプレイ、およびフォースフィードバックモーターを装備した安価なゲームステアリングホイールのみを使用して、マウンテンバイクに乗って急な、ねじれ、でこぼこトレイルに乗るという正規の感覚運動タスクを安全にシミュレートします。このプラットフォームは、デモで示されるように柔軟性を提供し、研究者が高レベルの高度な計画レイヤーや低レベルの遅延反射層を含む階層化されたフィードバックループの乱れ、遅延、量子化(データレート)を操作できるようにします。このホワイト ペーパーでは、WheelCon のグラフィカル ユーザー インターフェイス (GUI) 、既存のデモの入出力、および新しいゲームの設計方法について説明します。さらに、モデルの予測に合致するデモゲームの基本的なフィードバックモデルと実験結果を紹介します。WheelConプラットフォームはhttps://github.com/Doyle-Lab/WheelConでダウンロードできます。要するに、このプラットフォームは安価で使いやすく、効果的な感覚運動神経科学の研究と制御工学教育のためのプログラムに柔軟に取り上げられています。

Introduction

人間の感覚運動制御システムは非常に強い1であり、センシングは分散され、可変的で、まばらで、量子化され、騒々しく、遅れた2、3、43,4である。2中枢神経系の計算は遅い55、6、7;6,7そして筋肉の作動疲労と飽和8.複雑なヒトの感覚制御,,,,プロセス44、9、10、11、12、13、149,10の複雑な人間の反応のトレードオフプロセスである12111315,16,16の計算理論モデルが提案されている。14例えば、フィードバック制御理論は、最適制御方針12を予測し、ベイズ理論モデルの感覚運動学習17、18、1918,19および情報理論センサリ運動基礎1720,21,21とを予測する。理論モデルの豊富とは対照的に、複数のフィードバックループの重要な構成要素を操作できる実験プラットフォームは開発に欠ける。これは、感覚運動制御のこれらの側面を橋渡ししてテストするためのプラットフォームを設計するには、モーター制御理論、信号処理、相互作用からコンピュータグラフィックスやプログラミングまで、多様な専門知識が必要であるという事実によるものです。研究者は、多くの場合、人間の感覚運動制御性能を特徴付けるために独自のカスタムハードウェア/ソフトウェアシステムを開発し、研究グループ間でデータセットを比較/比較し統合する能力を制限することができます。使いやすく検証されたシステムの開発は、感覚運動制御の定量的特性を広げる可能性があります。

本稿では、新しいフリーでオープンソースのプラットフォームであるWheelConプラットフォームを紹介し、フィット則がゲームに到達し、急でねじれ、でこぼこしたトレイルをダウンさせるマウンテンバイクタスクを非侵襲的にシミュレートする仮想環境のビデオゲームを設計します。タスクに到達するための Fitts の法則は、距離スケールで幅の目標に到達するために必要な時間が22,,23となる速度と精度のトレードオフを定量化します。「マウンテンバイクタスク」は、特にフィードバックループを研究するという点で、人間の感覚運動性能に関する研究の2つの古典的な構成要素である追求と補償追跡タスクの組み合わせです。

WheelConには、各理論で提示される非常に要求の多い基本的なコンポーネントが含まれています:遅延、量子化、ノイズ、妨害、および複数のフィードバックループ。これは、人間の感覚運動制御における次の多様な質問を研究するための潜在的なツールです。

• 人間の感覚運動システムが神経シグナル伝達の遅延と量子化にどのように対処し、脳内の限られた資源(空間や代謝コストなど)によって根本的に制約される24,,25;
• どのように感覚運動制御を用いたヒト皮質の神経相関26;
• 人間が感覚運動制御27における予測不可能な外部障害をどのように処理するか。
• 階層制御ループが人間の感覚運動システム16、28、29,29に重なって統合された方法;16,
•人間の視覚フィードバック30 と反射フィードバック31 の感覚運動制御における遅延と量子化の結果;
• 遅延と量子化161724,,29の下での感覚運動学習のための最適なポリシーと戦略。

WheelConはステアリングホイールと統合し、動的制御ポリシーとシステムエラーを記録しながら、信号遅延、量子化、ノイズ、妨害など、これらの質問の変数を操作するゲーム条件をシミュレートすることができます。また、研究者は感覚運動制御における階層構造を研究することができます。マウンテン バイクに乗る例では、このタスクには、高層計画と低層反射の 2 つの制御層が含まれます。目に見える障害(すなわち、トレイル)については、妨害が到着する前に計画します。事前に不明な乱れ(すなわち、小さな隆起)の場合、制御は遅延反射に依存する。フィードバック制御理論は、効果的な層状アーキテクチャが、より高い層の目標、計画、下層のセンシング、反射、およびアクション24との決定を統合できることを提案する。WheelCon は、このような階層構造をテストするために、計画層と反射層に特徴的な障害を誘発する実験的なツールを提供しています (図 1)。

私たちは、神経科学に関する理論的および実験的研究の間のギャップを埋める、安価で使いやすい、柔軟なプラットフォームWheelConを提供します。具体的には、遅延、量子化、妨害、潜在的に速度精度のトレードオフの影響を調べるのに使用できます。制御ループで操作できる変数を表 1に示します。また、人間の感覚運動制御における異なる制御層にわたる意思決定と多重化能力の研究にも適用できます。さらに、WheelConは、脳波(EEG)などの非侵襲的な神経記録と互換性があり、感覚運動制御時の神経応答を測定する32、33、34、35、33,34,35および経頭蓋電気刺激(tES)や経頭蓋磁気刺激(TMS)などの非侵襲的脳刺激技術を、神経活動3236,37に操作36,する。

Protocol

このプロトコルの開発と適用は、カリフォルニア工科大学機関審査委員会(IRB)と南部科学技術大学IRBによって承認されました。この被験者は、手続きが行われる前にインフォームド・コンセントを提供した。 1. システムの準備とセットアップ 推奨される基本ハードウェアは、2 GHz デュアルコア プロセッサと 4 GB のシステム メモリです。 C# プログラミング…

Representative Results

モデリングフィードバック制御 図 1に示す簡略化されたフィードバック制御モデルを示します。システムダイナミクスは、次の方法で提供されます。 ここで x(t) は時間 t のエラー 、r(t) はト?…

Discussion

本論文では、人間の感覚運動制御における遅延、量子化、乱れ、および階層型フィードバックループの影響を研究するための、オープンソースの無料ゲームプラットフォームWheelConを発表しました。ハードウェア、ソフトウェア、GUI を示しました。遅延と量子化を伴う単一の感覚運動制御ループの設定が実装されており、遅延、量子化、および感覚運動制御の乱れの影響を測定することがで?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

台本の改造、ビデオの撮影と編集を行った鄭陽王氏、ビデオを編集してくれたジユアン・イェ氏に感謝します。この研究は、CIT基金&国立科学財団(JCD)、ボズウェルフェローシップ(QL)、ハイレベル大学基金(No.G02386301、G02386401、広東自然科学財団共同基金(No. 2019A1515111038)。

Materials

Gaming Wheel Logitech
Windows 10 OS Microsoft

References

  1. Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
  2. Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
  3. Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
  4. Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
  5. Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
  6. Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
  7. Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
  8. Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
  9. Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
  10. Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
  11. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  12. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  13. Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
  14. Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
  15. Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
  16. Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
  17. Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
  18. Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
  19. Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
  20. Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
  21. Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
  22. Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
  23. Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
  24. Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
  25. . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
  26. Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
  27. Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
  28. Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
  29. Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
  30. Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
  31. Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  32. Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
  33. Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
  34. Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
  35. Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
  36. Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
  37. Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
  38. Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
  39. McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
  40. Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
  41. Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
  42. Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
  43. Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).

Play Video

Cite This Article
Liu, Q., Nakahira, Y., Liang, Z., Mohideen, A., Dai, A., Choi, S. H., Pan, A., Ho, D. M., Doyle, J. C. WheelCon: A Wheel Control-Based Gaming Platform for Studying Human Sensorimotor Control. J. Vis. Exp. (162), e61092, doi:10.3791/61092 (2020).

View Video