概要

轮式康:一个基于车轮控制的游戏平台,用于研究人类传感器运动控制

Published: August 15, 2020
doi:

概要

WheelCon 是一个新颖、免费和开源的平台,用于设计视频游戏,无创地模拟山地自行车沿着陡峭、曲折、崎岖的小径骑行。它包含人类传感器运动控制(延迟、量化、噪声、干扰和多个反馈回路)中的组件,并允许研究人员研究传感器运动控制中的分层结构。

Abstract

反馈控制理论已被广泛应用为人类传感器运动控制建模。然而,能够操纵多个反馈回路重要组件的实验平台缺乏开发。本文描述了 WheelCon,一个旨在解决此类不足问题的开源平台。WheelCon 仅使用一台电脑、标准显示屏和配备有力反馈电机的廉价游戏方向盘,安全地模拟了骑山地自行车沿着陡峭、曲折、崎岖的小径骑行的规范传感器运动任务。该平台提供了灵活性,如所提供的演示中所演示,因此研究人员可以操作分层反馈回路中的干扰、延迟和量化(数据速率),包括高级高级计划层和低级延迟反射层。在这篇小论文中,我们演示了 WheelCon 的图形用户界面 (GUI),现有演示的输入和输出,以及如何设计新游戏。此外,我们提出了演示游戏的基本反馈模型和实验结果,这些结果与模型的预测非常吻合。WheelCon 平台可立即下载https://github.com/Doyle-Lab/WheelCon。简言之,该平台的特点是便宜、易于使用、灵活编程,可进行有效的传感器运动神经科学研究与控制工程教育。

Introduction

人传运动控制系统非常坚固1,虽然传感是分布式的,可变的,稀疏的,量化的,噪声和延迟的2,3,4;,3,4中枢神经系统的计算速度5慢5、6、7;,6,7和肌肉驱动疲劳和饱和8。提出了许多计算理论模型来解释复杂的人类传感器,运动控制过程,4、9、10、11、12、13、14,9这是一个在人类到达和响应,12,1310,11415、16,权衡利向的过程14例如,反馈控制理论预测最佳控制策略12,贝叶斯理论模型传感器运动学习17,18,19和信息理论传感器运动基础17,18,1920,21。20,21与丰富的理论模型相比,能够操纵多个反馈回路重要成分的实验平台缺乏开发。部分原因在于,设计一个平台来桥接和测试传感器运动控制的这些方面需要各种各样的专业知识,从电机控制理论、信号处理和交互,一直延伸到计算机图形和编程。研究人员经常开发自己的定制硬件/软件系统来描述人类传感器运动控制性能,这会限制跨研究组比较/对比和集成数据集的能力。开发一个易于使用和验证的系统可以扩大传感器运动控制的定量特性。

本文介绍了 WheelCon 平台,这是一个新颖、免费和开源的平台,用于为虚拟环境设计视频游戏,无创地模拟了 Fitts 定律到达游戏和山地自行车任务,并完成了陡峭、曲折和颠簸的轨迹。Fitts 的到达任务定律量化了速度和精度之间的权衡,其中达到距离尺度上宽度目标所需的时间为22,23,23。”山地自行车任务”是追求和补偿性跟踪任务的结合,是人类传感器运动性能研究的两个经典组成部分,特别是在研究反馈回路方面。

WheelCon 包含每个理论中提出的高要求的基本组件:延迟、量化、噪声、干扰和多个反馈回路。它是研究人类感官运动控制中的以下不同问题的潜在工具:

• 人类传感器运动系统如何处理神经信号的延迟和量化,这从根本上受到大脑24、25,中有限资源(如空间和代谢成本)的限制;
• 人类皮层的神经相关性与传感器运动控制如何26;
• 人类如何处理传感器运动控制中不可预知的外部干扰27;
• 分层控制回路如何分层和集成在人类传感器运动系统16、28、29,28,;
• 人类视觉反馈30的延迟和量化的结果,反射 反馈31 在传感器运动控制中产生的结果;
• 延迟和量化下传感器运动学习的最佳策略和策略 16、17、24、29 。16,17,24,29

WheelCon 与方向盘集成,可以模拟在这些问题中操作变量的游戏条件,例如信令延迟、量化、噪声和干扰,同时记录动态控制策略和系统错误。它还允许研究人员研究传感器运动控制中的分层架构。在骑山地自行车的示例中,此任务涉及两个控制层:高层计划和低层反射。对于可见的干扰(即小径),我们会在干扰到达之前进行规划。对于事先未知的干扰(即小颠簸),控制依赖于延迟反射。反馈控制理论认为,有效的分层架构可以整合上层的目标、计划、决策与下层的传感、反射和动作24。WheelCon 提供实验工具,分别用于测试这种分层架构(图1),从而在平面图和反射层中分别诱导明显干扰。

我们提供一个廉价,易于使用和灵活的编程平台,WheelCon,弥合了理论和实验神经学研究之间的差距。具体说来,它可用于检查延迟、量化、干扰、潜在的速度精度权衡的影响。可以在控制循环中操作的变量显示在表1 中。它还可用于研究人类传感器运动控制中不同控制层的决策和多路复用能力。此外,WheelCon与非侵入性神经记录(如脑电图(EEG))兼容,用于测量,传感器运动控制32、33、34、35,33,34期间的神经反应,以及非侵入性脑刺激技术(如颅电刺激(tES)和颅磁刺激(TMS),以操纵神经35活动36、37。36,37

Protocol

该议定书的开发和应用得到了加州理工学院机构审查委员会(IRB)和南方科技大学 IRB 的批准。主体在执行任何程序之前提供了知情同意。 1. 系统准备和设置 推荐的基本硬件是 2 GHz 双核处理器和 4 GB 的系统内存。 在 Unity 平台下构建游戏平台,同时使用 C# 编程语言。游戏平台开发需要罗技游戏轮驱动器和罗技方向盘 SDK。 游戏平台可执行文件仅支持 Wind…

Representative Results

建模反馈控制 我们显示了图 1 所示的简化 反馈控制模型。系统动态由以下方法提供: 其中 x(t) 是时间 t 的误差, r(t) 是跟踪扰动 w(t), 是颠簸扰动, u(t) ?…

Discussion

本文提出了一个免费的开源游戏平台,WheelCon,用于研究延迟、量化、扰动和分层反馈回路在人体传感器运动控制中的影响。我们已经展示了硬件、软件和 GUI。实现了单传感器运动控制回路的延迟和量化设置,从而可以测量传感器运动控制中延迟、量化和扰动的影响。实验结果与反馈控制理论的预测吻合。

这些协议提供了一种无创地操纵外部延迟和限制视觉输入和动作输出?…

開示

The authors have nothing to disclose.

Acknowledgements

我们感谢王正阳先生对视频的剧本、拍摄和编辑进行改造,感谢叶子元先生编辑了视频。这项研究得到了CIT捐赠和国家科学基金会(给JCD)、博斯韦尔研究金(至QL)和高级大学基金(No.G02386301,G02386401,广东省自然科学基金联合基金(2019A1515111038号)。

Materials

Gaming Wheel Logitech
Windows 10 OS Microsoft

参考文献

  1. Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
  2. Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
  3. Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
  4. Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
  5. Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
  6. Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
  7. Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
  8. Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
  9. Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
  10. Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
  11. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  12. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  13. Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
  14. Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
  15. Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
  16. Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
  17. Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
  18. Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
  19. Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
  20. Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
  21. Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
  22. Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
  23. Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
  24. Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
  25. . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
  26. Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
  27. Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
  28. Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
  29. Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
  30. Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
  31. Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  32. Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
  33. Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
  34. Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
  35. Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
  36. Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
  37. Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
  38. Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
  39. McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
  40. Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
  41. Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
  42. Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
  43. Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).

Play Video

記事を引用
Liu, Q., Nakahira, Y., Liang, Z., Mohideen, A., Dai, A., Choi, S. H., Pan, A., Ho, D. M., Doyle, J. C. WheelCon: A Wheel Control-Based Gaming Platform for Studying Human Sensorimotor Control. J. Vis. Exp. (162), e61092, doi:10.3791/61092 (2020).

View Video