概要

WheelCon: Een wheel control-based gaming platform voor het bestuderen van menselijke sensorimotor controle

Published: August 15, 2020
doi:

概要

WheelCon is een nieuw, gratis en open-source platform om videogames te ontwerpen die niet invasief mountainbiken simuleert over een steil, kronkelend, hobbelig parcours. Het bevat componenten die zich presenteren in menselijke sensorimotorische controle (vertraging, kwantisering, ruis, verstoring, en meerdere feedback lussen) en stelt onderzoekers in staat om de gelaagde architectuur in sensorimotorische controle te bestuderen.

Abstract

Feedback controle theorie is uitgebreid geïmplementeerd om theoretisch model menselijke sensorimotorische controle. Experimentele platforms die in staat zijn om belangrijke componenten van meerdere feedbacklussen te manipuleren, hebben echter geen ontwikkeling. Deze paper beschrijft WheelCon, een open-source platform gericht op het oplossen van dergelijke insufficiencies. Met behulp van alleen een computer, een standaard display, en goedkope gaming stuurwiel uitgerust met een kracht feedback motor, WheelCon veilig simuleert de canonieke sensorimotor taak van het rijden op een mountainbike langs een steile, kronkelende, hobbelige parcours. Het platform biedt flexibiliteit, zoals zal worden aangetoond in de gegeven demo’s, zodat onderzoekers de storingen, vertraging en kwantisering (datasnelheid) in de gelaagde feedbacklussen kunnen manipuleren, inclusief een geavanceerde planlaag op hoog niveau en een vertraagde reflexlaag op laag niveau. In dit artikel illustreren we de grafische gebruikersinterface (GUI) van WheelCon, de invoer en output van bestaande demo’s en het ontwerpen van nieuwe games. Daarnaast presenteren we het basisfeedbackmodel en de experimentele resultaten van de demogames, die goed aansluiten bij de voorspelling van het model. Het WheelCon-platform kan op https://github.com/Doyle-Lab/WheelCon worden gedownload. Kortom, het platform is gekenmerkt om goedkoop, eenvoudig te gebruiken, en flexibel te programmeren voor effectieve sensorimotor neurowetenschappelijk onderzoek en controle engineering onderwijs.

Introduction

Het menselijke sensorimotorische controlesysteem is uiterst robuust1, hoewel de detectie wordt verdeeld, variabel, schaars, gekwantificeerd, lawaaierig en vertraagd2,3,4; het berekenen in het centrale zenuwstelsel is traag5,6,7; en de spieractuatie vermoeien en verzadigt8. Er zijn veel computationele theoretische modellen voorgesteld om het ingewikkelde menselijke sensorimotorische controleproces4,9,10,11, 129,13,13,14te verklaren , wat een afwegingsproces is in menselijk bereik en respons15,16. Feedback control theorie voorspelt bijvoorbeeld het optimale controlebeleid12, Bayesiaanse theoriemodellen sensorimotor leren17,18,19 en informatietheorie sensorimotor foundation20,21. In tegenstelling tot de overvloed aan theoretische modellen, experimentele platforms in staat om belangrijke componenten van meerdere feedback lussen te manipuleren gebrek aan ontwikkeling. Dit is deels te wijten aan het feit dat het ontwerpen van een platform om deze aspecten van sensorimotorische controle te overbruggen en te testen een breed scala aan expertise vereist, die zich uitstrekt van motorische controletheorie, signaalverwerking en interactie, helemaal tot computergraphics en programmering. Onderzoekers ontwikkelen vaak hun eigen aangepaste hardware/softwaresystemen om menselijke sensorimotorische besturingsprestaties te karakteriseren, die de mogelijkheid om te vergelijken/contrasteren en datasets in verschillende onderzoeksgroepen kunnen integreren, kunnen beperken. De ontwikkeling van een gebruiksvriendelijk en gevalideerd systeem zou de kwantitatieve karakterisering van sensorimotorische besturing kunnen verbreden.

In deze paper presenteren we het WheelCon-platform, een nieuw, gratis en open-source platform om videogames te ontwerpen voor een virtuele omgeving die niet-invasief een Fitts’ Law-bereikende game en een mountainbike-taak simuleert met het neerhalen van een steil, bochtig en hobbelig parcours. De wet van de Fitts voor het bereiken van de taak kwantificeert de afweging tussen snelheid en nauwkeurigheid, waarbij de tijd die nodig is voor het bereiken van een doelstelling van breedte op afstandschalen als22,23. De ‘mountainbike taak’ is een combinatie van een achtervolging en compenserende tracking taak, die twee klassieke componenten van het onderzoek naar menselijke sensorimotor prestaties, met name in termen van het bestuderen van feedback lussen.

WheelCon bevat de zeer gevraagde basiscomponenten die in elke theorie worden gepresenteerd: vertraging, kwantisering, ruis, verstoring en meerdere feedbacklussen. Het is een potentieel instrument voor het bestuderen van de volgende uiteenlopende vragen in de menselijke sensorimotorische controle:

• Hoe het menselijke sensorimotorische systeem omgaat met de vertraging en kwantisering in neurale signalering, die fundamenteel wordt beperkt door de beperkte middelen (zoals de ruimte en metabole kosten) in de hersenen24,25;
• Hoe neurale correlatie in de menselijke cortex met sensorimotorische controle26;
• Hoe mensen omgaan met de onvoorspelbare, externe storingen in sensorimotorische besturing27;
• Hoe de hiërarchische besturingslussen gelaagd en geïntegreerd zijn in het menselijke sensorimotorische systeem16,28,29;
• Het gevolg van de vertraging en kwantificering in menselijke visuele feedback30 en reflexfeedback31 in sensorimotorische controle;
• Het optimale beleid en de strategie voor sensorimotorisch leren onder vertraging en kwantisering16,17,24,29.

WheelCon integreert met een stuurwiel en kan spelomstandigheden simuleren die de variabelen in deze vragen manipuleren, zoals signaleringsvertraging, kwantificering, ruis en verstoring, terwijl het dynamische controlebeleid en systeemfouten worden opgenomen. Het stelt onderzoekers ook in staat om de gelaagde architectuur in sensorimotorische controle te bestuderen. In het voorbeeld van het rijden op een mountainbike zijn twee controlelagen betrokken bij deze taak: het hooglaagse plan en de lagelaagreflex. Voor zichtbare storingen (d.w.z. het spoor) plannen we voordat de storing aankomt. Voor storingen die van tevoren onbekend zijn (d.w.z. kleine hobbels), is de controle afhankelijk van vertraagde reflexen. Feedback controle theorie stelt voor dat effectieve gelaagde architecturen kunnen integreren van de hogere lagen doelen, plannen, beslissingen met de onderste lagen ‘sensing, reflex, en actie24. WheelCon biedt experimentele hulpmiddelen om onderscheidende verstoringen in het plan en reflexlagen afzonderlijk te veroorzaken voor het testen van een dergelijke gelaagde architectuur (figuur 1).

Wij bieden een goedkoop, gebruiksvriendelijk en flexibel te programmeren platform, WheelCon dat de kloof tussen theoretische en experimentele studies over neurowetenschappen overbrugt. Om specifiek te zijn, kan het worden gebruikt voor het onderzoeken van de effecten van vertraging, kwantificering, verstoring, potentieel snelheid-nauwkeurigheid afwegingen. De variabelen die kunnen worden gemanipuleerd in controlelussen worden weergegeven in tabel 1. Het kan ook worden toegepast voor het bestuderen van besluitvorming en multiplexing vermogen over verschillende controlelagen in menselijke sensorimotor controle. Bovendien is WheelCon compatibel met niet-invasieve neurale opnamen, zoals elektro-encefalografie (EEG), om de neurale respons te meten tijdens sensorimotorische besturing32,33,34,35, en de niet-invasieve hersenstimulatietechnieken, zoals Transcranial Electrical Stimulation (tES) en Transcranial Magnetic Stimulation (TMS), om de neurale activiteit36,37te manipuleren .

Protocol

De ontwikkeling en toepassing van het protocol werden goedgekeurd door het California Institute of Technology Institutional Review Board (IRB) en de Southern University of Science and Technology IRB. De betrokkene gaf geïnformeerde toestemming voordat er procedures werden uitgevoerd. 1. Systeemvoorbereiding en -installatie De aanbevolen basishardware is een 2 GHz dual-core processor en 4 GB systeemgeheugen. Bouw het gamingplatform onder het Unity-platform, terwijl je C#pro…

Representative Results

Besturingselement feedback voor modelleren We tonen een vereenvoudigd feedbackcontrolemodel dat wordt weergegeven in figuur 1. De systeemdynamiek wordt gegeven door: waar x(t) is de fout op het tijdstip t, r(t) is de trail verstoring w(t), …

Discussion

In dit document hebben we een gratis, open-source gaming platform gepresenteerd, WheelCon, voor het bestuderen van de effecten van vertraging, kwantificering, verstoring en gelaagde feedback lussen in menselijke sensorimotorische controle. We hebben de hardware, de software en de GUI getoond. De instellingen van een enkele sensorimotorische besturingslus met vertraging en kwantisering zijn geïmplementeerd, waardoor we de effecten van vertraging, kwantisering en verstoring in sensorimotorische besturing kunnen meten. De …

開示

The authors have nothing to disclose.

Acknowledgements

Wij danken de heer Zhengyang Wang voor het hervormen van de scripts, schieten en bewerken van de video, en de heer Ziyuan Ye voor het bewerken van de video. Deze studie kreeg steun van CIT Endowment & National Science Foundation (aan JCD), Boswell fellowship (aan QL) en High-level University Fund (nr. G02386301, G02386401), Guangdong Natural Science Foundation Joint Fund (nr. 2019A1515111038).

Materials

Gaming Wheel Logitech
Windows 10 OS Microsoft

参考文献

  1. Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
  2. Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
  3. Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
  4. Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
  5. Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
  6. Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
  7. Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
  8. Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
  9. Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
  10. Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
  11. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  12. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  13. Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
  14. Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
  15. Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
  16. Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
  17. Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
  18. Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
  19. Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
  20. Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
  21. Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
  22. Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
  23. Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
  24. Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
  25. . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
  26. Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
  27. Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
  28. Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
  29. Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
  30. Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
  31. Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  32. Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
  33. Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
  34. Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
  35. Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
  36. Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
  37. Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
  38. Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
  39. McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
  40. Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
  41. Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
  42. Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
  43. Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).

Play Video

記事を引用
Liu, Q., Nakahira, Y., Liang, Z., Mohideen, A., Dai, A., Choi, S. H., Pan, A., Ho, D. M., Doyle, J. C. WheelCon: A Wheel Control-Based Gaming Platform for Studying Human Sensorimotor Control. J. Vis. Exp. (162), e61092, doi:10.3791/61092 (2020).

View Video