Summary

WheelCon: Eine radgesteuerte Gaming-Plattform zum Studium der menschlichen sensorimotorischen Steuerung

Published: August 15, 2020
doi:

Summary

WheelCon ist eine neuartige, kostenlose und Open-Source-Plattform, um Videospiele zu entwerfen, die das Mountainbiken auf einem steilen, kurvenreichen, holprigen Trail nicht invasiv simulieren. Es enthält Komponenten, die in der menschlichen sensorimotorischen Steuerung (Verzögerung, Quantisierung, Rauschen, Störungen und mehrere Rückkopplungsschleifen) präsentiert werden, und ermöglicht es Forschern, die geschichtete Architektur in der sensorimotorischen Steuerung zu untersuchen.

Abstract

Die Theorie der Feedback-Steuerung wurde umfassend umgesetzt, um die menschliche sensorimotorische Steuerung theoretisch zu modellieren. Experimentelle Plattformen, die wichtige Komponenten mehrerer Feedbackschleifen manipulieren können, sind jedoch nicht entwickelt. In diesem Beitrag wird WheelCon beschrieben, eine Open-Source-Plattform, die darauf abzielt, solche Unzulänglichkeiten zu beheben. Mit nur einem Computer, einem Standarddisplay und einem preiswerten Gaming-Lenkrad, das mit einem Kraftrückkopplungsmotor ausgestattet ist, simuliert WheelCon sicher die kanonische sensorimotorische Aufgabe, ein Mountainbike auf einem steilen, kurvenreichen, holprigen Trail zu fahren. Die Plattform bietet Flexibilität, wie in den bereitgestellten Demos gezeigt wird, so dass Forscher die Störungen, Verzögerungen und Quantisierungen (Datenrate) in den mehrschichtigen Feedbackschleifen manipulieren können, einschließlich einer hochgradigen erweiterten Planschicht und einer verzögerten Reflexschicht auf niedriger Ebene. In diesem Artikel veranschaulichen wir die grafische Benutzeroberfläche (GUI) von WheelCon, die Eingabe und Ausgabe vorhandener Demos und das Entwerfen neuer Spiele. Darüber hinaus stellen wir das grundlegende Feedback-Modell und die experimentellen Ergebnisse der Demo-Spiele vor, die gut mit der Vorhersage des Modells übereinstimmen. Die WheelCon-Plattform kann unter https://github.com/Doyle-Lab/WheelCon heruntergeladen werden. Kurz gesagt, die Plattform ist billig, einfach zu bedienen und flexibel für effektive sensorimotorische neurowissenschaftliche Forschung und Steuerungstechnik Ausbildung zu programmieren.

Introduction

Die menschliche sensorimotorische Steuerung ist extrem robust1, obwohl die Erfassung verteilt ist, variabel, spärlich, quantisiert, laut und verzögert2,3,4; die Berechnung im zentralen Nervensystem ist langsam5,6,7; und die Muskelbetätigung ermüdet und sättigt8. Viele rechnerische theoretische Modelle wurden vorgeschlagen, um den komplizierten menschlichen sensorimotorischen Steuerungsprozess4,9,10,11,12,13,14, das ist ein Kompromissprozess in menschlicher Reichweite und Antwort15,16. Zum Beispiel, Feedback-Kontrolltheorie prognostiziert die optimale Steuerungspolitik12, Bayesian Theorie Modelle sensorimotorisches Lernen17,18,19 und Informationstheorie sensorimotorische Grundlage20,21. Im Gegensatz zur Fülle theoretischer Modelle fehlt es experimentellen Plattformen, die wichtige Komponenten mehrerer Rückkopplungsschleifen manipulieren können, an Entwicklung. Dies ist zum Teil darauf zurückzuführen, dass die Entwicklung einer Plattform zur Überbrückung und Erprobung dieser Aspekte der sensorimotorischen Steuerung ein vielfältiges Spektrum an Fachwissen erfordert, das von der Theorie der Motorsteuerung über die Signalverarbeitung und Interaktion bis hin zur Computergrafik und Programmierung reicht. Forscher entwickeln oft ihre eigenen kundenspezifischen Hardware-/Softwaresysteme, um die leistung der menschlichen sensorimotorischen Steuerung zu charakterisieren, was die Möglichkeit einschränken kann, Datensätze über Forschungsgruppen hinweg zu vergleichen/kontrastieren und zu integrieren. Die Entwicklung eines benutzerfreundlichen und validierten Systems könnte die quantitative Charakterisierung der sensorimotorischen Steuerung erweitern.

In diesem Beitrag stellen wir die WheelCon-Plattform vor, eine neuartige, kostenlose und Open-Source-Plattform, um Videospiele für eine virtuelle Umgebung zu entwerfen, die ein Fitts’ Law erreichendes Spiel und eine Mountainbike-Aufgabe mit einem steilen, kurvenreichen und holprigen Trail nicht invasiv simuliert. Das Fitts-Gesetz zum Erreichen der Aufgabe quantifiziert den Kompromiss zwischen Geschwindigkeit und Genauigkeit, bei dem die Zeit, die für das Erreichen eines Breitenziels auf Entfernungsskalen benötigt wird, wie22,23beträgt. Die “Mountainbike-Aufgabe” ist eine Kombination aus Verfolgungs- und Kompensationsverfolgungsaufgabe, die zwei klassische Komponenten der Forschung zur menschlichen sensorimotorischen Leistung sind, insbesondere im Hinblick auf das Studium von Rückkopplungsschleifen.

WheelCon enthält die in jeder Theorie vorgestellten dringend geforderten Grundkomponenten: Verzögerung, Quantisierung, Rauschen, Störung und mehrere Rückkopplungsschleifen. Es ist ein mögliches Werkzeug, um die folgenden verschiedenen Fragen in der menschlichen sensorimotorischen Steuerung zu untersuchen:

• Wie das menschliche sensorimotorische System mit der Verzögerung und Quantisierung in der neuronalen Signalisierung umgeht, die durch die begrenzten Ressourcen (wie Raum und Stoffwechselkosten) im Gehirn grundsätzlich eingeschränkt ist24,25;
• Wie neuronale Korrelation im menschlichen Kortex mit sensorimotorischer Steuerung26;
• Wie Menschen mit den unvorhersehbaren, äußeren Störungen in der sensorimotorischen Steuerung umgehen27;
• Wie die hierarchischen Regelkreise geschichtet und integriert in menschliche sensenmotorische System16,28,29;
• Die Folge der Verzögerung und Quantisierung in der menschlichen visuellen Rückkopplung30 und Reflex-Feedback31 in der sensorimotorischen Steuerung;
• Die optimale Politik und Strategie für sensorisches Lernen unter Verzögerung und Quantisierung16,17,24,29.

WheelCon lässt sich in ein Lenkrad integrieren und kann Spielbedingungen simulieren, die die Variablen in diesen Fragen manipulieren, wie z. B. Signalverzögerung, Quantisierung, Rauschen und Störungen, während die dynamische Steuerungsrichtlinie und Systemfehler aufgezeichnet werden. Es ermöglicht Forschern auch, die geschichtete Architektur in der sensorimotorischen Steuerung zu studieren. Im Beispiel des Mountainbikefahrens sind zwei Steuerschichten dabei: der Hochschichtplan und der Low-Layer-Reflex. Für sichtbare Störungen (d.h. den Weg) planen wir, bevor die Störung eintrifft. Bei im Voraus unbekannten Störungen (d.h. kleinen Unebenheiten) setzt die Steuerung auf verzögerte Reflexe. Die Theorie der Feedback-Kontrolle schlägt vor, dass effektive mehrschichtige Architekturen die Ziele, Pläne, Entscheidungen der höheren Schichten mit der Sensorik, dem Reflex und der Aktion der unteren Ebenen integrieren können24. WheelCon bietet experimentelle Werkzeuge, um unterschiedliche Störungen in der Plan- und Reflexschicht separat zu induzieren, um eine solche geschichtete Architektur zu testen (Abbildung 1).

Wir bieten eine kostengünstige, einfach zu bedienende und flexible Programmierplattform WheelCon, die die Lücke zwischen theoretischen und experimentellen Studien über Neurowissenschaften überbrückt. Um genau zu sein, kann es verwendet werden, um die Auswirkungen von Verzögerung, Quantisierung, Störung, potenziell Geschwindigkeit-Genauigkeit Kompromisse zu untersuchen. Die Variablen, die in Regelschleifen bearbeitet werden können, sind in Tabelle 1dargestellt. Es kann auch für die Untersuchung der Entscheidungsfindung und Multiplexing-Fähigkeit über verschiedene Kontrollschichten in der menschlichen sensorimotorischen Steuerung angewendet werden. Darüber hinaus ist WheelCon mit nichtinvasiven neuronalen Aufnahmen wie Elektroenzephalographie (EEG) kompatibel, um die neuronale Reaktion während der sensorimotorischen Steuerung32,33,34,35, und die nicht-invasiven Hirnstimulationstechniken wie Transkranielle elektrische Stimulation (tES) und transkranielle Magnetische Stimulation (TMS) zu messen, um die neuronale Aktivität36,37zu manipulieren.

Protocol

Die Entwicklung und Anwendung des Protokolls wurde vom California Institute of Technology Institutional Review Board (IRB) und der Southern University of Science and Technology IRB genehmigt. Der Antragsteller gab vor der Durchgeführt von Verfahren eine informierte Einwilligung ab. 1. Systemvorbereitung und -einrichtung Die empfohlene Basishardware ist ein 2 GHz Dual-Core-Prozessor und 4 GB Systemspeicher. Erstellen Sie die Gaming-Plattform unter der Unity-Plattform, währ…

Representative Results

Modellierung Feedback Control Wir zeigen ein vereinfachtes Feedback-Kontrollmodell in Abbildung 1. Die Systemdynamik wird gegeben durch: wobei x(t) der Fehler zum Zeitpunkt t, r(t) die Trail-Störung w(t) ist, ist die Bump-Störung, und <em…

Discussion

In diesem Beitrag haben wir eine kostenlose Open-Source-Gaming-Plattform, WheelCon, vorgestellt, um die Auswirkungen von Verzögerung, Quantisierung, Störung und geschichteten Rückkopplungsschleifen in der menschlichen sensorimotorischen Steuerung zu untersuchen. Wir haben die Hardware, die Software und die GUI gezeigt. Die Einstellungen einer einzigen sensorimotorischen Regelschleife mit Verzögerung und Quantisierung wurden implementiert, die es uns ermöglicht, die Auswirkungen von Verzögerung, Quantisierung und St…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Wir danken Herrn Zhengyang Wang für die Neugestaltung der Drehbücher, den Dreharbeiten und der Bearbeitung des Videos und Herrn Ziyuan Ye für die Bearbeitung des Videos. Diese Studie wurde von cIT Endowment & National Science Foundation (zu JCD), Boswell Fellowship (zu QL) und High-Level University Fund (Nr. G02386301, G02386401), Guangdong Natural Science Foundation Joint Fund (Nr. 2019A1515111038).

Materials

Gaming Wheel Logitech
Windows 10 OS Microsoft

References

  1. Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
  2. Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
  3. Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
  4. Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
  5. Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
  6. Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
  7. Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
  8. Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
  9. Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
  10. Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
  11. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  12. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  13. Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
  14. Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
  15. Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
  16. Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
  17. Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
  18. Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
  19. Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
  20. Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
  21. Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
  22. Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
  23. Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
  24. Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
  25. . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
  26. Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
  27. Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
  28. Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
  29. Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
  30. Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
  31. Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  32. Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
  33. Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
  34. Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
  35. Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
  36. Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
  37. Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
  38. Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
  39. McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
  40. Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
  41. Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
  42. Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
  43. Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).

Play Video

Cite This Article
Liu, Q., Nakahira, Y., Liang, Z., Mohideen, A., Dai, A., Choi, S. H., Pan, A., Ho, D. M., Doyle, J. C. WheelCon: A Wheel Control-Based Gaming Platform for Studying Human Sensorimotor Control. J. Vis. Exp. (162), e61092, doi:10.3791/61092 (2020).

View Video