Summary

WheelCon : une plate-forme de jeu basée sur le contrôle des roues pour étudier le contrôle des capteurs humains

Published: August 15, 2020
doi:

Summary

WheelCon est une plate-forme nouvelle, libre et open-source pour concevoir des jeux vidéo qui simulent sans invasif le vélo de montagne sur un sentier raide, tortueux et cahoteux. Il contient des composants présentant dans le contrôle sensorimoteur humain (retard, quantification, bruit, perturbation, et de multiples boucles de rétroaction) et permet aux chercheurs d’étudier l’architecture en couches dans le contrôle sensorimoteur.

Abstract

La théorie du contrôle de rétroaction a été largement mise en œuvre pour modéliser théoriquement le contrôle sensorimoteur humain. Cependant, les plates-formes expérimentales capables de manipuler des composants importants de multiples boucles de rétroaction manquent de développement. Cet article décrit WheelCon, une plate-forme open-source visant à résoudre ces insuffisances. Utilisant seulement un ordinateur, un affichage standard, et le volant de jeu peu coûteux équipé d’un moteur de rétroaction de force, WheelCon simule en toute sécurité la tâche sensorielle canonique de monter un vélo de montagne en bas d’un sentier raide, tortueux, bosselé. La plate-forme offre une flexibilité, comme le démontreront les démonstrations fournies, afin que les chercheurs puissent manipuler les perturbations, les retards et la quantification (taux de données) dans les boucles de rétroaction en couches, y compris une couche de plan avancée de haut niveau et une couche réflexe retardée de faible niveau. Dans cet article, nous illustrons l’interface utilisateur graphique (GUI) de WheelCon, l’entrée et la sortie des démos existantes et la conception de nouveaux jeux. En outre, nous présentons le modèle de rétroaction de base et les résultats expérimentaux des jeux de démonstration, qui s’alignent bien avec la prédiction du modèle. La plate-forme WheelCon peut être téléchargée à https://github.com/Doyle-Lab/WheelCon. En bref, la plate-forme est en vedette pour être bon marché, simple à utiliser, et flexible pour programmer pour la recherche en neurosciences sensorimotrice efficace et l’éducation en génie de contrôle.

Introduction

Le système de contrôle sensorimoteur humain est extrêmement robuste1, bien que la détection soit distribuée, variable, clairsemée, quantifiée, bruyante et retardée2,3,4; l’informatique dans le système nerveux central est lente5,6,7; et l’actionnement musculaire fatigue et sature8. De nombreux modèles théoriques computationnels ont été proposés pour expliquer le processus de contrôle sensorimoteur humain compliqué4,9,10,11,12,13,14, qui est un processus de compromis dans la portée humaine et la réponse15,16. Par exemple, la théorie du contrôle de rétroaction prédit la politique de contrôle optimale12, la théorie bayésienne modèles sensorimoteur apprentissage17,18,19 et la théorie de l’information sensorimotor fondation20,21. Contrairement à l’abondance des modèles théoriques, les plates-formes expérimentales capables de manipuler des composants importants de multiples boucles de rétroaction manquent de développement. Cela est dû en partie au fait que la conception d’une plate-forme pour combler et tester ces aspects du contrôle sensorimoteur nécessite une gamme variée d’expertise, s’étendant de la théorie du contrôle moteur, le traitement des signaux, et l’interaction, tout le chemin à l’infographie et la programmation. Les chercheurs développent souvent leurs propres systèmes matériels/logiciels personnalisés pour caractériser les performances de contrôle sensorimotrice humaine, ce qui peut limiter la capacité de comparer/contraster et d’intégrer des ensembles de données entre les groupes de recherche. Le développement d’un système facile à utiliser et validé pourrait élargir la caractérisation quantitative du contrôle sensorimoteur.

Dans cet article, nous présentons la plate-forme WheelCon, une plate-forme nouvelle, libre et open-source pour concevoir des jeux vidéo pour un environnement virtuel qui simule sans invasif une loi Fitts atteignant le jeu et une tâche de vélo de montagne avec la descente d’un sentier raide, torsion et cahoteux. La loi des Fitts pour atteindre la tâche quantifie le compromis entre la vitesse et l’exactitude dans lequel le temps requis pour atteindre un objectif de largeur à des échelles de distance comme22,23. La « tâche de vélo de montagne » est une combinaison d’une tâche de poursuite et de suivi compensatoire, qui sont deux composantes classiques de la recherche sur les performances sensorimotrices humaines, en particulier en termes d’étude des boucles de rétroaction.

WheelCon contient les composants de base très demandés présentés dans chaque théorie : retard, quantification, bruit, perturbation et boucles de rétroaction multiples. Il s’agit d’un outil potentiel pour étudier les questions diverses suivantes dans le contrôle sensorimoteur humain:

• Comment le système sensorimoteur humain traite le retard et la quantification de la signalisation neuronale, qui est fondamentalement limitée par les ressources limitées (telles que l’espace et les coûts métaboliques) dans le cerveau24,25;
• Comment corrélation neuronale dans le cortex humain avec le contrôle sensorimoteur26;
• Comment les humains gèrent les perturbations externes imprévisibles dans le contrôle sensorimoteur27;
• Comment les boucles de contrôle hiérarchiques superposées et intégrées dans le système sensorimoteur humain16,28,29;
• La conséquence du retard et de la quantification de la rétroaction visuelle humaine30 et de la rétroaction réflexe31 dans le contrôle sensorimoteur;
• La politique et la stratégie optimales pour l’apprentissage sensorimoteur sous délai et quantification16,17,24,29.

WheelCon s’intègre à un volant et peut simuler les conditions de jeu qui manipulent les variables dans ces questions, telles que le retard de signalisation, la quantification, le bruit et les perturbations, tout en enregistrant la stratégie de contrôle dynamique et les erreurs du système. Il permet également aux chercheurs d’étudier l’architecture en couches dans le contrôle sensorimoteur. Dans l’exemple de la conduite d’un vélo de montagne, deux couches de contrôle sont impliquées dans cette tâche: le plan de haute couche et le réflexe de basse couche. Pour les perturbations visibles (c.-à-d. le sentier), nous planifions avant l’arrivée de la perturbation. Pour les perturbations inconnues à l’avance (c.-à-d. les petites bosses), le contrôle repose sur des réflexes retardés. La théorie du contrôle de rétroaction propose que des architectures à couches efficaces peuvent intégrer les objectifs, les plans, les décisions des couches supérieures avec la détection, le réflexe et l’action des couches inférieures24. WheelCon fournit des outils expérimentaux pour induire des perturbations distinctives dans le plan et les couches réflexes séparément pour tester une telle architecture en couches (Figure 1).

Nous fournissons une plate-forme de programme bon marché, facile à utiliser et flexible, WheelCon qui comble le fossé entre les études théoriques et expérimentales sur les neurosciences. Pour être précis, il peut être utilisé pour examiner les effets du retard, de la quantification, de la perturbation, des compromis potentiellement de précision de vitesse. Les variables qui peuvent être manipulées dans les boucles de contrôle sont affichées dans le tableau 1. Il peut également être appliqué pour étudier la prise de décision et la capacité de multiplexage à travers différentes couches de contrôle dans le contrôle sensorimoteur humain. En outre, WheelCon est compatible avec les enregistrements neuronaux non invasifs, tels que l’électroencéphalographie (EEG), pour mesurer la réponse neuronale pendant le contrôle sensorimoteur32,33,34,35, et les techniques non invasives de stimulation cérébrale, telles que la stimulation électrique transcrânienne (tES) et la stimulation magnétique transcrânienne (TMS), pour manipuler l’activité neuronale36,37.

Protocol

L’élaboration et l’application du protocole ont été approuvées par le California Institute of Technology Institutional Review Board (IRB) et la Southern University of Science and Technology IRB. Le sujet a fourni un consentement éclairé avant toute procédure. 1. Préparation et configuration du système Le matériel de base recommandé est un processeur dual-core de 2 GHz et 4 Go de mémoire système. Créez la plate-forme de jeu sous la plate-forme Unity, tout e…

Representative Results

Modélisation du contrôle des commentaires Nous montrons un modèle de contrôle de rétroaction simplifié illustré à la figure 1. La dynamique du système est donnée par : où x(t) est l’erreur au moment t, r(t) est la perturbation de la traînée <e…

Discussion

Dans cet article, nous avons présenté une plate-forme de jeu libre et open-source, WheelCon, pour étudier les effets du retard, de la quantification, de la perturbation et des boucles de rétroaction en couches dans le contrôle sensorimoteur humain. Nous avons montré le matériel, le logiciel et l’interface graphique. Les réglages d’une seule boucle de commande sensorimoteur avec retard et quantification ont été mis en œuvre, ce qui nous permet de mesurer les effets du retard, de la quantification et de la p…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Nous remercions M. Zhengyang Wang d’avoir remodelé les scripts, tourné et édité la vidéo, et M. Ziyuan Ye d’avoir édité la vidéo. Cette étude a obtenu l’appui de la CIT Endowment & National Science Foundation (à JCD), de la bourse Boswell (à QL) et du Fonds universitaire de haut niveau (No. G02386301, G02386401), Guangdong Natural Science Foundation Joint Fund (no 2019A1515111038).

Materials

Gaming Wheel Logitech
Windows 10 OS Microsoft

References

  1. Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
  2. Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
  3. Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
  4. Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
  5. Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
  6. Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
  7. Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
  8. Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
  9. Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
  10. Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
  11. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  12. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  13. Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
  14. Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
  15. Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
  16. Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
  17. Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
  18. Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
  19. Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
  20. Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
  21. Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
  22. Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
  23. Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
  24. Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
  25. . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
  26. Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
  27. Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
  28. Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
  29. Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
  30. Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
  31. Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  32. Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
  33. Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
  34. Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
  35. Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
  36. Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
  37. Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
  38. Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
  39. McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
  40. Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
  41. Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
  42. Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
  43. Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).

Play Video

Cite This Article
Liu, Q., Nakahira, Y., Liang, Z., Mohideen, A., Dai, A., Choi, S. H., Pan, A., Ho, D. M., Doyle, J. C. WheelCon: A Wheel Control-Based Gaming Platform for Studying Human Sensorimotor Control. J. Vis. Exp. (162), e61092, doi:10.3791/61092 (2020).

View Video