Summary

WheelCon: una piattaforma di gioco basata sul controllo delle ruote per studiare il controllo del senso umano

Published: August 15, 2020
doi:

Summary

WheelCon è una piattaforma nuova, libera e open-source per progettare videogiochi che simulano in modo non invasivo la mountain bike lungo un sentiero ripido, tortuoso e accidentato. Contiene componenti che presentano nel controllo sensomotorio umano (ritardo, quantizzazione, rumore, disturbo e cicli di feedback multipli) e consente ai ricercatori di studiare l’architettura a strati nel controllo sensomotorio.

Abstract

La teoria del controllo del feedback è stata ampiamente implementata per modellare teoricamente il controllo sensoriale umano. Tuttavia, le piattaforme sperimentali in grado di manipolare componenti importanti di più cicli di feedback mancano di sviluppo. Questo documento descrive WheelCon, una piattaforma open source volta a risolvere tali insufficienze. Utilizzando solo un computer, un display standard e un volante da gioco poco costoso dotato di un motore di feedback di forza, WheelCon simula in modo sicuro il compito sensoriale canonico di guidare una mountain bike lungo un sentiero ripido, tortuoso e accidentato. La piattaforma offre flessibilità, come verrà dimostrato nelle demo fornite, in modo che i ricercatori possano manipolare i disturbi, il ritardo e la quantizzazione (velocità dei dati) nei cicli di feedback a più livelli, tra cui uno strato di piano avanzato di alto livello e uno strato di riflesso ritardato di basso livello. In questo documento viene illustrata l’interfaccia utente grafica (GUI) di WheelCon, l’input e l’output delle demo esistenti e la progettazione di nuovi giochi. Inoltre, presentiamo il modello di feedback di base e i risultati sperimentali dei giochi dimostrativi, che si allineano bene con la previsione del modello. La piattaforma WheelCon può essere scaricata allhttps://github.com/Doyle-Lab/WheelCon. In breve, la piattaforma è caratterizzata per essere a buon mercato, semplice da usare, e flessibile da programmare per la ricerca efficace neuroscienza sensomotoria e la formazione di ingegneria di controllo.

Introduction

Il sistema di controllo sensomotorio umano è estremamente robusto1, anche se il rilevamento è distribuito, variabile, rade, quantizzato, rumoroso e ritardato2,3,4; l’informatica nel sistema nervoso centrale è lenta5,6,7; e l’agitazione muscolare e satura8. Molti modelli teorici computazionali sono stati proposti per spiegare il complicato processo di controllo sensomotorio umano4,9,10,11,12,13,14, che è un processo di compromesso nella portata e nella risposta umana15,16. Ad esempio, la teoria del controllo del feedback prevede la politica di controllo ottimale12, modelli teorici bayesiano sensoriale apprendimento17,18,19 e teoria dell’informazione fondazione sensomotoria20,21. A differenza dell’abbondanza di modelli teorici, le piattaforme sperimentali in grado di manipolare componenti importanti di più cicli di feedback mancano di sviluppo. Ciò è in parte dovuto al fatto che la progettazione di una piattaforma per collegare e testare questi aspetti del controllo sensomotorio richiede una vasta gamma di competenze, che si estendono dalla teoria del controllo motorio, elaborazione del segnale, e l’interazione, fino alla computer grafica e programmazione. I ricercatori spesso sviluppano i propri sistemi hardware/software personalizzati per caratterizzare le prestazioni di controllo del sensomotorio umano, che possono limitare la capacità di confrontare/confrontare e integrare i set di dati tra i gruppi di ricerca. Lo sviluppo di un sistema facile da usare e convalidato potrebbe ampliare la caratterizzazione quantitativa del controllo sensomotorio.

In questo articolo presentiamo la piattaforma WheelCon, una nuova piattaforma, libera e open-source per progettare videogiochi per un ambiente virtuale che simula in modo non invasivo una legge Fitts che raggiunge il gioco e un compito di mountain bike con il downing di un sentiero ripido, tortuoso e accidentato. La legge di Fitts per raggiungere il compito quantifica il compromesso tra velocità e precisione in cui il tempo necessario per raggiungere un obiettivo di larghezza a distanza scala come22,23. Il “task”mountain-bike’ è una combinazione di un compito di ricerca e tracciamento compensativo, che sono due componenti classiche della ricerca sulle prestazioni sensomotorie umane, soprattutto in termini di studio dei cicli di feedback.

WheelCon contiene i componenti di base molto richiesti presentati in ogni teoria: ritardo, quantizzazione, rumore, disturbo e cicli di feedback multipli. È un potenziale strumento per studiare le seguenti diverse domande nel controllo del sensomotorio umano:

Come il sistema sensomotorio umano si occupa del ritardo e della quantizzazione della segnalazione neurale, che è fondamentalmente vincolata dalle risorse limitate (come lo spazio e i costi metabolici) nel cervello24,25;
Come correlazione neurale nella corteccia umana con controllo sensomotorio26;
Come gli esseri umani gestiscono i disturbi esterni imprevedibili nel controllo sensomotorio27;
Come i loop di controllo gerarchico stratificati e integrati all’interno del sistema sensomotorio umano16,28,29;
La conseguenza del ritardo e della quantizzazione nel feedback visivo umano30 e del feedback riflesso31 nel controllo sensoriale;
La politica e la strategia ottimali per l’apprendimento sensoriale sotto ritardo e quantizzazione16,17,24,29.

WheelCon si integra con un volante e può simulare condizioni di gioco che manipolano le variabili in queste domande, come ritardo di segnalazione, quantizzazione, rumore e disturbo, durante la registrazione della politica di controllo dinamico e degli errori di sistema. Permette inoltre ai ricercatori di studiare l’architettura a più livelli nel controllo sensomotorio. Nell’esempio di guida di una mountain bike, due strati di controllo sono coinvolti in questo compito: il piano ad alto strato e il riflesso a basso strato. Per i disturbi visibili (cioè il sentiero), pianifichiamo prima dell’arrivo del disturbo. Per disturbi sconosciuti in anticipo (cioè piccoli urti), il controllo si basa su riflessi ritardati. La teoria del controllo del feedback propone che architetture efficaci a più livelli possano integrare gli obiettivi, i piani, le decisioni con il rilevamento, il riflesso e l’azione degli strati inferiori24. WheelCon fornisce strumenti sperimentali per indurre disturbi distintivi negli strati planimetrici e reflex separatamente per testare tale architettura a più livelli (Figura 1).

Forniamo una piattaforma economica, facile da usare e flessibile da programmare, WheelCon che colma il divario tra studi teorici e sperimentali sulle neuroscienze. Per essere precisi, può essere utilizzato per esaminare gli effetti di ritardo, quantizzazione, disturbo, potenzialmente compromessi di precisione della velocità. Le variabili che possono essere manipolate nei cicli di controllo sono illustrate nella Tabella 1. Può anche essere applicato per studiare il processo decisionale e la capacità di multiplexing attraverso diversi strati di controllo nel controllo sensomotorio umano. Inoltre, WheelCon è compatibile con registrazioni neurali non invasive, come l’elettroencefalografia (EEG), per misurare la risposta neurale durante il controllo sensomotorio32,33,34,35, e le tecniche di stimolazione cerebrale non invasiva, come la stimolazione elettrica transcranica (tES) e la stimolazione magnetica transcranica (TMS), per manipolare l’attività neurale36,37.,

Protocol

Lo sviluppo e l’applicazione del protocollo sono stati approvati dal California Institute of Technology Institutional Review Board (IRB) e dalla Southern University of Science and Technology IRB. L’oggetto ha fornito il consenso informato prima dell’esecuzione di qualsiasi procedura. 1. Preparazione e configurazione del sistema L’hardware di base consigliato è un processore dual-core da 2 GHz e 4 GB di memoria di sistema. Costruisci la piattaforma di gioco sotto la piattaf…

Representative Results

Modellazione del controllo del feedback Viene illustrato un modello di controllo del feedback semplificato illustrato nella Figura 1. La dinamica del sistema è data da: dove x(t) è l’errore al momento t, r(t) è il disturbo trail w(t), è…

Discussion

In questo articolo, abbiamo presentato una piattaforma di gioco gratuita e open source, WheelCon, per studiare gli effetti del ritardo, della quantizzazione, del disturbo e dei cicli di feedback stratificati nel controllo sensoriale umano. Abbiamo mostrato l’hardware, il software e la GUI. Sono state implementate le impostazioni di un singolo ciclo di controllo sensomotorio con ritardo e quantizzazione, che ci permette di misurare gli effetti del ritardo, della quantizzazione e del disturbo nel controllo sensomotorio. I …

Disclosures

The authors have nothing to disclose.

Acknowledgements

Ringraziamo il Sig. Wang per aver rimodellato le sceneggiature, girato e modificato il video, e il sig. Questo studio ha ottenuto il sostegno della CIT Endowment & National Science Foundation (per JCD), della borsa di studio Boswell (a QL) e del Fondo universitario di alto livello (n. G02386301, G02386401), Guangdong Natural Science Foundation Joint Fund (n. 2019A151511038).

Materials

Gaming Wheel Logitech
Windows 10 OS Microsoft

References

  1. Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
  2. Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
  3. Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
  4. Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
  5. Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
  6. Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
  7. Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
  8. Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
  9. Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
  10. Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
  11. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  12. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  13. Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
  14. Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
  15. Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
  16. Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
  17. Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
  18. Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
  19. Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
  20. Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
  21. Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
  22. Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
  23. Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
  24. Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
  25. . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
  26. Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
  27. Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
  28. Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
  29. Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
  30. Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
  31. Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  32. Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
  33. Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
  34. Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
  35. Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
  36. Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
  37. Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
  38. Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
  39. McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
  40. Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
  41. Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
  42. Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
  43. Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).

Play Video

Cite This Article
Liu, Q., Nakahira, Y., Liang, Z., Mohideen, A., Dai, A., Choi, S. H., Pan, A., Ho, D. M., Doyle, J. C. WheelCon: A Wheel Control-Based Gaming Platform for Studying Human Sensorimotor Control. J. Vis. Exp. (162), e61092, doi:10.3791/61092 (2020).

View Video