Summary

WheelCon: Uma plataforma de jogos baseada em controle de rodas para estudar controle sensorial humano

Published: August 15, 2020
doi:

Summary

WheelCon é uma plataforma nova, gratuita e de código aberto para projetar videogames que não invasivamente simula mountain bike por uma trilha íngreme, tortuosa e esburacada. Contém componentes apresentados no controle sensorimotor humano (atraso, quantização, ruído, perturbação e múltiplos loops de feedback) e permite que os pesquisadores estudem a arquitetura em camadas no controle sensorial.

Abstract

A teoria do controle de feedback foi extensivamente implementada para teoricamente modelar o controle sensorial humano. No entanto, plataformas experimentais capazes de manipular componentes importantes de múltiplos loops de feedback carecem de desenvolvimento. Este artigo descreve a WheelCon, uma plataforma de código aberto destinada a resolver tais insuficiências. Usando apenas um computador, um display padrão e um volante de jogo barato equipado com um motor de feedback de força, o WheelCon simula com segurança a tarefa sensorial canônica de andar de mountain bike por uma trilha íngreme, tortuosa e esburacada. A plataforma fornece flexibilidade, como será demonstrado nas demonstrações fornecidas, para que os pesquisadores possam manipular os distúrbios, atrasos e quantização (taxa de dados) nos loops de feedback em camadas, incluindo uma camada de plano avançado de alto nível e uma camada de reflexo atrasada de baixo nível. Neste artigo, ilustramos a interface gráfica de usuário (GUI) da WheelCon, a entrada e saída das demonstrações existentes e como projetar novos jogos. Além disso, apresentamos o modelo básico de feedback e os resultados experimentais dos jogos de demonstração, que se alinham bem com a previsão do modelo. A plataforma WheelCon pode ser baixada em https://github.com/Doyle-Lab/WheelCon. Em suma, a plataforma é caracterizada por ser barata, simples de usar e flexível para programar para uma pesquisa eficaz de neurociência sensorial e educação de engenharia de controle.

Introduction

O sistema de controle sensorimotor humano é extremamente robusto1,embora a detecção seja distribuída, variável, esparsa, quantizada, ruiva e atrasada2,,3,,4; a computação no sistema nervoso central é lenta5,6,7; e a atuação muscular fadiga e satura8. Muitos modelos teóricos computacionais foram propostos para explicar o complicado processo de controle sensorial humano4,9,,10,11,12,13,14, que é um processo de troca em alcance humano e resposta15,16. Por exemplo, a teoria do controle de feedback prevê a política de controle ideal12, modelos teóricos bayesianos de aprendizagem sensorimotor17,,18,19 e teoria da informação sensorimotor foundation20,21. Em contraste com a abundância de modelos teóricos, plataformas experimentais capazes de manipular componentes importantes de múltiplos loops de feedback carecem de desenvolvimento. Isso se deve, em parte, ao fato de que projetar uma plataforma para fazer a ponte e testar esses aspectos do controle sensorial requer uma gama diversificada de conhecimentos, estendendo-se desde a teoria do controle motor, processamento de sinais e interação, até computação gráfica e programação. Os pesquisadores frequentemente desenvolvem seus próprios sistemas personalizados de hardware/software para caracterizar o desempenho do controle sensorimotor humano, o que pode limitar a capacidade de comparar/contrastar e integrar conjuntos de dados entre grupos de pesquisa. O desenvolvimento de um sistema fácil de usar e validado poderia ampliar a caracterização quantitativa do controle sensorial.

Neste artigo, apresentamos a plataforma WheelCon, uma plataforma nova, gratuita e de código aberto para projetar videogames para um ambiente virtual que simula não invasivamente uma Lei de Fitts chegando ao jogo e uma tarefa de mountain bike com a derrubada de uma trilha íngreme, tortuosa e esburacada. A lei dos Fitts para alcançar a tarefa quantifica a troca entre velocidade e precisão em que o tempo necessário para atingir um alvo de largura em escalas de distância éde 22,23. A “tarefa de mountain bike” é uma combinação de uma tarefa de rastreamento de perseguição e compensação, que são dois componentes clássicos da pesquisa sobre o desempenho sensorial humano, especialmente em termos de estudo de loops de feedback.

A WheelCon contém os componentes básicos altamente exigidos apresentados em cada teoria: atraso, quantização, ruído, perturbação e múltiplos loops de feedback. É uma ferramenta potencial para estudar as seguintes questões no controle sensorial humano:

• Como o sistema sensorimotor humano lida com o atraso e a quantização na sinalização neural, que é fundamentalmente constrangida pelos recursos limitados (como o espaço e os custos metabólicos) no cérebro24,25;
• Como a correlação neural no córtex humano com o controle sensorial26;
• Como os seres humanos lidam com os distúrbios externos imprevisíveis no controle sensorial27;
• Como o controle hierárquico se enrola em camadas e integrado dentro do sistema sensorimotor humano16,,28,,29;
• A consequência do atraso e quantização no feedback visual humano30 e feedback reflexo31 no controle sensorial;
• A política e estratégia ideal para o aprendizado sensorial sob atraso e quantização16,,17,24,29.

O WheelCon se integra com um volante e pode simular condições de jogo que manipulam as variáveis nessas questões, como atraso de sinalização, quantização, ruído e perturbação, ao mesmo tempo em que registra a política de controle dinâmico e erros do sistema. Também permite que os pesquisadores estudem a arquitetura em camadas no controle sensorial. No exemplo de andar de mountain bike, duas camadas de controle estão envolvidas nesta tarefa: o plano de alta camada e o reflexo de baixa camada. Para distúrbios visíveis (ou seja, a trilha), planejamos antes da perturbação chegar. Para distúrbios desconhecidos com antecedência (ou seja, pequenas lombadas), o controle conta com reflexos atrasados. A teoria do controle de feedback propõe que arquiteturas em camadas eficazes podem integrar as metas, planos, decisões com o sensor, reflexo e ação24das camadas inferiores . A WheelCon fornece ferramentas experimentais para induzir distúrbios distintos no plano e camadas de reflexo separadamente para testar tal arquitetura em camadas(Figura 1).

Fornecemos uma plataforma barata, fácil de usar e flexível para programar, a WheelCon que faz a ponte entre estudos teóricos e experimentais sobre neurociência. Para ser específico, pode ser usado para examinar os efeitos de atraso, quantização, perturbação, compensações potencialmente de precisão de velocidade. As variáveis que podem ser manipuladas em loops de controle são mostradas na Tabela 1. Também pode ser aplicado para estudar a tomada de decisões e a capacidade de multiplexação em diferentes camadas de controle no controle sensorial humano. Além disso, a WheelCon é compatível com gravações neurais não invasivas, como a eletroencefalografia (EEG), para medir a resposta neural durante o controle sensorial32,33,,34,,35, e as técnicas de estimulação cerebral não invasiva, como estimulação elétrica transcraniana (tES) e estimulação magnética transcraniana (TMS), para manipular a atividade neural36,,37.

Protocol

O desenvolvimento e a aplicação do protocolo foram aprovados pelo Conselho de Revisão Institucional do Instituto de Tecnologia da Califórnia (IRB) e pela Universidade do Sul de Ciência e Tecnologia IRB. O sujeito forneceu consentimento informado antes de qualquer procedimento que está sendo realizado. 1. Preparação e configuração do sistema O hardware básico recomendado é um processador dual-core de 2 GHz e 4 GB de memória do sistema. Construa a plataforma de j…

Representative Results

Controle de feedback de modelagem Mostramos um modelo simplificado de controle de feedback mostrado na Figura 1. A dinâmica do sistema é dada por: onde x(t) é o erro no momento t, r(t) é a perturbação da trilha w(t),é a perturbação…

Discussion

Neste artigo, apresentamos uma plataforma de jogos de código aberto, WheelCon, para estudar os efeitos do atraso, quantização, perturbação e loops de feedback em camadas no controle sensorimotor humano. Mostramos o hardware, o software e a GUI. Foram implementadas as configurações de um único loop de controle sensorial com atraso e quantização, o que nos permite medir os efeitos do atraso, quantização e perturbação no controle sensorial. Os resultados experimentais estão bem alinhados com a previsão da te…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Agradecemos ao Sr. Zhengyang Wang por remodelar os roteiros, filmar e editar o vídeo, e o Sr. Ziyuan Ye por editar o vídeo. Este estudo recebeu apoio da CIT Endowment & National Science Foundation (para JCD), bolsa boswell (para QL) e High-Level University Fund (No. G02386301, G02386401), Fundo Conjunto da Fundação Guangdong de Ciências Naturais (nº 2019A15111038).

Materials

Gaming Wheel Logitech
Windows 10 OS Microsoft

References

  1. Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
  2. Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
  3. Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
  4. Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
  5. Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
  6. Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
  7. Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
  8. Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
  9. Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
  10. Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
  11. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  12. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  13. Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
  14. Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
  15. Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
  16. Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
  17. Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
  18. Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
  19. Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
  20. Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
  21. Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
  22. Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
  23. Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
  24. Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
  25. . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
  26. Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
  27. Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
  28. Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
  29. Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
  30. Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
  31. Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  32. Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
  33. Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
  34. Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
  35. Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
  36. Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
  37. Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
  38. Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
  39. McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
  40. Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
  41. Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
  42. Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
  43. Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).

Play Video

Cite This Article
Liu, Q., Nakahira, Y., Liang, Z., Mohideen, A., Dai, A., Choi, S. H., Pan, A., Ho, D. M., Doyle, J. C. WheelCon: A Wheel Control-Based Gaming Platform for Studying Human Sensorimotor Control. J. Vis. Exp. (162), e61092, doi:10.3791/61092 (2020).

View Video