WheelCon: İnsan Sensorimotor Kontrolü Eğitimi için Tekerlek Kontrolü Tabanlı Oyun Platformu
Summary
WheelCon bir roman, ücretsiz ve açık kaynak platform unvaziv bir dik aşağı dağ bisikleti simüle video oyunları tasarlamak için, bükümlü, engebeli iz. İnsan sensorimotor kontrolünde (gecikme, niceleme, gürültü, rahatsızlık ve çoklu geri besleme döngüleri) bulunan bileşenleri içerir ve araştırmacıların sensorimotor kontrolünde katmanlı mimariyi incelemelerine olanak tanır.
Abstract
Geri bildirim kontrol teorisi, insan duyusal motor kontrolünü teorik olarak modellemek için kapsamlı bir şekilde uygulanmıştır. Ancak, birden çok geri bildirim döngülerinin önemli bileşenlerini manipüle edebilen deneysel platformlarda gelişme yok. Bu makalede, bu tür yetersizlikleri çözmeyi amaçlayan açık kaynak platform wheelcon açıklanmaktadır. Sadece bir bilgisayar, standart bir ekran ve bir kuvvet geribildirim motoru ile donatılmış ucuz oyun direksiyon simidi kullanarak, WheelCon güvenli bir dik aşağı bir dağ bisikleti sürme kanonik sensorimotor görev simüle, bükümlü, engebeli iz. Platform, sağlanan demolarda gösterildiği gibi esneklik sağlar, böylece araştırmacılar katmanlı geri bildirim döngülerinde üst düzey gelişmiş plan katmanı ve düşük seviyeli gecikmeli refleks katmanı da dahil olmak üzere bozulmaları, gecikmeleri ve nicelikleri (veri hızı) manipüle edebilirler. Bu yazıda WheelCon’un grafik kullanıcı arabirimini (GUI), mevcut demoların giriş ve çıktısını ve yeni oyunların nasıl tasarlanabildiğini gösteriyoruz. Buna ek olarak, modelin tahmini ile uyumlu demo oyunlarından elde edilen temel geri bildirim modelini ve deneysel sonuçlarını salıyoruz. WheelCon platformu https://github.com/Doyle-Lab/WheelCon adresinden indirilebilir. Kısacası, platform ucuz, kullanımı basit ve etkili sensorimotor nörobilim araştırma ve kontrol mühendisliği eğitimi için programesnek özellikli.
Introduction
İnsan sensorimotor kontrol sistemi son derece sağlam1, algılama dağıtılır rağmen, değişken, seyrek, nicel, gürültülü ve gecikmiş2,3,4; merkezi sinir sisteminde bilgisayar yavaş5,6,7; ve kas aktüasyon yorgunlukları ve doymuş8. Birçok hesaplamalı teorik modeller karmaşık insan sensorimotor kontrol süreci açıklamak için önerilmiştir4,9,10,11,1212,13,14, hangi insan ulaşmak ve yanıt bir tradeoff sürecidir15,16. Örneğin, geribildirim kontrol teorisi optimal kontrol politikası12tahmin , Bayes teorisi modelleri sensorimotor öğrenme17,18,19 ve bilgi teorisi sensorimotor temel20,21. Teorik modellerin bolluğunun aksine, birden fazla geri bildirim döngüsünün önemli bileşenlerini manipüle edebilen deneysel platformlar da gelişmeden yoksun. Bunun nedeni kısmen, sensorimotor kontrolün bu yönlerini köprülemek ve test etmek için bir platform tasarlamak, motor kontrol teorisi, sinyal işleme ve etkileşimden bilgisayar grafikleri ve programlamasına kadar uzanan çeşitli uzmanlık lar gerektirmektedir. Araştırmacılar genellikle insan sensorimotor kontrol performansını karakterize etmek için kendi özel donanım/yazılım sistemleri geliştirmekte, bu da veri kümelerini araştırma grupları arasında karşılaştırma/karşılaştırma ve entegre etme yeteneğini sınırlandırabilir. Kullanımı kolay ve doğrulanmış bir sistemin geliştirilmesi sensorimotor kontrolün nicel karakterizasyonunu genişletebilir.
Bu yazıda, wheelcon platformu, bir roman, ücretsiz ve açık kaynak platformu noninvaziv bir Fitts ‘Hukuk oyun ve dik, bükümlü ve engebeli iz aşağı indirme ile bir dağ bisikleti görev ulaşan simüle sanal bir ortam için video oyunları tasarlamak için salıyoruz. Fitts’in göreve ulaşma yasası, mesafe ölçeklerinde genişlik hedefine ulaşmak için gereken sürenin22,23olarak ölçülde de hız ve doğruluk arasındaki dengeyi ölçer. ‘Dağ-bisiklet görev’ bir takip ve telafi edici izleme görevi bir kombinasyonudur, insan sensorimotor performansı araştırma iki klasik bileşenleridir, özellikle geribildirim döngüleri çalışma açısından.
WheelCon her teoride sunulan yüksek talep edilen temel bileşenleri içerir: gecikme, niceleme, gürültü, rahatsızlık ve birden fazla geri bildirim döngüleri. İnsan sensorimotor kontrolünde aşağıdaki farklı soruları incelemek için potansiyel bir araçtır:
• Nasıl insan sensorimotor sistem gecikme ve nöral sinyalleme, temelde sınırlı kaynaklar (uzay ve metabolik maliyetler gibi) beyin24,25ile sınırlıdır quantization ile ilgilenir ;
• Duyusal motor kontrol26ile insan korteksinde nöral korelasyon nasıl ;
• İnsanlar sensorimotor kontrol27’dekiöngörülemeyen, dış rahatsızlıklarla nasıl başa çıkıyorlar;
• Hiyerarşik kontrol döngüleri katmanlı ve insan sensorimotor sistemi16,28,29entegre;
• İnsan görsel geribildiriminde gecikme ve nicelemenin sonucu30 ve sensorimotor kontrolde refleks geri bildirim31;
• Gecikme ve niceleme altında sensorimotor öğrenme için en uygun politika ve strateji16,17,24,29.
WheelCon bir direksiyon ile entegre ve dinamik kontrol politikası ve sistem hataları kaydederken, gecikme sinyalizasyon, nicelik, gürültü ve rahatsızlık gibi bu sorularda değişkenleri manipüle oyun koşulları simüle edebilirsiniz. Ayrıca araştırmacılarSensorimotor kontrolünde katmanlı mimari çalışma sağlar. Bir dağ bisikletine binme örneğinde, bu görevde iki kontrol katmanı yer almaktadır: yüksek katmanlı plan ve düşük katmanlı refleks. Görünür rahatsızlıklar için (yani, iz), biz rahatsızlık gelmeden önce plan. Önceden bilinmeyen rahatsızlıklar için (örn. küçük tümsekler), kontrol gecikmiş reflekslere dayanır. Geri bildirim kontrol teorisi, etkili katmanlı mimarilerin üst katmanların hedeflerini, planlarını, kararları alt katmanların algılaması, refleksi ve eylem24ile bütünleştirebileceğini öne sunar. WheelCon, böyle katmanlı bir mimariyi test etmek için plan ve refleks katmanlarında ayrı ayrı ayırt edici rahatsızlıkları tetiklemek için deneysel araçlar sağlar(Şekil 1).
Biz ucuz, kullanımı kolay ve program platformu esnek, WheelCon bu nöroloji teorik ve deneysel çalışmalar arasındaki boşluğu köprüler sağlar. Spesifik olmak gerekirse, gecikme, niceleme, rahatsızlık, potansiyel hız-doğruluk tradeoffs etkilerini incelemek için kullanılabilir. Denetim döngülerinde manipüle edilebilen değişkenler Tablo 1’degösterilmiştir. Ayrıca insan sensorimotor kontrolünde farklı kontrol katmanları arasında karar verme ve çoklama yeteneğini incelemek için de uygulanabilir. Ayrıca WheelCon, sensörimotor kontrol sırasında nöral yanıtı ölçmek için elektroensefalografi (EEG)32,33,34,35(EEG) gibi noninvaziv nöral kayıtlar la uyumludur ve transkraniyal elektriksel stimülasyon (tES) ve Transkraniyal Manyetik Stimülasyon (TMS) gibi non-invaziv beyin stimülasyon teknikleri, nöral aktiviteyi manipüle etmek için36,37.
Protocol
Representative Results
Discussion
Bu yazıda, insan sensorimotor kontrolünde gecikme, nicelemeizasyon, rahatsızlık ve katmanlı geri besleme döngülerinin etkilerini incelemek için ücretsiz, açık kaynak oyun platformu WheelCon’u sunduk. Donanımı, yazılımı ve GUI’yi gösterdik. Gecikme ve niceleme ile tek bir sensorimotor kontrol devresinin ayarları uygulanmıştır, bu da sensorimotor kontrolünde gecikme, niceleme ve bozulmanın etkilerini ölçmemizi sağlar. Deneysel sonuçlar, geri besleme kontrol teorisinin tahminiyle uyumlu.
<p cl…Disclosures
The authors have nothing to disclose.
Acknowledgements
Senaryoları yeniden şekillendirdiği, videoyu çektirdiği ve düzenlediği için Bay Zhengyang Wang’a ve videoyu düzenlediği için Bay Ziyuan Ye’ye teşekkür ederiz. Bu çalışma, CIT Endowment & National Science Foundation (JCD), Boswell bursu (QL) ve Yüksek Düzeyli Üniversite Fonu’ndan (No. G02386301, G02386401), Guangdong Doğa Bilimleri Vakfı Ortak Fonu (No. 2019A1515111038).
References
- Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
- Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
- Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
- Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
- Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
- Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
- Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
- Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
- Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
- Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
- Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
- Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
- Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
- Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
- Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
- Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
- Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
- Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
- Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
- Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
- Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
- Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
- Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
- . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
- Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
- Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
- Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
- Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
- Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
- Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
- Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
- Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
- Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
- Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
- Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
- Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
- McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
- Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
- Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
- Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
- Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).
