גלגלים: בקרת גלגל המשחקים מבוססי פלטפורמת המשחק ללמוד Sensorimotor האדם בקרת
Summary
ווילקון הינו הפלטפורמה החדשנית, החופשית והפתוחה לעיצוב משחקי וידאו אשר מדמה באופן לא פולשני אופני הרים לאורך שביל תלול, מתפתל ומהמורות. הוא מכיל רכיבים המציגים בקרת sensorimotor אנושי (עיכוב, קוונטיזציה, רעש, הפרעה, ולולאות משוב מרובות) ומאפשר לחוקרים ללמוד את הארכיטקטורה שכבתית בשליטה sensorimotor.
Abstract
תאוריית שליטה במשוב יושם בהרחבה כדי תיאורטית מודל sensorimotor בקרת האדם. עם זאת, פלטפורמות ניסיוני מסוגל לתמרן רכיבים חשובים של לולאות משוב מרובים חוסר התפתחות. המאמר מתאר את ווילקון, פלטפורמה מקור פתוח שמטרתה לפתור וגבלויותיו כאלה. שימוש רק במחשב, צג רגיל, ומשחק ההיגוי זול גלגל מצויד מנוע משוב כוח, ווילקון בבטחה מדמה את המשימה sensorimotor קאנונית של רכיבה על אופני הרים למטה תלול, פיתול, שביל מהמורות. הפלטפורמה מספקת גמישות, כפי שניתן להדגים בהדגמות שסופקו, כך שחוקרים עשויים לתמרן את ההפרעות, ההשהיה והקוונטיזציה (קצב נתונים) בלולאות המשוב המשוכבות, כולל שכבת תוכנית מתקדמת ברמה גבוהה ושכבת רפלקס מושהית ברמה נמוכה. במאמר זה, אנו ממחישים את ממשק המשתמש הגרפי של ווילקון (GUI), הקלט והפלט של הדגמות קיימות וכיצד לעצב משחקים חדשים. בנוסף, אנו מציגים את מודל המשוב הבסיסי ואת התוצאות הנסיוניות ממשחקי ההדגמה, המתאימים היטב לחיזוי המודל. ניתן להוריד את פלטפורמת הווילקון ב-https://github.com/Doyle-Lab/WheelCon. בקיצור, הפלטפורמה מופיעה כדי להיות זול, פשוט לשימוש, גמיש לתוכנית למחקר יעיל sensorimotor מדעי המוח ובקרה הנדסה החינוך.
Introduction
מערכת השליטה הsensorimotor האנושית היא חזקה מאוד1, למרות החישה מופץ, משתנה, דליל, כימות, רועש ומתעכב2,3,4; המחשוב במערכת העצבים המרכזית הוא איטי5,6,7; ומימוש השרירים והשריטים8. מודלים עיוניים חישובית רבים הוצעו על מנת להסביר את תהליך השליטה הsensorimotor האנושי המורכב4,9,10,11,12,13,14, שהוא תהליך של סחר בהישג יד ותגובה של15,16. לדוגמה, תיאוריית בקרת משוב מנבאת את מדיניות הבקרה האופטימלית12, מודלים של תיאוריות בייסיאניות sensorimotor למידה17,18,19 ותורת המידע sensorimotor קרן20,21. בניגוד לשפע של מודלים תיאורטיים, פלטפורמות ניסיוני מסוגל לתמרן רכיבים חשובים של לולאות משוב מספר הפיתוח חוסר. זה חלק בשל העובדה כי עיצוב פלטפורמה לגשר ולבדוק את ההיבטים הללו של השליטה sensorimotor דורש מגוון רחב של מומחיות, הארכת מתוך תאוריית השליטה המוטורית, עיבוד אותות, אינטראקציה, כל הדרך לגרפיקה מחשב ותכנות. חוקרים לעיתים קרובות לפתח מערכות חומרה/תוכנה מותאמות אישית משלהם כדי לאפיין ביצועים sensorimotor בקרת האדם, אשר יכול להגביל את היכולת להשוות/ניגודיות ולשלב קבוצות נתונים על פני ארגוני מחקר. פיתוח מערכת קלה לשימוש ומאומת יכול להרחיב את האפיון הכמותי של השליטה בsensorimotor.
במאמר זה, אנו מציגים את פלטפורמת וגלגלים, רומן, חינם ומקור פתוח פלטפורמה לעצב משחקי וידאו לסביבה וירטואלית כי באופן לא פולשני מדמה משחק Fitts ‘ חוק להגיע ומשימה אופני הרים עם מסלול תלול, מתפתל ומהמורות. חוק fitts לצורך הגעה למשימה ככמת את העסקה בין מהירות ודיוק שבה הזמן הנדרש להגיע ליעד רוחב בקנה מידה מרחק22,23. ‘ משימה אופני הרים ‘ הוא שילוב של משימה מעקב ופיצוי, שהם שני רכיבים קלאסיים של מחקר על ביצועים sensorimotor אנושיים, במיוחד במונחים של לולאות משוב לימוד.
ווילקון מכיל את הרכיבים הבסיסיים הדורשים מאוד בכל תאוריה: עיכוב, קוונטיזציה, רעש, הפרעה ולולאות משוב מרובות. זהו כלי פוטנציאלי ללימוד השאלות השונות הבאות בשליטת sensorimotor האדם:
• כיצד מערכת הsensorimotor האנושית עוסקת בעיכוב ובקוונטיזציה באיתות עצבי, שהוא מוגבל ביסודו על-ידי המשאבים המוגבלים (כגון החלל ועלויות המטבולית) במוח24,25;
• כיצד הקורלציה העצבית בקליפת האדם עם sensorimotor ליטה26;
• כיצד בני אדם מתמודדים עם הפרעות חיצוניות בלתי צפויות בsensorimotor בקרה27;
• כיצד השליטה הירארכית לולאות שכבתית בתוך מערכת sensorimotor אנושי16,28,29;
• התוצאה של עיכוב וקוונטיזציה במשוב החזותי האנושי30 ו משוב רפלקס31 ב sensorimotor control;
• המדיניות האופטימלית והאסטרטגיה ללמידה מsensorimotor תחת עיכוב וקוונטיזציה16,17,24,29.
ווילקון משתלב עם ההגה ויכול לדמות תנאי משחק המשנים את המשתנים בשאלות אלה, כגון השהיית איתות, קוונטיזציה, רעש והפרעה, תוך הקלטה של מדיניות הבקרה הדינמית ושגיאות המערכת. זה גם מאפשר לחוקרים ללמוד את הארכיטקטורה שכבתית בשליטה sensorimotor. בדוגמה של רכיבה על אופני הרים, שתי שכבות שליטה מעורבות במשימה זו: התוכנית בעלת השכבה הגבוהה ורפלקס השכבה הנמוכה. להפרעות גלויות (כלומר, השביל), אנו מתכננים לפני ההפרעה מגיעה. עבור הפרעות לא ידוע מראש (כלומר, בליטות קטנות), הפקד מסתמך על רפלקסים מושהית. תאוריית השליטה במשוב מציעה שארכיטקטורות שכבות אפקטיביות יוכלו לשלב את מטרות השכבות הגבוהות, את התוכניות, את ההחלטות באמצעות חישה, רפלקס ופעולה24של השכבות הנמוכות. ווילקון מספק כלים ניסיוניים כדי לגרום להפרעות ייחודיות בתוכנית ובשכבות הרפלקס בנפרד לבדיקת ארכיטקטורה שכבתית כזאת (איור 1).
אנו מספקים זול, קל לשימוש וגמיש לפלטפורמת התוכנית, ווילקון כי מגשר את הפער בין מחקרים תיאורטיים וניסיוניים על מדעי המוח. כדי להיות ספציפי, זה יכול לשמש כדי לבחון את ההשפעות של עיכוב, קוונטיזציה, הפרעה, פוטנציאל מהירות הדיוק החליפין. המשתנים שניתן לטפל בהם בלולאות שליטה מוצגים בטבלה 1. זה יכול גם להיות מיושם עבור לימוד קבלת החלטות ויכולת ריבוב בין שכבות שליטה שונות בקרת sensorimotor אנושי. יתר על כן, ווילקון תואם הקלטות עצביות לא פולשנית, כגון אלקטרונצליגרפיה (EEG), כדי למדוד את התגובה העצבית במהלך sensorimotor control32,33,34,35, ואת טכניקות גירוי המוח הלא פולשני, כגון Transcranial גירוי חשמלי (tES) ו Transcranial מגנטי גירוי (TMS), כדי לתפעל את הפעילות העצבית36,37
Protocol
Representative Results
Discussion
במאמר זה, הצגנו בחינם, מקור פתוח פלטפורמת המשחקים, ווילקון, עבור ללמוד את ההשפעות של עיכוב, קוונטיזציה, הפרעה, ולולאות משוב שכבתית בשליטה האדם sensorimotor. הצגנו את החומרה, את התוכנה, ואת GUI. ההגדרות של לולאה אחת sensorimotor control עם עיכוב וכימות כבר יושמו, אשר מאפשר לנו למדוד את ההשפעות של עיכוב, קוונטיז…
Disclosures
The authors have nothing to disclose.
Acknowledgements
אנו מודים למר של זהאנגיאנג Wang על שינוי הצורה של קבצי ה-script, הירי והעריכה של הווידאו, ו-Mr. Ziyuan Ye על עריכת הווידאו. מחקר זה קיבל תמיכה CIT הקרן & המדע הלאומי (כדי JCD), מלגת בוזוב (ל-QL) ו ברמה גבוהה הקרן האוניברסיטאי (לא. G02386301, G02386401), קרן גואנג-דונג למדע הטבע קרן משותפת (No. 2019A1515111038).
References
- Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
- Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
- Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
- Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
- Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
- Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
- Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
- Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
- Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
- Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
- Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
- Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
- Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
- Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
- Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
- Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
- Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
- Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
- Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
- Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
- Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
- Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
- Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
- . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
- Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
- Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
- Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
- Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
- Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
- Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
- Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
- Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
- Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
- Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
- Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
- Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
- McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
- Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
- Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
- Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
- Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).
