Summary

WheelCon: منصة ألعاب قائمة على التحكم في العجلات لدراسة التحكم في التحكم في الحواس

Published: August 15, 2020
doi:

Summary

WheelCon هي منصة رواية ومجانية ومفتوحة المصدر لتصميم ألعاب الفيديو التي تحاكي غير باضعة ركوب الدراجات الجبلية أسفل درب حاد ، التواء ، وعر. وهو يحتوي على مكونات تقدم في التحكم الحسي البشري (التأخير ، الكمّنة ، الضوضاء ، الاضطراب ، وحلقات التغذية المتعددة) ويسمح للباحثين بدراسة الهندسة المعمارية الطبقات في التحكم الحسي.

Abstract

وقد تم تنفيذ نظرية السيطرة على ردود الفعل على نطاق واسع لنموذج نظريا التحكم الحسية الإنسان. ومع ذلك، فإن المنصات التجريبية القادرة على التلاعب بمكونات مهمة من حلقات التغذية المرتدة المتعددة تفتقر إلى التطوير. تصف هذه الورقة WheelCon، وهي منصة مفتوحة المصدر تهدف إلى حل مثل هذه الشوات. باستخدام جهاز كمبيوتر فقط، وشاشة عرض قياسية، وعجلة قيادة الألعاب غير مكلفة مجهزة بمحرك قوة التغذية المرتدة، WheelCon يحاكي بأمان مهمة sensorimotor الكنسي من ركوب دراجة جبلية أسفل منحدر، التواء، درب وعرة. توفر المنصة المرونة، كما سيُظهر في العروض المقدمة، بحيث يمكن للباحثين التعامل مع الاضطرابات والتأخير والتكميم (معدل البيانات) في حلقات التغذية الراجعة الطبقات، بما في ذلك طبقة متقدمة عالية المستوى وطبقة منعكسة متأخرة منخفضة المستوى. في هذه الورقة، نوضح واجهة المستخدم الرسومية WheelCon (GUI)، وإدخال وإخراج العروض التوضيحية الموجودة، وكيفية تصميم ألعاب جديدة. بالإضافة إلى ذلك، نقدم نموذج التغذية المرتدة الأساسية والنتائج التجريبية من الألعاب التجريبية، والتي تتماشى بشكل جيد مع تنبؤ النموذج. يمكن تحميل منصة WheelCon في https://github.com/Doyle-Lab/WheelCon. وباختصار ، فإن منصة واردة لتكون رخيصة وبسيطة للاستخدام ، ومرنة لبرنامج فعال للبحوث علم الأعصاب الحسية والتعليم الهندسي التحكم.

Introduction

نظام التحكم الاستشعارية البشرية هي قوية للغاية1، على الرغم من أن يتم توزيع الاستشعار ، متغير ، متفرق ، كمي ، صاخبة وتأخير2،3،4؛ الحوسبة في الجهاز العصبي المركزي بطيء5,6,7; و العضلة التعب و تشبع8. وقد اقترحت العديد من النماذج النظرية الحسابية لشرح عملية التحكم الحساسة البشرية المعقدة4،9،10،11،12،13،14، وهي عملية مقايضة في متناول الإنسان والاستجابة15،16.9 على سبيل المثال، ملاحظات نظرية السيطرة يتوقع سياسة التحكم الأمثل12، بايزية نظرية نماذج sensorimotor التعلم17،18،19 والمعلوماتية ونيابة sensorimotor الأساس20،21. وعلى النقيض من وفرة النماذج النظرية، فإن المنصات التجريبية القادرة على التلاعب بمكونات مهمة من حلقات التغذية المرتدة المتعددة تفتقر إلى التطوير. ويرجع ذلك جزئيا إلى حقيقة أن تصميم منصة لجسر واختبار هذه الجوانب من التحكم الحسي يتطلب مجموعة متنوعة من الخبرة ، وتمتد من نظرية التحكم في المحركات ، ومعالجة الإشارات ، والتفاعل ، وصولا إلى رسومات الكمبيوتر والبرمجة. غالباً ما يطور الباحثون أنظمة الأجهزة/البرامج المخصصة الخاصة بهم لتوصيف أداء التحكم في التحكم في الحواسيات البشرية ، والتي يمكن أن تحد من القدرة على مقارنة / التباين ودمج مجموعات البيانات عبر مجموعات البحث. ويمكن أن يؤدي استحداث نظام سهل الاستخدام ومصادق عليه إلى توسيع التوصيف الكمي لمراقبة المتحكم الحسي.

في هذه الورقة ، نقدم منصة WheelCon ، وهي منصة رواية مجانية ومفتوحة المصدر لتصميم ألعاب الفيديو لبيئة افتراضية تحاكي noninvasively قانون Fitts ‘الوصول إلى اللعبة ومهمة الدراجة الجبلية مع اسقاط درب حاد ، التواء وعرة. قانون الـ Fitts للوصول إلى المهمة يحدد مقدار المفاضلة بين السرعة والدقة التي الوقت اللازم للوصول إلى هدف العرض على المقاييس المسافة22,23. “مهمة الدراجة الجبلية” هي مزيج من مهمة تتبع السعي والتعويضية ، وهما عنصران كلاسيكيان من الأبحاث على أداء الحسية البشرية ، خاصة من حيث دراسة حلقات التغذية المرتدة.

WheelCon يحتوي على المكونات الأساسية المطلوبة للغاية المقدمة في كل نظرية: التأخير، تكميم، الضوضاء، اضطراب، وحلقات ردود الفعل متعددة. بل هو أداة محتملة لدراسة الأسئلة المتنوعة التالية في التحكم الاستشعاري البشري:

• كيف يتعامل نظام استشعار الإنسان مع التأخير والكمنة في الإشارات العصبية ، والتي مقيدة بشكل أساسي من قبل الموارد المحدودة (مثل تكاليف المساحة والتمثيل الغذائي) في الدماغ24،25؛
• كيف ارتباط العصبية في قشرة الإنسان مع التحكم sensorimotor26;
• كيف يتعامل البشر مع الاضطرابات الخارجية التي لا يمكن التنبؤ بها في التحكم الحسي27؛
• كيف حلقات التحكم الهرمية الطبقات ومتكاملة داخل نظام استشعار الإنسان16,28,29;
• نتيجة التأخير والكمنة في التغذية المرتدة البصرية البشرية30 وردود الفعل المنعكة31 في التحكم في الاستشعار؛
• السياسة والاستراتيجية المثلى للتعلم الحسي في ظل تأخير وتكميم16،17،24،29.

يتكامل WheelCon مع عجلة القيادة ويمكن محاكاة ظروف اللعبة التي تعالج المتغيرات في هذه الأسئلة، مثل تأخير الإشارة، تكميم، الضوضاء، والاضطراب، في حين تسجيل سياسة التحكم الديناميكية وأخطاء النظام. كما أنه يسمح للباحثين لدراسة الهندسة المعمارية الطبقات في التحكم الحسي. في مثال ركوب الدراجة الجبلية، وتشارك طبقتين من التحكم في هذه المهمة: خطة الطبقة العالية وعكس الطبقة المنخفضة. بالنسبة للاضطرابات المرئية (أي الممر)، نخطط قبل وصول الاضطراب. بالنسبة للاضطرابات غير المعروفة مسبقًا (أي المطبات الصغيرة) ، يعتمد التحكم على ردود الفعل المتأخرة. تقترح نظرية التحكم في الملاحظات أن البنيات ذات الطبقات الفعالة يمكن أن تدمج أهداف الطبقات العليا ، والخطط ، والقرارات مع استشعار الطبقات السفلية ، ومنعكس ، والعمل24. يوفر WheelCon أدوات تجريبية للحث على اضطرابات مميزة في الخطة وطبقات منعكسة بشكل منفصل لاختبار مثل هذه العمارة الطبقات (الشكل 1).

نحن نقدم رخيصة وسهلة الاستخدام ومرنة لمنصة البرنامج، WheelCon أن سد الفجوة بين الدراسات النظرية والتجريبية على علم الأعصاب. على وجه التحديد، يمكن استخدامه لدراسة آثار التأخير، تكميم، اضطراب، يمكن أن سرعة دقة المفاضلة. يتم عرض المتغيرات التي يمكن معالجتها في حلقات التحكم في الجدول 1. ويمكن أيضا أن تطبق لدراسة اتخاذ القرار والقدرة multixing عبر طبقات التحكم المختلفة في التحكم الحسية الإنسان. وعلاوة على ذلك، WheelCon متوافق مع التسجيلات العصبية غير الباضعة، مثل تخطيط الدماغ (EEG)، لقياس الاستجابة العصبية أثناء التحكم الحسي32،33،34،35، وتقنيات تحفيز الدماغ غير الغازية ، مثل التحفيز الكهربائي عبر الجمجمة (TES) والتحفيز المغناطيسي عبر الجمجمة (TMS) ، للتلاعب في النشاط العصبي36،37.

Protocol

وقد وافق على تطوير وتطبيق البروتوكول مجلس المراجعة المؤسسية لمعهد كاليفورنيا للتكنولوجيا وجامعة جنوب العلوم والتكنولوجيا. وقدم هذا الموضوع الموافقة المستنيرة قبل تنفيذ أي إجراءات. 1. إعداد النظام والإعداد الجهاز الأساسي الموصى به هو معالج ثنائي النواة بسرعة 2 جيجاهر…

Representative Results

النمذجة السيطرة على التغذية المرتدة نعرض نموذج التحكم في الملاحظات المبسطة الموضحة في الشكل 1. يتم إعطاء ديناميات النظام من خلال: حيث x(t) هو الخطأ في الو?…

Discussion

في هذه الورقة ، قمنا بتقديم منصة ألعاب مجانية ومفتوحة المصدر ، WheelCon ، لدراسة آثار التأخير ، والتكميم ، والاضطراب ، وحلقات التغذية الطبقات في التحكم الحسي البشري. لقد أظهرنا الأجهزة والبرمجيات وواجهة المستخدم الرسومية. وقد تم تنفيذ إعدادات حلقة تحكم الحسية واحدة مع التأخير والتكميم، مما ي…

Disclosures

The authors have nothing to disclose.

Acknowledgements

نشكر السيد تشنغيانغ وانغ على إعادة تشكيل النصوص وتصوير الفيديو وتحريره، والسيد زييوان يي لتحرير الفيديو. حصلت هذه الدراسة على دعم من مؤسسة CIT للعلوم (إلى JCD) ، زمالة Boswell (إلى QL) وصندوق الجامعة عالي المستوى (رقم. G02386301, G02386401), قوانغدونغ صندوق مشترك لمؤسسة العلوم الطبيعية (رقم 2019A1515111038).

Materials

Gaming Wheel Logitech
Windows 10 OS Microsoft

References

  1. Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
  2. Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
  3. Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
  4. Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
  5. Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
  6. Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
  7. Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
  8. Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
  9. Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
  10. Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
  11. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  12. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  13. Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
  14. Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
  15. Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
  16. Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
  17. Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
  18. Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
  19. Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
  20. Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
  21. Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts’ Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
  22. Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
  23. Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
  24. Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
  25. . Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019)
  26. Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
  27. Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
  28. Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
  29. Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
  30. Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
  31. Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  32. Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
  33. Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
  34. Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
  35. Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
  36. Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
  37. Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. . VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
  38. Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
  39. McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
  40. Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
  41. Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
  42. Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
  43. Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).

Play Video

Cite This Article
Liu, Q., Nakahira, Y., Liang, Z., Mohideen, A., Dai, A., Choi, S. H., Pan, A., Ho, D. M., Doyle, J. C. WheelCon: A Wheel Control-Based Gaming Platform for Studying Human Sensorimotor Control. J. Vis. Exp. (162), e61092, doi:10.3791/61092 (2020).

View Video