WheelCon ist eine neuartige, kostenlose und Open-Source-Plattform, um Videospiele zu entwerfen, die das Mountainbiken auf einem steilen, kurvenreichen, holprigen Trail nicht invasiv simulieren. Es enthält Komponenten, die in der menschlichen sensorimotorischen Steuerung (Verzögerung, Quantisierung, Rauschen, Störungen und mehrere Rückkopplungsschleifen) präsentiert werden, und ermöglicht es Forschern, die geschichtete Architektur in der sensorimotorischen Steuerung zu untersuchen.
Die Theorie der Feedback-Steuerung wurde umfassend umgesetzt, um die menschliche sensorimotorische Steuerung theoretisch zu modellieren. Experimentelle Plattformen, die wichtige Komponenten mehrerer Feedbackschleifen manipulieren können, sind jedoch nicht entwickelt. In diesem Beitrag wird WheelCon beschrieben, eine Open-Source-Plattform, die darauf abzielt, solche Unzulänglichkeiten zu beheben. Mit nur einem Computer, einem Standarddisplay und einem preiswerten Gaming-Lenkrad, das mit einem Kraftrückkopplungsmotor ausgestattet ist, simuliert WheelCon sicher die kanonische sensorimotorische Aufgabe, ein Mountainbike auf einem steilen, kurvenreichen, holprigen Trail zu fahren. Die Plattform bietet Flexibilität, wie in den bereitgestellten Demos gezeigt wird, so dass Forscher die Störungen, Verzögerungen und Quantisierungen (Datenrate) in den mehrschichtigen Feedbackschleifen manipulieren können, einschließlich einer hochgradigen erweiterten Planschicht und einer verzögerten Reflexschicht auf niedriger Ebene. In diesem Artikel veranschaulichen wir die grafische Benutzeroberfläche (GUI) von WheelCon, die Eingabe und Ausgabe vorhandener Demos und das Entwerfen neuer Spiele. Darüber hinaus stellen wir das grundlegende Feedback-Modell und die experimentellen Ergebnisse der Demo-Spiele vor, die gut mit der Vorhersage des Modells übereinstimmen. Die WheelCon-Plattform kann unter https://github.com/Doyle-Lab/WheelCon heruntergeladen werden. Kurz gesagt, die Plattform ist billig, einfach zu bedienen und flexibel für effektive sensorimotorische neurowissenschaftliche Forschung und Steuerungstechnik Ausbildung zu programmieren.
Die menschliche sensorimotorische Steuerung ist extrem robust1, obwohl die Erfassung verteilt ist, variabel, spärlich, quantisiert, laut und verzögert2,3,4; die Berechnung im zentralen Nervensystem ist langsam5,6,7; und die Muskelbetätigung ermüdet und sättigt8. Viele rechnerische theoretische Modelle wurden vorgeschlagen, um den komplizierten menschlichen sensorimotorischen Steuerungsprozess4,9,10,11,12,13,14, das ist ein Kompromissprozess in menschlicher Reichweite und Antwort15,16. Zum Beispiel, Feedback-Kontrolltheorie prognostiziert die optimale Steuerungspolitik12, Bayesian Theorie Modelle sensorimotorisches Lernen17,18,19 und Informationstheorie sensorimotorische Grundlage20,21. Im Gegensatz zur Fülle theoretischer Modelle fehlt es experimentellen Plattformen, die wichtige Komponenten mehrerer Rückkopplungsschleifen manipulieren können, an Entwicklung. Dies ist zum Teil darauf zurückzuführen, dass die Entwicklung einer Plattform zur Überbrückung und Erprobung dieser Aspekte der sensorimotorischen Steuerung ein vielfältiges Spektrum an Fachwissen erfordert, das von der Theorie der Motorsteuerung über die Signalverarbeitung und Interaktion bis hin zur Computergrafik und Programmierung reicht. Forscher entwickeln oft ihre eigenen kundenspezifischen Hardware-/Softwaresysteme, um die leistung der menschlichen sensorimotorischen Steuerung zu charakterisieren, was die Möglichkeit einschränken kann, Datensätze über Forschungsgruppen hinweg zu vergleichen/kontrastieren und zu integrieren. Die Entwicklung eines benutzerfreundlichen und validierten Systems könnte die quantitative Charakterisierung der sensorimotorischen Steuerung erweitern.
In diesem Beitrag stellen wir die WheelCon-Plattform vor, eine neuartige, kostenlose und Open-Source-Plattform, um Videospiele für eine virtuelle Umgebung zu entwerfen, die ein Fitts’ Law erreichendes Spiel und eine Mountainbike-Aufgabe mit einem steilen, kurvenreichen und holprigen Trail nicht invasiv simuliert. Das Fitts-Gesetz zum Erreichen der Aufgabe quantifiziert den Kompromiss zwischen Geschwindigkeit und Genauigkeit, bei dem die Zeit, die für das Erreichen eines Breitenziels auf Entfernungsskalen benötigt wird, wie22,23beträgt. Die “Mountainbike-Aufgabe” ist eine Kombination aus Verfolgungs- und Kompensationsverfolgungsaufgabe, die zwei klassische Komponenten der Forschung zur menschlichen sensorimotorischen Leistung sind, insbesondere im Hinblick auf das Studium von Rückkopplungsschleifen.
WheelCon enthält die in jeder Theorie vorgestellten dringend geforderten Grundkomponenten: Verzögerung, Quantisierung, Rauschen, Störung und mehrere Rückkopplungsschleifen. Es ist ein mögliches Werkzeug, um die folgenden verschiedenen Fragen in der menschlichen sensorimotorischen Steuerung zu untersuchen:
• Wie das menschliche sensorimotorische System mit der Verzögerung und Quantisierung in der neuronalen Signalisierung umgeht, die durch die begrenzten Ressourcen (wie Raum und Stoffwechselkosten) im Gehirn grundsätzlich eingeschränkt ist24,25;
• Wie neuronale Korrelation im menschlichen Kortex mit sensorimotorischer Steuerung26;
• Wie Menschen mit den unvorhersehbaren, äußeren Störungen in der sensorimotorischen Steuerung umgehen27;
• Wie die hierarchischen Regelkreise geschichtet und integriert in menschliche sensenmotorische System16,28,29;
• Die Folge der Verzögerung und Quantisierung in der menschlichen visuellen Rückkopplung30 und Reflex-Feedback31 in der sensorimotorischen Steuerung;
• Die optimale Politik und Strategie für sensorisches Lernen unter Verzögerung und Quantisierung16,17,24,29.
WheelCon lässt sich in ein Lenkrad integrieren und kann Spielbedingungen simulieren, die die Variablen in diesen Fragen manipulieren, wie z. B. Signalverzögerung, Quantisierung, Rauschen und Störungen, während die dynamische Steuerungsrichtlinie und Systemfehler aufgezeichnet werden. Es ermöglicht Forschern auch, die geschichtete Architektur in der sensorimotorischen Steuerung zu studieren. Im Beispiel des Mountainbikefahrens sind zwei Steuerschichten dabei: der Hochschichtplan und der Low-Layer-Reflex. Für sichtbare Störungen (d.h. den Weg) planen wir, bevor die Störung eintrifft. Bei im Voraus unbekannten Störungen (d.h. kleinen Unebenheiten) setzt die Steuerung auf verzögerte Reflexe. Die Theorie der Feedback-Kontrolle schlägt vor, dass effektive mehrschichtige Architekturen die Ziele, Pläne, Entscheidungen der höheren Schichten mit der Sensorik, dem Reflex und der Aktion der unteren Ebenen integrieren können24. WheelCon bietet experimentelle Werkzeuge, um unterschiedliche Störungen in der Plan- und Reflexschicht separat zu induzieren, um eine solche geschichtete Architektur zu testen (Abbildung 1).
Wir bieten eine kostengünstige, einfach zu bedienende und flexible Programmierplattform WheelCon, die die Lücke zwischen theoretischen und experimentellen Studien über Neurowissenschaften überbrückt. Um genau zu sein, kann es verwendet werden, um die Auswirkungen von Verzögerung, Quantisierung, Störung, potenziell Geschwindigkeit-Genauigkeit Kompromisse zu untersuchen. Die Variablen, die in Regelschleifen bearbeitet werden können, sind in Tabelle 1dargestellt. Es kann auch für die Untersuchung der Entscheidungsfindung und Multiplexing-Fähigkeit über verschiedene Kontrollschichten in der menschlichen sensorimotorischen Steuerung angewendet werden. Darüber hinaus ist WheelCon mit nichtinvasiven neuronalen Aufnahmen wie Elektroenzephalographie (EEG) kompatibel, um die neuronale Reaktion während der sensorimotorischen Steuerung32,33,34,35, und die nicht-invasiven Hirnstimulationstechniken wie Transkranielle elektrische Stimulation (tES) und transkranielle Magnetische Stimulation (TMS) zu messen, um die neuronale Aktivität36,37zu manipulieren.
In diesem Beitrag haben wir eine kostenlose Open-Source-Gaming-Plattform, WheelCon, vorgestellt, um die Auswirkungen von Verzögerung, Quantisierung, Störung und geschichteten Rückkopplungsschleifen in der menschlichen sensorimotorischen Steuerung zu untersuchen. Wir haben die Hardware, die Software und die GUI gezeigt. Die Einstellungen einer einzigen sensorimotorischen Regelschleife mit Verzögerung und Quantisierung wurden implementiert, die es uns ermöglicht, die Auswirkungen von Verzögerung, Quantisierung und St…
The authors have nothing to disclose.
Wir danken Herrn Zhengyang Wang für die Neugestaltung der Drehbücher, den Dreharbeiten und der Bearbeitung des Videos und Herrn Ziyuan Ye für die Bearbeitung des Videos. Diese Studie wurde von cIT Endowment & National Science Foundation (zu JCD), Boswell Fellowship (zu QL) und High-Level University Fund (Nr. G02386301, G02386401), Guangdong Natural Science Foundation Joint Fund (Nr. 2019A1515111038).