Es wurde ein neuer Virtual-Reality-Flugsimulator gebaut, der eine effiziente und kostengünstige Bewertung der Flugleistung und der Augenbewegungsmuster ermöglicht. Es bietet auch ein vielversprechendes Forschungsinstrument für die Ergonomie und andere Forschungen.
Die effiziente und wirtschaftliche Leistungsbewertung von Piloten ist für die Luftfahrtindustrie von entscheidender Bedeutung geworden. Mit der Entwicklung von Virtual Reality (VR) und der Kombination von Eye-Tracking-Technologie werden Lösungen, die diesen Anforderungen gerecht werden, Realität. Frühere Studien haben VR-basierte Flugsimulatoren untersucht, wobei der Schwerpunkt hauptsächlich auf der Technologievalidierung und dem Flugtraining lag. In der aktuellen Studie wurde ein neuer VR-Flugsimulator entwickelt, um die Flugleistung von Piloten anhand von Augenbewegungen und Flugindikatoren in einer immersiven 3D-Szene zu bewerten. Während des Experiments wurden 46 Teilnehmer rekrutiert: 23 Berufspiloten und 23 Studenten ohne Flugerfahrung. Die Versuchsergebnisse zeigten signifikante Unterschiede in der Flugleistung zwischen Teilnehmern mit und ohne Flugerfahrung, wobei erstere höher waren als letztere. Im Gegensatz dazu zeigten diejenigen mit Flugerfahrung strukturiertere und effizientere Augenbewegungsmuster. Diese Ergebnisse der Differenzierung der Flugleistung zeigen die Validität des aktuellen VR-Flugsimulators als Methode zur Bewertung der Flugleistung. Die unterschiedlichen Blick-Bewegungsmuster mit Flugerfahrung bilden die Grundlage für die zukünftige Flugauswahl. Dieser VR-basierte Flugsimulator hat jedoch Mängel wie Bewegungsfeedback im Vergleich zu herkömmlichen Flugsimulatoren. Diese Flugsimulator-Plattform ist sehr flexibel, abgesehen von den scheinbar niedrigen Kosten. Es kann die unterschiedlichen Bedürfnisse von Forschenden erfüllen (z. B. Messung des Situationsbewusstseins, der VR-Krankheit und der Arbeitsbelastung durch Hinzufügen relevanter Skalen).
Die Europäische Agentur für Flugsicherheit (2012) kategorisiert Flugsimulatoren als Schulungseinrichtungen, Flug- und Navigationsprogrammtrainer, Flugtrainingsgeräte und komplette Flugsimulatoren1. Bisher steht eine Reihe von Flugsimulatoren für die Ausbildung zur Verfügung, von Low-Level-Tischsystemen bis hin zu hochkomplizierten, bewegungsbasierten Vollflugsimulatoren2. Der traditionelle Simulator umfasst ein Flugdynamikmodell, eine Systemsimulation, ein Hardware-Cockpit, eine externe Visualisierung und eine optionale Bewegungssimulation3.
Diese traditionellen Flugsimulatoren haben einige Vorteile als effektive Flugtrainingsgeräte. Ihre Kosten sind jedoch hoch und umweltschädlich, da der Antrieb jedes Systems erhebliche elektrische Energie erfordert, insbesondere ein vollständiger Flugsimulator, der hohe Temperaturen und Hochdruckflüssigkeit oder Luftdruck benötigt, viel Strom verbraucht und viel Lärm erzeugt4.
Ein einfaches Desktop-Simulatorsystem ist jedoch flexibel und kostengünstig, mit geringerer Immersion und weniger Interaktionen als ein vollständiger Flugsimulator2. Daher ist es unerlässlich, neue Flugsimulatoren zu entwickeln, die die Vorteile von Desktop-Systemen und Full-Flight-Simulatoren kombinieren (mit anderen Worten, die Flexibilität einer Tabletop-Simulation und die Immersions- und Interaktionsebene nahe an einem Full-Flight-Simulator).
Mit der Entwicklung der Computertechnologie, insbesondere der Virtual-Reality-Technologie (VR), wird eine neue Art von Flugsimulator, die auf der aufkommenden VR-Technologie basiert, Realität. Der VR-basierte Flugsimulator ist flexibel, portabel, kostengünstig und hat einen geringeren Platzbedarf als herkömmliche Flugsimulatoren5. Forscher haben in den letzten 20 Jahren Flugsimulatoren auf Basis der VR-Technologie entwickelt 6,7,8,9,10,11; Diese VR-Flugsimulatoren dienen jedoch hauptsächlich der Flugausbildung, und es gibt nur wenige für die Pilotenauswahl. Mit der Kostensenkung und der technologischen Verbesserung verändern sich VR-basierte Simulatoren jedoch und werden für die persönliche Auswahl machbar. In einigen Studien wurden VR-basierte Simulatoren für die persönliche Auswahl in verschiedenen Bereichen eingesetzt: Schijven et al.12 wählten chirurgische Auszubildende mit einem Virtual-Reality-Simulator aus. Huang et al.13 entwickelten ein psychologisches Auswahlinstrument auf Basis von Virtual-Reality-Technologie für die Rekrutierung von Luftwaffenpiloten. Wojciechowski und Wojtowicz14 bewerteten die Fähigkeiten eines Kandidaten als Pilot eines unbemannten Luftfahrzeugs (UAV) auf Basis der VR-Technologie. Angesichts der Tatsache, dass die Pilotenauswahl für die Luftfahrtindustrie von entscheidender Bedeutung ist, ist es dringend erforderlich, einen neuen VR-basierten Flugsimulator zu entwickeln, der sich auf die Pilotenauswahl konzentriert, da die Auswahl von Piloten in großem Maßstab anfällig für die Kosten des Simulators und die Anforderungen an das Portabilitätssimulatorsystem ist.
Augenbewegungen geben Hinweise auf die Leistung eines Piloten. Verschiedene Studien haben ergeben, dass der Eye-Scanning-Modus die Leistung zwischen erfahrenen und unerfahrenen Piloten unterscheidet. Durch den Vergleich des Scanmusters zwischen Experten und Anfängern konnte das effiziente und strukturelle Augenbewegungsverhalten der Experten und die unzureichenden Scanmethoden von Anfängern unterschieden werden. Mehrere Luftfahrtstudien haben ergeben, dass die Augenscan-Strategie von Piloten stark mit dem Kenntnisstandzusammenhängt 15,16,17,18,19,20,21,22,23,24. Laut Bellenkes et al.25 ist die Dauer der Fixierungen bei Experten kürzer und die Häufigkeit ihrer Fixierungen auf Instrumente höher als bei Anfängern. Fast die gleiche Schlussfolgerung zogen Kasarskis et al.26, die entdeckten, dass erfahrene Piloten mehr Fixierungen in Kombination mit kürzeren Dauern als Anfänger haben, was darauf hindeutet, dass erfahrene Piloten einen besseren visuellen Modus haben als Anfänger. In einer weiteren Studie haben Lorenz et al.27 fanden heraus, dass Experten mehr Zeit damit verbringen, aus dem Cockpit zu schauen als Anfänger. Diese Ergebnisse haben einen großen praktischen Wert bei der Auswahl von Neueinsteigern.
Die Bewertung der Flugleistung ist ein weiterer kritischer Faktor für die Auswahl des Piloten. Bei der Bewertung der Flugleistung von Piloten gibt es jedoch folgende Probleme: widersprüchliche Expertenmeinungen, mehr Auswahlnormen und eine einheitliche Auswahltheorie. Im Fahrfeld verglichen Horrey et al.28 den absoluten Wert des Spurverlassens von der Mittellinie für verschiedene experimentelle Bedingungen, um die Fahrleistung zu bewerten. Zurück zum Bereich der Luftfahrt: Der Flight Quick Access Recorder (QAR) zeichnet alle Arten von Manipulationsparametern für Piloten, Flugzeugparameter, Umgebungen und Warninformationen während desFluges 29 auf. Genauer gesagt, wie bei den QAR-Indikatoren, ist der Nickwinkel der Rotationswinkel um die linke und rechte Achse des Flugzeugs30, und die Referenzlinie (oder die mittlere Referenzlinie) befindet sich genau in der Mitte der roten und grünen Linien28; Diese beiden Flugparameter werden verwendet, um die Flugleistung von Teilnehmern mit oder ohne Erfahrung in der aktuellen Studie zu bewerten. Diese QAR-Daten können zur Bewertung der Flugleistung verwendet werden, aber nach unserem besten Wissen wurden sie in der wissenschaftlichen Forschung selten für das persönliche Training und die Auswahl verwendet31,32.
Messungen von Augenbewegungsmustern können verwendet werden, um die Flugleistung zu beurteilen und vorherzusagen und die Ausbildung und Auswahl von Piloten zu leiten. Gerathewohl33 erklärte, dass das Auge das wichtigste Sinnesorgan des Piloten ist und 80% der Fluginformationen verarbeitet. Der Pilot muss visuelle Informationen von Instrumenten im Cockpit erfassen und in ein kohärentes Bild integrieren, um den Flug22 zu bewältigen. Darüber hinaus ist ein optimales Scanverhalten unerlässlich, um eine bessere Flugleistungzu erzielen 15. Allerdings gibt es derzeit keinen erschwinglichen Flugsimulator, der einen Eyetracker integriert, um quantitative Studien über den Zusammenhang zwischen Augenbewegungen und Flugleistung zu ermöglichen.
In der aktuellen Studie wurde ein neuer VR-Flugsimulator entwickelt, um zu beurteilen, ob Teilnehmer mit Flugerfahrung eine bessere Flugleistung aufwiesen als solche ohne Flugerfahrung. Der VR-Flugsimulator integriert Eye-Tracking und ein Flugdynamiksystem, das die Analyse von Augenbewegungsmustern und die Bewertung der Flugleistung ermöglicht. Insbesondere ist es erwähnenswert, dass der VR-Flugsimulator einen VR-Eyetracker34 und keinen glasartigen oder Desktop-Eyetracker verwendet, um die auf dem Interessengebiet (AOI) basierende Augenbewegung ohne zeitaufwändige Frame-Zählung zu analysieren.
Schließlich kann die vorliegende Arbeit zu einer Omnibus-Messung für die Pilotenauswahl in der Zukunft führen, von der Augenscanbahn bis hin zu objektiven Flugleistungsdaten. Mit Hilfe des virtuellen Flugsimulators werden die Kosten für die Flugauswahl erheblich gesenkt und die Norm der Piloten kann auf der Grundlage umfangreicher Datenerfassung gebildet werden. Die Arbeit schließt eine Lücke zwischen konventionellen und Desktop-Simulatoren für die Flugauswahl.
In der aktuellen Studie wurde untersucht, ob Teilnehmer mit Flugerfahrung eine bessere Flugleistung aufwiesen als diejenigen ohne Flugerfahrung in einem VR-basierten Flugsimulator. Vor allem aber wurde untersucht, ob bei diesen Teilnehmern mit besserer Flugleistung ein optimiertes Augenbewegungsmuster gefunden werden konnte. Die Ergebnisse zeigen signifikante Unterschiede zwischen Teilnehmern mit und ohne Flugerfahrung bei drei wichtigen Flug-QAR-Indikatoren: Nickwinkel 1 s vor der Landung, die mittlere Entfernung zur Re…
The authors have nothing to disclose.
Die Autoren sind Herrn Li Yan unglaublich dankbar für seine Hilfe bei der Rekrutierung von Pilotteilnehmern und danken Frau Bu Lingyun für ihre Arbeit beim Zeichnen von Bildern. Die Forschung wurde unterstützt von der National Natural Science Foundation of China (Fördernummer T2192931, 72071185), dem National Brain Project (Fördernummer STI2030-Major Projects2022ZD0208500), dem National Key Laboratory Project of Human Factors Engineering (Fördernummer SYFD062003), dem National Key Laboratory Project of Human Factors Engineering (Fördernummer 6142222210201) und dem Jahr 2022 Major Projects of Military Logistic Research Grant und Key Project of Air Force Equipment Comprehensive Forschung (Fördernummer KJ2022A000415).
3D engine SDK | Epic Games | Unreal Engine 4 GameAnalytics Unreal SDK |
This SDK is a powerful yet flexible free analytics tool designed for games. |
CPU | Intel | IntelCore i9 | One of the most powerful CPU on the mainstream market. |
Eye tracking SDK | Tobii | Tobii XR SDK | This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware. |
Eye tracking software | Developed by the research team | A program that tracks the movement of a person's eyes while they are using a virtual reality HMD. | |
FlySimulator program | Developed by the research team | A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers. | |
Graphics card | NVIDIA | GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock 24 GB Memory Size GDDR6X Memory Type |
One of the most powerful graphics card on the mainstream market. |
Operating system (OS) | Microsoft | Windows XP | An operating system (OS) developed and exclusively distributed by Microsoft Corporation |
Replica control panel | THRUSTMASTER | 2960720 2971004 2962072 2960748 2960769 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica joystick | THRUSTMASTER | 2960720 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica pedal | THRUSTMASTER | TPR pendular rudder | |
Replica throttle | THRUSTMASTER | U.S. Air Force A-10C attack aircraft HOTAS | |
Screen connected to PC | Redmi | RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio | Screen allows the experimenter to simultaneously view what is happening in the VR HMD |
Screen recording software | OBS Project | OBS Studio Version 28.0 | A free and open source software for video recording and live streaming |
Statistical power analysis software | Open-Source | G*power Version 3.1.9.6 | A free and user-friendly tool for estimating statistical power and sample size. |
Statistical software | IBM | SPSS Version 24.0 | A powerful statistical software platform |
Versatile statistics tool | GraphPad Software | GraphPad Prism Version 9.4.0 | A versatile statistics tool purpose-built for scientists-not statisticians |
VR app store | HTC Corporation | VIVE Software 2.0.17.6 / 2.1.17.6 | An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need. |
VR head-mounted display (HMD) | HTC Corporation | VIVE Pro Eye | A VR headset with precision eye tracking |
VR software | Steam | Steam VR Version 1.23 | A tool for experiencing VR content on the hardware |