Se construyó un nuevo simulador de vuelo de realidad virtual, que permite una evaluación eficiente y de bajo costo del rendimiento de vuelo y los patrones de movimiento ocular. También proporciona una herramienta de investigación de alto potencial para la ergonomía y otras investigaciones.
La evaluación eficiente y económica del rendimiento de los pilotos se ha vuelto fundamental para la industria de la aviación. Con el desarrollo de la realidad virtual (RV) y la combinación de la tecnología de seguimiento ocular, las soluciones para satisfacer estas necesidades se están convirtiendo en una realidad. Estudios anteriores han explorado simuladores de vuelo basados en realidad virtual, centrándose principalmente en la validación de tecnología y el entrenamiento de vuelo. El estudio actual desarrolló un nuevo simulador de vuelo de realidad virtual para evaluar el rendimiento de vuelo de los pilotos en función del movimiento ocular y los indicadores de vuelo en una escena inmersiva en 3D. Durante el experimento, se reclutaron 46 participantes: 23 pilotos profesionales y 23 estudiantes universitarios sin experiencia de vuelo. Los resultados del experimento mostraron diferencias significativas en el rendimiento de vuelo entre participantes con y sin experiencia de vuelo, siendo el primero mayor que el segundo. Por el contrario, aquellos con experiencia de vuelo mostraron patrones de movimiento ocular más estructurados y eficientes. Estos resultados de la diferenciación del rendimiento de vuelo demuestran la validez del simulador de vuelo VR actual como método de evaluación del rendimiento de vuelo. Los diferentes patrones de movimiento ocular con la experiencia de vuelo proporcionan la base para la selección de vuelo futuro. Sin embargo, este simulador de vuelo basado en realidad virtual tiene deficiencias como la retroalimentación de movimiento en comparación con los simuladores de vuelo tradicionales. Esta plataforma de simulador de vuelo es muy flexible, excepto por el aparente bajo costo. Puede satisfacer las diversas necesidades de los investigadores (por ejemplo, medir la conciencia de la situación, la enfermedad por RV y la carga de trabajo mediante la adición de escalas relevantes).
La Agencia Europea de Seguridad Aérea (2012) clasifica los simuladores de vuelo como instalaciones de entrenamiento, entrenadores de programas de vuelo y navegación, equipos de entrenamiento de vuelo y simuladores de vuelo completos1. Hasta la fecha, hay una gama de simuladores de vuelo disponibles para el entrenamiento, desde sistemas de mesa de bajo nivel hasta simuladores de vuelo completo basados en movimiento altamente complicados2. El simulador tradicional incluye un modelo de dinámica de vuelo, una simulación de sistema, una cabina de hardware, una visualización externa y una simulación de movimiento opcional3.
Estos simuladores de vuelo tradicionales tienen algunas ventajas como equipo de entrenamiento de vuelo efectivo. Sin embargo, su costo es alto y poco amigable con el medio ambiente, ya que el accionamiento de cada sistema requiere una energía eléctrica sustancial, especialmente un simulador de vuelo completo, que requiere fluido o presión de aire a alta temperatura y alta presión, consume mucha energía y genera mucho ruido4.
Sin embargo, un sistema de simulador de escritorio simple es flexible y de bajo costo, con menor inmersión y menos interacciones que un simulador de vuelo completo2. Por lo tanto, es esencial desarrollar nuevos simuladores de vuelo que combinen las ventajas de los sistemas de escritorio y los simuladores de vuelo completos (en otras palabras, la flexibilidad de una simulación de mesa y el nivel de inmersión e interacción cercano a un simulador de vuelo completo).
Con el desarrollo de la tecnología informática, especialmente la tecnología de realidad virtual (RV), un nuevo tipo de simulador de vuelo basado en la tecnología emergente de RV se está convirtiendo en una realidad. El simulador de vuelo basado en realidad virtual es flexible, portátil, de bajo costo y tiene menos requisitos de espacio que los simuladores de vuelo convencionales5. Los investigadores han creado simuladores de vuelo basados en tecnología de realidad virtual en los últimos 20 años 6,7,8,9,10,11; sin embargo, estos simuladores de vuelo VR son principalmente para el entrenamiento de vuelo, y hay pocos para la selección de pilotos. Sin embargo, con la reducción de costos y la mejora de la tecnología, los simuladores basados en realidad virtual están cambiando y se están volviendo factibles para la selección personal. Algunos estudios han utilizado simuladores basados en RV para la selección personal en diferentes dominios: Schijven et al.12 seleccionaron a cirujanos en formación utilizando un simulador de realidad virtual. Huang et al.13 desarrollaron un instrumento de selección psicológica basado en tecnología de realidad virtual para el reclutamiento de pilotos de la Fuerza Aérea. Wojciechowski y Wojtowicz14 evaluaron las capacidades de un candidato como piloto de vehículos aéreos no tripulados (UAV) basados en tecnología de realidad virtual. Dado que la selección de pilotos es fundamental para la industria de la aviación, es urgente desarrollar un nuevo simulador de vuelo basado en realidad virtual que se centre en la selección de pilotos, ya que la selección de pilotos a gran escala es susceptible al costo del simulador y a las demandas del sistema de simulador de portabilidad.
Los movimientos oculares proporcionan pistas para el rendimiento de un piloto. Diferentes estudios han encontrado que el modo de escaneo ocular distingue el rendimiento entre pilotos expertos y novatos. Al comparar el patrón de escaneo entre expertos y novatos, se pudo diferenciar el comportamiento eficiente y estructural del movimiento ocular de los expertos y los métodos de escaneo inadecuados de los principiantes. Varios estudios de aviación han encontrado que la estrategia de escaneo ocular de los pilotos se relaciona en gran medida con el nivel de experiencia 15,16,17,18,19,20,21,22,23,24. De acuerdo con Bellenkes et al.25, la duración de las fijaciones de los expertos es más corta y la frecuencia de sus fijaciones en los instrumentos es mayor que la de los novatos. Casi a la misma conclusión llegaron Kasarskis et al.26, quienes descubrieron que los pilotos expertos tienen más fijaciones combinadas con duraciones más cortas que los novatos, sugiriendo que los pilotos expertos tienen un mejor modo visual que los novatos. En otro estudio, Lorenz et al.27 encontraron que los expertos pasan más tiempo mirando fuera de la cabina que los novatos. Estos resultados tienen un gran valor práctico en la selección de los recién llegados.
La evaluación del rendimiento de vuelo es otro factor crítico para la selección de pilotos. Sin embargo, existen los siguientes problemas en la evaluación del rendimiento de vuelo de los pilotos: opiniones contradictorias de los expertos, más normas de selección y una teoría de selección unificada. En el campo de la conducción, Horrey et al.28 compararon el valor absoluto de la desviación del carril desde la línea central para diferentes condiciones experimentales con el fin de evaluar el rendimiento en la conducción. Volviendo al dominio de la aviación, el registrador de acceso rápido de vuelo (QAR) registra todo tipo de parámetros de manipulación del piloto, parámetros de la aeronave, entornos e información de advertencia durante el vuelo29. Más específicamente, como los indicadores QAR, el ángulo de cabeceo es el ángulo de rotación alrededor de los ejes izquierdo y derecho de la aeronave30, y la línea de referencia (o la línea de referencia central) está justo en el medio de las líneas roja y verde28; Estos dos parámetros de vuelo se utilizan para evaluar el rendimiento de vuelo de los participantes con o sin experiencia en el estudio actual. Estos datos QAR se pueden utilizar para evaluar el rendimiento del vuelo, sin embargo, hasta donde sabemos, rara vez se han utilizado para el entrenamiento personal y la selección en la investigación científica31,32.
Las mediciones de los patrones de movimiento ocular se pueden utilizar para evaluar y predecir el rendimiento del vuelo y guiar el entrenamiento y la selección de los pilotos. Gerathewohl33 afirmó que el ojo es el órgano sensorial más importante del piloto, procesando el 80% de la información de vuelo. Los pilotos deben adquirir información visual de los instrumentos de la cabina e integrarla en una imagen coherente para gestionar el vuelo22. Además, el comportamiento óptimo de escaneo es esencial para lograr un mejor rendimiento de vuelo15. Sin embargo, actualmente no hay un simulador de vuelo asequible que integre un rastreador ocular para facilitar los estudios cuantitativos de la relación entre los movimientos oculares y el rendimiento del vuelo.
El estudio actual desarrolló un nuevo simulador de vuelo de realidad virtual para evaluar si los participantes con experiencia de vuelo tenían un mejor rendimiento de vuelo que aquellos sin experiencia de vuelo. El simulador de vuelo VR integra el seguimiento ocular y un sistema de dinámica de vuelo que permite el análisis de patrones de movimiento ocular y la evaluación del rendimiento del vuelo. En particular, vale la pena mencionar que el simulador de vuelo VR utiliza un rastreador ocularVR 34, no un rastreador ocular similar al vidrio o de escritorio, para analizar el movimiento ocular basado en el área de interés (AOI) sin contar fotogramas que requiere mucho tiempo.
Finalmente, el presente trabajo puede conducir a una medición ómnibus para la selección de pilotos en el futuro, desde la trayectoria de escaneo ocular hasta los datos objetivos de rendimiento de vuelo. Con la ayuda del simulador de vuelo virtual, el costo de la selección de vuelo se reducirá significativamente y la norma de los pilotos se puede formar en función de una amplia recopilación de datos. El trabajo llena un vacío entre los simuladores convencionales y los de escritorio para las necesidades de selección de vuelos.
El estudio actual evaluó si los participantes con experiencia de vuelo tenían un mejor rendimiento de vuelo que aquellos sin experiencia de vuelo en un simulador de vuelo basado en realidad virtual. Más importante aún, evaluó si se podía encontrar un patrón de movimiento ocular más optimizado en estos participantes con un mejor rendimiento de vuelo. Los resultados muestran diferencias significativas entre los participantes con y sin experiencia de vuelo en tres indicadores QAR clave de vuelo: el ángulo de cabece…
The authors have nothing to disclose.
Los autores están increíblemente agradecidos al Sr. Li Yan por su ayuda en el reclutamiento de participantes piloto y reconocen a la Sra. Bu Lingyun por su trabajo en el dibujo de imágenes. La investigación fue apoyada por la Fundación Nacional de Ciencias Naturales de China (subvención número T2192931, 72071185), el Proyecto Nacional del Cerebro (subvención número STI2030-Proyectos Principales2022ZD0208500), el Proyecto de Laboratorio Clave Nacional de Ingeniería de Factores Humanos (subvención número SYFD062003), el Proyecto de Laboratorio Clave Nacional de Ingeniería de Factores Humanos (subvención número 6142222210201), y los Proyectos Principales del año 2022 de Subvención de Investigación Logística Militar y Proyecto Clave de Equipo de la Fuerza Aérea Integral Investigación (beca número KJ2022A000415).
3D engine SDK | Epic Games | Unreal Engine 4 GameAnalytics Unreal SDK |
This SDK is a powerful yet flexible free analytics tool designed for games. |
CPU | Intel | IntelCore i9 | One of the most powerful CPU on the mainstream market. |
Eye tracking SDK | Tobii | Tobii XR SDK | This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware. |
Eye tracking software | Developed by the research team | A program that tracks the movement of a person's eyes while they are using a virtual reality HMD. | |
FlySimulator program | Developed by the research team | A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers. | |
Graphics card | NVIDIA | GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock 24 GB Memory Size GDDR6X Memory Type |
One of the most powerful graphics card on the mainstream market. |
Operating system (OS) | Microsoft | Windows XP | An operating system (OS) developed and exclusively distributed by Microsoft Corporation |
Replica control panel | THRUSTMASTER | 2960720 2971004 2962072 2960748 2960769 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica joystick | THRUSTMASTER | 2960720 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica pedal | THRUSTMASTER | TPR pendular rudder | |
Replica throttle | THRUSTMASTER | U.S. Air Force A-10C attack aircraft HOTAS | |
Screen connected to PC | Redmi | RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio | Screen allows the experimenter to simultaneously view what is happening in the VR HMD |
Screen recording software | OBS Project | OBS Studio Version 28.0 | A free and open source software for video recording and live streaming |
Statistical power analysis software | Open-Source | G*power Version 3.1.9.6 | A free and user-friendly tool for estimating statistical power and sample size. |
Statistical software | IBM | SPSS Version 24.0 | A powerful statistical software platform |
Versatile statistics tool | GraphPad Software | GraphPad Prism Version 9.4.0 | A versatile statistics tool purpose-built for scientists-not statisticians |
VR app store | HTC Corporation | VIVE Software 2.0.17.6 / 2.1.17.6 | An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need. |
VR head-mounted display (HMD) | HTC Corporation | VIVE Pro Eye | A VR headset with precision eye tracking |
VR software | Steam | Steam VR Version 1.23 | A tool for experiencing VR content on the hardware |