Summary

Evaluación del rendimiento de vuelo y los patrones de movimiento ocular mediante un simulador de vuelo de realidad virtual

Published: May 19, 2023
doi:

Summary

Se construyó un nuevo simulador de vuelo de realidad virtual, que permite una evaluación eficiente y de bajo costo del rendimiento de vuelo y los patrones de movimiento ocular. También proporciona una herramienta de investigación de alto potencial para la ergonomía y otras investigaciones.

Abstract

La evaluación eficiente y económica del rendimiento de los pilotos se ha vuelto fundamental para la industria de la aviación. Con el desarrollo de la realidad virtual (RV) y la combinación de la tecnología de seguimiento ocular, las soluciones para satisfacer estas necesidades se están convirtiendo en una realidad. Estudios anteriores han explorado simuladores de vuelo basados en realidad virtual, centrándose principalmente en la validación de tecnología y el entrenamiento de vuelo. El estudio actual desarrolló un nuevo simulador de vuelo de realidad virtual para evaluar el rendimiento de vuelo de los pilotos en función del movimiento ocular y los indicadores de vuelo en una escena inmersiva en 3D. Durante el experimento, se reclutaron 46 participantes: 23 pilotos profesionales y 23 estudiantes universitarios sin experiencia de vuelo. Los resultados del experimento mostraron diferencias significativas en el rendimiento de vuelo entre participantes con y sin experiencia de vuelo, siendo el primero mayor que el segundo. Por el contrario, aquellos con experiencia de vuelo mostraron patrones de movimiento ocular más estructurados y eficientes. Estos resultados de la diferenciación del rendimiento de vuelo demuestran la validez del simulador de vuelo VR actual como método de evaluación del rendimiento de vuelo. Los diferentes patrones de movimiento ocular con la experiencia de vuelo proporcionan la base para la selección de vuelo futuro. Sin embargo, este simulador de vuelo basado en realidad virtual tiene deficiencias como la retroalimentación de movimiento en comparación con los simuladores de vuelo tradicionales. Esta plataforma de simulador de vuelo es muy flexible, excepto por el aparente bajo costo. Puede satisfacer las diversas necesidades de los investigadores (por ejemplo, medir la conciencia de la situación, la enfermedad por RV y la carga de trabajo mediante la adición de escalas relevantes).

Introduction

La Agencia Europea de Seguridad Aérea (2012) clasifica los simuladores de vuelo como instalaciones de entrenamiento, entrenadores de programas de vuelo y navegación, equipos de entrenamiento de vuelo y simuladores de vuelo completos1. Hasta la fecha, hay una gama de simuladores de vuelo disponibles para el entrenamiento, desde sistemas de mesa de bajo nivel hasta simuladores de vuelo completo basados en movimiento altamente complicados2. El simulador tradicional incluye un modelo de dinámica de vuelo, una simulación de sistema, una cabina de hardware, una visualización externa y una simulación de movimiento opcional3.

Estos simuladores de vuelo tradicionales tienen algunas ventajas como equipo de entrenamiento de vuelo efectivo. Sin embargo, su costo es alto y poco amigable con el medio ambiente, ya que el accionamiento de cada sistema requiere una energía eléctrica sustancial, especialmente un simulador de vuelo completo, que requiere fluido o presión de aire a alta temperatura y alta presión, consume mucha energía y genera mucho ruido4.

Sin embargo, un sistema de simulador de escritorio simple es flexible y de bajo costo, con menor inmersión y menos interacciones que un simulador de vuelo completo2. Por lo tanto, es esencial desarrollar nuevos simuladores de vuelo que combinen las ventajas de los sistemas de escritorio y los simuladores de vuelo completos (en otras palabras, la flexibilidad de una simulación de mesa y el nivel de inmersión e interacción cercano a un simulador de vuelo completo).

Con el desarrollo de la tecnología informática, especialmente la tecnología de realidad virtual (RV), un nuevo tipo de simulador de vuelo basado en la tecnología emergente de RV se está convirtiendo en una realidad. El simulador de vuelo basado en realidad virtual es flexible, portátil, de bajo costo y tiene menos requisitos de espacio que los simuladores de vuelo convencionales5. Los investigadores han creado simuladores de vuelo basados en tecnología de realidad virtual en los últimos 20 años 6,7,8,9,10,11; sin embargo, estos simuladores de vuelo VR son principalmente para el entrenamiento de vuelo, y hay pocos para la selección de pilotos. Sin embargo, con la reducción de costos y la mejora de la tecnología, los simuladores basados en realidad virtual están cambiando y se están volviendo factibles para la selección personal. Algunos estudios han utilizado simuladores basados en RV para la selección personal en diferentes dominios: Schijven et al.12 seleccionaron a cirujanos en formación utilizando un simulador de realidad virtual. Huang et al.13 desarrollaron un instrumento de selección psicológica basado en tecnología de realidad virtual para el reclutamiento de pilotos de la Fuerza Aérea. Wojciechowski y Wojtowicz14 evaluaron las capacidades de un candidato como piloto de vehículos aéreos no tripulados (UAV) basados en tecnología de realidad virtual. Dado que la selección de pilotos es fundamental para la industria de la aviación, es urgente desarrollar un nuevo simulador de vuelo basado en realidad virtual que se centre en la selección de pilotos, ya que la selección de pilotos a gran escala es susceptible al costo del simulador y a las demandas del sistema de simulador de portabilidad.

Los movimientos oculares proporcionan pistas para el rendimiento de un piloto. Diferentes estudios han encontrado que el modo de escaneo ocular distingue el rendimiento entre pilotos expertos y novatos. Al comparar el patrón de escaneo entre expertos y novatos, se pudo diferenciar el comportamiento eficiente y estructural del movimiento ocular de los expertos y los métodos de escaneo inadecuados de los principiantes. Varios estudios de aviación han encontrado que la estrategia de escaneo ocular de los pilotos se relaciona en gran medida con el nivel de experiencia 15,16,17,18,19,20,21,22,23,24. De acuerdo con Bellenkes et al.25, la duración de las fijaciones de los expertos es más corta y la frecuencia de sus fijaciones en los instrumentos es mayor que la de los novatos. Casi a la misma conclusión llegaron Kasarskis et al.26, quienes descubrieron que los pilotos expertos tienen más fijaciones combinadas con duraciones más cortas que los novatos, sugiriendo que los pilotos expertos tienen un mejor modo visual que los novatos. En otro estudio, Lorenz et al.27 encontraron que los expertos pasan más tiempo mirando fuera de la cabina que los novatos. Estos resultados tienen un gran valor práctico en la selección de los recién llegados.

La evaluación del rendimiento de vuelo es otro factor crítico para la selección de pilotos. Sin embargo, existen los siguientes problemas en la evaluación del rendimiento de vuelo de los pilotos: opiniones contradictorias de los expertos, más normas de selección y una teoría de selección unificada. En el campo de la conducción, Horrey et al.28 compararon el valor absoluto de la desviación del carril desde la línea central para diferentes condiciones experimentales con el fin de evaluar el rendimiento en la conducción. Volviendo al dominio de la aviación, el registrador de acceso rápido de vuelo (QAR) registra todo tipo de parámetros de manipulación del piloto, parámetros de la aeronave, entornos e información de advertencia durante el vuelo29. Más específicamente, como los indicadores QAR, el ángulo de cabeceo es el ángulo de rotación alrededor de los ejes izquierdo y derecho de la aeronave30, y la línea de referencia (o la línea de referencia central) está justo en el medio de las líneas roja y verde28; Estos dos parámetros de vuelo se utilizan para evaluar el rendimiento de vuelo de los participantes con o sin experiencia en el estudio actual. Estos datos QAR se pueden utilizar para evaluar el rendimiento del vuelo, sin embargo, hasta donde sabemos, rara vez se han utilizado para el entrenamiento personal y la selección en la investigación científica31,32.

Las mediciones de los patrones de movimiento ocular se pueden utilizar para evaluar y predecir el rendimiento del vuelo y guiar el entrenamiento y la selección de los pilotos. Gerathewohl33 afirmó que el ojo es el órgano sensorial más importante del piloto, procesando el 80% de la información de vuelo. Los pilotos deben adquirir información visual de los instrumentos de la cabina e integrarla en una imagen coherente para gestionar el vuelo22. Además, el comportamiento óptimo de escaneo es esencial para lograr un mejor rendimiento de vuelo15. Sin embargo, actualmente no hay un simulador de vuelo asequible que integre un rastreador ocular para facilitar los estudios cuantitativos de la relación entre los movimientos oculares y el rendimiento del vuelo.

El estudio actual desarrolló un nuevo simulador de vuelo de realidad virtual para evaluar si los participantes con experiencia de vuelo tenían un mejor rendimiento de vuelo que aquellos sin experiencia de vuelo. El simulador de vuelo VR integra el seguimiento ocular y un sistema de dinámica de vuelo que permite el análisis de patrones de movimiento ocular y la evaluación del rendimiento del vuelo. En particular, vale la pena mencionar que el simulador de vuelo VR utiliza un rastreador ocularVR 34, no un rastreador ocular similar al vidrio o de escritorio, para analizar el movimiento ocular basado en el área de interés (AOI) sin contar fotogramas que requiere mucho tiempo.

Finalmente, el presente trabajo puede conducir a una medición ómnibus para la selección de pilotos en el futuro, desde la trayectoria de escaneo ocular hasta los datos objetivos de rendimiento de vuelo. Con la ayuda del simulador de vuelo virtual, el costo de la selección de vuelo se reducirá significativamente y la norma de los pilotos se puede formar en función de una amplia recopilación de datos. El trabajo llena un vacío entre los simuladores convencionales y los de escritorio para las necesidades de selección de vuelos.

Protocol

Todos los métodos descritos aquí han sido aprobados por la Junta de Revisión Institucional (IRB) de la Universidad de Tsinghua, y se obtuvo el consentimiento informado de todos los participantes. Después de la finalización, a todos los participantes se les pagó $ 12 (o un regalo de igual valor). 1. Selección de participantes Reclute participantes de acuerdo con un estudio previo de análisis de potencia utilizando el software G*Power35 …

Representative Results

Para el experimento actual, se eligieron 23 expertos con experiencia de vuelo y 23 novatos sin experiencia de vuelo. Los participantes tenían entre 25 y 58 años de edad (expertos: M = 32,52 años, DE = 7,28 años; novatos: M = 29,57 años, DE = 5,74 años). El sexo de todos los participantes fue masculino. Todos los novatos fueron reclutados de la Universidad de Tsinghua (estudiantes o profesores), y todos los expertos eran de China Eastern Airlines. <stro…

Discussion

El estudio actual evaluó si los participantes con experiencia de vuelo tenían un mejor rendimiento de vuelo que aquellos sin experiencia de vuelo en un simulador de vuelo basado en realidad virtual. Más importante aún, evaluó si se podía encontrar un patrón de movimiento ocular más optimizado en estos participantes con un mejor rendimiento de vuelo. Los resultados muestran diferencias significativas entre los participantes con y sin experiencia de vuelo en tres indicadores QAR clave de vuelo: el ángulo de cabece…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Los autores están increíblemente agradecidos al Sr. Li Yan por su ayuda en el reclutamiento de participantes piloto y reconocen a la Sra. Bu Lingyun por su trabajo en el dibujo de imágenes. La investigación fue apoyada por la Fundación Nacional de Ciencias Naturales de China (subvención número T2192931, 72071185), el Proyecto Nacional del Cerebro (subvención número STI2030-Proyectos Principales2022ZD0208500), el Proyecto de Laboratorio Clave Nacional de Ingeniería de Factores Humanos (subvención número SYFD062003), el Proyecto de Laboratorio Clave Nacional de Ingeniería de Factores Humanos (subvención número 6142222210201), y los Proyectos Principales del año 2022 de Subvención de Investigación Logística Militar y Proyecto Clave de Equipo de la Fuerza Aérea Integral Investigación (beca número KJ2022A000415).

Materials

3D engine SDK Epic Games Unreal Engine 4
GameAnalytics Unreal SDK
This SDK is a powerful yet flexible free analytics tool designed for games.
CPU Intel IntelCore i9 One of the most powerful CPU on the mainstream market.
Eye tracking SDK Tobii Tobii XR SDK This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware.
Eye tracking software Developed by the research team A program that tracks the movement of a person's eyes while they are using a virtual reality HMD.
FlySimulator program Developed by the research team A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers.
Graphics card NVIDIA GeForce RTX 3090
10496 NVIDIA CUDA Cores
1.70 GHz Boost Clock  
24 GB Memory Size
GDDR6X Memory Type
One of the most powerful graphics card on the mainstream market.
Operating system (OS) Microsoft Windows XP An operating system (OS) developed and exclusively distributed by Microsoft Corporation
Replica control panel THRUSTMASTER 2960720 2971004 2962072 2960748 2960769 U.S. Air Force A-10C attack aircraft HOTAS
Replica joystick THRUSTMASTER 2960720 U.S. Air Force A-10C attack aircraft HOTAS
Replica pedal THRUSTMASTER TPR pendular rudder
Replica throttle THRUSTMASTER U.S. Air Force A-10C attack aircraft HOTAS
Screen connected to PC Redmi RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio Screen allows the experimenter to simultaneously view what is happening in the VR HMD
Screen recording software OBS Project OBS Studio Version 28.0 A free and open source software for video recording and live streaming
Statistical power analysis software Open-Source G*power Version 3.1.9.6 A free and user-friendly tool for estimating statistical power and sample size.
Statistical software IBM SPSS Version 24.0 A powerful statistical software platform
Versatile statistics tool GraphPad Software GraphPad Prism Version 9.4.0 A versatile statistics tool purpose-built for scientists-not statisticians
VR app store HTC Corporation VIVE Software 2.0.17.6 / 2.1.17.6 An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need.
VR head-mounted display (HMD) HTC Corporation VIVE Pro Eye A VR headset with precision eye tracking
VR software Steam Steam VR Version 1.23 A tool for experiencing VR content on the hardware

References

  1. Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What’s real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
  2. Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
  3. Rolfe, J. M., Staples, K. J. . Flight Simulation. , (1986).
  4. Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
  5. Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , 261-268 (1999).
  6. McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
  7. Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , (2001).
  8. Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , 18-21 (2008).
  9. Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
  10. Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , 1-13 (2014).
  11. Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , 22-26 (2015).
  12. Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
  13. Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. . Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , (2020).
  14. Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , (2022).
  15. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
  16. Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
  17. Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
  18. Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
  19. Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots’ visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
  20. Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots’ gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
  21. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439 (2018).
  22. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
  23. Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
  24. Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots’ expertise: A flight simulator study. PLoS One. 16 (2), e0247061 (2021).
  25. Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
  26. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , (2001).
  27. Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
  28. Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , (2013).
  29. Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , 297-305 (2017).
  30. Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
  31. Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192 (2019).
  32. Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
  33. Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
  34. Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, &. #. 2. 6. 8. ;., Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027 (2022).
  35. Faul, F., Erdfelder, E., Lang, A. -. G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
  36. Boslaugh, S. E. . Snellen Chart. , (2018).
  37. He, J., Becic, E., Lee, Y. -. C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
  38. Tanveer Alam, . GitHub – tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , (2022).
  39. Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
  40. Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
  41. Cohen, J. . Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , (1988).
  42. Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26 (2009).
  43. Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
  44. Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
  45. Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
  46. Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
  47. Hart, S. G. . NASA Task Load Index (TLX). , (1986).

Play Video

Cite This Article
Ke, L., Zhang, Z., Ma, Y., Xiao, Y., Wu, S., Wang, X., Liu, X., He, J. Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator. J. Vis. Exp. (195), e65170, doi:10.3791/65170 (2023).

View Video