Summary

הערכת ביצועי טיסה ודפוסי תנועות עיניים באמצעות סימולטור טיסה של מציאות מדומה

Published: May 19, 2023
doi:

Summary

נבנה סימולטור טיסה חדש של מציאות מדומה, המאפשר הערכה יעילה וזולה של ביצועי טיסה ודפוסי תנועת עיניים. הוא גם מספק כלי מחקר בעל פוטנציאל גבוה עבור ארגונומיה ומחקרים אחרים.

Abstract

הערכת ביצועים יעילה וחסכונית של טייסים הפכה קריטית לתעשיית התעופה. עם התפתחות המציאות המדומה (VR) והשילוב של טכנולוגיית מעקב עיניים, פתרונות שיענו על צרכים אלה הופכים למציאות. מחקרים קודמים בחנו סימולטורי טיסה מבוססי VR, והתמקדו בעיקר בתיקוף טכנולוגיות ואימוני טיסה. המחקר הנוכחי פיתח סימולטור טיסה VR חדש כדי להעריך את ביצועי הטיסה של טייסים בהתבסס על תנועת עיניים ומחווני טיסה בסצנה סוחפת תלת ממדית. במהלך הניסוי גויסו 46 משתתפים: 23 טייסים מקצועיים ו-23 סטודנטים ללא ניסיון טיסה. תוצאות הניסוי הראו הבדלים משמעותיים בביצועי הטיסה בין משתתפים עם וללא ניסיון טיסה, כאשר הראשון היה גבוה יותר מהאחרון. לעומת זאת, בעלי ניסיון טיסה הראו דפוסי תנועת עיניים מובנים ויעילים יותר. תוצאות אלה של הבידול של ביצועי הטיסה מדגימות את תוקפו של סימולטור הטיסה הנוכחי של VR כשיטת הערכת ביצועי טיסה. דפוסי תנועת העיניים השונים עם חוויית הטיסה מספקים את הבסיס לבחירת טיסה עתידית. עם זאת, לסימולטור טיסה מבוסס VR זה יש חסרונות כמו משוב תנועה בהשוואה לסימולטורי טיסה מסורתיים. פלטפורמת סימולטור טיסה זו גמישה מאוד למעט העלות הנמוכה לכאורה. זה יכול לענות על הצרכים המגוונים של החוקרים (למשל, מדידת מודעות למצב, מחלת VR ועומס עבודה על ידי הוספת סולמות רלוונטיים).

Introduction

הסוכנות האירופית לבטיחות תעופה (2012) מסווגת סימולטורי טיסה כמתקני אימון, מאמני תוכניות טיסה וניווט, ציוד אימון טיסה וסימולטורים מלאיםלטיסה 1. נכון להיום, מגוון סימולטורי טיסה זמינים לאימונים, החל ממערכות שולחניות ברמה נמוכה ועד סימולטורים מורכבים ביותר מבוססי תנועה מלאה2. הסימולטור המסורתי כולל מודל דינמיקת טיסה, סימולציית מערכת, תא טייס חומרה, הדמיה חיצונית והדמיית תנועה אופציונלית3.

לסימולטורי טיסה מסורתיים אלה יש כמה יתרונות כציוד אימון טיסה יעיל. עם זאת, עלותם גבוהה ולא ידידותית לסביבה, שכן ההנעה של כל מערכת דורשת אנרגיה חשמלית משמעותית, במיוחד סימולטור טיסה מלא, הדורש טמפרטורה גבוהה ונוזל או לחץ אוויר בלחץ גבוה, צורך חשמל רב ומייצר רעש רב4.

עם זאת, מערכת סימולטור שולחנית פשוטה היא גמישה ובעלות נמוכה, עם טבילה נמוכה יותר ופחות אינטראקציות מאשר סימולטור טיסה מלא2. לכן, חיוני לפתח סימולטורי טיסה חדשים המשלבים את היתרונות של מערכות שולחניות וסימולטורים מלאים לטיסה (כלומר, את הגמישות של סימולטור שולחני ואת רמת הטבילה והאינטראקציה קרוב סימולטור טיסה מלא).

עם התפתחות טכנולוגיית המחשב, במיוחד טכנולוגיית המציאות המדומה (VR), סוג חדש של סימולטור טיסה המבוסס על טכנולוגיית VR מתפתחת הופך למציאות. סימולטור הטיסה מבוסס VR הוא גמיש, נייד, בעלות נמוכה, ויש לו פחות דרישות מקום מאשר סימולטורים טיסה קונבנציונליים5. חוקרים יצרו סימולטורים לטיסה המבוססים על טכנולוגיית VR במהלך 20 השנים האחרונות 6,7,8,9,10,11; עם זאת, סימולטורי טיסה VR אלה מיועדים בעיקר לאימוני טיסה, ויש מעט לבחירת טייסים. ובכל זאת, עם הפחתת עלויות ושיפור טכנולוגי, סימולטורים מבוססי VR משתנים והופכים לאפשריים לבחירה אישית. חלק מהמחקרים השתמשו בסימולטורים מבוססי VR לבחירה אישית בתחומים שונים: Schijven et al.12 בחרו מתמחים כירורגיים באמצעות סימולטור מציאות מדומה. Huang et al.13 פיתחו כלי בחירה פסיכולוגי המבוסס על טכנולוגיית מציאות מדומה לגיוס טייסים בחיל האוויר. וויצ’חובסקי ו-וויטוביץ14 העריכו את יכולותיו של מועמד כטייס כלי טיס בלתי מאויש (כטב”ם) המבוסס על טכנולוגיית VR. בהתחשב בכך שבחירת טייס היא קריטית לתעשיית התעופה, היא לוחצת לפתח סימולטור טיסה חדש מבוסס VR המתמקד בבחירת טייסים, מכיוון שבחירת טייס בקנה מידה גדול רגישה לעלות הסימולטור ולדרישות במערכת סימולטור הניידות.

תנועות עיניים מספקות רמזים לביצועי הטייס. מחקרים שונים מצאו כי מצב סריקת העיניים מבדיל את הביצועים בין טייסים מומחים למתחילים. על ידי השוואת דפוס הסריקה בין מומחים למתחילים, ניתן להבדיל בין התנהגות תנועת העיניים היעילה והמבנית של המומחים לבין שיטות הסריקה הלא מספקות של מתחילים. מספר מחקרי תעופה מצאו כי אסטרטגיית סריקת העיניים של טייסים קשורה מאוד לרמת המומחיות 15,16,17,18,19,20,21,22,23,24. לדברי Bellenkes et al.25, משך הקיבעונות של מומחים קצר יותר, ותדירות הקיבעונות שלהם על מכשירים גבוהה מזו של טירונים. כמעט אותה מסקנה הוסקה על ידי Kasarskis et al.26, שגילו כי טייסים מומחים יש יותר קיבעונות בשילוב עם משכי זמן קצרים יותר מאשר טירונים, הציע כי טייסים מומחים יש מצב חזותי טוב יותר מאשר טירונים. במחקר אחר, לורנץ ואחרים.27 מצאו כי מומחים מבלים זמן רב יותר בהתבוננות מחוץ לתא הטייס מאשר טירונים. לתוצאות אלה יש ערך מעשי רב בבחירת המצטרפים החדשים.

הערכת ביצועי טיסה היא גורם קריטי נוסף לבחירת הטייס. עם זאת, הבעיות הבאות קיימות בהערכת ביצועי טיסת טייס: דעות מומחים סותרות, נורמות בחירה רבות יותר ותאוריית בחירה אחידה. בתחום הנהיגה, Horrey et al.28 השוו את הערך המוחלט של סטייה מקו האמצע עבור תנאי ניסוי שונים כדי להעריך את ביצועי הנהיגה. בחזרה לתחום התעופה, מקליט הגישה המהירה לטיסה (QAR) מתעד כל מיני פרמטרים של מניפולציה של טייס, פרמטרים של מטוסים, סביבות ומידע אזהרה במהלך טיסה29. באופן ספציפי יותר, כמחווני QAR, זווית המגרש היא זווית הסיבוב סביב הציר השמאלי והימני של המטוס30, וקו הייחוס (או קו הייחוס המרכזי) נמצא ממש באמצע הקווים האדומים והירוקים28; שני פרמטרי טיסה אלה משמשים להערכת ביצועי הטיסה של משתתפים עם או בלי ניסיון במחקר הנוכחי. נתוני QAR אלה יכולים לשמש להערכת ביצועי טיסה, אך למיטב ידיעתנו, הם שימשו רק לעתים רחוקות לאימון אישי ולבחירה במחקר מדעי31,32.

ניתן להשתמש במדידות של דפוסי תנועות עיניים כדי להעריך ולחזות ביצועי טיסה ולהנחות את הכשרת הטייסים ובחירתם. Gerathewohl33 הצהיר כי העין היא איבר החישה החשוב ביותר של הטייס, עיבוד 80% של מידע הטיסה. טייסים חייבים לקבל מידע חזותי ממכשירים בתא הטייס ולשלב אותו בתמונה קוהרנטית כדי לנהל את טיסה22. יתר על כן, התנהגות סריקה אופטימלית חיונית להשגת ביצועי טיסה טובים יותר15. עם זאת, אין כיום סימולטור טיסה במחיר סביר המשלב מעקב עיניים כדי להקל על מחקרים כמותיים של הקשר בין תנועות עיניים וביצועי טיסה.

המחקר הנוכחי פיתח סימולטור טיסה חדש של מציאות מדומה כדי להעריך אם משתתפים עם ניסיון טיסה היו בעלי ביצועי טיסה טובים יותר מאלה ללא ניסיון טיסה. סימולטור הטיסה VR משלב מעקב אחר העיניים ומערכת דינמיקת טיסה המאפשרת ניתוח דפוסי תנועת עיניים והערכת ביצועי טיסה. בפרט, ראוי להזכיר כי סימולטור הטיסה VR משתמש עוקב עיניים VR34, לא כמו זכוכית או שולחן עבודה, מעקב עיניים מבוסס אזור עניין (AOI) ללא ספירת פריימים זמן רב.

לבסוף, העבודה הנוכחית יכולה להוביל למדידת אומניבוס לבחירת טייס בעתיד, החל מנתיב סריקת עיניים ועד נתוני ביצועי טיסה אובייקטיביים. בעזרת סימולטור הטיסה הווירטואלי, עלות בחירת הטיסה תופחת באופן משמעותי, ואת הנורמה של טייסים ניתן ליצור על בסיס איסוף נתונים נרחב. העבודה ממלאת פער בין סימולטורים קונבנציונליים ושולחניים לצרכי בחירת טיסה.

Protocol

כל השיטות המתוארות כאן אושרו על ידי מועצת הביקורת המוסדית (IRB) של אוניברסיטת צינגהואה, והתקבלה הסכמה מדעת מכל המשתתפים. לאחר השלמתה, כל המשתתפים קיבלו $12 (או מתנה בעלת ערך שווה). 1. בחירת משתתף גייסו משתתפים על פי מחקר קודם של ניתוח הספק באמצעות תוכנת G*Power<sup class="xref…

Representative Results

לניסוי הנוכחי נבחרו 23 מומחים בעלי ניסיון טיסה ו-23 טירונים ללא ניסיון טיסה. המשתתפים היו בגילאי 25 עד 58 (מומחים: M = 32.52 שנים, SD = 7.28 שנים; טירונים: M = 29.57 שנים, SD = 5.74 שנים). המין של כל המשתתפים היה זכר. כל הטירונים גויסו מאוניברסיטת צינגואה (סטודנטים או סגל), וכל המומחים היו מצ’יינ?…

Discussion

המחקר הנוכחי העריך אם משתתפים עם ניסיון טיסה היו בעלי ביצועי טיסה טובים יותר מאלה ללא ניסיון טיסה בסימולטור טיסה מבוסס VR. חשוב מכך, המחקר העריך אם ניתן למצוא דפוס אופטימלי יותר של תנועות עיניים אצל משתתפים אלה עם ביצועי טיסה טובים יותר. לתוצאות יש הבדלים משמעותיים בין משתתפים עם וללא ניסיו…

Disclosures

The authors have nothing to disclose.

Acknowledgements

המחברים אסירי תודה למר לי יאן על עזרתו בגיוס משתתפי הטייס ומודים לגב’ בו לינג-יון על עבודתה בציור תמונות. המחקר נתמך על ידי הקרן הלאומית למדעי הטבע של סין (מענק מספר T2192931, 72071185), פרויקט המוח הלאומי (מספר מענק STI2030-Major Projects2022ZD0208500), פרויקט מעבדת המפתח הלאומי להנדסת גורמי אנוש (מענק מספר SYFD062003), פרויקט מעבדת המפתח הלאומי להנדסת גורמי אנוש (מענק מספר 6142222210201), ולשנת 2022 פרויקטים עיקריים של מענק מחקר לוגיסטי צבאי ופרויקט מפתח של ציוד חיל האוויר מקיף מחקר (מענק מספר KJ2022A000415).

Materials

3D engine SDK Epic Games Unreal Engine 4
GameAnalytics Unreal SDK
This SDK is a powerful yet flexible free analytics tool designed for games.
CPU Intel IntelCore i9 One of the most powerful CPU on the mainstream market.
Eye tracking SDK Tobii Tobii XR SDK This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware.
Eye tracking software Developed by the research team A program that tracks the movement of a person's eyes while they are using a virtual reality HMD.
FlySimulator program Developed by the research team A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers.
Graphics card NVIDIA GeForce RTX 3090
10496 NVIDIA CUDA Cores
1.70 GHz Boost Clock  
24 GB Memory Size
GDDR6X Memory Type
One of the most powerful graphics card on the mainstream market.
Operating system (OS) Microsoft Windows XP An operating system (OS) developed and exclusively distributed by Microsoft Corporation
Replica control panel THRUSTMASTER 2960720 2971004 2962072 2960748 2960769 U.S. Air Force A-10C attack aircraft HOTAS
Replica joystick THRUSTMASTER 2960720 U.S. Air Force A-10C attack aircraft HOTAS
Replica pedal THRUSTMASTER TPR pendular rudder
Replica throttle THRUSTMASTER U.S. Air Force A-10C attack aircraft HOTAS
Screen connected to PC Redmi RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio Screen allows the experimenter to simultaneously view what is happening in the VR HMD
Screen recording software OBS Project OBS Studio Version 28.0 A free and open source software for video recording and live streaming
Statistical power analysis software Open-Source G*power Version 3.1.9.6 A free and user-friendly tool for estimating statistical power and sample size.
Statistical software IBM SPSS Version 24.0 A powerful statistical software platform
Versatile statistics tool GraphPad Software GraphPad Prism Version 9.4.0 A versatile statistics tool purpose-built for scientists-not statisticians
VR app store HTC Corporation VIVE Software 2.0.17.6 / 2.1.17.6 An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need.
VR head-mounted display (HMD) HTC Corporation VIVE Pro Eye A VR headset with precision eye tracking
VR software Steam Steam VR Version 1.23 A tool for experiencing VR content on the hardware

References

  1. Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What’s real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
  2. Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
  3. Rolfe, J. M., Staples, K. J. . Flight Simulation. , (1986).
  4. Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
  5. Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , 261-268 (1999).
  6. McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
  7. Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , (2001).
  8. Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , 18-21 (2008).
  9. Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
  10. Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , 1-13 (2014).
  11. Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , 22-26 (2015).
  12. Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
  13. Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. . Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , (2020).
  14. Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , (2022).
  15. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
  16. Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
  17. Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
  18. Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
  19. Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots’ visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
  20. Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots’ gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
  21. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439 (2018).
  22. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
  23. Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
  24. Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots’ expertise: A flight simulator study. PLoS One. 16 (2), e0247061 (2021).
  25. Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
  26. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , (2001).
  27. Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
  28. Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , (2013).
  29. Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , 297-305 (2017).
  30. Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
  31. Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192 (2019).
  32. Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
  33. Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
  34. Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, &. #. 2. 6. 8. ;., Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027 (2022).
  35. Faul, F., Erdfelder, E., Lang, A. -. G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
  36. Boslaugh, S. E. . Snellen Chart. , (2018).
  37. He, J., Becic, E., Lee, Y. -. C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
  38. Tanveer Alam, . GitHub – tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , (2022).
  39. Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
  40. Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
  41. Cohen, J. . Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , (1988).
  42. Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26 (2009).
  43. Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
  44. Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
  45. Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
  46. Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
  47. Hart, S. G. . NASA Task Load Index (TLX). , (1986).

Play Video

Cite This Article
Ke, L., Zhang, Z., Ma, Y., Xiao, Y., Wu, S., Wang, X., Liu, X., He, J. Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator. J. Vis. Exp. (195), e65170, doi:10.3791/65170 (2023).

View Video