Sanal Gerçeklik Uçuş Simülatörü Kullanarak Uçuş Performansını ve Göz Hareketi Örüntülerini Değerlendirme
Summary
Uçuş performansının ve göz hareketi modellerinin verimli ve düşük maliyetli bir şekilde değerlendirilmesini sağlayan yeni bir sanal gerçeklik uçuş simülatörü inşa edildi. Ayrıca ergonomi ve diğer araştırmalar için yüksek potansiyelli bir araştırma aracı sağlar.
Abstract
Pilotların verimli ve ekonomik performans değerlendirmesi, havacılık endüstrisi için kritik hale gelmiştir. Sanal gerçekliğin (VR) gelişmesi ve göz izleme teknolojisinin birleşimi ile bu ihtiyaçları karşılayacak çözümler gerçeğe dönüşüyor. Önceki çalışmalar, esas olarak teknoloji doğrulama ve uçuş eğitimine odaklanan VR tabanlı uçuş simülatörlerini araştırdı. Mevcut çalışma, pilotların uçuş performansını 3D sürükleyici bir sahnede göz hareketi ve uçuş göstergelerine dayalı olarak değerlendirmek için yeni bir VR uçuş simülatörü geliştirdi. Deney sırasında 46 katılımcı işe alındı: 23 profesyonel pilot ve uçuş deneyimi olmayan 23 üniversite öğrencisi. Deney sonuçları, uçuş deneyimi olan ve olmayan katılımcılar arasında uçuş performansında önemli farklılıklar gösterdi, birincisi ikincisinden daha yüksekti. Buna karşılık, uçuş tecrübesi olanlar daha yapılandırılmış ve verimli göz hareketi paternleri gösterdi. Uçuş performansının farklılaşmasının bu sonuçları, mevcut VR uçuş simülatörünün bir uçuş performansı değerlendirme yöntemi olarak geçerliliğini göstermektedir. Uçuş deneyimi ile farklı göz hareketi modelleri, gelecekteki uçuş seçimi için temel sağlar. Bununla birlikte, bu VR tabanlı uçuş simülatörü, geleneksel uçuş simülatörlerine kıyasla hareket geri bildirimi gibi eksikliklere sahiptir. Bu uçuş simülatörü platformu, görünen düşük maliyet dışında oldukça esnektir. Araştırmacıların farklı ihtiyaçlarını karşılayabilir (örneğin, ilgili ölçekler ekleyerek durum farkındalığını, VR hastalığını ve iş yükünü ölçmek).
Introduction
Avrupa Havacılık Güvenliği Ajansı (2012), uçuş simülatörlerini eğitim tesisleri, uçuş ve seyrüsefer programı eğitmenleri, uçuş eğitim ekipmanları ve tam uçuş simülatörleri olarak sınıflandırmaktadır1. Bugüne kadar, düşük seviyeli masa üstü sistemlerinden son derece karmaşık hareket tabanlı tam uçuş simülatörlerinekadar eğitim için bir dizi uçuş simülatörü mevcuttur 2. Geleneksel simülatör, bir uçuş dinamiği modeli, bir sistem simülasyonu, bir donanım kokpiti, harici bir görselleştirme ve isteğe bağlı bir hareket simülasyonu3 içerir.
Bu geleneksel uçuş simülatörleri, etkili uçuş eğitim ekipmanı olarak bazı avantajlara sahiptir. Bununla birlikte, maliyetleri yüksek ve çevre dostu değildir, çünkü her sistemin tahriki önemli miktarda elektrik enerjisi gerektirir, özellikle yüksek sıcaklık ve yüksek basınçlı sıvı veya hava basıncı gerektiren, çok fazla güç tüketen ve çokfazla gürültü üreten tam bir uçuş simülatörü 4.
Bununla birlikte, basit bir masaüstü simülatör sistemi, tam bir uçuş simülatörü2’den daha düşük daldırma ve daha az etkileşim ile esnek ve düşük maliyetlidir. Bu nedenle, masaüstü sistemlerin ve tam uçuş simülatörlerinin avantajlarını birleştiren yeni uçuş simülatörleri geliştirmek esastır (başka bir deyişle, bir masa üstü simülasyonunun esnekliği ve tam bir uçuş simülatörüne yakın daldırma ve etkileşim seviyesi).
Bilgisayar teknolojisinin, özellikle sanal gerçeklik (VR) teknolojisinin gelişmesiyle birlikte, ortaya çıkan VR teknolojisine dayalı yeni bir uçuş simülatörü türü gerçeğe dönüşüyor. VR tabanlı uçuş simülatörü esnek, taşınabilir, düşük maliyetlidir ve geleneksel uçuş simülatörlerinden daha az alan gereksinimine sahiptir5. Araştırmacılar son 20 yılda VR teknolojisine dayalı uçuş simülatörleri oluşturdular 6,7,8,9,10,11; ancak, bu VR uçuş simülatörleri esas olarak uçuş eğitimi içindir ve pilot seçimi için çok az vardır. Yine de, maliyet düşürme ve teknolojinin gelişmesiyle birlikte, VR tabanlı simülatörler değişiyor ve kişisel seçim için uygun hale geliyor. Bazı çalışmalar, farklı alanlarda kişisel seçim için VR tabanlı simülatörler kullanmıştır: Schijven ve ark.12, bir sanal gerçeklik simülatörü kullanarak cerrahi kursiyerleri seçti. Huang ve ark.13, hava kuvvetleri pilotu alımı için sanal gerçeklik teknolojisine dayalı bir psikoloji seçim aracı geliştirdi. Wojciechowski ve Wojtowicz14, bir adayın VR teknolojisine dayalı bir insansız hava aracı (İHA) pilotu olarak yeteneklerini değerlendirdi. Pilot seçiminin havacılık endüstrisi için kritik olduğu göz önüne alındığında, büyük ölçekli pilot seçimi, simülatörün maliyetine ve taşınabilirlik simülatör sistemindeki taleplere duyarlı olduğundan, pilot seçimine odaklanan yeni bir VR tabanlı uçuş simülatörü geliştirmek için baskı yapıyor.
Göz hareketleri, bir pilotun performansı için ipuçları sağlar. Farklı çalışmalar, göz tarama modunun uzman ve acemi pilotlar arasındaki performansı ayırt ettiğini bulmuştur. Uzmanlar ve acemiler arasındaki tarama modelini karşılaştırarak, uzmanların verimli ve yapısal göz hareketi davranışları ve yeni başlayanların yetersiz tarama yöntemleri ayırt edilebilir. Çeşitli havacılık çalışmaları, pilotların göz tarama stratejisinin 15,16,17,18,19,20,21,22,23,24 uzmanlık düzeyi ile büyük ölçüde ilişkili olduğunu bulmuştur. Bellenkes ve ark.25’e göre, uzmanların fiksasyonlarının süresi daha kısadır ve enstrümanlar üzerindeki fiksasyonlarının sıklığı acemilere göre daha yüksektir. Hemen hemen aynı sonuç, uzman pilotların acemilere göre daha kısa sürelerle birlikte daha fazla fiksasyona sahip olduğunu keşfeden Kasarskis ve ark.26 tarafından çıkarıldı ve uzman pilotların acemilerden daha iyi bir görsel moda sahip olduğunu öne sürdü. Başka bir çalışmada, Lorenz ve ark.27, uzmanların kokpitin dışına bakmak için acemilerden daha fazla zaman harcadığını buldu. Bu sonuçlar, yeni gelenlerin seçiminde büyük pratik değere sahiptir.
Uçuş performans değerlendirmesi, pilot seçimi için bir diğer kritik faktördür. Bununla birlikte, pilot uçuş performans değerlendirmesinde aşağıdaki sorunlar mevcuttur: çelişkili uzman görüşleri, daha fazla seçim normu ve birleşik bir seçim teorisi. Sürüş alanında, Horrey ve ark.28, sürüş performansını değerlendirmek için farklı deneysel koşullar için merkez hattından şeritten ayrılmanın mutlak değerini karşılaştırdı. Havacılık alanına geri dönersek, uçuş hızlı erişim kaydedici (QAR),29. uçuş sırasında her türlü pilot manipülasyon parametresini, uçak parametrelerini, ortamları ve uyarı bilgilerini kaydeder. Daha spesifik olarak, QAR göstergeleri olarak, eğim açısı, uçağın30 sol ve sağ eksenleri etrafındaki dönüş açısıdır ve referans çizgisi (veya merkez referans çizgisi) kırmızı ve yeşil çizgilerin28 tam ortasındadır; Bu iki uçuş parametresi, mevcut çalışmada deneyimi olan veya olmayan katılımcıların uçuş performansını değerlendirmek için kullanılır. Bu QAR verileri uçuş performansını değerlendirmek için kullanılabilir, ancak en iyi bilgimize göre, bilimsel araştırmalarda kişisel eğitim ve seçim için nadiren kullanılmıştır31,32.
Göz hareketi modellerinin ölçümleri, uçuş performansını değerlendirmek ve tahmin etmek ve pilot eğitimi ve seçimine rehberlik etmek için kullanılabilir. 33 yaşındaki Gerathewohl ise gözün pilotun en önemli duyu organı olduğunu ve uçuş bilgilerinin yüzde 80’ini işlediğini belirtti. Pilotlar,22 numaralı uçuşu yönetmek için kokpitteki aletlerden görsel bilgi edinmeli ve bunları tutarlı bir görüntüye entegre etmelidir. Ayrıca, daha iyi uçuş performansı elde etmek için optimum tarama davranışı esastır15. Bununla birlikte, hiçbir uygun fiyatlı uçuş simülatörü şu anda göz hareketleri ve uçuş performansı arasındaki ilişkinin nicel çalışmalarını kolaylaştırmak için bir göz izleyici entegre etmemektedir.
Mevcut çalışma, uçuş deneyimi olan katılımcıların uçuş deneyimi olmayanlara göre daha iyi uçuş performansına sahip olup olmadığını değerlendirmek için yeni bir VR uçuş simülatörü geliştirdi. VR uçuş simülatörü, göz izleme ve göz hareketi paterni analizine ve uçuş performansı değerlendirmesine izin veren bir uçuş dinamiği sistemini entegre eder. Özellikle, VR uçuş simülatörünün, zaman alıcı kare sayımı olmadan ilgi alanı (AOI) tabanlı göz hareketini analiz etmek için cam benzeri veya masaüstü göz izleyici değil, bir VR göz izleyici34 kullandığını belirtmekte fayda var.
Son olarak, mevcut çalışma, göz tarama yolundan objektif uçuş performans verilerine kadar gelecekte pilot seçimi için çok yönlü bir ölçüme yol açabilir. Sanal uçuş simülatörünün yardımıyla, uçuş seçiminin maliyeti önemli ölçüde azalacak ve kapsamlı veri toplamaya dayalı olarak pilotların normu oluşturulabilecektir. Çalışma, uçuş seçimi ihtiyaçları için geleneksel ve masaüstü simülatörler arasındaki boşluğu dolduruyor.
Protocol
Representative Results
Discussion
Mevcut çalışma, uçuş deneyimi olan katılımcıların, VR tabanlı bir uçuş simülatöründe uçuş deneyimi olmayanlara göre daha iyi uçuş performansına sahip olup olmadığını değerlendirdi. Daha da önemlisi, daha iyi uçuş performansına sahip bu katılımcılarda daha optimize edilmiş bir göz hareketi modelinin bulunup bulunamayacağını değerlendirdi. Sonuçlar, uçuş deneyimi olan ve olmayan katılımcılar arasında üç temel uçuş QAR göstergesinde önemli farklılıklara sahiptir: inişte…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Yazarlar, pilot katılımcıları işe almadaki yardımları için Bay Li Yan’a inanılmaz derecede minnettarlar ve Bayan Bu Lingyun’a resim çizme konusundaki çalışmaları için teşekkür ediyorlar. Araştırma, Çin Ulusal Doğa Bilimleri Vakfı (hibe numarası T2192931, 72071185), Ulusal Beyin Projesi (hibe numarası STI2030-Major Projects2022ZD0208500), İnsan Faktörleri Mühendisliği Ulusal Anahtar Laboratuvar Projesi (hibe numarası SYFD062003), İnsan Faktörleri Mühendisliği Ulusal Anahtar Laboratuvar Projesi (hibe numarası 6142222210201) ve 2022 yılı Askeri Lojistik Araştırma Büyük Projeleri Hibe ve Hava Kuvvetleri Ekipmanı Anahtar Projesi tarafından desteklenmiştir. Araştırma (hibe numarası KJ2022A000415).
Materials
| 3D engine SDK | Epic Games | Unreal Engine 4 GameAnalytics Unreal SDK |
This SDK is a powerful yet flexible free analytics tool designed for games. |
| CPU | Intel | IntelCore i9 | One of the most powerful CPU on the mainstream market. |
| Eye tracking SDK | Tobii | Tobii XR SDK | This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware. |
| Eye tracking software | Developed by the research team | A program that tracks the movement of a person's eyes while they are using a virtual reality HMD. | |
| FlySimulator program | Developed by the research team | A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers. | |
| Graphics card | NVIDIA | GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock 24 GB Memory Size GDDR6X Memory Type |
One of the most powerful graphics card on the mainstream market. |
| Operating system (OS) | Microsoft | Windows XP | An operating system (OS) developed and exclusively distributed by Microsoft Corporation |
| Replica control panel | THRUSTMASTER | 2960720 2971004 2962072 2960748 2960769 | U.S. Air Force A-10C attack aircraft HOTAS |
| Replica joystick | THRUSTMASTER | 2960720 | U.S. Air Force A-10C attack aircraft HOTAS |
| Replica pedal | THRUSTMASTER | TPR pendular rudder | |
| Replica throttle | THRUSTMASTER | U.S. Air Force A-10C attack aircraft HOTAS | |
| Screen connected to PC | Redmi | RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio | Screen allows the experimenter to simultaneously view what is happening in the VR HMD |
| Screen recording software | OBS Project | OBS Studio Version 28.0 | A free and open source software for video recording and live streaming |
| Statistical power analysis software | Open-Source | G*power Version 3.1.9.6 | A free and user-friendly tool for estimating statistical power and sample size. |
| Statistical software | IBM | SPSS Version 24.0 | A powerful statistical software platform |
| Versatile statistics tool | GraphPad Software | GraphPad Prism Version 9.4.0 | A versatile statistics tool purpose-built for scientists-not statisticians |
| VR app store | HTC Corporation | VIVE Software 2.0.17.6 / 2.1.17.6 | An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need. |
| VR head-mounted display (HMD) | HTC Corporation | VIVE Pro Eye | A VR headset with precision eye tracking |
| VR software | Steam | Steam VR Version 1.23 | A tool for experiencing VR content on the hardware |
References
- Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What’s real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
- Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
- Rolfe, J. M., Staples, K. J. . Flight Simulation. , (1986).
- Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
- Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , 261-268 (1999).
- McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
- Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , (2001).
- Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , 18-21 (2008).
- Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
- Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , 1-13 (2014).
- Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , 22-26 (2015).
- Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
- Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. . Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , (2020).
- Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , (2022).
- Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
- Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
- Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
- Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
- Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots’ visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
- Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots’ gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
- Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439 (2018).
- Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
- Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
- Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots’ expertise: A flight simulator study. PLoS One. 16 (2), e0247061 (2021).
- Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
- Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , (2001).
- Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
- Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , (2013).
- Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , 297-305 (2017).
- Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
- Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192 (2019).
- Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
- Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
- Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, &. #. 2. 6. 8. ;., Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027 (2022).
- Faul, F., Erdfelder, E., Lang, A. -. G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
- Boslaugh, S. E. . Snellen Chart. , (2018).
- He, J., Becic, E., Lee, Y. -. C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
- Tanveer Alam, . GitHub – tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , (2022).
- Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
- Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
- Cohen, J. . Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , (1988).
- Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26 (2009).
- Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
- Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
- Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
- Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
- Hart, S. G. . NASA Task Load Index (TLX). , (1986).
