Summary

バーチャルリアリティフライトシミュレータを使用した飛行性能と眼球運動パターンの評価

Published: May 19, 2023
doi:

Summary

新しいバーチャルリアリティフライトシミュレータが構築され、飛行性能と眼球運動パターンの効率的かつ低コストな評価が可能になりました。また、人間工学やその他の研究のための高い可能性を秘めた研究ツールも提供します。

Abstract

パイロットの効率的で経済的なパフォーマンス評価は、航空業界にとって重要になっています。バーチャルリアリティ(VR)の発達と視線追跡技術の組み合わせにより、これらのニーズを満たすソリューションが現実のものとなりつつあります。これまでの研究では、VRベースのフライトシミュレータが検討されており、主に技術検証と飛行訓練に焦点を当てていました。本研究では、3D没入型シーンにおける視線運動と飛行指標に基づいてパイロットの飛行性能を評価するための新しいVRフライトシミュレータを開発しました。実験中には、プロのパイロット23名と飛行経験のない大学生23名の計46名が参加しました。実験結果は、飛行経験のある参加者とない参加者の間で飛行性能に大きな差があり、前者が後者よりも高かった。対照的に、飛行経験のある人は、より構造化された効率的な眼球運動パターンを示しました。これらの飛行性能の微分結果は、現在のVRフライトシミュレータが飛行性能評価手法として妥当性を有することを実証しています。飛行経験によるさまざまな眼球運動パターンは、将来の飛行選択の基礎となります。ただし、このVRベースのフライトシミュレーターには、従来のフライトシミュレーターと比較してモーションフィードバックなどの欠点があります。このフライトシミュレータプラットフォームは、見かけの低コストを除いて、非常に柔軟性があります。研究者の多様なニーズ(例えば、状況認識、VR酔い、関連するスケールの追加による作業負荷の測定など)を満たすことができます。

Introduction

欧州航空安全機関(2012)は、フライトシミュレータを訓練施設、飛行およびナビゲーションプログラムのトレーナー、飛行訓練機器、および完全なフライトシミュレータとして分類しています1。現在までに、低レベルのテーブルトップシステムから非常に複雑なモーションベースのフルフライトシミュレータ2まで、さまざまなフライトシミュレータをトレーニングに利用できます。従来のシミュレータには、フライトダイナミクスモデル、システムシミュレーション、ハードウェアコックピット、外部可視化、およびオプションのモーションシミュレーション3が含まれています。

これらの伝統的なフライトシミュレーターには、効果的な飛行訓練機器としていくつかの利点があります。ただし、各システムの駆動にはかなりの電気エネルギーが必要であり、特にフルフライトシミュレータは高温高圧の流体または空気圧を必要とし、多くの電力を消費し、多くのノイズを生成するため、コストは高く、環境にやさしくありません4。

ただし、シンプルなデスクトップ シミュレーター システムは柔軟性があり、低コストであり、フル フライト シミュレーター2 よりも没入感が低く、相互作用が少なくなっています。したがって、デスクトップシステムとフルフライトシミュレータの利点(つまり、テーブルトップシミュレーションの柔軟性と、フルフライトシミュレータに近い没入感とインタラクションレベル)を組み合わせた新しいフライトシミュレータを開発することが不可欠です。

コンピュータ技術、特にバーチャルリアリティ(VR)技術の発展に伴い、新たなVR技術に基づく新しいタイプのフライトシミュレータが現実のものとなりつつあります。VRベースのフライトシミュレータは、柔軟性、携帯性、低コストで、従来のフライトシミュレータ5よりも必要なスペースが少なくて済みます。研究者は、過去20年間でVR技術に基づくフライトシミュレーターを作成してきました6,7,8,9,10,11;しかし、これらのVRフライトシミュレーターは飛行訓練がメインで、パイロット選択用のものはほとんどありません。それでも、コスト削減と技術の向上により、VRベースのシミュレーターは変化し、個人の選択が可能になりつつあります。いくつかの研究では、さまざまな領域での個人選択にVRベースのシミュレーターが使用されています:Schijvenら12は、バーチャルリアリティシミュレーターを使用して外科研修生を選択しました。Huangら13は、空軍パイロットの募集のために、バーチャルリアリティ技術に基づく心理学選択手段を開発した。Wojciechowski氏とWojtowicz14氏は、VR技術に基づいて、無人航空機(UAV)パイロットとしての候補者の能力を評価しました。パイロットの選定が航空業界にとって重要であることを考えると、大規模なパイロットの選定はシミュレータのコストや携帯性シミュレータシステムの要求の影響を受けやすいため、パイロットの選定に焦点を当てた新しいVRベースのフライトシミュレータの開発が急務となっています。

目の動きは、パイロットのパフォーマンスの手がかりとなります。さまざまな研究により、アイスキャンモードが上級パイロットと初心者パイロットのパフォーマンスを区別することがわかっています。専門家と初心者の間でスキャンパターンを比較することにより、専門家の効率的で構造的な眼球運動行動と初心者の不適切なスキャン方法を区別できます。いくつかの航空研究によると、パイロットのアイスキャニング戦略は、専門知識のレベルに大きく関連していることがわかっています15,16,17,18,19,20,21,22,23,24。Bellenkes et al.25によると、専門家の固定期間は初心者よりも短く、楽器への固定頻度は高いとのことです。Kasarskisら26は、ほぼ同じ結論を導き出しました。彼は、熟練したパイロットは初心者よりも固定が多く、持続時間が短いことを発見し、熟練したパイロットは初心者よりも優れた視覚モードを持っていることを示唆しました。別の研究では、Lorenzら27は、専門家が初心者よりもコックピットの外を見るのに多くの時間を費やしていることを発見しました。これらの結果は、新人の選択において大きな実用的価値があります。

飛行性能評価は、パイロットの選択にとってもう一つの重要な要素です。しかし、パイロットの飛行性能評価には、専門家の意見の相反、選択基準の増加、統一された選択理論などの問題があります。運転分野では、Horreyら28は、運転性能を評価するためのさまざまな実験条件で、中心線からの車線逸脱の絶対値を比較しました。航空分野に戻ると、フライトクイックアクセスレコーダー(QAR)は、フライト29中のあらゆる種類のパイロット操作パラメータ、航空機パラメータ、環境、および警告情報を記録します。より具体的には、QARインジケータとして、ピッチ角は航空機30の左右軸を中心とした回転角度であり、基準線(または中心基準線)は赤線と緑線28のちょうど真ん中にある。これら 2 つの飛行パラメータは、現在の研究での経験の有無にかかわらず、参加者の飛行パフォーマンスを評価するために使用されます。これらのQARデータは、飛行性能の評価に利用できるが、私たちの知る限りでは、科学研究におけるパーソナルトレーニングや選抜にはほとんど使用されていない31,32

眼球運動パターンの測定は、飛行性能を評価および予測し、パイロットのトレーニングと選択を導くために使用できます。Gerathewohl33 は、目はパイロットの最も重要な感覚器官であり、飛行情報の80%を処理していると述べました。パイロットは、コックピット内の計器から視覚情報を取得し、それをコヒーレントな画像に統合してフライト22を管理しなければならない。さらに、最適なスキャン動作は、より優れた飛行性能を達成するために不可欠である15。しかし、現在、眼球運動と飛行性能の関係を定量的に研究するためのアイトラッカーを統合した手頃な価格のフライトシミュレータはありません。

現在の研究では、飛行経験のある参加者が飛行経験のない参加者よりも飛行パフォーマンスが優れているかどうかを評価するために、新しいVRフライトシミュレーターを開発しました。VRフライトシミュレータは、アイトラッキングとフライトダイナミクスシステムを統合し、視線運動パターン解析と飛行性能評価を可能にします。特に、VRフライトシミュレータは、時間のかかるフレームカウントなしで、関心領域(AOI)ベースの眼球運動を分析するために、ガラスのような又はデスクトップのアイトラッカーではなく、VRアイトラッカー34を使用することに言及する価値がある。

最後に、本研究は、アイスキャンパスから客観的な飛行性能データまで、将来のパイロット選択のためのオムニバス測定につながる可能性があります。仮想フライトシミュレーターの助けを借りて、フライト選択のコストが大幅に削減され、広範なデータ収集に基づいてパイロットの規範を形成できます。この作業は、フライト選択のニーズに対する従来のシミュレーターとデスクトップシミュレーターの間のギャップを埋めるものです。

Protocol

ここに記載されているすべての方法は、清華大学の治験審査委員会(IRB)によって承認されており、すべての参加者からインフォームドコンセントが得られています。終了後、参加者全員に12ドル(または同等の価値のギフト)が支払われました。 1. 参加者の選考 G*Powerソフトウェア35 ( 資料表を参照)を使用したパワー分析の?…

Representative Results

今回の実験では、飛行経験のある専門家23名と飛行経験のない初心者23名が選ばれました。参加者は25歳から58歳(専門家: M =32.52歳、 SD =7.28歳、初心者: M =29.57歳、 SD =5.74歳)であった。参加者全員の性別は男性でした。すべての初心者は清華大学(学生または教員)から採用され、すべての専門家は中国東方航空からでした。 目の動き…

Discussion

現在の研究では、飛行経験のある参加者が、VRベースのフライトシミュレーターで飛行経験のない参加者よりも優れた飛行パフォーマンスを発揮したかどうかを評価しました。さらに重要なことに、これらの参加者により最適化された眼球運動パターンが、より優れた飛行パフォーマンスで見つかるかどうかを評価しました。結果は、着陸前のピッチ角 1 秒、基準線までの平均距離、および?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

著者は、パイロット参加者の募集に協力してくれたLi Yan氏に非常に感謝しており、Bu Lingyun氏の絵を描く仕事に感謝しています。この研究は、中国国家自然科学基金会(助成金番号T2192931、72071185)、国家脳プロジェクト(助成金番号STI2030-Major Projects2022ZD0208500)、ヒューマンファクター工学国家重点研究所プロジェクト(助成金番号SYFD062003)、ヒューマンファクター工学国家重点研究所プロジェクト(6142222210201)、および2022年軍事兵站研究助成金の主要プロジェクトおよび空軍装備総合の主要プロジェクトの支援を受けました研究(課題番号KJ2022A000415)。

Materials

3D engine SDK Epic Games Unreal Engine 4
GameAnalytics Unreal SDK
This SDK is a powerful yet flexible free analytics tool designed for games.
CPU Intel IntelCore i9 One of the most powerful CPU on the mainstream market.
Eye tracking SDK Tobii Tobii XR SDK This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware.
Eye tracking software Developed by the research team A program that tracks the movement of a person's eyes while they are using a virtual reality HMD.
FlySimulator program Developed by the research team A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers.
Graphics card NVIDIA GeForce RTX 3090
10496 NVIDIA CUDA Cores
1.70 GHz Boost Clock  
24 GB Memory Size
GDDR6X Memory Type
One of the most powerful graphics card on the mainstream market.
Operating system (OS) Microsoft Windows XP An operating system (OS) developed and exclusively distributed by Microsoft Corporation
Replica control panel THRUSTMASTER 2960720 2971004 2962072 2960748 2960769 U.S. Air Force A-10C attack aircraft HOTAS
Replica joystick THRUSTMASTER 2960720 U.S. Air Force A-10C attack aircraft HOTAS
Replica pedal THRUSTMASTER TPR pendular rudder
Replica throttle THRUSTMASTER U.S. Air Force A-10C attack aircraft HOTAS
Screen connected to PC Redmi RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio Screen allows the experimenter to simultaneously view what is happening in the VR HMD
Screen recording software OBS Project OBS Studio Version 28.0 A free and open source software for video recording and live streaming
Statistical power analysis software Open-Source G*power Version 3.1.9.6 A free and user-friendly tool for estimating statistical power and sample size.
Statistical software IBM SPSS Version 24.0 A powerful statistical software platform
Versatile statistics tool GraphPad Software GraphPad Prism Version 9.4.0 A versatile statistics tool purpose-built for scientists-not statisticians
VR app store HTC Corporation VIVE Software 2.0.17.6 / 2.1.17.6 An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need.
VR head-mounted display (HMD) HTC Corporation VIVE Pro Eye A VR headset with precision eye tracking
VR software Steam Steam VR Version 1.23 A tool for experiencing VR content on the hardware

References

  1. Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What’s real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
  2. Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
  3. Rolfe, J. M., Staples, K. J. . Flight Simulation. , (1986).
  4. Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
  5. Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , 261-268 (1999).
  6. McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
  7. Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , (2001).
  8. Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , 18-21 (2008).
  9. Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
  10. Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , 1-13 (2014).
  11. Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , 22-26 (2015).
  12. Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
  13. Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. . Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , (2020).
  14. Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , (2022).
  15. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
  16. Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
  17. Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
  18. Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
  19. Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots’ visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
  20. Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots’ gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
  21. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439 (2018).
  22. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
  23. Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
  24. Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots’ expertise: A flight simulator study. PLoS One. 16 (2), e0247061 (2021).
  25. Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
  26. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , (2001).
  27. Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
  28. Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , (2013).
  29. Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , 297-305 (2017).
  30. Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
  31. Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192 (2019).
  32. Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
  33. Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
  34. Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, &. #. 2. 6. 8. ;., Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027 (2022).
  35. Faul, F., Erdfelder, E., Lang, A. -. G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
  36. Boslaugh, S. E. . Snellen Chart. , (2018).
  37. He, J., Becic, E., Lee, Y. -. C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
  38. Tanveer Alam, . GitHub – tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , (2022).
  39. Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
  40. Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
  41. Cohen, J. . Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , (1988).
  42. Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26 (2009).
  43. Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
  44. Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
  45. Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
  46. Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
  47. Hart, S. G. . NASA Task Load Index (TLX). , (1986).

Play Video

Cite This Article
Ke, L., Zhang, Z., Ma, Y., Xiao, Y., Wu, S., Wang, X., Liu, X., He, J. Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator. J. Vis. Exp. (195), e65170, doi:10.3791/65170 (2023).

View Video