新しいバーチャルリアリティフライトシミュレータが構築され、飛行性能と眼球運動パターンの効率的かつ低コストな評価が可能になりました。また、人間工学やその他の研究のための高い可能性を秘めた研究ツールも提供します。
パイロットの効率的で経済的なパフォーマンス評価は、航空業界にとって重要になっています。バーチャルリアリティ(VR)の発達と視線追跡技術の組み合わせにより、これらのニーズを満たすソリューションが現実のものとなりつつあります。これまでの研究では、VRベースのフライトシミュレータが検討されており、主に技術検証と飛行訓練に焦点を当てていました。本研究では、3D没入型シーンにおける視線運動と飛行指標に基づいてパイロットの飛行性能を評価するための新しいVRフライトシミュレータを開発しました。実験中には、プロのパイロット23名と飛行経験のない大学生23名の計46名が参加しました。実験結果は、飛行経験のある参加者とない参加者の間で飛行性能に大きな差があり、前者が後者よりも高かった。対照的に、飛行経験のある人は、より構造化された効率的な眼球運動パターンを示しました。これらの飛行性能の微分結果は、現在のVRフライトシミュレータが飛行性能評価手法として妥当性を有することを実証しています。飛行経験によるさまざまな眼球運動パターンは、将来の飛行選択の基礎となります。ただし、このVRベースのフライトシミュレーターには、従来のフライトシミュレーターと比較してモーションフィードバックなどの欠点があります。このフライトシミュレータプラットフォームは、見かけの低コストを除いて、非常に柔軟性があります。研究者の多様なニーズ(例えば、状況認識、VR酔い、関連するスケールの追加による作業負荷の測定など)を満たすことができます。
欧州航空安全機関(2012)は、フライトシミュレータを訓練施設、飛行およびナビゲーションプログラムのトレーナー、飛行訓練機器、および完全なフライトシミュレータとして分類しています1。現在までに、低レベルのテーブルトップシステムから非常に複雑なモーションベースのフルフライトシミュレータ2まで、さまざまなフライトシミュレータをトレーニングに利用できます。従来のシミュレータには、フライトダイナミクスモデル、システムシミュレーション、ハードウェアコックピット、外部可視化、およびオプションのモーションシミュレーション3が含まれています。
これらの伝統的なフライトシミュレーターには、効果的な飛行訓練機器としていくつかの利点があります。ただし、各システムの駆動にはかなりの電気エネルギーが必要であり、特にフルフライトシミュレータは高温高圧の流体または空気圧を必要とし、多くの電力を消費し、多くのノイズを生成するため、コストは高く、環境にやさしくありません4。
ただし、シンプルなデスクトップ シミュレーター システムは柔軟性があり、低コストであり、フル フライト シミュレーター2 よりも没入感が低く、相互作用が少なくなっています。したがって、デスクトップシステムとフルフライトシミュレータの利点(つまり、テーブルトップシミュレーションの柔軟性と、フルフライトシミュレータに近い没入感とインタラクションレベル)を組み合わせた新しいフライトシミュレータを開発することが不可欠です。
コンピュータ技術、特にバーチャルリアリティ(VR)技術の発展に伴い、新たなVR技術に基づく新しいタイプのフライトシミュレータが現実のものとなりつつあります。VRベースのフライトシミュレータは、柔軟性、携帯性、低コストで、従来のフライトシミュレータ5よりも必要なスペースが少なくて済みます。研究者は、過去20年間でVR技術に基づくフライトシミュレーターを作成してきました6,7,8,9,10,11;しかし、これらのVRフライトシミュレーターは飛行訓練がメインで、パイロット選択用のものはほとんどありません。それでも、コスト削減と技術の向上により、VRベースのシミュレーターは変化し、個人の選択が可能になりつつあります。いくつかの研究では、さまざまな領域での個人選択にVRベースのシミュレーターが使用されています:Schijvenら12は、バーチャルリアリティシミュレーターを使用して外科研修生を選択しました。Huangら13は、空軍パイロットの募集のために、バーチャルリアリティ技術に基づく心理学選択手段を開発した。Wojciechowski氏とWojtowicz14氏は、VR技術に基づいて、無人航空機(UAV)パイロットとしての候補者の能力を評価しました。パイロットの選定が航空業界にとって重要であることを考えると、大規模なパイロットの選定はシミュレータのコストや携帯性シミュレータシステムの要求の影響を受けやすいため、パイロットの選定に焦点を当てた新しいVRベースのフライトシミュレータの開発が急務となっています。
目の動きは、パイロットのパフォーマンスの手がかりとなります。さまざまな研究により、アイスキャンモードが上級パイロットと初心者パイロットのパフォーマンスを区別することがわかっています。専門家と初心者の間でスキャンパターンを比較することにより、専門家の効率的で構造的な眼球運動行動と初心者の不適切なスキャン方法を区別できます。いくつかの航空研究によると、パイロットのアイスキャニング戦略は、専門知識のレベルに大きく関連していることがわかっています15,16,17,18,19,20,21,22,23,24。Bellenkes et al.25によると、専門家の固定期間は初心者よりも短く、楽器への固定頻度は高いとのことです。Kasarskisら26は、ほぼ同じ結論を導き出しました。彼は、熟練したパイロットは初心者よりも固定が多く、持続時間が短いことを発見し、熟練したパイロットは初心者よりも優れた視覚モードを持っていることを示唆しました。別の研究では、Lorenzら。27は、専門家が初心者よりもコックピットの外を見るのに多くの時間を費やしていることを発見しました。これらの結果は、新人の選択において大きな実用的価値があります。
飛行性能評価は、パイロットの選択にとってもう一つの重要な要素です。しかし、パイロットの飛行性能評価には、専門家の意見の相反、選択基準の増加、統一された選択理論などの問題があります。運転分野では、Horreyら28は、運転性能を評価するためのさまざまな実験条件で、中心線からの車線逸脱の絶対値を比較しました。航空分野に戻ると、フライトクイックアクセスレコーダー(QAR)は、フライト29中のあらゆる種類のパイロット操作パラメータ、航空機パラメータ、環境、および警告情報を記録します。より具体的には、QARインジケータとして、ピッチ角は航空機30の左右軸を中心とした回転角度であり、基準線(または中心基準線)は赤線と緑線28のちょうど真ん中にある。これら 2 つの飛行パラメータは、現在の研究での経験の有無にかかわらず、参加者の飛行パフォーマンスを評価するために使用されます。これらのQARデータは、飛行性能の評価に利用できるが、私たちの知る限りでは、科学研究におけるパーソナルトレーニングや選抜にはほとんど使用されていない31,32。
眼球運動パターンの測定は、飛行性能を評価および予測し、パイロットのトレーニングと選択を導くために使用できます。Gerathewohl33 は、目はパイロットの最も重要な感覚器官であり、飛行情報の80%を処理していると述べました。パイロットは、コックピット内の計器から視覚情報を取得し、それをコヒーレントな画像に統合してフライト22を管理しなければならない。さらに、最適なスキャン動作は、より優れた飛行性能を達成するために不可欠である15。しかし、現在、眼球運動と飛行性能の関係を定量的に研究するためのアイトラッカーを統合した手頃な価格のフライトシミュレータはありません。
現在の研究では、飛行経験のある参加者が飛行経験のない参加者よりも飛行パフォーマンスが優れているかどうかを評価するために、新しいVRフライトシミュレーターを開発しました。VRフライトシミュレータは、アイトラッキングとフライトダイナミクスシステムを統合し、視線運動パターン解析と飛行性能評価を可能にします。特に、VRフライトシミュレータは、時間のかかるフレームカウントなしで、関心領域(AOI)ベースの眼球運動を分析するために、ガラスのような又はデスクトップのアイトラッカーではなく、VRアイトラッカー34を使用することに言及する価値がある。
最後に、本研究は、アイスキャンパスから客観的な飛行性能データまで、将来のパイロット選択のためのオムニバス測定につながる可能性があります。仮想フライトシミュレーターの助けを借りて、フライト選択のコストが大幅に削減され、広範なデータ収集に基づいてパイロットの規範を形成できます。この作業は、フライト選択のニーズに対する従来のシミュレーターとデスクトップシミュレーターの間のギャップを埋めるものです。
現在の研究では、飛行経験のある参加者が、VRベースのフライトシミュレーターで飛行経験のない参加者よりも優れた飛行パフォーマンスを発揮したかどうかを評価しました。さらに重要なことに、これらの参加者により最適化された眼球運動パターンが、より優れた飛行パフォーマンスで見つかるかどうかを評価しました。結果は、着陸前のピッチ角 1 秒、基準線までの平均距離、および?…
The authors have nothing to disclose.
著者は、パイロット参加者の募集に協力してくれたLi Yan氏に非常に感謝しており、Bu Lingyun氏の絵を描く仕事に感謝しています。この研究は、中国国家自然科学基金会(助成金番号T2192931、72071185)、国家脳プロジェクト(助成金番号STI2030-Major Projects2022ZD0208500)、ヒューマンファクター工学国家重点研究所プロジェクト(助成金番号SYFD062003)、ヒューマンファクター工学国家重点研究所プロジェクト(6142222210201)、および2022年軍事兵站研究助成金の主要プロジェクトおよび空軍装備総合の主要プロジェクトの支援を受けました研究(課題番号KJ2022A000415)。
3D engine SDK | Epic Games | Unreal Engine 4 GameAnalytics Unreal SDK |
This SDK is a powerful yet flexible free analytics tool designed for games. |
CPU | Intel | IntelCore i9 | One of the most powerful CPU on the mainstream market. |
Eye tracking SDK | Tobii | Tobii XR SDK | This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware. |
Eye tracking software | Developed by the research team | A program that tracks the movement of a person's eyes while they are using a virtual reality HMD. | |
FlySimulator program | Developed by the research team | A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers. | |
Graphics card | NVIDIA | GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock 24 GB Memory Size GDDR6X Memory Type |
One of the most powerful graphics card on the mainstream market. |
Operating system (OS) | Microsoft | Windows XP | An operating system (OS) developed and exclusively distributed by Microsoft Corporation |
Replica control panel | THRUSTMASTER | 2960720 2971004 2962072 2960748 2960769 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica joystick | THRUSTMASTER | 2960720 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica pedal | THRUSTMASTER | TPR pendular rudder | |
Replica throttle | THRUSTMASTER | U.S. Air Force A-10C attack aircraft HOTAS | |
Screen connected to PC | Redmi | RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio | Screen allows the experimenter to simultaneously view what is happening in the VR HMD |
Screen recording software | OBS Project | OBS Studio Version 28.0 | A free and open source software for video recording and live streaming |
Statistical power analysis software | Open-Source | G*power Version 3.1.9.6 | A free and user-friendly tool for estimating statistical power and sample size. |
Statistical software | IBM | SPSS Version 24.0 | A powerful statistical software platform |
Versatile statistics tool | GraphPad Software | GraphPad Prism Version 9.4.0 | A versatile statistics tool purpose-built for scientists-not statisticians |
VR app store | HTC Corporation | VIVE Software 2.0.17.6 / 2.1.17.6 | An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need. |
VR head-mounted display (HMD) | HTC Corporation | VIVE Pro Eye | A VR headset with precision eye tracking |
VR software | Steam | Steam VR Version 1.23 | A tool for experiencing VR content on the hardware |