Summary

Оценка летных характеристик и движений глаз с помощью авиасимулятора виртуальной реальности

Published: May 19, 2023
doi:

Summary

Был создан новый авиасимулятор виртуальной реальности, который позволяет эффективно и недорого оценивать летные характеристики и паттерны движений глаз. Он также предоставляет высокопотенциальный исследовательский инструмент для эргономики и других исследований.

Abstract

Эффективная и экономичная оценка эффективности пилотов стала критически важной для авиационной отрасли. С развитием виртуальной реальности (VR) и сочетанием технологии отслеживания движения глаз решения для удовлетворения этих потребностей становятся реальностью. В предыдущих исследованиях изучались авиасимуляторы на основе виртуальной реальности, уделяя основное внимание проверке технологий и обучению полетам. В текущем исследовании был разработан новый VR-симулятор полета для оценки летных характеристик пилотов на основе движения глаз и показателей полета в 3D-иммерсивной сцене. В ходе эксперимента было набрано 46 участников: 23 профессиональных пилота и 23 студента колледжа без опыта полетов. Результаты эксперимента показали существенные различия в летных характеристиках между участниками с опытом полетов и без него, причем первые были выше, чем вторые. Напротив, те, у кого был опыт полетов, показали более структурированные и эффективные модели движений глаз. Данные результаты дифференциации летно-технических характеристик демонстрируют валидность современного VR-тренажера полета в качестве метода оценки летно-технических характеристик. Различные модели движения глаз в зависимости от опыта полета служат основой для выбора полета в будущем. Тем не менее, этот авиасимулятор на основе виртуальной реальности имеет такие недостатки, как обратная связь по движению по сравнению с традиционными авиасимуляторами. Эта платформа авиасимулятора отличается высокой гибкостью, за исключением очевидной низкой стоимости. Он может удовлетворить различные потребности исследователей (например, измерять осведомленность о ситуации, болезнь виртуальной реальности и рабочую нагрузку путем добавления соответствующих шкал).

Introduction

Европейское агентство по авиационной безопасности (2012 г.) классифицирует авиационные тренажеры как учебные центры, тренажеры летных и навигационных программ, летное учебное оборудование и полные авиационные тренажеры1. На сегодняшний день для обучения доступен целый ряд авиационных тренажеров, от низкоуровневых настольных систем до очень сложных полнопилотажных тренажеровна основе движения2. Традиционный симулятор включает в себя модель динамики полета, симуляцию системы, аппаратную кабину, внешнюю визуализацию и опциональную симуляцию движения3.

Эти традиционные авиационные тренажеры имеют некоторые преимущества в качестве эффективного оборудования для летной подготовки. Однако их стоимость высока и экологически небезопасна, так как привод каждой системы требует существенной электрической энергии, особенно для полноценного тренажера, который требует высокой температуры и высокого давления жидкости или давления воздуха, потребляет много энергии и генерируетмного шума4.

Тем не менее, простая настольная система симулятора является гибкой и недорогой, с меньшим погружением и меньшим количеством взаимодействий, чем полнопилотажный симулятор2. Поэтому крайне важно разрабатывать новые авиасимуляторы, сочетающие в себе преимущества настольных систем и полнопилотажных тренажеров (иными словами, гибкость настольного симулятора и уровень погружения и взаимодействия, близкий к полнопилотажному симулятору).

С развитием компьютерных технологий, особенно технологии виртуальной реальности (VR), новый тип авиасимулятора, основанный на новой технологии VR, становится реальностью. Авиасимулятор на основе виртуальной реальности является гибким, портативным, недорогим и требует меньше места, чем обычные авиасимуляторы5. За последние 20 лет исследователи создали авиасимуляторы на основе технологии VR 6,7,8,9,10,11; однако эти VR-симуляторы полетов в основном предназначены для летной подготовки, и их мало для отбора пилотов. Тем не менее, со снижением стоимости и совершенствованием технологий, симуляторы на основе виртуальной реальности меняются и становятся возможными для индивидуального выбора. В некоторых исследованиях использовались симуляторы на основе виртуальной реальности для персонального отбора в различных областях: Schijven et al.12 отбирали хирургов-стажеров с помощью симулятора виртуальной реальности. Huang et al.13 разработали психологический инструмент отбора на основе технологии виртуальной реальности для набора пилотов ВВС. Войцеховский и Войтович14 оценивали возможности кандидата в качестве пилота беспилотного летательного аппарата (БПЛА) на основе технологии виртуальной реальности. Учитывая, что отбор пилотов имеет решающее значение для авиационной отрасли, необходимо разработать новый авиасимулятор на основе виртуальной реальности, ориентированный на выбор пилотов, поскольку широкомасштабный отбор пилотов зависит от стоимости тренажера и требований к портативной системе тренажера.

Движения глаз служат сигналами для пилота. Различные исследования показали, что режим сканирования глаз различает производительность между опытными и начинающими пилотами. Сравнивая схему сканирования у экспертов и новичков, можно дифференцировать эффективное и структурное поведение глаз экспертов и неадекватные методы сканирования у новичков. Несколько авиационных исследований показали, что стратегия сканирования глаз пилотов в значительной степени связана с уровнем квалификации 15,16,17,18,19,20,21,22,23,24. Согласно Bellenkes et al.25, продолжительность фиксаций специалистов короче, а частота их фиксации на инструментах выше, чем у новичков. Почти такой же вывод был сделан Касарскисом и соавторами, которые обнаружили, что опытные пилоты имеют больше фиксаций в сочетании с более короткой продолжительностью, чем новички, предположили, что опытные пилоты имеют лучший визуальный режим, чем новички. В другом исследовании, Lorenz et al.27 выяснил, что специалисты проводят больше времени, глядя за пределы кабины, чем новички. Эти результаты имеют большое практическое значение при отборе новичков.

Оценка летных характеристик является еще одним важным фактором при выборе пилота. Тем не менее, в оценке летных характеристик пилотов существуют следующие проблемы: противоречивые мнения экспертов, большее количество норм отбора и единая теория отбора. В области вождения Horrey et al.28 сравнили абсолютное значение отклонения полосы движения от центральной линии для различных экспериментальных условий для оценки эффективности вождения. Возвращаясь к авиационной сфере, регистратор быстрого доступа к полету (QAR) записывает все виды параметров управления пилотом, параметры самолета, окружающую среду и предупреждающую информацию во время полета29. Более конкретно, как показывают индикаторы QA, угол тангажа – это угол поворота вокруг левой и правой осей летательного аппарата30, а контрольная линия (или центральная контрольная линия) находится прямо посередине красной и зеленой линий28; Эти два параметра полета используются для оценки летных характеристик участников с опытом или без него в текущем исследовании. Эти данные QAR могут быть использованы для оценки летных характеристик, но, насколько нам известно, они редко используются для личных тренировок и отбора внаучных исследованиях.

Измерения движений глаз могут быть использованы для оценки и прогнозирования летных характеристик, а также для обучения и отбора пилотов. 33-летний Гератевол заявил, что глаз является важнейшим органом чувств пилота, обрабатывающим 80% полетной информации. Пилоты должны получать визуальную информацию от приборов в кабине и интегрировать ее в целостное изображение для управления полетом22. Кроме того, оптимальное поведение сканирования имеет важное значение для достижения лучших летных характеристик15. Тем не менее, ни один доступный авиасимулятор в настоящее время не включает в себя айтрекер для облегчения количественных исследований взаимосвязи между движениями глаз и летными характеристиками.

В текущем исследовании был разработан новый авиасимулятор виртуальной реальности, чтобы оценить, были ли участники с опытом полетов иметь лучшие летные характеристики, чем те, у кого не было опыта полетов. Авиасимулятор виртуальной реальности объединяет в себе отслеживание глаз и систему динамики полета, позволяющую анализировать характер движений глаз и оценивать летные характеристики. В частности, стоит упомянуть, что в авиасимуляторе VR используется VR-трекер34, а не стеклянный или настольный айтрекер, для анализа движения глаз на основе области интереса (AOI) без трудоемкого подсчета кадров.

Наконец, настоящая работа может привести к комплексным измерениям для выбора пилотов в будущем, начиная с траектории сканирования глаза и заканчивая объективными данными о летных характеристиках. С помощью виртуального авиасимулятора затраты на подбор рейса будут значительно снижены, а норма пилотов может быть сформирована на основе обширного сбора данных. Работа заполняет пробел между обычными и настольными тренажерами для нужд выбора полетов.

Protocol

Все описанные здесь методы были одобрены Институциональным наблюдательным советом (IRB) Университета Цинхуа, и было получено информированное согласие всех участников. После завершения всем участникам было выплачено 12 долларов США (или подарок равной стоимости). 1. Отб?…

Representative Results

Для текущего эксперимента были отобраны 23 специалиста с опытом полетов и 23 новичка без опыта полетов. Участники были в возрасте от 25 до 58 лет (эксперты: M = 32,52 года, SD = 7,28 года; новички: M = 29,57 года, SD = 5,74 года). Пол всех участников был мужским. Все новички были набраны из Ун?…

Discussion

В текущем исследовании оценивалось, имели ли участники с опытом полетов лучшие летные характеристики, чем те, кто не имел опыта полетов на симуляторе полета на основе виртуальной реальности. Что еще более важно, было оценено, можно ли найти более оптимизированный паттерн движения глаз ?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Авторы выражают неимоверную благодарность господину Ли Яню за помощь в наборе участников пилотного проекта и выражают признательность госпоже Бу Линъюнь за ее работу по рисованию картинок. Исследование было поддержано Национальным фондом естественных наук Китая (грант No T2192931, 72071185), Национальным проектом «Мозг» (грант No STI2030-Major Projects 2022ZD0208500), Национальным ключевым лабораторным проектом инженерии человеческого фактора (грант No SYFD062003), Национальным ключевым лабораторным проектом инженерии человеческого фактора (грант No 6142222210201), а также грантом на крупные проекты военно-логистических исследований 2022 года и ключевым проектом комплексного оборудования ВВС Научно-исследовательская работа (грант No KJ2022A000415).

Materials

3D engine SDK Epic Games Unreal Engine 4
GameAnalytics Unreal SDK
This SDK is a powerful yet flexible free analytics tool designed for games.
CPU Intel IntelCore i9 One of the most powerful CPU on the mainstream market.
Eye tracking SDK Tobii Tobii XR SDK This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware.
Eye tracking software Developed by the research team A program that tracks the movement of a person's eyes while they are using a virtual reality HMD.
FlySimulator program Developed by the research team A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers.
Graphics card NVIDIA GeForce RTX 3090
10496 NVIDIA CUDA Cores
1.70 GHz Boost Clock  
24 GB Memory Size
GDDR6X Memory Type
One of the most powerful graphics card on the mainstream market.
Operating system (OS) Microsoft Windows XP An operating system (OS) developed and exclusively distributed by Microsoft Corporation
Replica control panel THRUSTMASTER 2960720 2971004 2962072 2960748 2960769 U.S. Air Force A-10C attack aircraft HOTAS
Replica joystick THRUSTMASTER 2960720 U.S. Air Force A-10C attack aircraft HOTAS
Replica pedal THRUSTMASTER TPR pendular rudder
Replica throttle THRUSTMASTER U.S. Air Force A-10C attack aircraft HOTAS
Screen connected to PC Redmi RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio Screen allows the experimenter to simultaneously view what is happening in the VR HMD
Screen recording software OBS Project OBS Studio Version 28.0 A free and open source software for video recording and live streaming
Statistical power analysis software Open-Source G*power Version 3.1.9.6 A free and user-friendly tool for estimating statistical power and sample size.
Statistical software IBM SPSS Version 24.0 A powerful statistical software platform
Versatile statistics tool GraphPad Software GraphPad Prism Version 9.4.0 A versatile statistics tool purpose-built for scientists-not statisticians
VR app store HTC Corporation VIVE Software 2.0.17.6 / 2.1.17.6 An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need.
VR head-mounted display (HMD) HTC Corporation VIVE Pro Eye A VR headset with precision eye tracking
VR software Steam Steam VR Version 1.23 A tool for experiencing VR content on the hardware

References

  1. Oberhauser, M., Dreyer, D., Braunstingl, R., Koglbauer, I. What’s real about virtual reality flight simulation. Aviation Psychology and Applied Human Factors. 8 (1), 22-34 (2018).
  2. Oberhauser, M., Dreyer, D. A virtual reality flight simulator for human factors engineering. Cognition, Technology & Work. 19 (2-3), 263-277 (2017).
  3. Rolfe, J. M., Staples, K. J. . Flight Simulation. , (1986).
  4. Robinson, A., Mania, K., Perey, P. Flight simulation: Research challenges and user assessments of fidelity. Proceedings of the 2004 ACM SIGGRAPH International Conference on Virtual Reality Continuum and its Applications in Industry. , 261-268 (2004).
  5. Moroney, W. F., Moreney, B. W. Flight Simulation. Handbook of Aviation Human Factors. , 261-268 (1999).
  6. McCarty, W. D., Sheasby, S., Amburn, P., Stytz, M. R., Switzer, C. A virtual cockpit for a distributed interactive simulation. IEEE Computer Graphics and Applications. 14 (1), 49-54 (1994).
  7. Dorr, K. U., Schiefel, J., Kubbat, I. Virtual cockpit simulation for pilot training. In . The Hague, The Netherlands. What is Essential for Virtual Reality Systems to Meet Military Human Performance Goals? RTO human factors and medicine panel (HEM) workshop. , (2001).
  8. Bauer, M., Klingauf, U. Virtual-reality as a future training medium for civilian flight procedure training. AIAA Modeling and Simulation Technologies Conference and Exhibit. , 18-21 (2008).
  9. Yavrucuk, I., Kubali, E., Tarimci, O. A low cost flight simulator using virtual reality tools. IEEE Aerospace and Electronic Systems Magazine. 26 (4), 10-14 (2011).
  10. Aslandere, T., Dreyer, D., Pankratz, F., Schubotz, R. A generic virtual reality flight simulator. Virtuelle und Erweiterte Realität, 11. Workshop der GI-Fachgruppe VR/AR. , 1-13 (2014).
  11. Joyce, R. D., Robinson, S. K. The rapidly reconfigurable research cockpit. AIAA Modeling and Simulation Technologies Conference. , 22-26 (2015).
  12. Schijven, M. P., Jakimowicz, J. J., Carter, F. J. How to select aspirant laparoscopic surgical trainees: Establishing concurrent validity comparing Xitact LS500 index performance scores with standardized psychomotor aptitude test battery scores. The Journal of Surgical Research. 121 (1), 112-119 (2004).
  13. Huang, P., Zhu, X., Liu, X., Xiao, W., Wu, S. . Psychology selecting device for air force pilot recruitment based on virtual reality technology, has industrial personal computer connected with memory, where industrial control computer is connected with image display device. , (2020).
  14. Wojciechowski, P., Wojtowicz, K. Simulator sickness and cybersickness as significant indicators in a primary selection of candidates for FPV drone piloting. 2022 IEEE 9th International Workshop on Metrology for AeroSpace (MetroAeroSpace). , (2022).
  15. Ziv, G. Gaze behavior and visual attention: A review of eye tracking studies in aviation. The International Journal of Aviation Psychology. 26 (3-4), 75-104 (2016).
  16. Lai, M. L., et al. A review of using eye-tracking technology in exploring learning from 2000 to 2012. Educational Research Review. 10, 90-115 (2013).
  17. Robinski, M., Stein, M. Tracking visual scanning techniques in training simulation for helicopter landing. Journal of Eye Movement Research. 6 (2), 1-17 (2013).
  18. Yang, J. H., Kennedy, Q., Sullivan, J., Fricker, R. D. Pilot performance: Assessing how scan patterns & navigational assessments vary by flight expertise. Aviation Space and Environmental Medecine. 84 (2), 116-124 (2013).
  19. Yu, C. S., Wang, E. M. Y., Li, W. C., Braithwaite, G., Greaves, M. Pilots’ visual scan patterns and attention distribution during the pursuit of a dynamic target. Aerospace Medicine and Human Performance. 87 (1), 40-47 (2016).
  20. Haslbeck, A., Zhang, B. I spy with my little eye: Analysis of airline pilots’ gaze patterns in a manual instrument flight scenario. Applied Ergonomics. 63, 62-71 (2017).
  21. Brams, S., et al. Does effective gaze behavior lead to enhanced performance in a complex error-detection cockpit task. PLoS One. 13 (11), e0207439 (2018).
  22. Peißl, S., Wickens, C. D., Baruah, R. Eye-tracking measures in aviation: A selective literature review. The International Journal of Aerospace Psychology. 28 (3-4), 98-112 (2018).
  23. Jin, H., et al. Study on how expert and novice pilots can distribute their visual attention to improve flight performance. IEEE Access. 9, 44757-44769 (2021).
  24. Lounis, C., Peysakhovich, V., Causse, M. Visual scanning strategies in the cockpit are modulated by pilots’ expertise: A flight simulator study. PLoS One. 16 (2), e0247061 (2021).
  25. Bellenkes, A. H., Wickens, C. D., Kramer, A. F. Visual scanning and pilot expertise: The role of attentional flexibility and mental model development. Aviation Space and Environmental. 68 (7), 569-579 (1997).
  26. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A., Wickens, C. Comparison of expert and novice scan behaviors during VFR flight. Proceedings of the 11th International Symposium on Aviation Psychology. , (2001).
  27. Lorenz, B., et al. Performance, situation awareness, and visual scanning of pilots receiving onboard taxi navigation support during simulated airport surface operation. Human Factors and Aerospace Safety. 6 (2), 135-154 (2006).
  28. Horrey, W. J., Alexander, A. L., Wickens, C. D. Does workload modulate the effects of in-vehicle display location on concurrent driving and side task performance. Driving Simulator Conference North America Proceedings. , (2013).
  29. Wang, L., Ren, Y., Sun, H., Dong, C. A landing operation performance evaluation method and device based on flight data. In Engineering Psychology and Cognitive Ergonomics: Cognition and Design. , 297-305 (2017).
  30. Wang, L., Ren, Y., Wu, C. Effects of flare operation on landing safety: A study based on ANOVA of real flight data. Safety Science. 102, 14-25 (2018).
  31. Huang, R., Sun, H., Wu, C., Wang, C., Lu, B. Estimating eddy dissipation rate with QAR flight big data. Applied Sciences. 9 (23), 5192 (2019).
  32. Wang, L., Zhang, J., Dong, C., Sun, H., Ren, Y. A method of applying flight data to evaluate landing operation performance. Ergonomics. 62 (2), 171-180 (2019).
  33. Gerathewohl, S. J. Leitfaden der Militärischen Flugpsychologie. Verlag für Wehrwissenschaften. , (1987).
  34. Ugwitz, P., Kvarda, O., Juříková, Z., Šašinka, &. #. 2. 6. 8. ;., Tamm, S. Eye-tracking in interactive virtual environments: implementation and evaluation. Applied Sciences. 12 (3), 1027 (2022).
  35. Faul, F., Erdfelder, E., Lang, A. -. G., Buchner, A. G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods. 39 (2), 175-191 (2007).
  36. Boslaugh, S. E. . Snellen Chart. , (2018).
  37. He, J., Becic, E., Lee, Y. -. C., McCarley, J. S. Mind wandering behind the wheel. Human Factors: The Journal of the Human Factors and Ergonomics Society. 53 (1), 13-21 (2011).
  38. Tanveer Alam, . GitHub – tanvcodes/qar_analytics: Scripts for working with publicly available Quick Access Recorder (QAR) data from a fleet of 35 BAE-146 aircraft. GitHub. , (2022).
  39. Shapiro, S. S., Wilk, M. B. An analysis of variance test for normality (complete samples). Biometrika. 52 (3-4), 591-611 (1965).
  40. Hintze, J. L., Nelson, R. D. Violin plots: A box plot-density trace synergism. The American Statistician. 52 (2), 181-184 (1998).
  41. Cohen, J. . Statistical Power Analysis for the Behavioral Sciences (2nd ed.). , (1988).
  42. Sawilowsky, S. S. New effect size rules of thumb. Journal of Modern Applied Statistical Methods. 8 (2), 26 (2009).
  43. Bateman, T. S., Crant, J. M. The proactive component of organizational behavior: A measure and correlates. Journal of Organizational Behavior. 14 (2), 103-118 (1993).
  44. Endsley, M. R. Measurement of situation awareness in dynamic systems. Human Factors. 37 (1), 65-84 (1995).
  45. Hunter, D. R. Measuring general aviation pilot judgment using a situational judgment technique. The International Journal of Aviation Psychology. 13 (4), 373-386 (2003).
  46. Kim, H. K., Park, J., Choi, Y., Choe, M. Virtual reality sickness questionnaire (VRSQ): Motion sickness measurement index in a virtual reality environment. Applied Ergonomics. 69, 66-73 (2018).
  47. Hart, S. G. . NASA Task Load Index (TLX). , (1986).

Play Video

Cite This Article
Ke, L., Zhang, Z., Ma, Y., Xiao, Y., Wu, S., Wang, X., Liu, X., He, J. Evaluating Flight Performance and Eye Movement Patterns Using Virtual Reality Flight Simulator. J. Vis. Exp. (195), e65170, doi:10.3791/65170 (2023).

View Video