Был создан новый авиасимулятор виртуальной реальности, который позволяет эффективно и недорого оценивать летные характеристики и паттерны движений глаз. Он также предоставляет высокопотенциальный исследовательский инструмент для эргономики и других исследований.
Эффективная и экономичная оценка эффективности пилотов стала критически важной для авиационной отрасли. С развитием виртуальной реальности (VR) и сочетанием технологии отслеживания движения глаз решения для удовлетворения этих потребностей становятся реальностью. В предыдущих исследованиях изучались авиасимуляторы на основе виртуальной реальности, уделяя основное внимание проверке технологий и обучению полетам. В текущем исследовании был разработан новый VR-симулятор полета для оценки летных характеристик пилотов на основе движения глаз и показателей полета в 3D-иммерсивной сцене. В ходе эксперимента было набрано 46 участников: 23 профессиональных пилота и 23 студента колледжа без опыта полетов. Результаты эксперимента показали существенные различия в летных характеристиках между участниками с опытом полетов и без него, причем первые были выше, чем вторые. Напротив, те, у кого был опыт полетов, показали более структурированные и эффективные модели движений глаз. Данные результаты дифференциации летно-технических характеристик демонстрируют валидность современного VR-тренажера полета в качестве метода оценки летно-технических характеристик. Различные модели движения глаз в зависимости от опыта полета служат основой для выбора полета в будущем. Тем не менее, этот авиасимулятор на основе виртуальной реальности имеет такие недостатки, как обратная связь по движению по сравнению с традиционными авиасимуляторами. Эта платформа авиасимулятора отличается высокой гибкостью, за исключением очевидной низкой стоимости. Он может удовлетворить различные потребности исследователей (например, измерять осведомленность о ситуации, болезнь виртуальной реальности и рабочую нагрузку путем добавления соответствующих шкал).
Европейское агентство по авиационной безопасности (2012 г.) классифицирует авиационные тренажеры как учебные центры, тренажеры летных и навигационных программ, летное учебное оборудование и полные авиационные тренажеры1. На сегодняшний день для обучения доступен целый ряд авиационных тренажеров, от низкоуровневых настольных систем до очень сложных полнопилотажных тренажеровна основе движения2. Традиционный симулятор включает в себя модель динамики полета, симуляцию системы, аппаратную кабину, внешнюю визуализацию и опциональную симуляцию движения3.
Эти традиционные авиационные тренажеры имеют некоторые преимущества в качестве эффективного оборудования для летной подготовки. Однако их стоимость высока и экологически небезопасна, так как привод каждой системы требует существенной электрической энергии, особенно для полноценного тренажера, который требует высокой температуры и высокого давления жидкости или давления воздуха, потребляет много энергии и генерируетмного шума4.
Тем не менее, простая настольная система симулятора является гибкой и недорогой, с меньшим погружением и меньшим количеством взаимодействий, чем полнопилотажный симулятор2. Поэтому крайне важно разрабатывать новые авиасимуляторы, сочетающие в себе преимущества настольных систем и полнопилотажных тренажеров (иными словами, гибкость настольного симулятора и уровень погружения и взаимодействия, близкий к полнопилотажному симулятору).
С развитием компьютерных технологий, особенно технологии виртуальной реальности (VR), новый тип авиасимулятора, основанный на новой технологии VR, становится реальностью. Авиасимулятор на основе виртуальной реальности является гибким, портативным, недорогим и требует меньше места, чем обычные авиасимуляторы5. За последние 20 лет исследователи создали авиасимуляторы на основе технологии VR 6,7,8,9,10,11; однако эти VR-симуляторы полетов в основном предназначены для летной подготовки, и их мало для отбора пилотов. Тем не менее, со снижением стоимости и совершенствованием технологий, симуляторы на основе виртуальной реальности меняются и становятся возможными для индивидуального выбора. В некоторых исследованиях использовались симуляторы на основе виртуальной реальности для персонального отбора в различных областях: Schijven et al.12 отбирали хирургов-стажеров с помощью симулятора виртуальной реальности. Huang et al.13 разработали психологический инструмент отбора на основе технологии виртуальной реальности для набора пилотов ВВС. Войцеховский и Войтович14 оценивали возможности кандидата в качестве пилота беспилотного летательного аппарата (БПЛА) на основе технологии виртуальной реальности. Учитывая, что отбор пилотов имеет решающее значение для авиационной отрасли, необходимо разработать новый авиасимулятор на основе виртуальной реальности, ориентированный на выбор пилотов, поскольку широкомасштабный отбор пилотов зависит от стоимости тренажера и требований к портативной системе тренажера.
Движения глаз служат сигналами для пилота. Различные исследования показали, что режим сканирования глаз различает производительность между опытными и начинающими пилотами. Сравнивая схему сканирования у экспертов и новичков, можно дифференцировать эффективное и структурное поведение глаз экспертов и неадекватные методы сканирования у новичков. Несколько авиационных исследований показали, что стратегия сканирования глаз пилотов в значительной степени связана с уровнем квалификации 15,16,17,18,19,20,21,22,23,24. Согласно Bellenkes et al.25, продолжительность фиксаций специалистов короче, а частота их фиксации на инструментах выше, чем у новичков. Почти такой же вывод был сделан Касарскисом и соавторами, которые обнаружили, что опытные пилоты имеют больше фиксаций в сочетании с более короткой продолжительностью, чем новички, предположили, что опытные пилоты имеют лучший визуальный режим, чем новички. В другом исследовании, Lorenz et al.27 выяснил, что специалисты проводят больше времени, глядя за пределы кабины, чем новички. Эти результаты имеют большое практическое значение при отборе новичков.
Оценка летных характеристик является еще одним важным фактором при выборе пилота. Тем не менее, в оценке летных характеристик пилотов существуют следующие проблемы: противоречивые мнения экспертов, большее количество норм отбора и единая теория отбора. В области вождения Horrey et al.28 сравнили абсолютное значение отклонения полосы движения от центральной линии для различных экспериментальных условий для оценки эффективности вождения. Возвращаясь к авиационной сфере, регистратор быстрого доступа к полету (QAR) записывает все виды параметров управления пилотом, параметры самолета, окружающую среду и предупреждающую информацию во время полета29. Более конкретно, как показывают индикаторы QA, угол тангажа – это угол поворота вокруг левой и правой осей летательного аппарата30, а контрольная линия (или центральная контрольная линия) находится прямо посередине красной и зеленой линий28; Эти два параметра полета используются для оценки летных характеристик участников с опытом или без него в текущем исследовании. Эти данные QAR могут быть использованы для оценки летных характеристик, но, насколько нам известно, они редко используются для личных тренировок и отбора внаучных исследованиях.
Измерения движений глаз могут быть использованы для оценки и прогнозирования летных характеристик, а также для обучения и отбора пилотов. 33-летний Гератевол заявил, что глаз является важнейшим органом чувств пилота, обрабатывающим 80% полетной информации. Пилоты должны получать визуальную информацию от приборов в кабине и интегрировать ее в целостное изображение для управления полетом22. Кроме того, оптимальное поведение сканирования имеет важное значение для достижения лучших летных характеристик15. Тем не менее, ни один доступный авиасимулятор в настоящее время не включает в себя айтрекер для облегчения количественных исследований взаимосвязи между движениями глаз и летными характеристиками.
В текущем исследовании был разработан новый авиасимулятор виртуальной реальности, чтобы оценить, были ли участники с опытом полетов иметь лучшие летные характеристики, чем те, у кого не было опыта полетов. Авиасимулятор виртуальной реальности объединяет в себе отслеживание глаз и систему динамики полета, позволяющую анализировать характер движений глаз и оценивать летные характеристики. В частности, стоит упомянуть, что в авиасимуляторе VR используется VR-трекер34, а не стеклянный или настольный айтрекер, для анализа движения глаз на основе области интереса (AOI) без трудоемкого подсчета кадров.
Наконец, настоящая работа может привести к комплексным измерениям для выбора пилотов в будущем, начиная с траектории сканирования глаза и заканчивая объективными данными о летных характеристиках. С помощью виртуального авиасимулятора затраты на подбор рейса будут значительно снижены, а норма пилотов может быть сформирована на основе обширного сбора данных. Работа заполняет пробел между обычными и настольными тренажерами для нужд выбора полетов.
В текущем исследовании оценивалось, имели ли участники с опытом полетов лучшие летные характеристики, чем те, кто не имел опыта полетов на симуляторе полета на основе виртуальной реальности. Что еще более важно, было оценено, можно ли найти более оптимизированный паттерн движения глаз ?…
The authors have nothing to disclose.
Авторы выражают неимоверную благодарность господину Ли Яню за помощь в наборе участников пилотного проекта и выражают признательность госпоже Бу Линъюнь за ее работу по рисованию картинок. Исследование было поддержано Национальным фондом естественных наук Китая (грант No T2192931, 72071185), Национальным проектом «Мозг» (грант No STI2030-Major Projects 2022ZD0208500), Национальным ключевым лабораторным проектом инженерии человеческого фактора (грант No SYFD062003), Национальным ключевым лабораторным проектом инженерии человеческого фактора (грант No 6142222210201), а также грантом на крупные проекты военно-логистических исследований 2022 года и ключевым проектом комплексного оборудования ВВС Научно-исследовательская работа (грант No KJ2022A000415).
3D engine SDK | Epic Games | Unreal Engine 4 GameAnalytics Unreal SDK |
This SDK is a powerful yet flexible free analytics tool designed for games. |
CPU | Intel | IntelCore i9 | One of the most powerful CPU on the mainstream market. |
Eye tracking SDK | Tobii | Tobii XR SDK | This SDK provide device agnostic access to eye tracking data to allow development for headsets from many different hardware vendors and is not limited to devices using Tobii Eye Tracking hardware. |
Eye tracking software | Developed by the research team | A program that tracks the movement of a person's eyes while they are using a virtual reality HMD. | |
FlySimulator program | Developed by the research team | A software that simulates flying experiences in a virtual environment, using VR HMD and hand-held controllers. | |
Graphics card | NVIDIA | GeForce RTX 3090 10496 NVIDIA CUDA Cores 1.70 GHz Boost Clock 24 GB Memory Size GDDR6X Memory Type |
One of the most powerful graphics card on the mainstream market. |
Operating system (OS) | Microsoft | Windows XP | An operating system (OS) developed and exclusively distributed by Microsoft Corporation |
Replica control panel | THRUSTMASTER | 2960720 2971004 2962072 2960748 2960769 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica joystick | THRUSTMASTER | 2960720 | U.S. Air Force A-10C attack aircraft HOTAS |
Replica pedal | THRUSTMASTER | TPR pendular rudder | |
Replica throttle | THRUSTMASTER | U.S. Air Force A-10C attack aircraft HOTAS | |
Screen connected to PC | Redmi | RMMNT27NF, 27-inch, 1920 X 1080 resolution ratio | Screen allows the experimenter to simultaneously view what is happening in the VR HMD |
Screen recording software | OBS Project | OBS Studio Version 28.0 | A free and open source software for video recording and live streaming |
Statistical power analysis software | Open-Source | G*power Version 3.1.9.6 | A free and user-friendly tool for estimating statistical power and sample size. |
Statistical software | IBM | SPSS Version 24.0 | A powerful statistical software platform |
Versatile statistics tool | GraphPad Software | GraphPad Prism Version 9.4.0 | A versatile statistics tool purpose-built for scientists-not statisticians |
VR app store | HTC Corporation | VIVE Software 2.0.17.6 / 2.1.17.6 | An app store for virtual reality where customers can explore, create, connect, and experience the content they love and need. |
VR head-mounted display (HMD) | HTC Corporation | VIVE Pro Eye | A VR headset with precision eye tracking |
VR software | Steam | Steam VR Version 1.23 | A tool for experiencing VR content on the hardware |