虚拟现实 (VR) 实验很难实现, 需要周密的规划。本协议描述了一种从人类参与者那里收集生理数据的 VR 实验的设计和实现方法。利用虚拟环境 (夏娃) 框架进行实验, 加快了这一过程。
虚拟现实 (VR) 实验由于其内部和外部有效性, 与实际观测和实验室实验相比, 越来越受到人们的使用。VR 对于地理可视化和空间行为的研究特别有用。在空间行为研究中, VR 为研究导航与生理措施 (如皮肤电导率、心率、血压) 之间的关系提供了一个平台。具体来说, 生理措施允许研究人员解决新的问题, 限制以前的空间能力、策略和性能理论。例如, 在导航性能上的个体差异可以解释为在多大程度上, 觉醒的变化调解任务难度的影响。然而, 虚拟现实实验的设计和实施中的复杂性可以分散实验者的主要研究目标, 并在数据收集和分析中引入不规则。为了应对这些挑战, 虚拟环境 (夏娃) 框架中的实验包括标准化的模块, 如使用控制接口的参与者培训、用问卷收集数据、同步生理测量和数据存储。夏娃还为数据管理、可视化和评估提供了必要的基础结构。本文介绍了一种利用夏娃框架在 VR 中进行导航实验的协议。该协议列出了招募参与者、附加生理传感器、使用夏娃管理实验以及利用夏娃评估工具评估收集的数据所需的步骤。总的来说, 这项议定书将通过简化虚拟现实实验的设计和实施来促进未来的研究。
了解个人导航对几个领域有重要影响, 包括认知科学1、2、3、神经科学4、5和计算机科学6,7. 在实际和虚拟环境中都对导航进行了调查。实际实验的一个优点是导航不需要控制接口的中介, 因而可能产生更现实的空间行为。相比之下, 虚拟现实 (VR) 实验允许更精确的测量行为 (例如,行走轨迹) 和生理 (例如, 心率) 数据, 以及更多的实验控制 (i., 内部有效性)。反过来, 这种方法可以导致对数据的更简单的解释, 从而更可靠的导航理论。此外, 神经科学可以受益于 VR, 因为研究人员可以调查的神经相关的导航, 而参与者从事虚拟环境, 但不能实际移动。对于计算机科学家来说, VR 中的导航需要在处理电源、内存和计算机图形方面有独特的发展, 以确保身临其境的体验。VR 实验的结果也可以应用于建筑和制图学, 通过通知设计8和地图功能9 , 以促进现实世界的导航。最近, vr 技术的进步加上成本的大幅降低, 使得使用 vr 进行实验设计的实验室数量增加。由于这种日益普及, 研究人员需要考虑如何简化 VR 应用程序的实现, 并规范实验工作流。这种方法将有助于将资源从实施转向理论的发展, 并扩展 VR 的现有能力。
VR 设置在显示和控制方面可以从更低的实际范围。更现实的 VR 设置往往需要额外的基础设施, 如大的跟踪空间和高分辨率显示10。这些系统经常使用重定向的步行算法, 以便向用户提供的视觉反馈中注入潜移默化的旋转和翻译, 并有效地扩大了参与者可以移动11的虚拟环境。,12. 这些算法可以推广, 因为它们不需要环境结构13或预测的知识, 因为它们假定用户14的特定路径。尽管大多数关于重定向行走的研究都使用了头装显示器 (HMDs), 但一些研究人员采用了这种技术的版本, 作为大型投影系统 (例如, 洞穴)15的一部分。虽然 HMDs 可以在参与者的头部进行, 洞穴显示往往提供一个更广阔的水平视野16,17。但是, 使用桌面显示18、19的 VR 系统需要较少的基础结构。神经科学研究研究还使用 VR 系统结合功能磁共振成像 (fmri) 在扫描20, 结合 fMRI 后, 扫描21,22, 并结合脑电图 (EEG) 在录音23,24。为了协调用于导航研究的各种显示和控件, 需要使用软件框架。
包含 VR 和生理学数据的研究将带来额外的挑战, 如数据采集和同步。然而, 生理数据允许调查隐含的过程, 可能调解的关系, 导航潜力和空间行为。事实上, 使用桌面 VR 和不同的生理传感器 (i.、心率、血压、皮肤电导率、唾液皮质醇和α淀粉酶) 的结合, 研究了应力与导航的关系25,26,27,28. 例如, van Gerven 和同事29研究了压力对导航策略和性能的影响, 使用了一个虚拟现实版的莫里斯水迷宫任务和一些生理措施 (e., 皮肤电导率, 心率, 血压)。结果表明, 压力预测导航策略的标志性使用 (i., 自我中心与 allocentric), 但与航海性能无关。总的来说, 以前的研究结果在压力对导航性能和空间记忆的影响方面有些不一致。这种模式可能归因于压力源的分离 (例如, 冷升压程序26, 星型镜像跟踪任务25) 从实际的导航任务, 使用简单的迷宫般的虚拟环境 (e., 虚拟莫里斯水迷宫26, 虚拟桡臂迷宫28), 和不同的方法细节 (e., 压力类型, 生理数据类型)。收集到的生理数据的格式上的差异也会对这些研究的实施和分析产生问题。
虚拟实验 (夏娃) 框架的实验促进了 VR 实验的设计、实施和分析, 特别是那些具有额外外围设备 (例如,眼球追踪器, 生理设备)30。在 GitHub (https://cog-ethz.github.io/EVE/) 上, 夏娃框架可以自由地作为开源项目使用。这个框架是基于普遍的统一3D 游戏引擎 (https://unity3d.com/) 和 MySQL 数据库管理系统 (https://www.mysql.com/)。研究人员可以使用夏娃框架来准备 VR 实验的各个阶段, 包括前期和后研究问卷, 任何生理学数据的基线测量, 与控制界面的训练, 主要的导航任务, 以及对导航环境的空间记忆的测试 (例如, 相对方向的判断)。实验者还可以控制来自不同来源的数据同步和不同级别的聚合 (例如, 跨试验、块或会话)。数据源可能是物理的 (i. e., 与用户连接; 参见材料表) 或虚拟 (i. e), 取决于参与者的头像与虚拟环境之间的相互作用。例如, 当参与者的头像移动到虚拟环境的某一特定区域时, 实验可能需要记录心率以及参与者的位置/方向。所有这些数据都将自动存储在 MySQL 数据库中, 并使用重播函数和 R 包evertools (https://github.com/cog-ethz/evertools/) 进行评估。Evertools 提供导出功能、基本描述性统计信息以及用于数据分发的诊断工具。
夏娃框架可以部署在各种物理基础设施和虚拟现实系统中。在本议定书中, 我们描述了苏黎世 NeuroLab 的一个具体执行情况 (图 1)。NeuroLab 是一个12米6米的房间, 其中包含一个独立的房间进行脑电图实验, 一个小室, 其中包含 VR 系统 (2.6 m x 2.0 m), 和一个窗帘区, 以附加生理传感器。VR 系统包括 55 “超高清电视显示屏, 高端游戏电脑, 操纵杆控制接口, 和几个生理传感器 (见材料表)。在下面的章节中, 我们描述了使用夏娃框架和生理传感器在 NeuroLab 进行导航实验的协议, 这是一个关于压力和导航的研究的代表结果, 并讨论了机会和与此系统相关的挑战。
在本文中, 我们描述了使用夏娃框架在 VR 上进行实验的协议。这些类型的实验是独一无二的, 因为额外的硬件考虑因素 (例如, 生理设备和其他外设), 使用 VR 收集生理数据的准备步骤和数据管理要求。本议定书为打算同时收集多个外设数据的实验者提供了必要的步骤。例如, 生理设备的使用需要清洗并将电极连接到参与者身体的特定位置 (如, 胸部和手指), 以不干扰其他外围设备 (e.<…
The authors have nothing to disclose.
虚拟环境是由游戏 (http://www.vis-games.de) 提供的, 以进行虚拟现实的研究。
Alienware Area 51 Base | Dell | 210-ADHC | Computation |
138cm 4K Ultra-HD LED-TV | Samsung | UE55JU6470U | Display |
SureSigns VS2+ | Philips Healthcare | 863278 | Blood Pressure |
PowerLab 8/35 | AD Instruments | PL3508 | Skin Conductance |
PowerLab 26T (LTS) | AD Instruments | ML4856 | Heart Rate |
Extreme 3D Pro Joystick | Logitech | 963290-0403 | HID |