视觉语言理解中的眼动追踪: 发现视觉语境效果的灵活性和局限性

该议定书遵循收集数据的机构的道德准则,即bielefeld 大学和柏林洪堡大学的认知交互技术卓越集群 (citec)。在 bielefeld 大学进行的实验得到了 bielefeld 大学伦理委员会的单独批准。柏林洪堡大学的心理语言学实验室有一项实验室伦理规程, 该规程得到了德国语言学学会德国语言学会 (dgfs) 德国语言学委员会伦理委员会的批准。 1. 桌面设置 注: 以下是眼动追踪实验中的关键步骤。 仪器制备 打开眼动跟踪摄像头和主机 pc (有关实验室内数据收集和预处理设置的说明, 请参见图 1 )。 启动眼动仪软件。 打开 “显示电脑”。打开包含实验的文件夹。 通过双击 “已部署” 版本, 以. exe 扩展名启动该版本。 根据设置, 可能会出现选择实验列表的提示, 该列表通常是一个制表符分隔的. csv/t. txt 文件, 其中包含参与者将向其公开的条件、声音文件名、书面句子和图像。选择列表, 程序将启动。命名将在其中存储结果的输出文件。注: 输出文件保存在显示 pc 上, 备份保存在主机上。 保持实验的第一个屏幕 (介绍或欢迎屏幕) 打开。 从眼动仪相机上取下保护盖。 为卫生起见, 请将纸巾放在下巴支架上。 可选: 根据实验要求准备响应垫和键盘。 可选: 如果显示听觉刺激, 请调整扬声器的音量, 并在运行实验之前对其进行测试。或者, 测试参与者要使用的耳机的功能。 准备必要的表格, 由参与者签署。 调整实验室中的光强, 以便在整个数据收集过程中拥有一个光线变暗、亮度恒定的房间。 为与会者做准备 参与者到达后, 介绍一下你自己。 在实验室门上放置 a . 不要打扰指示牌。 请与会者坐下。 指导参与者通过信息表和必要的同意和人口形式。 让参与者阅读并签署同意书。 简要说明实验的一般方面及其持续时间。不要在实验前提供太多信息, 因为这可能会影响参与者的凝视行为和由此产生的数据。 提供书面指示, 并给参与者提问的机会。 简要说明眼动仪的功能。 如有必要, 澄清任务并指出在实验过程中需要按下的任何按钮。 解释如何在实验过程中将下巴休息的目的是为了最大限度地减少头部运动。如果参与者避免任何移动, 请注意设备的功能最佳。 设置眼动仪 为实验的参与者做好准备: 让他们坐在桌旁, 把下巴放在下巴上休息。让他们把额头靠在头枕上。 如有必要, 请参与者调整椅子的高度和位置: 参与者下巴休息, 额头靠头, 感觉很舒服。 解释在实验过程中不小心移动头部是很常见的, 应该避免这种情况。解释在实验过程中, 头部姿势可能需要纠正。 如果实验需要按下按钮 (例如, 通过响应板), 请指示参与者将手指放在要按下的按钮上, 并避免在按下按钮时向下看响应垫。 请参与者阅读欢迎介绍屏幕。 坐在主机电脑前。如果屏幕尚未在 “相机设置”上, 请单击”相机设置”以进入正确的屏幕。如果保护盖已从相机镜头中取下, 并且参与者正确地放置在下巴休息上, 则屏幕应显示参与者眼睛的三个图像: 顶部有一个较大的图像, 左侧和右侧的底部有两个较小的图像。这些较小的图像显示, 每个眼睛都有一只眼睛, 与左眼和右眼相对应。 选择要跟踪的眼睛。按照惯例, 跟踪参与者的优势眼睛。如果参与者不知道哪只眼睛是显性的, 就进行眼睛优势测试 (步骤 1.3.8)。 确定眼睛的优势。让参与者伸出一只手臂, 用眼睛睁开的远处物体对齐拇指。要求参与者交替关闭左眼或右眼。占主导地位的眼睛是当眼睛打开35,36时拇指保持与物体对齐的眼睛。 点击图片显示电脑(或按enter), 步骤1.3.6 中描述的图像也将显示在参与者的显示屏上, 但一次只显示一个。 按实验者或参与者的计算机键盘上的左/右箭头, 在较小和较大的眼睛图像之间切换。聚焦在较小的图像 (眼睛) 上。 按任意一个键盘上的a (对齐眼睛窗口), 以便将搜索限制框居中放在瞳孔位置上。然后, 眼睛周围的一个红色正方形应该出现一个绿松石圆圈 (‘ 角膜反射 ‘, (cr)) 靠近瞳孔的底部。瞳孔本身应该是蓝色的。 确保屏幕上出现两个交叉 (“十字线”)-一个在瞳孔的中心, 一个在角膜反射的中心。红色的盒子和两个交叉意味着眼动仪正在检测瞳孔和 cr。注: 如果红色框或十字架不存在, 则不会跟踪眼睛, 如果发生这种情况, 实验者的计算机上将出现无瞳孔。 手动转动对焦镜头, 调整相机的对焦。注意不要触摸镜头的前部。转动镜头, 直到达到最佳焦点。注: 当绿松石圆 (角膜反射) 尽可能小 (即当这个圆处于焦点时), 就会达到最佳的焦点。 设置瞳孔阈值。确保主机 pc 上只有瞳孔的图像是蓝色的 (例如, 睫毛不应是蓝色的)。另外, 要确保整个瞳孔 (不仅仅是它的中心部分) 是蓝色的。只担心红色广场里面是什么。 按a。这将自动设置瞳孔阈值。如果瞳孔未准确显示为蓝色, 请使用up键手动调整阈值以增加, 向下键调整阈值以减少图像表面的蓝色部分的数量。注: 睫毛膏 (通常是黑色的, 像瞳孔) 可能会干扰设置阈值-眼动仪可能会采取黑暗睫毛的瞳孔。在这种情况下, 要求参与者通过为他们提供卸妆组织来卸妆。 设置cr 阈值。如果在1.3.15 的步骤中按下 a, 则应自动设置cr 阈值。注: 所有阈值设置的数值都应可见。如果其中任何一个中出现问号, 则前面的步骤之一存在问题, 应手动设置阈值。 校准眼动仪注: 当参与者查看屏幕的其他部分时, 检查眼动仪是否能够一致地识别眼睛的位置。 让参与者在看到相机设置窗口时, 一次看一个屏幕的四个角。仔细寻找任何不规则的反射 (这些将显示为绿松石 “斑点” 在屏幕上), 干扰角膜反射时, 眼睛的目光是指向角落。 如果眼睛周围的红色框和任何一个十字线在步骤1.4.1 的任何时间点都看不到, 请让参与者查看屏幕的中心, 然后将他们的目光定向到有问题的角落。这将有助于确定问题的根源。 重新调整参与者头部的位置, 并检查这是否会产生任何改进。如有必要, 请重复此步骤。如果设备在几次尝试后仍无法准确跟踪参与者的凝视, 请中止实验。 通知参与者, 眼动仪将被校准, 他们将看到一个黑色圆圈 (带有一个小的灰色点) 移动到屏幕的不同部分。指示参与者固定圆圈, 直到它移动到新位置。指示参与者避免紧张他们的眼睛, 并专注于黑色圆圈内的小灰点, 以获得最佳效果。 告诉参与者, 在校准过程中保持静止是很重要的, 不要试图预测下一个圆的位置。告诉他们用眼睛而不是头跟着圆圈走。单击”校准”开始校准过程。通常情况下, 使用9点校准过程, 其中黑圈以串行方式移动到9个位置。 对于自动校准, 在参与者准确地固定屏幕中间的第一个点之后, 按enter.对于手动校准 (例如, 当跟踪参与者的眼睛时, 或在处理特殊参与者组 (如儿童) 时, 通过按enter 接受每种固定 (或单击 “接受固定/按空格键)。注: 在校准过程结束时, 实验者屏幕上几乎是矩形的图案应该是可见的。这代表了参与者的眼睛注视模式。此外, 良好校准的结果应以绿色突出显示。如果不是, 请重复校准过程 (即, 单击”校准”)。 验证结果。告诉参与者通过相同的过程 (查看点), 以验证校准过程的结果。提醒他们看点, 并保持静止。注: 验证过程与校准过程相似, 眼动仪软件会对这两个结果进行比较, 以确保准确跟踪眼睛。 单击 “验证”. 通过按enter (或单击 “接受固定 “)接受每个固定。 验证后, 结果将显示在实验者的屏幕上。请特别注意两个错误度量, 平均误差 (例如0.23°) 和最大误差 (例如0.70°)。这些表示跟踪图像偏离参与者实际凝视位置的程度。 使用可视世界范例时, 将平均误差 (第一个数字) 保持在0.5°以下, 最大误差 (第二个数字) 保持在1°以下。 如果错误值高于阈值, 请要求参与者重新调整其头部的位置并重新启动校准过程。如果没有观察到改进, 中止实验。注: 当参与者佩戴隐形眼镜时, 通常会观察到较高的校准错误。应提前要求参与者携带处方眼镜, 而不是隐形眼镜。 成功完成校准过程后, 单击 “输出记录” 开始实验。通知参与者实验现在将开始。 在实验过程中注: 在实验过程中 (取决于单个实验的编程方式, 但通常在每次实验试验之前),漂移检查或漂移正确的屏幕将在屏幕中心显示一个点。其目的是报告当前试验的计算固定误差, 并根据眼动仪模型自动调整。 在指令阶段, 参与者被告知在中心点出现时固定它。确保在每个漂移检查/漂移正确的阶段, 参与者再次固定点。这可以通过跟随参与者对主机 pc 的注视来实现, 参与者的注视显示为一个移动的绿色圆圈。 漂移检查/漂移正确完成后, 按enter (或空格键) 使点消失并显示下一个试验。 根据所使用的眼动仪模型, 确定如何处理通过漂移检查阶段的故障。根据型号的不同, 眼动仪将通过调整凝视坐标以匹配中心点的坐标来执行自动漂移校正,或者发出蜂鸣声, 提示实验者在继续实验 (漂移检查)。 如果使用自动漂移校正, 请记住, 在连续试验中, 过多的漂移校正和/或过大程度的漂移校正会扭曲结果, 需要重新校准设备。 实验期间的重新校准 在实验期间的任何时候都可以重新校准。在介绍漂移更正/漂移检查屏幕的过程中, 单击”相机设置”, 然后单击 “校准”。完成校准和验证过程, 直到达到满意的值, 然后单击output/记录.实验将从试验序列中的退出点恢复。 实验结束后 向参与者提供一份调查问卷, 以评估他们是否能够猜测关键的实验操作。在这里, 询问可能在整个实验过程中开发的策略也很重要。 向参与者简要说明实验的目的。感谢他们的参与, 并提供必要的货币补偿或分配课程学分 (如果适用)。 2. 远程设置: 调整儿童和老年人学习设置 注: 本节仅介绍远程安装和桌面安装之间的差异, 如步骤1中所述。此处未明确提到的要点应假定与步骤1中描述的过程相同。 将标准的35毫米眼动仪相机镜头更换为16毫米镜头。 连接所有必要的设备 (主机电脑、扬声器、眼动仪和笔记本电脑 (如果使用笔记本电脑)。 将笔记本电脑放在笔记本电脑支架上, 眼前的眼动仪 (参与者应该能够看到屏幕的前 75%)。 在参与者的额头上放置 “目标贴纸” (可从跟踪器制造商处获得) (右眼眉毛上方或右脸颊上, 如果额头太小 (即婴儿); 如果是婴儿); 该贴纸取代了其余的下巴。桌面设置, 它允许眼动仪准确地确定参与者的头部的位置。 确保参与者坐在距离相机550-600 毫米的地方 (目标贴纸与相机的距离)。 确保主机上的 “大角度” 或 “近眼” 这两个词不会出现。如果他们这样做了, 就意味着目标贴纸的位置并不理想。在这种情况下, 请重新调整目标贴纸。这也可能意味着参与者的额头特别小。如果是这种情况, 请将贴纸放在参与者的脸颊上。注: 如果贴纸放置在离耳朵太近的地方, 则可能会出现 “大角度” 消息, 并且贴纸必须重新定位。 在开始步骤1.4 中描述的校准过程之前, 请确保参与者舒适地坐着。让他们在整个实验过程中保持相同的位置, 并解释眼动仪对身体运动非常敏感。坚持让他们保持清醒的头脑。如果参与者移动太多, 设备将发出嗡嗡声。注: 如果远程眼动仪设置用于测试敏感人群 (如儿童或老年人), 建议使用手动校准过程。 3. 调整阅读研究的设置 注: 在调查视觉上下文对阅读的影响时, 有必要特别注意校准和重新校准过程。与视觉世界研究不同的是, 考虑到跟踪单词对单词和信对字的阅读模式所需的准确性, 阅读过程中的眼动跟踪需要更高的设备精度。 确保验证阶段显示的平均和最大误差都保持在0.5°以下。 确保至少使用9点刻度进行校准。这确保了更准确地跟踪眼睛注视的位置, 这一点是必不可少的, 因为阅读过程中感兴趣的区域规模很小。