使用事件相关电位分析在表达性语音中实现稳健声音身份识别的基于记忆的训练和测试范式

人类的声流信息丰富，例如情绪 ^1,2、健康状况 ^3,4、生理性别⁵、年龄⁶，更重要的是，个人声音身份 ^7,8。研究表明，人类听众具有强大的能力，可以通过声音识别和区分同伴的身份，从而克服了声学空间中说话人身份基于平均值的表示的说话人内部差异⁹。这种变化是由声学操纵（基频和声带长度，即F0和VTL）引起的，它对应于没有明确的语用意图9（clear pragmatic intentions）⁹、情感韵律¹⁰（emotion prosodies）和传达说话者认知感的声音自信¹¹。行为实验集中在影响听众识别说话者表现的许多因素上，包括与语言相关的操作 ^{8,12,13，与}参与者相关的特征，如音乐体验或阅读能力 ^14,15，以及与刺激相关的适应，如倒退语音或非单词^16,17;更多信息可以在文献综述中找到^18,19。最近的一些实验调查了说话人身份表征的个体差异如何破坏识别准确性，考虑了包括高与低情绪表达¹⁶ 和中性与恐惧韵律⁵ 等方面;正如 A Review²⁰ 所建议的那样，更多可能的情况可供进一步调查。

对于第一个研究空白，该研究提出，说话人识别的神经学基础尚未充分探索说话人内部差异如何挑战听众的大脑活动。例如，在 Zäske 等人基于 fMRI 的说话人识别任务中，参与者的右颞后上回 （pSTG）、右额下回/额中回 （IFG/MFG）、右内侧额回和左尾状核在正确识别为老说话者与新说话者时表现出激活减少，无论语言内容相同还是不同²¹.然而，Zäske 等人早期的脑电图 （EEG） 研究并没有观察到当说话人身份变异通过不同的文本引入时，这种旧/新效应²²。具体来说，当听众遇到他们熟悉的训练有素的说话者表达相同的文本时（即，听到具有非变化语言内容的重播），在 Pz 电极上检测到一个更大的、较晚的正分量 （LPC），范围为 300 到 700 毫秒，当说话者提供新文本时，不存在。

为了支持 Zäske 等人 ²¹ 的断言，本研究怀疑，尽管在事件相关电位 （ERP） 分析中训练和测试会话之间的语言内容存在差异，但仍可以观察到旧/新效应。这一基本原理源于这样一种观念，即在使用不同文本的情况下，Zäske 等人²² 中没有旧/新效应，这可能归因于在训练任务期间缺乏额外的检查会话，以确保彻底和有效的身份学习，正如 Lavan 等人所建议的²³。因此，该研究的首要目标是检验和验证这一假设。本研究旨在通过在训练-测试范式²² 中添加检查会话来测试这一点。

本研究旨在解决的另一个关键问题是在存在语音韵律的情况下说话人识别的稳健性。之前的行为研究表明，听众特别难以识别不同韵律的说话者，这表明韵律上下文的调节作用——听众在不同的训练测试韵律条件下表现不佳。本研究旨在通过让听众在自信或可疑的韵律中识别熟悉的说话者来测试这一点²⁴。本研究预计观察到的 ERP 差异将有助于解释语音韵律如何影响身份识别。

本研究的核心目标是调查旧/新效应在说话人识别中的稳健性，特别是检查在自信和可疑的韵律中识别说话者是否存在差异。Xu 和 Armony¹⁰ 使用训练-测试范式进行了一项行为研究，他们的发现表明，听众无法克服韵律差异（例如，受过训练以识别中性韵律的说话者，并在恐惧韵律上进行测试），并且只能达到低于机会水平¹⁰ 的准确性。声学分析表明，表达不同情绪状态的说话人与 VTL/F0 调制有关;例如，置信韵律的特征是 VTL 延长和 F0 降低，而可疑韵律^11,24 则相反。另一个证据来自 Lavan 等人的研究²³，该研究证实了听众可以适应说话者的 VTL 和 F0 变化，并形成基于平均值的谈话者表示。本研究调和了，从行为数据的角度来看，听众可能仍然能够识别出跨韵律说话者的身份（例如，受过训练可以在自信的韵律中识别一个人，但在可疑的韵律中进行测试;在准备中的单独手稿中报告）。然而，说话人识别的神经相关性，特别是 Zäske 等人²²观察到的旧/新效应的普遍性，仍然不清楚。因此，目前的研究致力于验证置信韵律与可疑韵律中旧/新效应的稳健性，作为测试的背景。

该研究引入了与以前旧/新效应研究研究范式的背离。虽然过去的研究侧重于旧/新说话者的识别如何影响感知，但本研究通过将两个置信水平（自信与怀疑）纳入范式（因此，一项 2+2 研究）来扩展这一点。这使我们能够在自信和可疑语音韵律的上下文中研究说话人识别。该范例可以探索旧/新效果的稳健性。在自信和可疑的语音环境中对记忆效应和感兴趣区域 （ROI） 的分析可作为这项调查的证据。

总而言之，该研究旨在更新对语音识别的脑电图相关性的理解，假设即使 1） 语言内容不同，以及 2） 存在自信与可疑的韵律，也可以观察到脑电图旧/新效应的扩大 LPC。本研究通过三步范式调查了这些假设。首先，在训练阶段，参与者在三种声音及其相应的名称之间建立了关联。随后，在检查阶段，他们的任务是从三名候选人中确定与声音相对应的名称。这种检查遵循 Lavan 等人 ²³ ，旨在克服对老说话人熟悉不足的问题，当训练和测试阶段的文本不同时，这会导致未观察到的旧/新效应⁶，并且说话者无法识别中性和恐惧韵律的说话者¹⁰。最后，在测试阶段，参与者在两个替代强制选择任务中区分了三个旧的和三个新的说话人声音，语音韵律表现为自信或可疑。使用 64 通道 EEG 系统收集 EEG 数据，并在分析前进行预处理。统计分析和事件相关电位 （ERP） 分析在 RStudio 中进行，而 MATLAB 用于脑地形图分析。

关于设计细节，本研究提出了一个说话者身份学习实验，该实验控制说话者的身高，这与 VTL 有关，并影响对谁在说话的印象²³。这方面也影响社会印象，例如感知支配²⁵ （perception dominance），这种更高层次的印象形成可能与解码说话人身份²⁶ （Decoding speaker identity） 相互作用。