在这里,我们提出了一个协议,采用双模态干扰任务来检查口语-汉语相关句句的在线处理。介绍了两个涉及听觉处理与宫内和外干扰的范例实验。该范例提供了一种处理工作记忆的性质及其对句子处理的影响的方法。
工作记忆(WM)在理解复杂句子中起着核心作用。它在口语复杂句子处理中的功能尤为明显,因为口语复杂句子的处理是记忆密集型的。双模态干扰范式已用于研究 WM 系统如何参与复杂的句法处理。本文介绍了两个涉及听觉处理与内或外干扰的范例实验。在第一个实验中,听觉刺激 [口语-汉语相对句 (RC) 句子具有两种句法类型:主题间隔 (SRC) 与对象间隙 (ORC)] 通过句子中视觉呈现的词法决策任务进行干扰,使用三个不同的干扰时点进行操纵。在第二个实验中,通过听觉窗口移动技术呈现的相同听觉刺激,通过视觉呈现的数字记忆任务在句子之外受到干扰,并使用三个数字存储器负载进行操作。通过评估理解RC句子的主要任务如何受到次要任务的影响,我们可以解决有关中国RC处理不对称的争议性问题。与之前研究报告的结果相比,我们的结果显示了不同的RC处理模式。实验1在SRC或ORC中没有明确的RC处理优势;但是,在句子的末端观察到对 ORC 的首选项,在主动词站点找到对 SRC 的首选项。同样,实验2呈现一种动态模式。在无数字负载下,SRC 在 RC 标记区域中显示出处理优势。但是,在较高的数字负载干扰下,ORC 在同一区域中显示出处理优势。这些结果导致中国R处理中不存在明显或内在加工不对称的猜想,通过评估句法处理过程中特定干扰的方法,这些实验证明了未来的研究应用程序,用于探索涉及工作记忆的口语句子的处理指标。
工作记忆(WM)在口语句子处理中的作用是不言而喻的:由于语音的瞬态性,听众必须在记忆中保留组件声学形式,直到它们被处理。在处理语法复杂的句子时,这一方面变得更加重要。将句法关系分配给复杂句子中的单词涉及对内存中保留的短时间项执行计算操作,从而导致更高的内存需求。然而,WM系统如何参与口语句子处理是有争议的。
这场争论涉及两大分歧:一些研究人员认为,存在一个用于所有口头任务1、2的WM系统——换句话说,句法处理依赖于更多公司使用的相同内存资源。一般认知过程。这是单一资源模型。其他人则声称,根据句子的句法结构确定句子的含义涉及一个专门的WM系统,该系统独立于用于其他口头任务3,4。因此,句法处理是模块化的。这是单独的句子解释资源模型。
在心理语言研究中,双模态干扰范式被用来研究两个相互竞争的叙述。基于WM存储容量有限5,6的假设,范例通过使主要任务与辅助干预任务复杂化来解决问题。由于主要任务与辅助干预任务争夺有限的资源,难度增加,主要任务显示反应时间更长。在这种情况下,当参与者被赋予需要同时完成这两项任务的任务时,双模式干扰方法可以评估 WM 的处理负载和参与程度。
包含RC成分的句子由于其众所周知的复杂句法结构而造成更多的理解困难,被广泛用于研究WM系统如何参与处理复杂句子。然而,尽管处理复杂句子对与语音处理相关的 WM 资源提出了更高的要求,但 WM 是否被认为会导致具有头首 RC 的语言的句法移动成本,这一点不太清楚结构(如英语)反映了具有头最终 R(如中文)的语言的句法复杂性。通过使用双模态干扰范式,目前的研究揭示了这个问题。
处理两个RC结构(主题差距和对象间隔相对条款(SRC与ORC)方面的困难一直是广泛辩论的主题。这些争议主要在不同类型语言中观察到。在头首语言(如英语)中,相对子句遵循其修改的头名词,一般发现以下示例 1(a) 中的 SR 与示例 1(b) 中的 ORC 更容易处理。
如示例 (1)所示,在英语中,SMC 和 ORC 之间的间隙表面位置差异很小。这个间隙被索引为e1,头名词”演员”(称为填充物)后的空白位置,由其从RC中取出。然而,在RC领域差距的语法结构和功能方面,SRC和ORC有很大的不同。记忆成本是填充物与间隙之间结构依赖性的整合和解决的一个合适的目标,已被广泛用于深入了解WM在语言处理和理解中的作用。
例如,理解和处理这些后字号 RC 需要索引头名词”参与者”作为功能主体或动词”批评”的对象在 SRC 和 ORC 中,然后将头名词存储在 WM 中,以便以后可以分配给主句中动词”承认”的语法主题。
与一致发现与头-初始语言,理解SRC比理解ORCs更容易,混合的结果报告关于RC处理不对称的中文,这是一个头最终的语言,其中一个相对子句位于头名词之前。一些人观察到了SRC处理优势,而另一些则报告了相反的模式(即ORC处理优势)。后一种研究路线还提出,RC处理不对称可以通过WM来调节,正如从自定进度阅读性能7、8、9的研究中获得的结果所暗示的。
如上所述,关于 WM 在(复杂)句法处理中的作用,有两种相互竞争的模式。一是”语法处理是模块化的”,二是”语法处理是一般性的”。在理解难度方面存在众所周知差异的复杂句子,即英语中的 SMC 与 ORC,常用于双模式干扰 (DMI) 任务中,以检查与模块化问题有关的这两个断言,因为WM 的参与声称与处理不对称并行。因此,通过干扰任务诱导并发内存负载可以演示 WM 对句法处理的影响。其基本原理是,无论存在单个口头 WM 系统还是单独的模块化句法系统,由于 WM 资源限制,使系统具有干扰任务会使句法处理效率降低。与处理语法更简单的句子(SRC,英文)相比,处理语法上更复杂的句子(ORC,英语)的方式提供了WM的具体效果的证据,并指明了涉及的 WM。
与英语等头首语言相比,中文 R 表示头部-最终形成,并表现出一种填充间隙的关系。索引的移出元素(间隙)位于与其关联的头名词前面,如 2(a)、SRC 和 2(b)ORC 所示。
处理中文 RC 的争议是,SR 报告不一致地比 ORC 更容易处理,这种差异对语言处理和理解理论提出了挑战。由于相对化器”DE”之前的标称内容必须存储在 WM 中,直到间隙(移动头名词”参与者”被链接和检索)之后,理解此过程仍有助于深入了解 WM 在语言处理中的作用。
在目前的研究中,由于听力在处理过程中具有很强的压缩性,并且与 WM 的功能密切相关,因此对口头 RC 句子处理进行了研究。使用双模态干扰范式是因为干扰是短期听觉记忆中一种公认的遗忘函数。当干扰事件发生10时,存储在内存中的表示形式可能会降级并随后丢失。根据不同方面(在目前情况下:语言内和外数字,见下文)到规范的口语句子,分散干扰器允许我们测量在不同处理阶段和以下情况下集成增量输入的成本不同的干扰条件。
基于处理更多语法复杂的句子比处理简单句子更重化 WM 的位置,可以假设在理解过程中操作干扰类型应对句子处理。言下之意,处理语法上更复杂的句子将需要比例更大或不成比例地增加在线的收听时间,并且在在线句子理解评估中的表现比将更差处理语法上更简单的构造。目前的研究考察了句子处理过程中的干扰可以索引WM参与,并实际上将其价值置于句法模块化问题之外的假设:它提出关于中国RC处理的争议可以WM在语言理解中具有基础性作用,通过对WM的调查加以阐解释。因此,在中国RC处理中使用DMI任务的重要性,为解决目前关于中国RC处理不对称的争论提供了一条途径。
本文介绍了两个使用中分和外干扰的听觉处理的范例实验。这两项实验的目的是探讨WM在不同干扰条件下处理中国RC的程度。
在第一个实验中,视觉上呈现的词法决策任务被用作点内干扰。作为次要干扰任务,在目标相对子句的听觉表示过程中,在三个点上引入了单词/非词词词决定任务(LDT),从而可以在这些点测量处理难度。本实验中的主要问题是相对子句 (RC) 中的间隙如何与矩阵子句 (MC) 中的填充物相关联,以及它是否影响后续 MC 的处理。因此,要测量的三个探测点在 MC 区域之后设置。示例 3 所示,从 (2) 复制的三个探测点中,有箭头指示并与相应的句法串联对齐,其中 3(a) 显示 SRC,3(b) 显示 ORC。
图 1显示了 LDT 在三个探测点中的任何一个干扰连续听觉 RC 演示的过程。时序设计遵循了LDT任务在以前的中文处理研究11中的传统协议。例如,每个可视 LDT 试验都以一个交叉符号”+”开头,指示监视器中心 500 ms 的固定点,然后是可视 LDT 刺激,该刺激显示在屏幕上 3,000 ms,并在被主体制作后立即消失词汇决定。一个典型的主题在30-35分钟内完成实验1,包括练习单元。
图1:具有词法决策任务的内干扰过程。
请点击此处查看此图的较大版本。
三个探测站点以及 LDT 任务:
1. 位置 1 (P1): 后 SMC区域
要测量的第一个位置 (P1) 紧接在 RC 边界之后区域的 MC 主体之后。此站点预计会产生处理负载。首先,在这一点(SMC)之前,RC域中的主题间隙和对象间隙构造分别形成对比动词对象(VO)和主题动词(SV)结构。另一种是,要将 RC 区域中的成分与 MC 中的头名词集成,听众必须确定间隙的语法作用,并将其与即将推出的填充头名词联系起来
2. 位置 2 (P2): 后 VMC区域
要测量的第二个位置 (P2) 紧接在矩阵子句 (VMC) 中的动词之后。此站点还假定用于诱导处理负载。集成口头信息需要侦听器检索句子中的名词参数,并从前面的 RC 域或 RC 修改的头名词中标识矩阵动词的代理。
3. 位置 3 (P3): 后记区域
要测量的第三个位置 (P3) 紧接在句子的结尾。先前关于处理的研究提出,有一个句子结尾的总结效应,即一种现象,即非句法信息(如话语和语义水平)在句子末尾被考虑,以激活和完成理解12 , 13.因此,处理负荷应增加接近句子的结尾,由于需要集成这个非语法信息14,15。假定位置 3 显示处理负载的退化,因为此站点周围已尝试解析句子。
在第二个实验中,采用了听觉移动窗口(AMW)任务。AMW技术被认为能够捕获在线语言处理期间的资源分配模式,并被广泛用于试图区分两种相互竞争的WM方法16,17。假定在处理瞬息万变的口语句子的过程中,课外干扰应使听众花费额外的时间。在 AMW 范例下,参与者听到被分割成单词的句子,他们按下键盘上的键开始播放后续片段。因此,按键之间为启动后续分段和控制传入信息流而暂停的持续时间反映了参与者对相关特定语言特征的响应。例如,如果分时干扰对处理不同句法复杂性的句子有一定的影响,则参与者在启动后续句段之前将表现出相应的较长暂停持续时间。这些过程已进行架构化,如图2所示。
图 2:具有数字调用任务的外送干扰过程。
请点击此处查看此图的较大版本。
以下协议显示了研究人员如何使用视觉呈现的词法决策任务作为点内干扰和并发算术干扰负载作为外送干扰来调查 WM 参与和处理中国RC的不对称,并阐述了基本逻辑。
研究表明,在内干扰任务和外干扰任务中使用DMI方法有助于阐明WM在口语句子处理中的作用,并阐明中国RC处理不对称问题。不出所料,通过测量二级任务的干扰对听众在初级句子处理上的表现的影响程度,我们可以推断出中文RC处理的模式,并得出一个可行的解决方案, 解决关于中文SRC/ORC处理优势。
干扰效应表明,无论干扰来源如何,WM在口语句子处理中起着至关重要的作?…
The authors have nothing to disclose.
这项研究得到了台湾科技部(R.O.C.)对第一作者程图元(Tuyuan Cheng)的资助。作者感谢实验室成员,杨亚辉和陈佩汉,在NTIN,他们协助准备和进行实验。
E-Prime | Psychology Software Tools | version Professional 2.0 | |
Headphone | Logitech | ||
Praat | Praat | 5.3.43 | The online software used to edit the sound files for listening; http://www.fon.hum.uva.nl/praat/ |
Serial Response Box | Psychology Software Tools | ||
Standard PC | ASUS K42Jv laptop |