Summary

利用双模干扰任务对汉语口语复杂句子的在线句法处理进行考察

Published: September 05, 2019
doi:

Summary

在这里,我们提出了一个协议,采用双模态干扰任务来检查口语-汉语相关句句的在线处理。介绍了两个涉及听觉处理与宫内和外干扰的范例实验。该范例提供了一种处理工作记忆的性质及其对句子处理的影响的方法。

Abstract

工作记忆(WM)在理解复杂句子中起着核心作用。它在口语复杂句子处理中的功能尤为明显,因为口语复杂句子的处理是记忆密集型的。双模态干扰范式已用于研究 WM 系统如何参与复杂的句法处理。本文介绍了两个涉及听觉处理与内或外干扰的范例实验。在第一个实验中,听觉刺激 [口语-汉语相对句 (RC) 句子具有两种句法类型:主题间隔 (SRC) 与对象间隙 (ORC)] 通过句子中视觉呈现的词法决策任务进行干扰,使用三个不同的干扰时点进行操纵。在第二个实验中,通过听觉窗口移动技术呈现的相同听觉刺激,通过视觉呈现的数字记忆任务在句子之外受到干扰,并使用三个数字存储器负载进行操作。通过评估理解RC句子的主要任务如何受到次要任务的影响,我们可以解决有关中国RC处理不对称的争议性问题。与之前研究报告的结果相比,我们的结果显示了不同的RC处理模式。实验1在SRC或ORC中没有明确的RC处理优势;但是,在句子的末端观察到对 ORC 的首选项,在主动词站点找到对 SRC 的首选项。同样,实验2呈现一种动态模式。在无数字负载下,SRC 在 RC 标记区域中显示出处理优势。但是,在较高的数字负载干扰下,ORC 在同一区域中显示出处理优势。这些结果导致中国R处理中不存在明显或内在加工不对称的猜想,通过评估句法处理过程中特定干扰的方法,这些实验证明了未来的研究应用程序,用于探索涉及工作记忆的口语句子的处理指标。

Introduction

工作记忆(WM)在口语句子处理中的作用是不言而喻的:由于语音的瞬态性,听众必须在记忆中保留组件声学形式,直到它们被处理。在处理语法复杂的句子时,这一方面变得更加重要。将句法关系分配给复杂句子中的单词涉及对内存中保留的短时间项执行计算操作,从而导致更高的内存需求。然而,WM系统如何参与口语句子处理是有争议的。

这场争论涉及两大分歧:一些研究人员认为,存在一个用于所有口头任务1、2的WM系统——换句话说,句法处理依赖于更多公司使用的相同内存资源。一般认知过程。这是单一资源模型。其他人则声称,根据句子的句法结构确定句子的含义涉及一个专门的WM系统,该系统独立于用于其他口头任务3,4。因此,句法处理是模块化的。这是单独的句子解释资源模型。

在心理语言研究中,双模态干扰范式被用来研究两个相互竞争的叙述。基于WM存储容量有限5,6的假设,范例通过使主要任务与辅助干预任务复杂化来解决问题。由于主要任务与辅助干预任务争夺有限的资源,难度增加,主要任务显示反应时间更长。在这种情况下,当参与者被赋予需要同时完成这两项任务的任务时,双模式干扰方法可以评估 WM 的处理负载和参与程度。

包含RC成分的句子由于其众所周知的复杂句法结构而造成更多的理解困难,被广泛用于研究WM系统如何参与处理复杂句子。然而,尽管处理复杂句子对与语音处理相关的 WM 资源提出了更高的要求,但 WM 是否被认为会导致具有头首 RC 的语言的句法移动成本,这一点不太清楚结构(如英语)反映了具有头最终 R(如中文)的语言的句法复杂性。通过使用双模态干扰范式,目前的研究揭示了这个问题。

处理两个RC结构(主题差距和对象间隔相对条款(SRC与ORC)方面的困难一直是广泛辩论的主题。这些争议主要在不同类型语言中观察到。在头首语言(如英语)中,相对子句遵循其修改的头名词,一般发现以下示例 1(a) 中的 SR 与示例 1(b) 中的 ORC 更容易处理。

Equation 1

如示例 (1)所示,在英语中,SMC 和 ORC 之间的间隙表面位置差异很小。这个间隙被索引为e1,头名词”演员”(称为填充物)后的空白位置,由其从RC中取出。然而,在RC领域差距的语法结构和功能方面,SRC和ORC有很大的不同。记忆成本是填充物与间隙之间结构依赖性的整合和解决的一个合适的目标,已被广泛用于深入了解WM在语言处理和理解中的作用。

例如,理解和处理这些后字号 RC 需要索引头名词”参与者”作为功能主体或动词”批评”的对象在 SRC 和 ORC 中,然后将头名词存储在 WM 中,以便以后可以分配给主句中动词”承认”的语法主题。

与一致发现与头-初始语言,理解SRC比理解ORCs更容易,混合的结果报告关于RC处理不对称的中文,这是一个头最终的语言,其中一个相对子句位于头名词之前。一些人观察到了SRC处理优势,而另一些则报告了相反的模式(即ORC处理优势)。后一种研究路线还提出,RC处理不对称可以通过WM来调节,正如从自定进度阅读性能7、8、9的研究中获得的结果所暗示的。

如上所述,关于 WM 在(复杂)句法处理中的作用,有两种相互竞争的模式。一是”语法处理是模块化的”,二是”语法处理是一般性的”。在理解难度方面存在众所周知差异的复杂句子,即英语中的 SMC 与 ORC,常用于双模式干扰 (DMI) 任务中,以检查与模块化问题有关的这两个断言,因为WM 的参与声称与处理不对称并行。因此,通过干扰任务诱导并发内存负载可以演示 WM 对句法处理的影响。其基本原理是,无论存在单个口头 WM 系统还是单独的模块化句法系统,由于 WM 资源限制,使系统具有干扰任务会使句法处理效率降低。与处理语法更简单的句子(SRC,英文)相比,处理语法上更复杂的句子(ORC,英语)的方式提供了WM的具体效果的证据,并指明了涉及的 WM。

与英语等头首语言相比,中文 R 表示头部-最终形成,并表现出一种填充间隙的关系。索引的移出元素(间隙)位于与其关联的头名词前面,如 2(a)、SRC 和 2(b)ORC 所示。

Equation 1

处理中文 RC 的争议是,SR 报告不一致地比 ORC 更容易处理,这种差异对语言处理和理解理论提出了挑战。由于相对化器”DE”之前的标称内容必须存储在 WM 中,直到间隙(移动头名词”参与者”被链接和检索)之后,理解此过程仍有助于深入了解 WM 在语言处理中的作用。

在目前的研究中,由于听力在处理过程中具有很强的压缩性,并且与 WM 的功能密切相关,因此对口头 RC 句子处理进行了研究。使用双模态干扰范式是因为干扰是短期听觉记忆中一种公认的遗忘函数。当干扰事件发生10时,存储在内存中的表示形式可能会降级并随后丢失。根据不同方面(在目前情况下:语言内和外数字,见下文)到规范的口语句子,分散干扰器允许我们测量在不同处理阶段和以下情况下集成增量输入的成本不同的干扰条件。

基于处理更多语法复杂的句子比处理简单句子更重化 WM 的位置,可以假设在理解过程中操作干扰类型应对句子处理。言下之意,处理语法上更复杂的句子将需要比例更大或不成比例地增加在线的收听时间,并且在在线句子理解评估中的表现比将更差处理语法上更简单的构造。目前的研究考察了句子处理过程中的干扰可以索引WM参与,并实际上将其价值置于句法模块化问题之外的假设:它提出关于中国RC处理的争议可以WM在语言理解中具有基础性作用,通过对WM的调查加以阐解释。因此,在中国RC处理中使用DMI任务的重要性,为解决目前关于中国RC处理不对称的争论提供了一条途径。

本文介绍了两个使用中分和外干扰的听觉处理的范例实验。这两项实验的目的是探讨WM在不同干扰条件下处理中国RC的程度。

在第一个实验中,视觉上呈现的词法决策任务被用作点内干扰。作为次要干扰任务,在目标相对子句的听觉表示过程中,在三个点上引入了单词/非词词词决定任务(LDT),从而可以在这些点测量处理难度。本实验中的主要问题是相对子句 (RC) 中的间隙如何与矩阵子句 (MC) 中的填充物相关联,以及它是否影响后续 MC 的处理。因此,要测量的三个探测点在 MC 区域之后设置。示例 3 所示,从 (2) 复制的三个探测点中,有箭头指示并与相应的句法串联对齐,其中 3(a) 显示 SRC,3(b) 显示 ORC。

Equation 1

图 1显示了 LDT 在三个探测点中的任何一个干扰连续听觉 RC 演示的过程。时序设计遵循了LDT任务在以前的中文处理研究11中的传统协议。例如,每个可视 LDT 试验都以一个交叉符号”+”开头,指示监视器中心 500 ms 的固定点,然后是可视 LDT 刺激,该刺激显示在屏幕上 3,000 ms,并在被主体制作后立即消失词汇决定。一个典型的主题在30-35分钟内完成实验1,包括练习单元。

Figure 1
图1:具有词法决策任务的内干扰过程。
请点击此处查看此图的较大版本。

三个探测站点以及 LDT 任务:

1. 位置 1 (P1): 后 SMC区域

要测量的第一个位置 (P1) 紧接在 RC 边界之后区域的 MC 主体之后。此站点预计会产生处理负载。首先,在这一点(SMC)之前,RC域中的主题间隙和对象间隙构造分别形成对比动词对象(VO)和主题动词(SV)结构。另一种是,要将 RC 区域中的成分与 MC 中的头名词集成,听众必须确定间隙的语法作用,并将其与即将推出的填充头名词联系起来

2. 位置 2 (P2): 后 VMC区域

要测量的第二个位置 (P2) 紧接在矩阵子句 (VMC) 中的动词之后。此站点还假定用于诱导处理负载。集成口头信息需要侦听器检索句子中的名词参数,并从前面的 RC 域或 RC 修改的头名词中标识矩阵动词的代理。

3. 位置 3 (P3): 后记区域

要测量的第三个位置 (P3) 紧接在句子的结尾。先前关于处理的研究提出,有一个句子结尾的总结效应,即一种现象,即非句法信息(如话语和语义水平)在句子末尾被考虑,以激活和完成理解12 , 13.因此,处理负荷应增加接近句子的结尾,由于需要集成这个非语法信息14,15。假定位置 3 显示处理负载的退化,因为此站点周围已尝试解析句子。

在第二个实验中,采用了听觉移动窗口(AMW)任务。AMW技术被认为能够捕获在线语言处理期间的资源分配模式,并被广泛用于试图区分两种相互竞争的WM方法16,17。假定在处理瞬息万变的口语句子的过程中,课外干扰应使听众花费额外的时间。在 AMW 范例下,参与者听到被分割成单词的句子,他们按下键盘上的键开始播放后续片段。因此,按键之间为启动后续分段和控制传入信息流而暂停的持续时间反映了参与者对相关特定语言特征的响应。例如,如果分时干扰对处理不同句法复杂性的句子有一定的影响,则参与者在启动后续句段之前将表现出相应的较长暂停持续时间。这些过程已进行架构化,如图2所示。

Figure 2
图 2:具有数字调用任务的外送干扰过程。
请点击此处查看此图的较大版本。

以下协议显示了研究人员如何使用视觉呈现的词法决策任务作为点内干扰和并发算术干扰负载作为外送干扰来调查 WM 参与和处理中国RC的不对称,并阐述了基本逻辑。

Protocol

这些实验的管理遵循了所有研究伦理法规。所有受试者在进行实验前都提供了知情的口头和书面同意。所有程序、同意书和实验规程均获台湾国立诚公大学研究伦理委员会批准。 1. 实验1=双模内干扰任务 从台南市护理学院和全国台南中学招收97名学生、54名女生和42名男性学生参加实验1。注:所有参与者都必须以流利的中文母语为母语,视力正常或矫正,且没有自?…

Representative Results

在双模态LDT内和数字外载荷任务中都观察到了干扰效应。考虑到实验1中的三个探针点,LDT内任务的RT结果表现为RC处理的动态模式,作为两种RC类型的函数。如图3所示,ORC 类型在位于矩阵主题 (SMC)之后的位置上和句子 (P3) 的末尾具有处理优势,而 SRC 类型在矩阵谓词 (V MC) 之后的位置具有优势) 后 RC (P2)。句子类型的简单主效应在 P2 和 P3 上显著?…

Discussion

研究表明,在内干扰任务和外干扰任务中使用DMI方法有助于阐明WM在口语句子处理中的作用,并阐明中国RC处理不对称问题。不出所料,通过测量二级任务的干扰对听众在初级句子处理上的表现的影响程度,我们可以推断出中文RC处理的模式,并得出一个可行的解决方案, 解决关于中文SRC/ORC处理优势。

干扰效应表明,无论干扰来源如何,WM在口语句子处理中起着至关重要的作?…

Divulgaciones

The authors have nothing to disclose.

Acknowledgements

这项研究得到了台湾科技部(R.O.C.)对第一作者程图元(Tuyuan Cheng)的资助。作者感谢实验室成员,杨亚辉和陈佩汉,在NTIN,他们协助准备和进行实验。

Materials

E-Prime Psychology Software Tools version Professional 2.0
Headphone Logitech
Praat Praat 5.3.43 The online software used to edit the sound files for listening; http://www.fon.hum.uva.nl/praat/
Serial Response Box Psychology Software Tools
Standard PC ASUS K42Jv laptop

Referencias

  1. Just, M. A., Carpenter, P. A. A capacity theory of comprehension: Individual differences in working memory. Psychological Review. 99, 122-149 (1992).
  2. King, J., Just, M. A. Individual differences in syntactic processing: The role of working memory. Journal of Memory and Language. 30, 580-602 (1991).
  3. Caplan, D., Waters, G. S. Verbal working memory and sentence comprehension. Behavioral & Brain Sciences. 22, 77-94 (1999).
  4. Waters, G., Caplan, D., Yampolsky, S. On-line syntactic processing under concurrent memory load. Psychonomic Bulletin & Review. 10 (1), 88-95 (2003).
  5. Cowan, N. . Working Memory Capacity. , (2005).
  6. Miller, G. A. The magical number seven, plus or minus two: Some limits on our capacity for processing information. Psychological Review. 63, 81-97 (1956).
  7. Chen, B., Ning, A., Bi, H., Dunlap, S. Chinese subject-relative clauses are more difficult to process than the object-relative clauses. Acta Psychologica. 129, 61-65 (2008).
  8. Gibson, E., Wu, H. H. Processing Chinese relative clauses in context. Language and Cognitive Processes. 28, 125-155 (2013).
  9. Hsiao, F., Gibson, E. Processing relative clauses in Chinese. Cognition. 90, 3-27 (2003).
  10. Lewandowsky, S., Oberauer, K., Brown, G. D. A. No temporal decay in verbal short-term memory. Trends in Cognitive Science. 13, 120-126 (2009).
  11. Wu, J. T., Chou, T. L., Liu, I. M., Chang, H. W., Huang, J. T., Hue, C. W., Tzeng, O. J. L. The locus of the character/word frequency effect. Advances in the study of Chinese language processing. , 31-58 (1994).
  12. Fodor, J. D., Ni, W., Crain, S., Shankweiler, D. Tasks and timing in the perception of linguistic anomaly. Journal of Psycholinguistic Research. 25 (1), 25-57 (1996).
  13. Swinney, D., Zurif, E. Syntactic processing in aphasia. Brain and Language. 50 (2), 225-239 (1995).
  14. Balogh, J., Zurif, E., Prather, P., Swinney, D., Finkel, L. Gap-filling and end-of-sentence effects in real-time language processing: implications for modeling sentence comprehension in aphasia. Brain and Language. 61 (2), 169-182 (1998).
  15. Granier, J. P., Robin, D. A., Shapiro, L. P., Peach, R. K., Zimba, L. D. Measuring processing load during sentence comprehension: visuomotor tracking. Aphasiology. 14 (5-6), 501-513 (2000).
  16. Waters, G. S., Caplan, D. Age, working memory, and on-line syntactic processing in sentence comprehension. Psychology and Aging. 16, 128-144 (2001).
  17. Waters, G. S., Caplan, D. Working memory and online syntactic processing in Alzheimer’s disease: Studies with auditory moving window presentation. Journal of Gerontology: Psychological Sciences. 57B, 298-311 (2002).
  18. Cheng, T., Cheung, H., Wu, J. Spoken relative clause processing in Chinese: measure from an alternative task. Language and Linguistics. 12 (3), 669-705 (2011).
  19. Cheng, T., Wu, J., Huang, S. Use of Memory-Load Interference in Processing Spoken Chinese Relative Clauses. Journal of Psycholinguistic Research. 47 (5), 1035-1055 (2018).
  20. CKIP. . Zhongwen shumianyu pinlü cidian [Dictionary of Chinese written word frequency], CKIP Technical Report, No. 94-01. , (1994).
  21. MacWhinney, B., James, J., Schunn, C., Li, P., Schneider, W. Step—A system for teaching experimental psychology using E-Prime. Behavior Research Methods, Instruments, and Computers. 33 (2), 287-296 (2001).
  22. Ferreira, F., Henderson, J., Anes, M., Weeks, P., McFarlane, D. Effects of lexical frequency and syntactic complexity in spoken language comprehension: Evidence from the auditory moving-window technique. Journal of Experimental Psychology: Learning, Memory, and Cognition. 22, 324-335 (1996).
  23. Daneman, M., Carpenter, P. A. Individual differences in working memory and reading. Journal of Verbal Learning and Verbal Behavior. 19, 450-466 (1980).
  24. Bulut, T., Cheng, S. K., Xu, K. Y., Hung, D. L., Wu, D. H. Is there a processing preference for object relative clauses in Chinese? Evidence from ERPs. Frontiers in Psychology. 9, 1-18 (2018).
  25. Mitchell, D. C., Green, D. W. The effects of context and content on immediate processing in reading. Quarterly Journal of Experimental Psychology. 30 (4), 609-636 (1978).

Play Video

Citar este artículo
Cheng, T., Wu, J. Examining Online Syntactic Processing of Spoken Complex Sentences in Chinese Using Dual-Modal Interference Tasks. J. Vis. Exp. (151), e59660, doi:10.3791/59660 (2019).

View Video