Summary

デュアルモーダル干渉タスクを使用した中国語での音声複雑な文章のオンライン構文処理の検証

Published: September 05, 2019
doi:

Summary

ここでは、話し言葉と中国語の相対句文のオンライン処理を調べるために、デュアルモーダル干渉タスクを用いたプロトコルを紹介する。内および非指向性干渉を伴う聴覚処理を伴う2つの例例実験について説明する。パラダイムは、ワーキングメモリの性質と文処理への影響に対処するための方法論を提供します。

Abstract

ワーキングメモリ(WM)は、複雑な文章の理解において中心的な役割を果たします。話された複雑な文の処理におけるその機能は、話された複雑な文の処理がメモリ集約的であるため、特に明らかです。デュアルモーダル干渉パラダイムは、WM システムが複雑な構文処理にどのように関与しているかを調べるために使用されています。この記事では、聴覚的干渉または非指向性干渉を伴う聴覚処理を含む 2 つの例例実験を紹介します。最初の実験では、2つの構文タイプを持つ聴覚刺激[話し言葉-中国語相対句(RC)文:被験者ギャップ(SRC)とオブジェクトギャップ(ORC))は、文内の視覚的に提示された字句決定タスクを介して干渉され、3つの異なる干渉タイムポイントを使用して操作されます。2番目の実験では、聴覚ウィンドウ移動技術を介して提示された同じ聴覚刺激は、文章を超えて視覚的に提示されたデジタルリコールタスクを介して干渉され、3つのデジタルメモリ負荷を使用して操作される。RC文を理解する主なタスクが二次的なタスクにどのように影響するかを評価することにより、中国のRC処理非対称性に関する論争の問題に取り組むことができます。我々の結果は、以前の研究で報告されたものと比較して、RC処理の異なるパターンを明らかにする。実験1は、SRCまたはORCのいずれの明確なRC処理の利点も明らかにしない。ただし、ORC の優先度は文の最後に観察され、SRC の優先はメイン動詞サイトにあります。同様に、実験 2 は動的パターンを示します。桁なしの負荷の下では、SRC は RC マーカー領域の処理上の利点を示します。ただし、桁負荷の高い干渉の下では、ORC は同じリージョンで処理上の利点を示します。これらの結果は、中国のACの処理に明白または本質的な処理非対称性が存在しないという推測につながる。ワーキング メモリを含む話し言葉の文の処理メトリックを調べるアプリケーション。

Introduction

話し言葉の文処理中のワーキングメモリ(WM)の役割は自明です:音声の一時的な性質のために、リスナーは、彼らが処理されるまで、彼らの記憶にコンポーネント音響形態を保持する必要があります。この側面は、構文的に複雑な文の処理中にさらに重要になります。複雑な文の単語に構文関係を割り当てると、メモリに保持されている項目に対して短期間の計算操作を実行し、メモリ需要が増加します。しかし、WMシステムが話し言葉の文処理にどのように関与しているかは議論の余地がある。

この論争は2つの主要な意見の相違を伴う:一部の研究者は、すべての言語タスク1、2使用される単一のWMシステムが存在すると主張する- 言い換えれば、構文処理はより多くの人が使用する同じメモリリソースに依存している一般的な認知プロセス。これは単一リソース モデルです。他の人は、その構文構造に基づいて文の意味を決定すると、他の言語タスク3、4のために使用されるものとは別の特殊なWMシステムを含むと主張しています。この静脈では、構文処理はモジュール式である。これは、個別の文解釈リソース モデルです。

心理言語学的研究では、デュアルモーダル干渉パラダイムが2つの競合するアカウントを調べるために使用されています。WM ストレージ容量が56に制限があるという前提に基づいて、パラダイムは、プライマリ タスクとセカンダリ介在タスクを複雑にすることによって問題に対処します。プライマリ タスクがセカンダリ介在タスクと限られたリソースを競合することを考えると、難易度が高まり、プライマリ タスクの反応時間が長くなります。このような状況では、デュアルモーダル干渉アプローチにより、参加者が両方のタスクを同時に実行する必要があるタスクが与えられた場合に、WM の関与の処理負荷と範囲を評価できます。

よく知られている複雑な構文構造により理解が困難となるRC成分を含む文章は、WMシステムが複雑な文章の処理にどのように関与しているかを調えるために広く使用されている。しかし、複雑な文章を処理すると、音声処理に関連する WM リソースに対する需要が高くなりますが、ヘッドイニシャル RC を持つ言語での構文移動のコストに寄与すると考えられている WM が影響を受けるかどうかは、あまり明らかではありません。構造 (英語など) は、ヘッドファイナルの LC (中国語など) を持つ言語の構文の複雑さを反映しています。デュアルモーダル干渉パラダイムの使用を通じて、現在の研究は、この問題に光を当てる。

2つのRC構造(サブジェクト・ギャップとオブジェクト・ギャップ相対句)の処理に関連する困難は、広範な議論の対象となっています。これらの論争は、主に類人化異なる言語間で観察される。英語などの先頭言語では、相対句が変更する先頭名詞に従って、例 1(a) などの SLC は例 1(b) の ORC よりも簡単に処理されることがわかります。

Equation 1

例 (1) に示すように、英語では、SAC と ORC の間でギャップのサーフェス位置が最小に異なります。このギャップは e 1としてインデックス付けされ、先頭名詞 ‘アクター’(フィラーと呼ばれます) の後の空の位置は、RC から削除されます。しかし、SRCとORCは、RCドメインにおけるギャップの文法構造と機能の点で大きく異なる。充填装置とギャップの構造的依存関係を統合して解決するためのメモリコストは、実験的研究の対象となり、言語処理と理解におけるWMの役割に関する洞察を得るために広く使用されてきました。

たとえば、これらの名義 RC を理解して処理するには、SRC と ORCで説明された動詞 ‘ の関数名詞 ‘アクター ‘ のインデックスを作成し、後で WM にヘッド名詞を格納する必要があります。動詞 ‘承認’の文法科目に割り当てられます。

SRCを理解する方がORCを理解するよりも簡単であるというヘッドイニシャル言語との一貫した発見とは対照的に、親戚が相対的な最終言語である中国語のRC処理非対称性に関して、混合した結果が報告されている。句は頭名詞の前に置きます。SRC処理の利点を観察している人もいれば、反対のパターン(ORC処理の利点)を報告しているものもあります。研究の後者はまた、自己ペースの読み取り性能7、8、9の研究から得られた結果によって示唆されているように、RC処理非対称性がWMによって変調され得ることも提案した。

前述のように、(複雑な) 構文処理で WM が果たす役割に関する 2 つの競合するモデルがあります。1つは「構文処理はモジュール式」で、もう1つは「構文処理が一般的である」というものです。理解の難易度の相違点、すなわち、SLCと英語のORCの複雑な文章は、モジュール性の問題に関してこれらの2つのアサーションを調べるために、デュアルモーダル干渉(DMI)タスクで頻繁に使用されます。WM の関与は、処理の非対称性を並行すると主張されます。したがって、干渉タスクを介して同時メモリ負荷を誘導することは、構文処理に対するWMの影響を示す。その根拠は、単一の言語 WM システムまたは別個のモジュラー構文システムが存在するかどうか、干渉タスクをシステムに関与させると、WM リソースの制限により構文処理が効率が低下するという点です。DMI タスクで構文的により複雑な文 (ORC、 英語) を処理する方法は、構文的に単純な文 (SRC、 英語) の処理と比較して、WM の特定の効果に関する証拠を提供し、どの WM が関与しているのか。

英語などの頭の初期言語とは対照的に、中国語のRCはヘッドファイナルフォーメーションを明らかにし、ギャップフィラー関係を示します。インデックス付き移動要素であるギャップは、2 (a) SRC、および 2 (b) ORC に示すように、それに関連付けた先頭名詞の前に配置されます。

Equation 1

中国のACの処理に起因する論争は、SACがORCよりも処理しやすいと一貫して報告されておらず、この不一致は言語処理と理解の理論に課題を提起しているということです。相対化器 ‘DE’ の前の公名コンテンツは、ギャップの後まで WM に格納する必要があるため (移動した頭名詞 ‘actor’) がリンクされて取得されるため、このプロセスを理解することは、言語処理における WM の役割に関する洞察を得るのに役立ちます。

今回の研究では、リスニングは処理中に非常に圧縮性が高く、WMの機能と密接に関連しているため、話し言葉のRC文処理を検討する。デュアルモーダル干渉パラダイムは、干渉が短期聴覚記憶における確立された忘忘れ関数であるため使用されます。メモリに格納されているリプレゼンテーションは、干渉イベントが10に発生すると、劣化し、その後失われる可能性があります。正規の話し言葉文に対して異なる側面(現在の場合:言語学的および外デジタル、以下を参照)に沿って変化するディストラクタは、異なる処理段階および下の間に増分入力を統合するコストを測定することができます異なる干渉条件。

より構文的に複雑な文章を処理すると、単純な文を処理するよりもWMがオーバーロードするという立場に基づいて、理解の過程で干渉の種類を操作することは、に影響を与えるべきであると仮定することができます。文処理。暗黙的に、構文的により複雑な文章を処理するには、オンラインで比例的に大きいまたは不均衡に大きいリスニング時間が必要であり、オンライン後の文章理解評価のパフォーマンスが意志よりも悪いことを示します。構文的に単純な構造を処理します。今回の研究では、文処理中の干渉がWMの関与を指数化し、構文モジュール性の問題を超えてその価値を事実上置くことができるという仮説を検証する: 中国のRC処理に関する論争が可能であるという考えを提案する言語理解における基本的な役割により、WMの調査を通じて解明された。したがって、中国のRC処理におけるDMIタスクの使用に伴う意義は、中国のRC処理非対称性に関する進行中の議論を解決するための道筋を提供する。

この記事では、イントラ干渉と非指向性干渉の両方を使用した聴覚処理を含む 2 つの例例実験を紹介します。この2つの実験の目的は、WMが異なるタイプの干渉の下で中国のRCの処理にどの程度従事しているのかを調べることです。

最初の実験では、視覚的に提示された字句決定タスクが、心内干渉として使用されました。二次干渉タスクとして、単語/非単語字句決定タスク(LDT)は、ターゲット相対句文の聴覚提示中に3点で導入され、これらの点で処理の難易度を測定することが可能となった。この実験の主な懸念事項は、相対節(RC)のギャップが行列節(MC)のフィラーにどのように関連付けられ、後続のMCの処理に影響を与えるかどうかである。したがって、測定する3つのプローブサイトは、MC領域の後に設定された。例は、(2)から複製され、矢印で示され、対応する構文連結に位置合わせされた3つのプローブサイトのうち、例3で示し、3(a)はSRCおよび3(b)がORCを示す。

Equation 1

図1は、3つのプローブサイトのいずれかでLDTによる連続聴覚RCプレゼンテーションを妨害する手順を示す。タイミング設計は、以前の中国の処理研究11におけるLDTタスクの従来のプロトコルに従う。たとえば、各ビジュアル LDT トライアルは、モニターの中央に固定点を示すクロスサイン “+” で始まり、その後に 3,000 ミリ秒の画面に表示される視覚的な LDT 刺激が続き、被写体が作った直後に消えます。字句的な決定。典型的な被験者は、30~35分以内に演習を含む実験1を完了します。

Figure 1
図 1: 構文的な意思決定タスクを伴う間の干渉手順。
この図のより大きなバージョンを表示するには、ここをクリックしてください。

LDT タスクと共に 3 つのプロービング サイト:

1. ポジション 1 (P1): ポスト SMCリージョン

測定される最初の位置(P1)は、RC境界の後の領域におけるMCの被験者の直後である。このサイトでは処理負荷が発生する見込みです。一つには、この点(SMC)の前に、RCドメイン内のサブジェクトギャップとオブジェクトギャップ構造は、それぞれ対照的動詞オブジェクト(VO)および主動詞(SV)構造を形成する。もう一つは、RC地域の構成要素をMCの頭名詞と統合するために、リスナーはギャップの文法的役割を識別し、今後のフィラーヘッド名詞とリンクする必要があります。

2. 位置 2 (P2): ポスト VMCリージョン

測定される2番目の位置(P2)は、行列節(VMC)の動詞の直後である。この部位は、処理負荷を誘発することも想定される。言語情報を統合するには、リスナーが文中の名詞引数を取得し、前の RC ドメインまたは RC が変更する頭名詞から行列動詞のエージェントを識別する必要があります。

3. 位置 3 (P3): ポストセンテンス領域

測定される3番目の位置(P3)は、文の終わりの直後である。処理に関する以前の研究は、文末のラップアップ効果があることを提案しています-非構文情報(例えば、談話と意味レベル)が活性化し、完全な理解12を文の終わりに考慮される現象 、13.したがって、この非構文情報14,15を統合する必要があるため、処理負荷は文の終わりに向かって増加する必要があります。位置3は、このサイトの周りに文の解像度が試みられたため、処理負荷の低下を示していると仮定します。

2 番目の実験では、聴覚移動ウィンドウ (AMW) タスクが採用されました。AMW技術は、オンライン言語処理中にリソース割り当てのパターンをキャプチャできると考えられており、2つの競合するWMアプローチ16、17を区別する試みで広く使用されています。一時的な今後の音声文の処理中にリスナーに余分な時間を要する必要があると推測されます。AMWパラダイムでは、参加者は単語に分割された文章を聞き、キーボードのキーを押して後続のセグメントの再生を開始しました。したがって、キープレス間の一時停止の期間は、後続のセグメントを開始し、着信情報の流れを制御するために、問題の特定の言語機能に対する参加者の応答性を反映します。例えば、異なる構文の複雑さの文章の処理に対して、異なるセンタテインションの干渉が一定の影響を及ぼす場合、参加者は後続のセグメントを開始する前に、それに応じて長時間の休止期間を示します。手順は概略化され、図 2 に示されています。

Figure 2
図 2: 桁のリコール タスクを伴う送信後干渉手順。
この図のより大きなバージョンを表示するには、ここをクリックしてください。

次のプロトコルは、研究者が視覚的に提示された字句決定タスクを間内干渉として使用する方法と、WM の関与と処理を調査するための非センタ干渉としての同時演算干渉負荷を示しています。中国のLCの非対称性と根本的な論理を詳述する。

Protocol

これらの実験の管理は、すべての研究倫理規則に従った。すべての被験者は、実験が実施される前に、口頭および書面による同意を得た。すべての手順、同意書、および実験プロトコルは、台湾の国立チョンクン大学の研究倫理委員会によって承認されました。 1. 実験 1―デュアルモーダル内接干渉タスク 国立台南看護学研究所と国立台南中等学校から97名、女?…

Representative Results

干渉効果は、デュアルモーダルイントラLDTと超桁負荷タスクの両方で観察されました。実験1の3つのプローブサイトを考慮すると、LDT内タスクのRT結果は、2つのRCタイプの関数としてRC処理の動的パターンを明らかにした。図3に示すように、ORC型は、RC(P1)の後と文の末端(P3)の後にマトリックス主体(SMC)をポストする位置で処理上の利点を示すのに対し、SRC型は行?…

Discussion

本研究は、DMI法を使用して、内干渉タスクと非指向性干渉タスクの両方を使用することは、話し言葉文処理におけるWMの役割を解明し、中国のRC処理非対称性の問題を明らかにするのに役立つ可能性があることを示している。予想通り、二次的なタスクからの干渉が一次文処理に対するリスナーのパフォーマンスにどの程度影響を与えたかを測定することにより、中国のRC処理のパターンを推?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

この研究は、台湾の科学技術省(NsC-101-2410-H-439-001)から最初の著者、Tuyuan Chengへの助成金によって支援されました。著者らは、NTINのヤン・ヤホイとチェン・ペイハンの研究室メンバーに対し、実験の準備と実施に対する支援に感謝している。

Materials

E-Prime Psychology Software Tools version Professional 2.0
Headphone Logitech
Praat Praat 5.3.43 The online software used to edit the sound files for listening; http://www.fon.hum.uva.nl/praat/
Serial Response Box Psychology Software Tools
Standard PC ASUS K42Jv laptop

References

  1. Just, M. A., Carpenter, P. A. A capacity theory of comprehension: Individual differences in working memory. Psychological Review. 99, 122-149 (1992).
  2. King, J., Just, M. A. Individual differences in syntactic processing: The role of working memory. Journal of Memory and Language. 30, 580-602 (1991).
  3. Caplan, D., Waters, G. S. Verbal working memory and sentence comprehension. Behavioral & Brain Sciences. 22, 77-94 (1999).
  4. Waters, G., Caplan, D., Yampolsky, S. On-line syntactic processing under concurrent memory load. Psychonomic Bulletin & Review. 10 (1), 88-95 (2003).
  5. Cowan, N. . Working Memory Capacity. , (2005).
  6. Miller, G. A. The magical number seven, plus or minus two: Some limits on our capacity for processing information. Psychological Review. 63, 81-97 (1956).
  7. Chen, B., Ning, A., Bi, H., Dunlap, S. Chinese subject-relative clauses are more difficult to process than the object-relative clauses. Acta Psychologica. 129, 61-65 (2008).
  8. Gibson, E., Wu, H. H. Processing Chinese relative clauses in context. Language and Cognitive Processes. 28, 125-155 (2013).
  9. Hsiao, F., Gibson, E. Processing relative clauses in Chinese. Cognition. 90, 3-27 (2003).
  10. Lewandowsky, S., Oberauer, K., Brown, G. D. A. No temporal decay in verbal short-term memory. Trends in Cognitive Science. 13, 120-126 (2009).
  11. Wu, J. T., Chou, T. L., Liu, I. M., Chang, H. W., Huang, J. T., Hue, C. W., Tzeng, O. J. L. The locus of the character/word frequency effect. Advances in the study of Chinese language processing. , 31-58 (1994).
  12. Fodor, J. D., Ni, W., Crain, S., Shankweiler, D. Tasks and timing in the perception of linguistic anomaly. Journal of Psycholinguistic Research. 25 (1), 25-57 (1996).
  13. Swinney, D., Zurif, E. Syntactic processing in aphasia. Brain and Language. 50 (2), 225-239 (1995).
  14. Balogh, J., Zurif, E., Prather, P., Swinney, D., Finkel, L. Gap-filling and end-of-sentence effects in real-time language processing: implications for modeling sentence comprehension in aphasia. Brain and Language. 61 (2), 169-182 (1998).
  15. Granier, J. P., Robin, D. A., Shapiro, L. P., Peach, R. K., Zimba, L. D. Measuring processing load during sentence comprehension: visuomotor tracking. Aphasiology. 14 (5-6), 501-513 (2000).
  16. Waters, G. S., Caplan, D. Age, working memory, and on-line syntactic processing in sentence comprehension. Psychology and Aging. 16, 128-144 (2001).
  17. Waters, G. S., Caplan, D. Working memory and online syntactic processing in Alzheimer’s disease: Studies with auditory moving window presentation. Journal of Gerontology: Psychological Sciences. 57B, 298-311 (2002).
  18. Cheng, T., Cheung, H., Wu, J. Spoken relative clause processing in Chinese: measure from an alternative task. Language and Linguistics. 12 (3), 669-705 (2011).
  19. Cheng, T., Wu, J., Huang, S. Use of Memory-Load Interference in Processing Spoken Chinese Relative Clauses. Journal of Psycholinguistic Research. 47 (5), 1035-1055 (2018).
  20. CKIP. . Zhongwen shumianyu pinlü cidian [Dictionary of Chinese written word frequency], CKIP Technical Report, No. 94-01. , (1994).
  21. MacWhinney, B., James, J., Schunn, C., Li, P., Schneider, W. Step—A system for teaching experimental psychology using E-Prime. Behavior Research Methods, Instruments, and Computers. 33 (2), 287-296 (2001).
  22. Ferreira, F., Henderson, J., Anes, M., Weeks, P., McFarlane, D. Effects of lexical frequency and syntactic complexity in spoken language comprehension: Evidence from the auditory moving-window technique. Journal of Experimental Psychology: Learning, Memory, and Cognition. 22, 324-335 (1996).
  23. Daneman, M., Carpenter, P. A. Individual differences in working memory and reading. Journal of Verbal Learning and Verbal Behavior. 19, 450-466 (1980).
  24. Bulut, T., Cheng, S. K., Xu, K. Y., Hung, D. L., Wu, D. H. Is there a processing preference for object relative clauses in Chinese? Evidence from ERPs. Frontiers in Psychology. 9, 1-18 (2018).
  25. Mitchell, D. C., Green, D. W. The effects of context and content on immediate processing in reading. Quarterly Journal of Experimental Psychology. 30 (4), 609-636 (1978).

Play Video

Cite This Article
Cheng, T., Wu, J. Examining Online Syntactic Processing of Spoken Complex Sentences in Chinese Using Dual-Modal Interference Tasks. J. Vis. Exp. (151), e59660, doi:10.3791/59660 (2019).

View Video