이중 모달 간섭 작업을 사용하여 중국어로 음성 복잡한 문장의 온라인 구문 처리 검토

음성 문장 처리 중 작업 메모리(WM)의 역할은 자명합니다: 음성의 일시적인 특성으로 인해 청취자는 처리될 때까지 구성 요소 음향 형태를 메모리에 유지해야 합니다. 이러한 측면은 구문적으로 복잡한 문장을 처리하는 동안 더욱 중요해집니다. 복잡한 문장의 단어에 구문 관계를 할당하려면 짧은 시간 동안 메모리에 보존된 항목에 대한 계산 작업을 수행하여 메모리 수요가 증가합니다. 그러나 WM 시스템이 말하는 문장 처리에 어떻게 관여하는지는 논란의 여지가 있다.

이 논쟁은 두 가지 주요 불일치를 포함: 일부 연구자들은 모든 구두 작업에 사용되는 단일 WM 시스템이 존재한다고 주장^1,2—즉, 구문 처리는 더 많은 사람들이 사용하는 동일한 메모리 리소스에 의존 일반적인 인지 과정. 단일 리소스 모델입니다. 다른 사람들은 구문 구조에 따라 문장의 의미를 결정하는 것은 다른 구두 작업에 사용되는 것과는 별개로 특수 WM 시스템을^{포함한다고}주장했다^3,4. 이 맥락에서, 구문 처리는 모듈식이다. 이것은 별도의 문장 해석 리소스 모델입니다.

심리학 연구에서, 이중 모달 간섭 패러다임은 두 경쟁 계정을 검사하는 데 사용되었습니다. WM 저장소 용량이^5,6으로제한된다는 가정하에 패러다임은 보조 중간 작업으로 기본 작업을 복잡하게 하여 문제를 해결합니다. 기본 작업이 보조 중간 작업과 제한된 리소스를 위해 경쟁한다는 점을 감안할 때, 난이도가 증가하고 기본 작업은 더 긴 반응 시간을 나타낸다. 이러한 상황을 감안할 때 이중 모달 간섭 접근 방식은 참가자가 두 작업을 동시에 수행해야 하는 작업을 받을 때 WM의 처리 부하와 참여 정도를 평가할 수 있게 합니다.

잘 알려진 복잡한 구문 구조로 인해 더 많은 이해력을 유발하는 RC 구성 요소를 포함하는 문장은 WM 시스템이 복잡한 문장을 처리하는 데 어떻게 관련되어 있는지 조사하는 데 널리 사용됩니다. 그러나 복잡한 문장을 처리하는 것은 음성 처리와 관련된 WM 리소스에 더 많은 수요를 가하지만, 헤드 초기 RC가있는 언어의 구문 이동 비용에 기여할 것으로 생각되는 WM이 있는지 여부는 분명하지 않습니다. 구조(예: 영어)는 최종 VC(예: 중국어)를 통해 언어의 구문 적 복잡성을 반영합니다. 이중 모달 간섭 패러다임을 사용하여 현재 연구는이 문제에 빛을 발산합니다.

두 개의 RC 구조, 주제 간격 및 개체 간격 상대 절 (SRC 대 ORC)를 처리하는 것과 관련된 어려움은 광범위한 논쟁의 대상이되었습니다. 이러한 논쟁은 주로 유형학적으로 다른 언어에서 관찰됩니다. 상대 절이 수정하는 머리 명사다음에 있는 영어와 같은 초기 언어에서 일반적인 결과는 예 1(a)과 같은 SRC가 예제 1(b)의 ORC보다 더 쉽게 처리된다는 것입니다.

예(1)에 표시된 것처럼 영어로 간격의 표면 위치는 SCC와 ORC 간에 최소한으로 다릅니다. 이러한 간격은 RC에서 제거하여 남겨진 머리 명사‘actor'(필러라고함)의 빈 위치인 _e1로인덱싱됩니다. 그러나, SRC와 ORC는 RC 도메인의 갭의 문법 구조와 기능면에서 실질적으로 다르다. 충전제와 갭 사이의 구조적 종속성을 통합하고 해결하기 위한 메모리 비용은 실험 연구를 위한 적절한 목표이며 언어 처리 및 이해에서 WM의 역할에 대한 통찰력을 얻기 위해 널리 사용되어 왔습니다.

예를 들어, 이러한 사후 RC를 이해및 처리하려면 SRC 및 ORC에서 머리 명사‘를기능적 주체 또는 동사의 개체로 인덱싱한 다음 나중에 WM에 머리 명사를 저장해야 합니다. 동사의 문법 주제에 할당 ‘인정‘ 주요 절에.

SRC를 이해하기 쉽다는 헤드 초기 언어와 일관된 발견과는 달리, 상대가 하는 머리 최종 언어인 중국어의 RC 처리 비대칭에 대해 혼합된 결과가 보고되었습니다. 절은 머리 명사 앞에 옵니다. 일부는 SRC 처리 이점을 관찰한 반면 다른 일부는 반대 패턴(즉, ORC 처리 이점)을 보고했습니다. 연구의 후자 라인은 또한 RC 처리 비대칭이 WM에 의해 변조 될 수 있음을 제안, 자기 주도^{독서 성능의}연구에서 얻은 결과에 의해 제안^7,8,9.

위에서 언급했듯이 WM이 (복잡한) 구문 처리에서 수행하는 역할에 대한 두 가지 경쟁 모델이 있습니다. 하나는 “구문 처리는 모듈식”이고 다른 하나는 “구문 처리가 일반적”이라는 것입니다. 이해 난이도에 잘 알려진 차이를 가진 복잡한 문장, 즉, SCC 대 ORC(영어)는 모듈성 문제와 관련하여 이러한 두 가지 주장을 검토하기 위해 이중 모달 간섭(DMI) 작업에 자주 사용됩니다. WM의 개입은 처리 비대칭을 병렬로 주장된다. 따라서 간섭 작업을 통해 동시 메모리 로드를 유도하면 구문 처리에 대한 WM 효과가 보여 줍니다. 그 근거는 단일 구두 WM 시스템또는 별도의 모듈식 구문 시스템이 존재하든 간섭 작업과 함께 시스템을 참여하면 WM 리소스 제한으로 인해 구문 처리의 효율성이 떨어지는 것입니다. 구문적으로 더 복잡한 문장 (ORC, 영어)을 처리하는 방법은 구문적으로 간단한 문장 (SRC, 영어)을 처리하는 것과 비교하여 WM의 특정 효과에 대한 증거를 제공하고 그 정도를 나타냅니다. WM이 관여하고 있습니다.

영어와 같은 초기 언어와는 달리, 중국어 RC는 머리 – 최종 형성을 나타내고 갭 필러 관계를 나타낸다. 인덱싱된 이동 아웃 요소인 간격은 2(a), SRC 및 2(b) ORC에 표시된 대로 머리 명사앞에 옵니다.

중국어 RC 를 처리하는 데서 비롯된 논란은 SCC가 ORC보다 처리하기 가 용이하다고 일관되게 보고되지 않고 있으며, 이러한 불일치는 언어 처리 및 이해 이론에 대한 도전을 제기했다는 것입니다. 상대화자 ‘DE’ 이전의 사전 콘텐츠는 간격이 있을 때까지 WM에 저장되어야 하기 때문에 이동된 머리 명사 ‘actor’가 연결되고 검색되므로 이 프로세스를 이해하면 언어 처리에서 WM의 역할에 대한 통찰력을 얻는 데 도움이 됩니다.

현재 연구에서는, 음성 RC 문장 처리는 청취가 처리 도중 높게 압축되고 WM의 기능과 밀접하게 관련되기 때문에 검토됩니다. 이중 모달 간섭 패러다임은 간섭이 단기 청각 기억에서 잘 확립된 잊어버린 기능이기 때문에 사용됩니다. 메모리에 저장된 표현은 저하될 수 있으며, 간섭 이벤트가^10일발생하면 이후에 손실될 수 있습니다. 다른 측면에 따라 변화하는 산만 (현재의 경우 : intralinguistic 및 extradigital, 아래 참조) 정식 음성 문장에 우리는 다른 처리 단계 와 아래 증분 입력을 통합하는 비용을 측정 할 수 있습니다 다른 간섭 조건.

구문적으로 복잡한 문장을 처리하는 것이 단순한 문장을 처리하는 것보다 WM에 과부하가 걸리기 때문에 이해 과정에서 간섭 유형을 조작하는 것이 영향을 미를 가져야 한다는 가설을 세울 수 있습니다. 문장 처리. 암시적으로, 구문적으로 더 복잡한 문장을 처리하는 것은 비례적으로 더 크거나 불균형하게 더 큰 청취 시간을 온라인으로 요구하고 온라인 문장 이해 평가에서 더 나쁜 성능을 보여줄 것입니다. 구문적으로 간단한 구조를 처리합니다. 현재 연구는 문장 처리 중 간섭이 WM 개입을 인덱싱 할 수 있다는 가설을 검토하고 사실상 구문 모듈화의 문제를 넘어 그 가치를 배치합니다 : 그것은 중국 RC 처리에 대한 논쟁이 될 수 있다는 아이디어를 제안합니다. 언어 이해의 근본적인 역할로 인해 WM의 조사를 통해 해명. 따라서 중국 RC 처리에서 DMI 작업의 사용에 첨부된 중요성은 중국 RC 처리 비대칭에 관한 지속적인 논쟁을 해결하는 경로를 제공합니다.

이 문서에서는 내 간섭과 외부 간섭을 모두 사용하여 청각 처리를 포함하는 두 가지 예시적인 실험을 제공합니다. 이 두 실험의 목표는 WM이 서로 다른 유형의 간섭하에서 중국 RC를 처리하는 데 어느 정도까지 관여하는지 탐구하는 것이었습니다.

첫 번째 실험에서는 시각적으로 제시된 어휘 결정 태스크를 내간섭으로 사용했습니다. 보조 간섭 작업으로, 단어 / 비 단어 어휘 결정 작업 (LDT)는 대상 상대 절 문장의 청각 프리젠 테이션 중에 세 지점에서 도입, 따라서 처리 어려움이 이 시점에서 측정 할 수 있도록. 이 실험에서 주요 관심사는 상대 절(RC)의 갭이 매트릭스 절(MC)의 필러와 어떻게 연관되는지, 그리고 후속 MC의 처리에 영향을 미치는지 여부이다. 따라서, 측정할 3개의 프로빙 사이트는 MC 영역 후에 설정되었다. 화살표로 표시되고 해당 구문 연결로 정렬된 3개의 프로빙 사이트 중 (2)에서 복제된 예는, 예 3(a)가 SRC를 나타내고 3(b)가 ORC를 나타낸다는 예 3에 도시되어 있다.

그림 1은 3개의 조사 사이트 중 어느 곳에서나 LDT에 의한 지속적인 청각 RC 프리젠테이션을 방해하는 절차를 나타낸다. 타이밍 설계는 이전 중국 처리 연구^11에서LDT 작업의 종래의 프로토콜을 따릅니다. 예를 들어, 각 시각적 LDT 시험은 500 ms에 대한 모니터의 중앙에 고정 점을 나타내는 교차 기호 “+”로 시작하고, 3,000 ms에 대한 화면에 표시되고 피사체가 만든다 직후 사라지는 시각적 LDT 자극이 뒤따릅니다. 어휘 결정. 일반적인 과목은 30~35분 이내에 연습 세션을 포함하여 실험 1을 완료합니다.

그림 1: 어휘 결정 작업을 가진 내적 간섭 절차.
이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

LDT 작업과 함께 세 개의 프로빙 사이트:

1. 위치 1 (P1): 포스트 S_MC 영역

측정되는 제1 위치(P1)는 RC 경계 후 영역에서 MC의 피험자 직후이다. 이 사이트에서 처리 부하가 발생할 것으로 예상됩니다. 한 가지, 이 시점 이전에(S_MC),RC 도메인 내의 피사체 갭 및 객체 갭 시공은 각각 대조적인 동사-객체(VO) 및 주제동사(SV) 구조를 형성한다. 또 다른 경우, RC 지역의 구성 요소를 MC의 머리 명사와 통합하려면 청취자는 갭의 문법 적 역할을 식별하고 다가오는 필러 헤드 명사와 연결해야합니다.

2. 위치 2 (P2): 포스트 V_MC 영역

측정할 제2 위치(P2)는 매트릭스 절(V_MC)에서동사 바로 이후에 측정된다. 이 사이트는 또한 처리 부하를 유도하는 것으로 가정됩니다. 구두 정보를 통합하려면 수신기가 문장에서 명사 인수를 검색하고 이전 RC 도메인또는 RC가 수정하는 머리 명사에서 행렬 동사의 에이전트를 식별해야 합니다.

3. 위치 3 (P3): 포스트 문장 영역

측정할 제3 위치(P3)는 문장이 끝난 직후이다. 처리에 대한 이전 연구는 문장의 끝 마무리 효과가 있음을 제안 – 비 syntactic 정보 (예를 들어, 담론과 의미 수준)가 활성화하고 완전한 이해를 위해 문장의 끝에 고려되는 현상^{12 ,13}. 따라서, 처리 하중은 이 비신타문 정보^14,15를통합할 필요성으로 인해 문장의 끝으로 증가해야 한다. 위치 3은 이 사이트 주변에서 문장 확인이 시도되었기 때문에 처리 부하가 저하된 것으로 가정합니다.

두 번째 실험에서는 청각 이동 창(AMW) 작업이 채택되었습니다. AMW 기술은 온라인 언어 처리 동안 리소스 할당의 패턴을 캡처할 수 있는 것으로 간주되며 두 개의 경쟁 WM 접근 방식^16,17을구별하기 위한 시도에서 널리 사용되고 있다. 일시적인 간섭은 일시적인 다가오는 문장을 처리하는 동안 청취자에게 추가 시간을 지불해야 한다고 추정됩니다. AMW 패러다임하에서 참가자들은 단어로 분할된 문장을 들었고, 키보드의 키를 눌러 후속 세그먼트의 연주를 시작했습니다. 따라서 키 누름 간의 일시 중지 기간은 후속 세그먼트를 시작하고 들어오는 정보의 흐름을 제어하는 데 해당되는 특정 언어 기능에 대한 참가자의 응답성을 반영합니다. 예를 들어, 추론 간섭이 서로 다른 구문 복잡성의 문장 처리에 특정 영향을 미치는 경우 참가자는 후속 세그먼트를 시작하기 전에 그에 상응하는 더 긴 일시 중지 기간을 나타낼 것입니다. 절차는 스키마화되어 그림 2에제시됩니다.

그림 2: 숫자 회수 작업이 있는 초분절 간섭 절차.
이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

다음 프로토콜은 연구원이 시각적으로 제시된 어휘 결정 작업을 사내 간섭으로 사용하고 동시 산술 간섭 부하를 초인적 간섭으로 사용하여 WM 개입 및 처리를 조사하는 방법을 보여줍니다. 중국 RC의 비대칭과 기본 논리를 정교하게.