현재 문서 언어 이해에 대 한 연구에 대 한 눈-추적 방법론을 검토합니다. 신뢰할 수 있는 데이터를 얻기 위해 프로토콜의 주요 단계를 따라 해야 합니다. 이 중 눈 추적자 (예를 들어, 눈 및 머리 이미지의 좋은 품질 보장) 및 정확한 교정의 올바른 설정이 있습니다.
현재 작업 및 언어 처리와 영상 세계의 지 각 사이 상호 작용의 다양 한 측면을 측정 하도록 설계 하는 방법론의 평가입니다. 눈 시선 패턴의 녹음의 시각적 컨텍스트 및 언어 이해 언어/세계 지식 기여에 대 한 좋은 증거를 제공 했다. 초기 연구는 언어 처리에서 모듈화의 이론을 테스트 개체 컨텍스트 효과 평가. 설명, 소개에서 후속 조사 자체 오른쪽에서 연구 항목으로 처리 하는 언어에서의 광범위 한 시각적 컨텍스트 역할 찍은, 어떻게 묻는 질문 등 이벤트와 스피커의 우리의 시각적 인식에 기여 하는 방법 comprehenders의 경험에 의해 정보 이해입니다. 시각적 컨텍스트 검사 측면 중에 작업, 이벤트, 스피커의 시선, 그리고 감정적인 표정으로 공간 개체 구성. 눈-추적 방법과 다른 응용 프로그램의 개요, 다음 우리는 성공적으로 시각적으로 위치 언어 이해 공부 그것을 사용 하는 방법을 설명 프로토콜, 방법론의 중요 한 단계를 나열 합니다. 마지막 섹션 대표 결과의 3 세트를 선물 하 고 혜택 및 시각적 세계와 언어 이해의 지 각 사이 상호 작용을 조사 눈 추적의 한계를 보여 줍니다.
Psycholinguistic 연구는 언어 이해에 연루 프로세스 이해 안구 운동 분석의 중요성을 강조 했다. 시선 레코드에서 이해 과정을 유추의 핵심은 눈 운동5인지를 연결 하는 가설. 눈 움직임의 세 가지 주요 유형이 있다: saccades, vestibulo 눈 움직임, 그리고 부드러운 추구 움직임. Saccades는 빠르고 탄도 움직임을 대부분 무의식적으로 일어나 고 주의6교대와 안정적으로 연결 되었습니다. Saccades, fixations로 알려진 사이의 상대적 시선 안정성의 순간 인덱스 현재 시각적 주의 간주 됩니다. 인지 과정에 관하여 그들의 기간과 fixations의 소재 시를 측정 ‘눈-추적 방법’으로 알려져 있습니다. 이 방법의 초기 구현 제공 독 (Rayner7 리뷰 참조) 엄격 하 게 언어 컨텍스트에서 검사 됩니다. 그 접근 방식에서 단어 또는 문장을 영역 검사의 기간 어려움 처리와 연결 됩니다. 그러나 안구 추적,, 또한 있다 음성된 언어 이해는 세계에 있는 개체의 검사 중 검사 (또는 컴퓨터에 표시2)에 적용. 이 ‘시각 세계 눈 추적 버전에서 개체의 검사는 언어에 의해 유도 됩니다. Comprehenders는 얼룩말, 예를 들어, 화면에 얼룩말의 그들의 검사 들을 때 그들은 동물에 대 한 생각을 반영 하기 위해 가져온 것입니다. 시각적인 세계 패러다임으로 알려져, comprehender의 눈 시선이 반영 되어 음성된 언어 이해 및 관련 지식의 활성화를 반영 하기 위해 (예를 들어, 청취자는 또한 얼룩말 검사 방목, 듣고 나타내는 한 얼룩말에서 수행 하는 작업)2. 이러한 검사는 언어 세계 관계와 눈 움직임2사이 체계적인 링크 제안. 화면에 다른 미리 정해진된 영역 비율을 계산 하 여이 링크를 계량 하는 일반적인 방법이입니다. (조건, 참가자 및 항목)에서 직접 비교 하는 연구 서로 다른 개체를 특정 시간과 이러한 값 밀리초 해상도 변경 하는 방법에 관심의 금액 수 있습니다.
심리 언어학 연구 마음1의 아키텍처에 관한 떨어져 경쟁 이론적 가설을 애타게 시각 세계에서 눈 추적을 악용 했다. 눈 fixations 묘사 개체에는, 또한, comprehenders 수 있습니다 밝혀-충분히 제한적인 언어 컨텍스트 가정-증분 의미 해석8 을 수행 하 고도 곧 문자 에 대 한 기대를 개발 9. 같은 눈 시선 데이터 어휘 모호성 해결10,11, 대명사 해상도12, 구조와 주제의 역할의 명확성 더 이해 프로세스의 범위에 빛을 발산도 있다 의해 할당4시각적 컨텍스트13,,1416, 그리고 실용적인 프로세스15, 많은 다른 사람 사이 정보의 의미합니다. 명확 하 게, 언어 이해 하는 동안 개체에 눈 움직임 수 있습니다 연루 프로세스의 정보.
눈-추적 방법 비-침략 적 이며 유아, 젊고 더 오래 된 언어 사용자와 함께 사용할 수 있습니다. 주요 장점은, 프로브 punctate 응답 달리 또는 어떻게 언어 가이드 주의 어떻게에 밀리초 분해능 시간이 지남에 통찰력 제공 응답 버튼 누르면 확인 작업에서 (작업, 개체의 형태로 시각적 컨텍스트 이벤트, 스피커의 시선, 그리고 감정적인 표정으로 공간 개체 구성) 언어 처리에 기여. 문장 이해 하는 동안 측정의 연속성 명백한 사진/비디오-문장 확인, 이해 질문, 및 메모리 회수 작업에서와 같은 다른 후 문장 및 사후 실험 측정으로 잘 보완합니다. 이러한 작업에 대 한 명백한 응답 이해 프로세스, 메모리, 및 학습2의 결과에 대 한 통찰력을 제공 하 여 눈 시선 기록의 해석을 풍요롭게 수 있습니다. 눈 추적 이러한 다른 작업을 결합 하는 것은 어느 정도까지 다양 한 측면의 시각적 컨텍스트 변조 시각적 관심 및 즉시, 뿐만 아니라 (지연) 이해 수명에 걸쳐 것을 발견 했다.
언어 (음성 또는 서 면)의 프레 젠 테이 션 및 장면 순차적 또는 동시 수 있습니다. 예를 들어, Knoeferle 및 공동 작업자17 발표 현장 음성된 문장 전에 1000 ms 하 고 독 해 동안 남아 있었다. 그들은 개체 동사 주제 (OVS) 문장에 비해 독일 주제-동사-개체 (SVO)에서 로컬 구조적 모호성의 해상도로 작업 이벤트의 클립 아트 묘사 기여 하는 증거를 보고. Knoeferle와 크 로커18 서 면된 문장 전에 클립 아트 장면 제시 문장 독 해 동안 클립 아트 이벤트의 증분 통합 테스트. 그들은 관찰 증분 적합성 효과, 문장 성분의 참가자의 읽기 시간이 일치 하지 않을 때 더 이상 했다 의미 (대 일치) 앞 장면에서 묘사 하는 이벤트. 또 다른 자극 프레 젠 테이 션 변종에 참가자 먼저 공간 관계를 설명 하는 문장 읽었고 개체 선 그림19와 관련 된 특정 공간 배치의 장면을 보고. 이 연구는 참가자 현장 심문 하는 동안 기록 되 고 눈 움직임과 함께 현장, 주어진 문장에 맞는 평가를 요청 하 여 전산 공간 언어 모델의 예측 평가. 참가자의 시선을 패턴 그들은 직면 했다 개체의 모양에 의해 변조 했다-부분적으로 모델 예측을 확인 하 고 모델 구체화에 대 한 데이터를 제공 하.
많은 연구는 사용 동안 클립 아트 묘사17,18,19,20,21,,2223, 그것도 실제 결합 가능 개체, 이러한 개체, 또는 음성된 언어1,21,,2425,26,46정적 사진 동영상. 실제 설정24 를 사용 하는 Knoeferle와 동료 그리고 Abashidze와 동료 사용 촬영된 프레 젠 테이 션 형식 작업 이벤트 및 긴장 효과25검사. 정확한 콘텐츠를 다양 한 장면 (예를 들어, 또는 하지 작업을 묘사)의22,,2738 가능 하 고 시각적 컨텍스트 효과 밝힐 수 있습니다. 로드리게스와 공동 작업자26 관련된 연구 이후에 말한 문장을 제시의 이해에 촬영된 시각 성별 단서의 영향 조사. 참가자 stereotypically 성별 관련 작업을 수행 하는 남성 또는 여성 손을 표시 하는 동영상을 보았다. 다음, 그들은 문장에 대해 들었어요 하나 stereotypically 남성 또는 여성 액션 이벤트를 동시에 디스플레이 보여주는 두 사진, 남자와 여자의 다른 중 하나를 검사 하는 동안. 이 풍부한 비주얼 및 언어 환경에서 시각적으로 제시 (손) 성별 단서의 효과 이해에 틀에 박힌 지식 언어 중재의 효과 떨어져 애타게 저자 허용.
이 패러다임의 추가 응용 프로그램에는 언어 처리에서 발달 변화 대상 하고있다. 음성된 언어 이해 하는 동안 개체에 눈 움직임 젊은 성인에 비해 묘사와 이벤트에서 4-5-세27,28 세 성인29 실시간으로, 하지만 다소 지연의 효과를 밝혔다. Kröger 및 공동 작업자22 prosodic 단서와 실험 내에서 표시 하 고 성인과 어린이 실험 전체에 걸쳐 비교의 효과 검사 합니다. 참가자 관련된 명확 경우 표시 독일 문장을 모호한 행동-이벤트 현장 검사. 눈 움직임 누가-않습니다-무슨-에-누구를 구체화 하는 경우 별개 prosodic 패턴 도움 성인도는 4-또는 5-올해-옜 날을 밝혔다. 그러나, 표시, 문장 초기 경우 성인 하지만 하지 어린이 눈 움직임 영향을 받습니다. 이 케이스 표 하기의 5-올해-옜 날 ‘ 이해는 충분히 강력한 주제 역할 할당을 사용 하도록 제안 (ö z g e 및 공동 작업자30여 연구 참조), 적어도 아닙니다 때 액션 이벤트 않았다 하지 명확 하 게 주제 역할 관계. 이러한 결과 재미, 그들은 주제 역할 할당31prosodic 효과의 이전 결과와 그에 주어진. Kröger 및 공동 작업자22 (더 많거나 적은 지원) 시각적 컨텍스트 대조 연구 결과 대 한 책임은 제안 했다. 이러한 해석을 보류 하는 범위 그들은 수명에 걸쳐 언어 이해에서 맥락의 역할을 강조.
눈-추적 방법에서 그림 (또는 비디오) 문장 확인 작업18,,2026, 사진-사진 확인 작업32, 코 퍼스 연구24, 등급 조치 잘 결합 작업19또는 실험 후 회수 작업25,33. Abashidze 및 공동 작업자34 와 Kreysa와 협력자33 각각에 대 한 단서 스피커 시선 및 실제 액션 동영상34 와 스피커 시선 행동 묘사33의 상호 작용을 조사 곧 문장 콘텐츠입니다. 후 실험 메모리 작업 동안 언어 이해의 장면에서 눈 시선 추적을 결합 하 여 그들은 있는 청취자 스피커의 시선 및 묘사 작업의 상호 인식과 둘 다에 영향을 미칠 방법의 더 나은 이해를 얻고 즉각적인 언어 처리 하 고 메모리 리콜입니다. 결과의 실시간 이해 대 후 실험 메모리 회수 프로세스 작업 대 스피커 시선 뚜렷한 기여를 공개 했다.
눈-추적 메서드는 뛰어난 유연성으로 채택 될 수 있다, 하는 동안 특정 표준 열쇠입니다. 다음 프로토콜 연구원의 특정 필요에 따라 연구 질문의 종류를 조정 될 수 있는 일반적인된 절차를 요약 합니다. 이 프로토콜은 고용 훔볼트 대학 촉 산 베를린에서 심리 언어학 연구소 뿐만 아니라 이전 언어 및 인지 실험실에서 인지 상호 작용 기술 우수 클러스터 (CITEC)에서 표준화 된 절차 빌레펠트 대학입니다. 프로토콜은 데스크톱 및 원격 설치에 설명합니다. 후자는 어린이와 노인 연구에 사용 하기 위해 것이 좋습니다. 1000 Hz의 샘플링 속도가지고 있으며 머리 안정제, 참가자 (PC 디스플레이)를 테스트 하기 위해 PC와 실험을 모니터링 하기 위한 PC와 함께 사용 되는 눈 추적 장치를 사용 하는 대표 결과 에 언급 된 모든 실험과 참가자의 눈 운동 (호스트 PC)입니다. 그것의 전임자에이 소자의 주요 차이점은 두 눈 눈 추적에 대 한 수 있습니다. 프로토콜 충분히 머리 안정제를 포함 하 고 듀얼 PC를 사용 하는 다른 눈-추적 장치 사용에 대 한 일반적인 될 것입니다 (호스트 + 디스플레이) 설정. 그러나, 명심 하는 다른 설정 것 아마 교정 실패 또는 트랙 손실, 경우는 실험 한다 참조 하는 사용자에 게 같은 문제를 처리 하기 위한 다른 방법을 그들의 특정 장치의 수동 중요 하다.
요약 하자면, 비주얼 컨텍스트에서 추적 하는 눈의 검토 이체 있는 시각적 장면 영향을 미칠 수 언어 이해 하는 여러 가지 발견 있다. 이 방법은 반응 시간 측정 등 방법에 비해 중요 한 이점이 있습니다. 예를 들어, 지속적인 눈 움직임 입력 창 언어 이해 프로세스와 이러한 시간이 지남에 시각 세계의 우리의 지 각 상호 작용에. 또한, 참가자는 반드시 필요가 없습니다 (예: 한 문장을 통해 의 grammaticality 버튼을 누르면 판단) 언어 이해 하는 동안 명시적인 작업을 수행. 이 메서드를 사용 하는 명백한 행동 반응 눈 시선, 유아, 등 외 투 수 있습니다 인구와 연구원 수 어린이 일부의 경우, 노인. 안구 추적는 생태학적으로 유효한 참가자의 주의 응답 반영-펼쳐진 발언을 듣고 다소 세심 한 하는 동안 그들의 주위 세계에 있는 통신 관련 것의 인간 시각적 심문 달리.
시각적인 세계 패러다임의 경계 (또는 아마도 특성) 중 straightforwardly 및 명확 하 게 모든 이벤트를 표시할 수 수입니다. 콘크리트 개체 및 이벤트 표시 물론, 수. 하지만 추상적인 개념은 최고의 묘사 하는 것은 덜 분명 하다. 이 수 제한 (또는 정의) 언어 처리와 눈-추적 시각적인 세계 패러다임을 사용 하 여 시각적 세계의 인식 사이의 상호 작용으로 통찰력. 더 도전 관찰 된 행동과 이해 프로세스 사이의 연결 가설에 관련 된. 눈 fixations 단일 행동 응답 가능성이 언어 이해 (예:어휘, 참조 프로세스, 언어 중재 기대, 시각적 컨텍스트 효과, 다른 사람의 사이에서) 동안 많은 하위 프로세스를 반영 하는. 이 통찰력을 감안할 때, 연구원은 조심 해야 하지에 이상-또는 관찰된 시선 패턴을 오해. 이 문제를 해결 하려면 사전 연구 시선 기록40의 해석 명확 하 게 이해 하위 작업의 역할을 강조 했다.
눈 움직임의 판독을 향상 시키는 한 가지 방법은 이벤트 관련 뇌 전위 (르 프 스크 웨)와 같은 다른 측정으로 그들을 통합 하는 것입니다. 그들의 시간적 단위에 비교 하 고 그들의 연결 가설에 보완 하는 두 가지 방법으로 동일한 현상을 조사 함으로써 연구자 수 있습니다 그들의 결과의 대체 설명을 배제 풍부 하 게 각각의 해석 개별 측정41. 이 접근은 추진 하고있다 실험43, 하지만, 더 많은에서 최근에, 또한 단일 실험에서 (이기는 하지만 엄격 하 게 언어 문맥에서)44. 미래 연구 방법론 통합 등에서 크게 혜택을 받을 수 및 함께 포스트 예 심 및 후 실험 작업을 계속.
눈-추적 방법은 뿐만 아니라 언어 이해와 장면에 시각적인 관심의 상호 작용에 대 한 새로운 가설을 테스트 설립된 결과 복제할 수 있습니다. 프로토콜에서 설명 하는 절차 때문에 사소한 실험 오류 데이터 품질에 영향을 미칠 수 있습니다 신중 하 게 뒤 야 합니다. 읽고 연구, 예, 관련 분석 지역은 종종 개별 단어 또는 심지어 편지, 작은 교정 오류 (Raney 및 동료42여 기사 참조) 결과 왜곡 수 있습니다 의미입니다. 1.4와 1.5 단계 프로토콜의, 눈 추적자 및 드리프트 확인/드리프트, 교정 특정 중요성의 기록 정확도 직접 영향을 미치기 때문입니다. 실패 제대로 눈 추적자 측정을 하지 정확 하 게 미리 설립된 관심 분야에 안구의 움직임을 추적 하는 추적 될 수 있습니다. 이러한 추적 실패 누락 된 데이터 요소 및 통계적 인 힘은 매우 미묘 하 고 작은 통계 효과 크기를 산출 하는 세계 언어 관계를 조사할 때 문제가 될 수 있는 손실을 이어질 것입니다 (의 설명을 참조는 Guerra 및 Knoeferle32 및37 대표 결과뮌스터와 동료에 의해 실험).
능력과 장비의 감도 극대화를 필요 감안할 때, 그것은 경험 실험 세션 동안 정기적으로 발생 하는 문제를 해결 하는 방법을 알고 중요. 예를 들어 안경을 착용 하는 참가자의 운동과 눈동자 위치 교정 어려움 참가자의 안경의 렌즈에 빛의 반사 때문에 발생할 수 있습니다. 이 문제를 해결 하기 위해 한 가지 방법은 PC 디스플레이에 참가자의 눈의 이미지를 반영 하 여 안경에 빛의 반사는 더 이상 카메라에서 더 이상 캡처 의미 그들의 화면에 표시 될 때까지 그들의 머리를 이동 하는 것이 좋습니다입니다. 교정 오류의 추가 원인을 눈동자 긴축, 빛에 노출 과도의 결과 수 있습니다 수 있습니다. 이 경우, 실험실에서 빛을 디 밍 것 이다 눈동자 팽창 증가 그리고, 따라서, 도움이 정확 하 게 검출 하는 눈동자에서 눈 추적자.
마지막 생각으로 우리는 시각적인 세계 패러다임은 두번째 언어 학습에 대 한 연구에 대 한 가능성을 해결 하 고 싶습니다. 패러다임은 이미 성공적으로 사용 되었습니다 psycholinguistic 연구에서 크로스-언어 어휘 음운론 상호46,,4748같은 현상 조사. 또한, 시각적 주의 언어 학습 사이 가까운 연결 자주에 두 번째 언어 인수49,,5051-언어학 문학에서 강조 되었다. 두번째 언어 학습에 대 한 미래의 연구 밀리초 해상도에 시각적인 관심의 인덱스를 제공 하는 방법으로 눈 추적의 유리한 위치에서 혜택을 가능성이 계속 됩니다.
The authors have nothing to disclose.
이 연구는 ZuKo (우수 이니셔티브, 훔볼트 대학 촉 산 베를린), 우수 클러스터 277에 의해 투자 되었다 ‘ 인지 상호 작용 기술 ‘ (독일 연구 위원회, DFG), 그리고 연구를 위한 유럽 연합의 7 프레임 워크 프로그램 기술 개발, 그리고 데모 그랜트 계약 n ° 316748 (LanPercept)에서. 저자는 또한 우수의 센터, 프로젝트 FB0003는 연관 연구 프로그램의 CONICYT (칠레 정부), 그리고 프로젝트 “FoTeRo” 초점 센터 XPrag (DFG)에 대 한 기저 자금에서 지원을 인정합니다. 피아 Knoeferle는 문서의 첫 번째 초안 헬렌 Kreysa 빌레펠트 대학에서 인스턴스화할 실험실 프로토콜에 의해 정보 제공 훔볼트 대학 촉 산 베를린에서 사용 하 고 있습니다. 모든 저자는 입력 방법 및 한 형태 또는 다른에서 결과에 제공 하 여 내용을에 공헌 했다. 카밀로 로드리게스 Ronderos 피아 Knoeferle 저자에서 입력을 조정 하 고, 두 개의 반복에서 실질적으로 초기 초안 개정. 에 르네 스토 Guerra 그림 2 – 4 에서 Katja 뮌스터, 알바 로드리게스에 르네 스토 Guerra 입력에 따라 생산. 헬렌 Kreysa 그림 1 과 피아 Knoeferle 그것을 업데이 트를 제공 합니다. 보고 된 결과 인지 과학 사회의 연례 회의의 절차에서 출판 되었습니다.
Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |