現在の記事のレビュー言語理解研究の目追跡の方法論。信頼性の高いデータを取得するには、プロトコルの主要な手順に従わなければなりません。これらの中で、目の追跡者 (例えば目と頭の画像の品質の良い) と正確な校正の正しい設定されています。
現在の仕事は説明と言語処理と視覚世界の知覚の相互作用のさまざまな側面を定量化するために設計された方法の評価。視線パターンの記録は、両方の視覚的コンテキストと言語理解する言語/世界知識の貢献のため十分な証拠を提供しています。初期の研究は、言語処理のモジュール化の理論をテストするオブジェクト コンテキストの効果を評価しました。述べる導入、その後の調査は、言語独自の権利で研究トピックとして処理でより広い視覚的文脈の役割を撮影して、どのように質問をこのようなイベントのスピーカーの視覚に寄与するようにcomprehenders の経験によって情報の理解。視覚状況の検査の側面中のアクション イベント、話者の視線と感情的な表情と同様、空間オブジェクトの構成。目追跡法とそのさまざまなアプリケーションの概要については、次のプロトコルでは、方法論の重要なステップを一覧表示、正常にそれを使用して視覚的に位置しています言語理解過程を研究する方法を説明します。最後のセクションは代表的な結果の 3 つセットをプレゼントし、利点と視覚的世界と言語理解の認識間の相互作用を調査するための目追跡の制限を示しています。
心理言語学的研究は、言語理解に関与するプロセスを理解することで眼球運動解析の重要性を強調しています。視線レコードから理解過程を推論のコア目の動き5に認知をリンクしている仮説であります。眼球運動の 3 つの主要なタイプがある: サッケード、前庭眼の動き、および滑らかな追求の動き。サッケードほとんど無意識のうちに起こる、確実に注意6でシフトに関連付けられている高速かつ弾道運動であります。サッカード、凝視、として知られている相対的な視線の安定度の瞬間インデックス現在の視覚的注意と見なされます。注視と認知過程に関連して彼らの時間の軌跡を計測「アイトラッ キング法」と呼ばれます。このメソッドの初期の実装は、(レビューのレイナー7参照) 厳密に言語のコンテキストで読解力を調べるに提供。そのアプローチの単語や文の領域の検査期間は難易度の処理に関連付けられます。視線もされている、しかし、世界内のオブジェクトの検査時の音声言語理解を調べる (またはコンピューターに表示2) に適用されます。この 『 ビジュアル世界 』 アイトラッ キング バージョン オブジェクトの検査は言語によって導かれます。シマウマ画面にシマウマの例えば、彼らの検査を聞くときに、comprehenders は動物について考えていることを反映するように取られます。視覚世界のパラダイムとして知られている、comprehender の視線は話されていた言語の理解と関連付けられているナレッジの活性化を反映するように撮影 (放牧を聞くときなどリスナーもシマウマの検査を示す、シマウマが実行するアクション)2。このような検査は、言語世界関係と目の動き2間の体系的なリンクをお勧めします。このリンクを定量化する一般的な方法は、画面の異なる事前に決められた範囲に見えるの割合を計算することによってです。これにより特定の時間とどのようにこれらの値は、ミリ秒単位で変更で別のオブジェクトを与えられた注目の量、直接 (条件により、参加者など) の間で比較する研究者。
心理言語学の研究は心1の建築について離れて競合する理論的仮説をいじめるに視覚的世界の目追跡を悪用します。描かれたオブジェクトの注視が、comprehenders ができますさらに、明らかに、充分制限的言語学の文脈を想定して-漸進的意味解釈8を実行し、今後文字についての期待をも開発9ですこのような目の視線データ持っている多義解像度10,11, 代名詞解像度12, 構造と主題の役割の曖昧性の解消など、さらに読解プロセスの範囲に光を当てるも。割り当てでビジュアル コンテキスト13,14,16、および実用的なプロセス15、その他多くの情報4を意味します。明らかに、言語理解の中にオブジェクトに眼球運動が関係のプロセスの形成にすることができます。
アイ ・ トラッキング メソッドは非侵襲的、幼児、若くて古い言語のユーザーで使用できます。主な利点は、プローブに点状の応答とは異なりまたは注意と方法の言語のガイドにミリ秒単位で時間をかけて洞察力を提供します検証タスクの応答ボタンを押す (オブジェクト、アクションの形でビジュアル コンテキストイベント スピーカーの視線と感情的な表情と同様、空間オブジェクトの構成) 言語処理に貢献します。文理中にメジャーの継続性は、あからさまな画像/動画-文検証、理解の質問、およびメモリ リコール タスクからなど他の後文と後の実験測定でよく補完します。これらのタスクのあからさまな反応できる読解プロセス、メモリ、および学習2の結果に洞察力を提供することによって眼視線記録の解釈を豊かに。これらの他のタスクとの目追跡を組み合わせることは、どの程度まで視覚状況のさまざまな側面を調節する視覚的注意と (即時のだけで遅延) の理解生涯を通した発見しました。
言語 (口頭または書面) のプレゼンテーションとシーンは、同時または連続のいずれかをすることができます。例えば、Knoeferle との共同研究17発表シーン話されていた文の前に 1,000 ms、それ残った読解中に存在。彼らはオブジェクト-動詞-主語 (OVS) 文と比較してドイツ主題動詞オブジェクト (SVO) でローカルの構造的曖昧性の解消にアクション イベントのクリップアート描写に貢献する証拠を報告しました。Knoeferle やクロッカー18アート シーン前に書かれた文章を発表し、文理の中にアート イベントのインクリメンタルな統合をテストします。彼らが観察された (対一致) 増分合同効果これらが一致しない場合、文成分の参加者の読書時間が長かったことを意味イベントの前のシーンで描かれています。他の刺激プレゼンテーション形式で参加者はまず空間的な関係を記述するセンテンスを読み、それからオブジェクト線画19を含む特定の空間的配置のシーンを見た。本研究は、シーンの取り調べ中に記録されている眼球運動と、シーンに与えられる文の適合を評価するための質問をして計算空間言語モデルの予測を評価しました。参加者の視線パターンは彼らが直面されたオブジェクトの形状によって変調された-部分的にモデルの予測を確認し、洗練されたモデルのデータを提供します。
それは現実世界を結合することも多くの研究では、クリップアートの描写17,18,19,20,21,22,23を使用しても、オブジェクトは、これらのオブジェクト、または話されていた言語1,21,24,25,26,46と静的な写真の動画。Knoeferle と同僚は、実世界の設定24を使いました、・ アバシーゼおよび同僚はアクション イベントおよび緊張効果25を調べるため録画プレゼンテーション形式を使用します。正確なコンテンツをさまざまなシーン (例えば、かどうかのアクションを描いた) の22,27,38が可能です、また視覚的文脈の効果を明らかにすることができます。・ ロドリゲスとの共同研究26関連研究は、話し言葉を解説の理解にビデオテープに録画された視覚的性別の手がかりの影響を検討しました。参加者は、オスかメスのどちらかの手が型通りのジェンダー関連のアクションを実行するを表示するビデオを見ました。その後、彼らは聞いた文についてのいずれか型通り男性または女性アクション イベント同時に男と女の他の 1 つ示す 2 枚の写真を並べて、ディスプレイを検査中。この豊かな視覚と言語環境は、いじめる離れて視覚的に提示された (手) 性別手がかりの効果から理解の言語を介した陳腐な知識の影響を著者を許可しました。
このパラダイムのそれ以上の適用は言語処理の発達的変化を対象とします。音声言語理解の中にオブジェクトに眼球運動では、若年者と比較して 4 – 5 歳児27,28と古い大人29リアルタイムで多少の遅れで描かれたイベントの効果を明らかにしました。Kröger との共同研究の22は、韻律の手がかりと実験内マーキングと比較実験を大人と子供の間でこれらの効果を検討しました。参加者は、関連事例を明確にマークのドイツ語文を聞きながらあいまいなアクション イベント シーンを検査しました。目の動きは人-は-な-に-人を明確に区別するときに、異なる韻律パターンで大人も、4- または 5-歳を助けたことを明らかにしました。大人がいない子供の眼球運動文初期ケースのマーキング、しかし、影響を受けます。格標示の 5 歳児の理解がテーマ別の役割の割り当てを有効にするのには十分に堅牢ではないことが示唆された (Özge と共同研究30によって研究を参照)、少なくともいないときアクション イベントはない明確主題役割関係。これらの結果は、韻律に及ぼす主題役割割り当て31の以前の結果とは対照的な興味深い。Kröger との共同研究22 (もっとまたはより少なく支持) ビジュアル コンテキストが対照的な結果に責任があることを提案しました。これらの解釈を保持する、という程度に、彼らは生涯を通した言語理解における文脈の役割を強調します。
アイ ・ トラッキング メソッドを組み合わせた画像 – (またはビデオ) 文検証タスク18,20,26, 画像検証タスク32, コーパス研究24, 評価から対策もタスク19、または実験後リコール タスク25,33。・ アバシーゼと共同編集者34および Kreysa との共同研究33のための手がかりとして、それぞれスピーカー視線と現実世界の行動動画34とスピーカー視線とアクション描写33の相互作用を検討しました。今後の文章コンテンツ。話者の視線と描かれたアクションの聞き手の知覚が対話し、両方に影響を与える方法のより良い理解を得た後実験的記憶課題と言語理解の間に場面で視線の追跡を組み合わせて、即時の言語処理とメモリのリコール。結果は、後実験メモリ リコール プロセスとリアルタイムの理解に対スピーカー視線行動の明瞭な貢献を明らかにしました。
アイトラッ キング法は、大きな柔軟性を用いることが、一定の基準は、重要です。次のプロトコルは、研究者の特定のニーズに応じて研究の質問の種類を調整することができます一般的な手順をまとめたものです。このプロトコルは標準化されたプロシージャ、ベルリンのフンボルト大学祖心理言語学研究所をはじめ元の言語・認知研究所で認知相互作用技術優秀クラスター (CITEC) での採用ビーレ フェルト大学。プロトコルでは、デスクトップとリモートのセットアップについて説明します。後者は、子供や高齢者との研究での使用にお勧めします。代表の結果に記載されているすべての実験は、1,000 Hz のサンプリング レートを頭部スタビライザー、参加者 (ディスプレイ PC) をテスト用の PC と実験を監視するための PC と併用は目トラッカー デバイスを使用し、参加者の眼球運動 (ホスト PC)。前任者にこのデバイスの主な違いは、両眼眼球追跡できるということです。プロトコルは、ヘッドの安定剤を含み、デュアル PC を使用する他の目追跡装置で使用するため十分な一般設定 (ホスト + 表示)。しかし、彼らの特定のデバイスの手動他のセットアップは、キャリブレーションの失敗や線路損失、実験者の場合する必要がありますユーザーを参照しているなどの問題を処理するための異なる方法可能性が念頭に置いておくことが重要です。
要約すると、視覚的文脈で視線の見直しの亜種はビジュアル シーンが言語理解に影響することが多くの方法を発見しました。このメソッドは、反応時間の測定などの方法と比較して重要な利点を提供します。例えば、継続的な眼球運動をご提供ウィンドウに言語理解過程、これらは時間の経過とともに視覚的世界の私たちの知覚を操作する方法。さらに、参加者は (ボタンを押す、文経由の正誤を判断する) などの言語の理解の間に明示的なタスクの実行に必ずしも必要はありません。これにより、研究者など乳児の視線以外あからさまな行動応答に苦労があります集団でメソッドを使用する子供と、いくつかのケースでは、高齢者。アイトラッ キングは、参加者の注意応答を反映で生態学上有効な — 展開発言にもっとまたはより少なく注意深く話を聞く中にそれらの周りの世界で通信関連のものの人間の視覚的尋問とは異なり。
視覚世界のパラダイムの境界 (または多分特性) の 1 つは、素直かつ明確にすべてのイベントを描くことができますです。コンクリートのオブジェクトとイベントを描くことが、もちろん、できます。抽象的な概念は最もよい方法がより少なく明確が描かれています。言語処理とアイトラッ キング視覚世界のパラダイムを使用して視覚的な世界の知覚の相互作用についての洞察を制限 (または定義) このことができます。さらなる挑戦行動と理解過程の間リンクの仮説に関連しています。注視は、おそらく言語理解 (例えば、語彙アクセス、参照プロセス、言語を介した期待、他の中の視覚的文脈効果) の間に多くのサブプロセスを反映している 1 つの行動応答です。この洞察力を与え、研究者は注意する必要がある以上には, 視線パターンを誤って解釈するか。この問題に対処するため、先行研究は視線レコード40の解釈を明確に理解サブタスクの役割を強調しています。
眼球運動の解釈可能性を向上させる方法の 1 つは、事象関連脳電位 (Erp) など他の手段でそれらを統合することです。自分の時間的な粒度に匹敵すると彼らのリンクの仮説で相補的な 2 つの方法で同じ現象を調査して研究者がその結果の代わりとなる説明を排除でき豊かにそれぞれの解釈個別施策41。このアプローチ追求されてきた実験43, しかしより多くの間で最近、また単一の実験内 (いえ、厳密に言語のコンテキスト) で44。今後の研究はこのような方法論的統合の恩恵し、試験後、実験後のタスクと組み合わせてを続けた。
アイトラッ キング法は言語理解との相互作用場面における視覚的注意についての新しい仮説をテストし同様、確立された結果を複製することができます。プロトコルに記載されている手順は、実験者もマイナー エラーはデータの品質に影響を与えるので慎重に従わなければなりません。研究を読んで、例えば、関連する分析領域がしばしば個々 の単語または英数字でも、小さくてもキャリブレーション エラーが (ラニー氏と同僚の42の記事を参照) の結果を歪めるかもしれないことを意味します。手順 1.4 と 1.5 のプロトコル、目の追跡者およびドリフト チェック/ドリフト正しい校正記録精度に直接影響が及ぶので特に重要なは。目の追跡者を正しく調整、事前に確立された領域に眼球運動を正確に追跡追跡者が発生します。このような追跡の失敗、不足しているデータ ポイントおよび世界の言語関係は非常に微妙な統計的効果が小さく収量を調査するときに問題が発生することができます統計的検出力の損失につながる (の説明を参照してください、ゲラと Knoeferle32と代表結果間ミュンスターと同僚の37実験)。
電源と装置の感度を最大化する必要性を考えると、実験者が実験的セッション中に定期的に発生する問題に対処する方法を知っていることが重要です。たとえば、瞳位置および眼鏡をかけて参加者の動きは、参加者のメガネのレンズの光の反射による校正の難しさで起因できます。この問題を解決する方法の 1 つは、ディスプレイ PC に参加者の目の画像をミラーし、ガラスに光の反射がもはやカメラによって捕獲されることを意味自分の画面上に表示されなくなるまで、自分の頭を移動するようにすることです。さらにキャリブレーションに失敗した原因は、瞳孔の縮小、光に露出オーバーの結果である可能性がありますをすることができます。その場合は、研究室では、光を調光増加瞳孔拡張し、瞳孔を正確に検出するに目の追跡者のため。
最終的な思想として、視覚世界のパラダイムは、第二言語学習に関する研究潜在能力に対応したいと思います。パラダイムが既に正常に使用されて心理言語学的研究のクロス言語の語彙と音韻の相互作用46,47,48などの現象を調査します。さらに、視覚的注意と言語学習の間の近いリンクは、第二言語習得49,50,51の応用言語学文献で強調表示されている頻繁。第二言語学習に関する今後の研究は、ミリ秒の分解能で視覚的注意のインデックスを提供する方法として目追跡の有利な位置から利益を得る可能性が高いいきます。
The authors have nothing to disclose.
ZuKo (卓越性の率先、祖フンボルト大学ベルリン)、卓越性クラスター 277 によって資金が供給されたこの研究 ‘認知相互作用技術’ (ドイツの研究議会, DFG)、研究では、欧州連合の第 7 フレームワーク プログラム技術開発と補助金契約 n ° 316748 (LanPercept) の下でデモ。著者はまた、プロジェクト FB0003 プロジェクト”FoTeRo”で、フォーカス中心 XPrag (DFG) から連想のチリの研究プログラム (チリの政府)、センターオブエクセレンスのための基底の資金からサポートを認めます。ぴあ Knoeferle ビーレ フェルト大学でヘレン Kreysa がインスタンス化実験プロトコルによって記事の最初のドラフト情報提供ベルリン フンボルト大学祖で使用し続けます。すべての著者は、方法と結果を 1 つのフォームまたは別の入力を提供することで内容に貢献しました。カミロ ・ ロドリゲス Ronderos とぴあ Knoeferle 著者からの入力を調整して、2 つのイテレーションの最初のドラフトを大幅に改訂します。エルネスト ゲラ生産図 2 – 4カーチャ ミュンスター、アルバ ・ ロドリゲス、エルネスト ・ ゲラからの入力に基づいて。ヘレーネ ・ Kreysa は、図 1とぴあ Knoeferle、それを更新を提供されています。報告の結果の一部は、認知科学会年会論文集に掲載されています。
Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |