眼球運動の視覚世界のパラダイムに記録を使用して話されていた言語のオンライン処理を探索するには

話されていた言語は、すぐに消えて高速、継続的な情報の流れです。この一時的な実験的研究、急速に変化する音声信号への挑戦です。眼球運動の視覚世界のパラダイムに記録は、このような課題を克服するために使用できます。聴く、または生成、話されていた言語、視覚的な世界^{1 の内容を描いた典型的な目追跡研究視覚世界のパラダイムを使用して、参加者の眼球運動表示で写真または視覚ワークスペースで実際のオブジェクトを監視します。 ,2,3,4}。基本的なロジック、またはリンクの仮説は、このパラダイムの背後には、理解や発話を計画 (公然またはひそか) シフトする視覚的世界の特定のオブジェクトを参加者の視覚的注意。この注意のシフトでお越しの際にも高い確率で衝動性眼球運動、視に出席した領域をもたらすことを開始します。このパラダイムを研究者がオブジェクトまたは視覚的画像に衝動性眼球運動によって測定される音声信号のいくつかの音響ランドマークに関してどのような時間の時点で参加者の視覚的注意のシフトが発生しますを決定しよう世界。オンライン言語処理を推論するは、音声信号に関連して眼球運動を開始時と場所が使用されます。視覚世界のパラダイムを使用して、音声言語理解^1,2と生産^5,6の両方を勉強できます。この方法論的記事の理解に関する研究に焦点を当てます。理解における視覚的世界のパラダイムは、ビジュアル表示の動きが監視彼らは発話の視覚的な表示の話に耳を傾ける参加者の目を使用します。

別の目追跡システムは、歴史で設計されています。最も簡単な少なくとも高価で、ほとんどのポータブル システムは、ちょうど通常のビデオカメラ、参加者の目の画像を記録します。眼球運動がビデオ録画のフレームによる審査を経て、手動でコード化されました。しかし、このような視線トラッカーのサンプリング レートは比較的低い、コーディング プロシージャは時間がかかる。したがって、現代商業目の追跡システムを通常はその軌道^7,8,9の目の方向を測定する光センサーを使用します。現代商業目の追跡システムのしくみを理解するため、次の点を検討してください。まず、正しく視、赤外線照明の方向を測定する (周りの波長と通常 780-880 nm) に沿ってまたはハッキリ明るい、または暗い瞳のイメージを作る、カメラの光軸を通常配置周囲のアイリス。生徒や生徒角膜反射 (通常最初のプルキンエ イメージ) の画像がその軌道の目の向きを計算する生成されます。第二に、ビジュアルの世界の視線の場所は、頭に対して眼の方向性だけでなくビジュアルの世界に関して頭の方向にも実際に偶発的です。点目方向からの視線を正確に推論、光源と目トラッカーのカメラに関して参加者の頭 (ヘッド マウント目トラッカー) 固定されてまたはビジュアルの世界に関して固定されて (テーブル マウントまたはリモート目-トラッカー)。第三に、参加者の頭の方向はビジュアルの世界に関しても修正しなければならないまたは参加者の頭は自由に移動する場合に補償される計算。移動無料頭モードでリモートの目トラッカーを使用すると、参加者の頭の位置は通常参加者の額に小さなステッカーを配置することによって記録されます。頭の方向計算引かれる視覚世界の視線位置を取得するために目の方向から。第四に、校正と検証のプロセス、ビジュアルの世界で点の視線に目の方向をマップする必要があります。校正プロセス視覚世界の位置を視線に生目データにマップする既知のターゲット ポイントから参加者の固定サンプルが記録されます。検証プロセスの参加者が校正プロセスと同じターゲット ポイントに表示されます。既存の校正結果から計算された固定位置と視覚世界の執着の対象の実際の位置との間の違いは、キャリブレーションの精度を判断する使用されます。さらにマッピング プロセスの精度を再確認、ドリフト チェックは通常が単一の固定ターゲット計算固定位置と実際の位置の違いを測定するための参加者に紹介されて、各試験に適用される、現在のターゲット。

視覚的な世界研究の主なデータは、試用期間の一部または全体に及ぶ視線トラッカーのサンプリング レートで記録された視覚的世界の視線位置のストリームです。視覚的な世界の研究で使用される従属変数は通常参加者の注視が特定のタイム ウィンドウ間でビジュアルの世界で特定の空間領域に位置していることのサンプルの割合です。データを分析するには、時間ウィンドウがまず選択する興味の期間と呼ばれます。タイム ウィンドウは、通常聴覚入力のいくつかの言語のイベントのプレゼンテーションに時間ロックです。さらに、視覚的な世界も関心 (ROIs)、それぞれが 1 つまたは複数のオブジェクトと関連付けられているいくつかの領域に分割する必要です。1 つのような地域は話されている言語の正しい理解に対応するオブジェクトが含まれています、こうしてターゲット領域と呼ばれます。データを視覚化するための一般的な方法は、場所、タイム ・ ウィンドウの各箱で興味の各地域のサンプルの割合が全体の平均参加者とアイテムの割合の固定プロットです。

視覚世界の研究から得られたデータを使用して、さまざまな研究の質問が回答できます。) 粗粒度のレベルが異なる聴覚言語入力によって影響を受けるビジュアルの世界で参加者の視線?b) 場合は裁判の経過、効果の軌道は、効果があるか。それは線形効果や高次効果?c) 細粒度レベルにし、効果があるときに最古の一時的なポイントそのような効果が出てくるし、この効果はどのくらい最後ですか?

結果を統計的に分析するには、次の点を検討してください。まず、応答変数、すなわち凝視の割合の下と上の両方制限されます (0 と 1) の間、正規分布ではなく、多項の配分を行います。今後、t 検定、分散分析、線形 (混合効果) モデル¹⁰など正規分布に基づく伝統的な統計的方法は、縦横比はで無制限変数に変換されているまで直接利用することはできません。経験的ロジット式¹¹またはユークリッド距離¹²などの無制限の従属変数に置き換えられています。このような正規分布の仮定は一般化線形 (混合効果) モデル¹³を必要としない統計的手法を使用もできます。第二に、観測された効果の変化の軌道を探索する時系列を示す変数はモデルに追加しなければなりません。この時系列変数はもともと視線トラッカーのサンプリング ポイント入力言語の発症に再編します。通常変化の軌道は線形ではない、ので時系列データの高次多項式関数は通常 (一般化) 線形 (混合効果) モデル、すなわち、成長曲線解析¹⁴に追加されます。さらに、現在のサンプル ポイントで参加者の目の位置は以前のサンプリング ポイントに大きく依存して記録周波数が高い場合は特に自己相関の問題の結果します。隣接するサンプリング ポイントの自己相関を減らすためには、多くの場合元のデータがダウン サンプリングまたはビン分割です。近年、一般化加法混合効果モデル (GAMM) はまた、autocorrelated エラー^12,15,16に取り組むために使用されています。箱の幅は、数ミリ秒から数百ミリ秒に至るまで、さまざまな研究によって異なります。研究を選択することができます狭いビンは、特定の研究で使用される目トラッカーのサンプリング レートによって制限されます。たとえば、アイト ラッカーの 500 Hz のサンプリング レートの場合はタイム ウィンドウの幅が小さくてより 2 ms = 1000/500 とはなりません。第三に、興味の期間の各時間箱に統計分析を繰り返し適用すると、これらの複数比較が取り組まれる必要がありますから familywise エラーが誘発されます。前述したように、軌道分析通知研究者粗粒度レベルで観察された効果が比例する時間を変更するかどうか観察された効果が出現し始めるときに表示されませんが、どのように長い観測効果は持続します。発散と観測の効果は持続する一時的な期間の期間を把握する観測された差の起動時の一時的な位置を決定する、統計解析は各時間箱に繰り返し適用しています。これら複数の比較は、どのような統計的手法の使用に関係なく、いわゆる familywise エラーになります。Familywise エラー伝統的ボンフェローニ調整¹⁷修正します。最近、familywise エラー コントロールに視覚単語パラダイム¹⁹に提出¹⁸ニューロ イメージングではもともとノンパラ メトリック順列テストと呼ばれるメソッドを適用されています。

視覚世界のパラダイムを使用して研究者は、ビジュアルの世界で参加者の視線からいくつかの話されていた言語の理解を推測するつもりです。この控除の有効性の確認、眼球運動に影響を与えるその他の要因が排除または制御します。次の 2 つの要因が考慮する必要がある一般的なものの間で。最初の要因は、参加者の説明注視の中でより簡単に水平方向の視覚世界と動いて目の方形を左上に固執する傾向など、入力言語に依存しないいくつかの体系的なパターン垂直方向、等^12,20 , 固定パターンのオブジェクトに関連オブジェクトがある空間的な位置のオブジェクトの空間位置を相殺する必要がありますいないことを確認する複数の異なる試験または異なる参加者間で。参加者の目の動きに影響を与える可能性があります 2 番目の要因は、他の間で、輝度コントラスト、色とエッジの向きなど、視覚的な世界内のオブジェクトの基本的な画像特徴²¹。この潜在的な交絡の診断、視覚的な表示は通常提示話されていた言語の発症前や発症から時間の期間中に約 1000 ミリ秒の話されていた言語の重要な音響のマーカーの発症する前に、オーディオのテスト、入力言語や入力言語の曖昧さ回避ポイントの発症するテスト画像がまだ聞かれていません。入力言語というより任意の違いは、異なる条件の間観察表示など他の交絡要因に自体、推測する必要があります。今後は、このプレビュー期間にみられる眼球運動は言語入力の効果を決定するためのベースラインを提供します。このプレビュー期間参加者視覚表示に精通を取得し、話されていた言語が提示される説明の注視の組織的バイアスを減らすこともできます。

典型的な視線視覚世界のパラダイムを用いた研究の実施方法を説明するために次のプロトコルは、すなわち、意味的複雑なステートメントのオンライン処理を探索する L. 占¹⁷から適応実験を説明します。選言文 (S1 または S2)、連文 (S1 と S2)が、-ステートメント (S1、S2 はない)。普通の保全にいくつかの発言によって表現される情報は実際に文字通りの意味より強いです。選言文暁明のボックスには、牛や鶏が含まれているようなそのような発話。選言文が真暁明のボックスを含む牛と鶏が暁明のボックスに含まれている2 つの選言はどちらでされていない限り、論理的に、false。したがって、選言のステートメントは、2 つの選言が両方 true暁明のボックスに牛と鶏が含まれている対応する連言ステートメントが真も真です。普通の会話で、しかし、選言声明は頻繁接続助詞の対応するステートメントが間違っていることを示唆しているを聞いて (スカラーの含意);2 つの選言の真理値がスピーカー (無知の推論) で知られていないことを示唆しています。文献のアカウントかどうか 2 つの推論が文法的または実用的なプロセス^{22,23,24,25,26}とは異なります。実験は、視覚世界のパラダイムを使用して、3 つの複雑なステートメントのオンライン処理を探索することで、これらのアカウントの間で審議する方法を示しています。