Summary

استخدام حركات العين التي تسجل في نموذج العالم المرئي لاستكشاف الإنترنت معالجة اللغة المنطوقة

Published: October 13, 2018
doi:

Summary

نموذج العالم المرئي وترصد حركات العين المشاركين في مساحة عمل visual كما يتم الاستماع إلى أو يتحدث لغة منطوقه. يمكن استخدام هذا النموذج للتحقيق في معالجة طائفة واسعة من المسائل بسيتشولينجويستيك، بما في ذلك البيانات المعقدة لغوياً، مثل بيانات الفاصل على الإنترنت.

Abstract

في عين نموذجية تتبع دراسة باستخدام نموذج العالم المرئي، المشاركين العين حركات للكائنات أو الصور في مساحة عمل visual تسجل عبر تعقب عين كما تنتج المشارك أو يفهم لغة منطوقه تصف البصرية المتزامنة العالم. هذا النموذج ببراعة عالية، كما أنها يمكن أن تستخدم في طائفة واسعة من السكان، بما في ذلك أولئك الذين لا يمكن قراءة و/أو الذين لا يمكن أن تعطي علنا ردودهم السلوكية، مثل الأطفال الشفهي، البالغين المسنين، والمرضى. الأهم من ذلك، النموذج حساسة للغاية للتلاعب غرامة الحبيبات إشارة الكلام، ويمكن استخدامه لدراسة معالجة معظم المواضيع في فهم اللغة على مستويات متعددة، مثل الصوتية غرامة الحبيبات الصوتية عبر الإنترنت ميزات وخصائص الكلمات والهياكل اللغوية. ويوضح البروتوكول الموضحة في هذه المقالة كيفية إجراء نموذجي عالم مرئي عين تتبع الدراسة، مع أمثلة تبين كيف يمكن استكشاف الإنترنت معالجة بعض البيانات المعقدة لغوياً مع نموذج العالم المرئي.

Introduction

اللغة المنطوقة هو تدفق معلومات السريع والمتواصل، الذي يختفي الحق بعيداً. تحد تجريبيا دراسة هذا الزمان، وسرعة تغيير إشارة الكلام. يمكن استخدام حركات العين التي تسجل في نموذج العالم المرئي للتغلب على هذا التحدي. في عين نموذجية تتبع دراسة باستخدام نموذج العالم المرئي، تراقب حركات العين المشاركين للصور في عرض أو الكائنات الحقيقية في مساحة عمل visual كما أنهم الاستماع إلى، أو إنتاج، اللغة المنطوقة التي تصور محتويات العالم المرئي1 ،2،،من34. المنطق الأساسي، أو فرضية الربط، وراء هذا النموذج أن فهم أو التخطيط الكلام (علنا أو سراً) سيتحول المشاركين الانتباه البصري لكائن معين في العالم المرئي. وسيكون هذا التحول في الاهتمام وجود احتمال كبير لبدء حركة عين ساككاديك لإحضار منطقة حضر إلى رؤية نقري. مع هذا النموذج، يعتزم الباحثون لتحديد ما هي النقطة الزمنية، فيما يتعلق ببعض معلما الصوتية في إشارة الكلام، يحدث تحولاً في المشارك الانتباه البصري، مقيسة بحركة عين ساككاديك لكائن أو صورة في المرئي العالم. متى وأين بدأت حركات العين ساككاديك فيما يتعلق بإشارة الكلام ثم تستخدم للاستدلال على معالجة اللغة على الإنترنت. يمكن استخدام نموذج العالم المرئي لدراسة اللغة المنطوقة الفهم1،2 والإنتاج5،6على حد سواء. سوف تركز هذه المادة المنهجية على دراسات الفهم. وفي دراسة فهم باستخدام نموذج العالم المرئي، العين المشاركين وتراقب تحركات على العرض المرئي كما كانوا يستمعون إلى تصريحات المنطوقة تتحدث عن العرض المرئي.

وقد صممت نظم تتبع العين مختلفة في التاريخ. أبسط، هو النظام الأقل كلفة والأكثر المحمولة مجرد كاميرا الفيديو عادي، الذي يسجل صورة لعيون المشارك. ثم يتم ترميز حركات العين يدوياً من خلال دراسة الإطار حسب الإطار لتسجيل الفيديو. بيد أن معدل أخذ العينات من هذه تعقب العين منخفضة نسبيا، وإجراءات الترميز مضيعة للوقت. وهكذا، يستخدم عين تجارية معاصرة بنظام تتبع عادة أجهزة الاستشعار البصرية قياس اتجاه العين في المدار7،،من89. لفهم كيفية عمل نظام تتبع العين تجارية معاصرة، ينبغي النظر في النقاط التالية. أولاً، لقياس اتجاه رؤية نقري، إضاءة الأشعة تحت حمراء بشكل صحيح (عادة مع الطول الموجي حوالي 780 880 نانومتر) هو عادة المزروعة على طول أو إيقاف المحور البصري للكاميرا، مما يجعل صورة التلميذ distinguishably أكثر إشراقا أو أغمق من القزحية المحيطة بها. ثم يتم استخدام صورة للتلميذ و/أو انعكاس القرنية التلميذ (عادة الصورة بوركنجي الأولى) لحساب اتجاه العين في مدارها. ثانيا، الموقع الحملقة في العالم المرئي فعلا يتوقف ليس فقط على اتجاه العين فيما يتعلق بالرأس ولكن أيضا على التوجه الرئيسي فيما يتعلق بالعالم المرئي. لدقة الاستدلال أنظار الصدد من اتجاه العين، مصدر الضوء والكاميرا من العين-تتبع أما ثابتة فيما يتعلق برئيس المشاركين (محمولة على رأس العين-تتبع) أو ثابتة فيما يتعلق بالعالم المرئي (محمولة على الجدول أو العين بعيد-تتبع). ثالثا، التوجه المشتركين الرئيسي يجب أن تكون ثابتة أما فيما يتعلق بالعالم المرئي أو يمكن تعويضه حسابياً إذا رأس المشاركين حرية التحرك. عندما يتم استخدام عين-تعقب بعيد في وضع الرأس مجاناً للتحرك، يتم تسجيل موقف المشاركين رئيس عادة بوضع ملصق صغير على جبهته المشاركين. ثم يتم طرح اتجاه الرأس حسابياً من اتجاه العين لاسترداد موقع البصر في العالم المرئي. رابعا، مطلوبة ثم معايرة وعملية التحقق من صحة لتعيين اتجاه العين للبصر الشأن في العالم المرئي. في عملية المعايرة، ويتم تسجيل تثبيت العينات المشاركين من النقاط المستهدفة معروفة لتعيين البيانات الخام العين نظرات الموقف في العالم المرئي. في عملية التحقق من الصحة، يتم عرض المشاركون مع نفس النقاط المستهدفة كعملية المعايرة. ثم يتم استخدام الفرق القائم بين موقف التثبيت محسوب من نتائج المعايرة والوضع الفعلي لهذا الهدف تركز اهتمامها في العالم المرئي للحكم على دقة المعايرة. إلى مزيد تأكيد دقة عملية التعيين، عادة يتم تطبيق الاختيار انجراف في كل محاكمة، التي عرضت فيها هدفا يتمثل في تثبيت واحد للمشاركين لقياس الفرق بين موقف محسوب التثبيت والوضع الفعلي الهدف الحالي.

البيانات الأولية لدراسة العالم المرئي تيار مواقع نظرات في العالم المرئية المسجلة بمعدل أخذ العينات من العين-tracker، تمتد على مدى كلياً أو جزئيا لمدة المحاكمة. تعتمد على المتغير المستخدمة في دراسة عالم مرئي هو عادة نسبة العينات أن تثبيتات المشاركين تقع في منطقة معينة المكانية في العالم المرئي عبر إطار زمني معين. لتحليل البيانات، لديها إطار زمني أولاً يتم اختيارها، غالباً ما يشار إلى فترات من الفائدة. الإطار الزمني عادة الوقت مغلق لعرض بعض الأحداث اللغوية في المدخلات السمعية. وعلاوة على ذلك، يلزم العالم المرئي أيضا لتقسيم إلى عدة مناطق للفائدة (رويس)، ويرتبط كل منها بواحد أو أكثر من الكائنات. واحد هذه المنطقة تحتوي على الكائن المناظرة للفهم الصحيح للغة المنطوقة، وهكذا كثيرا ما يسمى المنطقة المستهدفة. طريقة نموذجية لتصور البيانات هي مؤامرة نسبة من التثبيت، حيث في كل بن في إطار زمني، متوسط نسبة العينات مع نظرة لكل منطقة لمصلحة جميع المشاركين والبنود.

باستخدام البيانات التي تم الحصول عليها من دراسة عالم مرئي، يمكن الإجابة الأسئلة البحثية المختلفة:) على مستوى الحبوب الخشنة، هي حركات العين المشتركين في العالم البصرية تأثرا بمختلف المدخلات اللغوية السمعية؟ ب) إذا لم يكن هناك تأثير، ما هو مسار للتأثير على مجرى المحاكمة؟ هل تأثير الخطية أو تأثير الترتيب العالي؟ وج) إذا كان هناك تأثير، ثم على مستوى غرامة من الحبوب، هو عند أقرب النقطة الزمنية التي تظهر فيها مثل هذا أثر، وكم أثر هذا الأخير؟

لتحليل النتائج إحصائيا، ينبغي النظر في النقاط التالية. أولاً، متغير الاستجابة، أينسب تثبيتات، سواء أدناه وأعلاه يحدها (بين 0 و 1)، التي سوف تتبع توزيع متعدد الحدود بدلاً من توزيع الطبيعي. من الآن فصاعدا، الأساليب الإحصائية التقليدية استناداً إلى التوزيع العادي مثل اختبار t، ANOVA والنماذج الخطية (تأثير مختلطة)10، لا يمكن مباشرة استعمالها حتى النسب قد تم تحويلها إلى متغيرات غير محدودة كما هو الحال مع الصيغة التجريبية اللوغاريتمية11 أو قد تم استبدال مع غير محدودة تعتمد على متغيرات مثل مسافة إقليدية12. يمكن أيضا استخدام الأساليب الإحصائية التي لا تتطلب افتراض التوزيع العادي مثل المعمم النماذج الخطية (تأثير مختلطة)13 . ثانيا، استكشاف مسار التأثير الملاحظ المتغيرة، قد متغير تدل السلسلة الزمنية المراد إضافتها إلى النموذج. هذا متغير السلسلة الزمنية هو أصلاً العين-tracker أخذ عينات من نقاط إعادة تنظيمها إلى ظهور لغة الإدخال. نظراً لتغير مسار عادة ليست خطية، تتم عادة إضافة دالة متعدد الحدود ذات الترتيب العالي من السلاسل الزمنية في (المعمم) (تأثير مختلطة) النموذج الخطي، أيالنمو منحنى تحليلات14. وعلاوة على ذلك، مواقف المشاركين العين في نقطة العينة الحالية يعتمد اعتماداً كبيرا على نقطة (نقاط) أخذ العينات السابقة، خاصة عند تكرار تسجيل مرتفع، أسفر عن مشكلة ترابط تلقائي. للحد ترابط تلقائي بين نقاط العينات المتجاورة، البيانات الأصلية غالباً ما تكون عينات من أسفل أو إهمال. وفي السنوات الأخيرة، استخدمت أيضا نماذج تأثير مختلطة المضافة المعمم (جام) لمعالجة الأخطاء أوتوكوريلاتيد12،،من1516. ويختلف عرض سلال بين دراسات مختلفة، تتراوح بين عدة مللي ثانية عدة مئات من المللي ثانية. بن أضيق يمكن اختيار دراسة مقيد بمعدل أخذ العينات من تعقب العين تستخدم في دراسة معينة. على سبيل المثال، إذا كان تعقب عين معدل أخذ عينات من 500 هرتز، ثم عرض الإطار الزمني لا تكون أصغر من 2 مللي ثانية = 1000/500. ثالثا، عندما يتم تطبيق تحليل الإحصائي مرارا وتكرارا على بن مرة كل فترة من فترات الفائدة، الناجمة عن الخطأ فاميليويسي من هذه المقارنات متعددة ينبغي معالجتها. كما وصفت لنا في وقت سابق، تحليل مسار يبلغ الباحث ما إذا كان تأثير على مستوى الحبوب الخشنة خطي فيما يتعلق بتغيير الوقت، ولكن لا تظهر عندما يبدأ التأثير الملاحظ في الظهور وكيف طويلة الملاحظة ويستمر تأثير. لتحديد موضع الزمنية عندما يبدأ الفارق الملاحظ تتباعد، ومعرفة مدة الفترة الزمنية التي يستمر التأثير الملاحظ، قد تحليل الإحصائي لتطبيقها مرارا وتكرارا على كل بن مرة. وسوف أعرض هذه مقارنات متعددة الخطأ فاميليويسي ما يسمى، بغض النظر عن يتم استخدام الأسلوب الإحصائي. يتم تصحيح الخطأ فاميليويسي تقليديا مع التكيف بونفيروني17. في الآونة الأخيرة، طبق أسلوب يسمى اختبار التباديل nonparametric المستخدمة أصلاً في نيورويماجينج قدم18 نموذج word البصرية19 لعنصر التحكم للخطأ فاميليويسي.

الباحثون باستخدام نموذج العالم المرئي تنوي الاستدلال الفهم لبعض اللغات المنطوقة من حركات العين المشتركين في العالم المرئي. للتأكد من صحة هذا الخصم، ينبغي أن تكون العوامل الأخرى التي ربما تؤثر حركات العين أما استبعد أو الخاضعة لسيطرة. اثنين من العوامل التالية من بين تلك المشتركة التي يتعين النظر فيها. العامل الأول ينطوي على بعض أنماط منتظمة في تثبيتات المشتركين تفسيرية مستقلة للغة الإدخال، مثل الميل إلى يحملق في أعلى يسار كوادرات العالم المرئي، وعيون تتحرك في اتجاه أفقي يجري أسهل في الاتجاه العمودي، إلخ12،20 للتأكد من أن أنماط التثبيت الملاحظة المرتبطة بالكائنات، ولا ينبغي أن تعوض مواقف المكانية لكائن إلى المواقع المكانية التي يقع فيها الكائنات، عبر محاكمات مختلفة أو عبر مختلف المشاركين. والعامل الثاني الذي قد يؤثر على حركات العين المشاركين هو ملامح الصورة الأساسية للكائنات في العالم المرئي، مثل اتجاه التباين واللون وحافة النصوع، بين أمور أخرى21. لتشخيص هذه الإمكانات التباس، عادة ما يقدم العرض المرئي قبل ظهور اللغة المنطوقة أو قبل ظهور العلامة الصوتية الحرجة من اللغة المنطوقة، للسيدة حوالي 1000 خلال الفترة الزمنية من البداية ولم يسمع بعد صورة الاختبار لبدء اختبار الصوت، ولغة الإدخال أو نقطة توضيح لغة الإدخال. ينبغي أن يستنتج أي فرق بين الأوضاع المختلفة للعوامل الأخرى المؤثرة الأخرى مثل العرض المرئي في حد ذاته، بدلاً من لغة الإدخال. من الآن فصاعدا، حركات العين التي لوحظت في هذه الفترة معاينة توفر أساس لتحديد تأثير المدخلات اللغوية. كما يسمح هذا الفترة معاينة المشاركين للحصول على إطلاع مع العرض المرئي، وتقليل التحيز المنهجي تثبيتات تفسيرية عندما يتم عرض اللغة المنطوقة.

لتوضيح كيف تجري عين نموذجية بتتبع دراسة باستخدام نموذج العالم المرئي، يصف البروتوكول التالي تجربة مقتبس من زان ل17 لاستكشاف الإنترنت تجهيز البيانات المعقدة لغوياً، أي بيانات الفاصل (S1 أو S2) والبيانات المترابط (S1 و S2)، و لكن–البيانات (S1 ولكن عدم-S2). في الحفظ العادية، المعلومات التي أعرب عنها بعض التصريحات أقوى فعلا من معناها الحرفي. الفاصل عبارات مثل شياو مينغ في المربع يحتوي على بقرة أو ديك بمثل هذه التصريحات. منطقياً، يصح البيان الفاصل الذي طالما ديسجونكتس اثنين شياو مينغ في المربع يحتوي على بقرة و شياو مينغ في المربع يحتوي على ديك ليست على حد سواء كاذبة. ولذلك يصح البيان الفاصل عندما ديسجونكتس اثنين كلاهما صحيح، حيث يصح أيضا بيان المترابط المقابلة شياو مينغ في المربع يحتوي على بقرة وديك . في العادية المحادثة، إلا أن الاستماع إلى البيان الفاصل الذي غالباً ما يوحي بأن البيان المترابط المقابلة كاذبة (implicature العددية)؛ ويشير إلى أن قيم الحقيقة ديسجونكتس اثنين غير معروف بالمتكلم (الاستدلال الجهل). تختلف حسابات في الأدب في ما إذا كانت هي استدلالات اثنين العمليات النحوية أو عملي22،23،24،،من2526. وتبين التجربة كيف يمكن استخدام نموذج العالم المرئي للفصل بين هذه الحسابات، باستكشاف الإنترنت تجهيز ثلاثة بيانات معقدة.

Protocol

جميع المواضيع يجب أن تعطي موافقة خطية مستنيرة قبل إدارة البروتوكولات التجريبية. جميع الإجراءات ونماذج الموافقة على البروتوكول التجريبي بموافقة “لجنة أخلاقيات البحوث بكين اللغة” والثقافة الجامعة. ملاحظة: دراسة فهم عادة باستخدام نموذج العالم المرئي يتكون من الخطوات التالي?…

Representative Results

وترد ردود المشاركين السلوكية في الشكل 4. كما وصفت لنا في وقت سابق، هو الاستجابة الصحيحة لبيان المترابط (S1 و S2) المربع فتح كبيرة، مثل “مربع أ” في الشكل 1. الإجابة الصحيحة و لكن-بيان (S1 ولكن ليس S2) يتم فتح مربع صغير يحتوي على الحيوا?…

Discussion

لإجراء دراسة عالم مرئي، وهناك العديد من الخطوات الهامة لمتابعة. أولاً، يعتزم الباحثون للاستدلال على تفسير اللغة أوديتوريلي المقدمة عن طريق حركات العين المشتركين في العالم المرئي. من الآن فصاعدا، في تصميم تخطيط المحفزات البصرية، ينبغي التحكم في خصائص حركات العين في مهمة طبيعية التي يحتم?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

هذا البحث تدعمها مؤسسة العلوم للغة بكين وجامعة الثقافي تحت “الصناديق البحوث الأساسية” للجامعات المركزية (الموافقة على رقم 15YJ050003).

Materials

Pixelmator Pixelmator Team http://www.pixelmator.com/pro/ image editing app
Praat Open Sourse http://www.fon.hum.uva.nl/praat/ Sound analyses and editting software
Eyelink 1000plus SR-Research, Inc https://www.sr-research.com/products/eyelink-1000-plus/ remote infrared eye tracker 
Experimental Builder SR-Research, Inc https://www.sr-research.com/experiment-builder/ eye tracker software 
Data Viewer SR-Research, Inc https://www.sr-research.com/data-viewer/ eye tracker software 
R Open Sourse https://www.r-project.org free software environment for statistical computing and graphics

References

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Salverda, A. P., Tanenhaus, M. K., de Groot, A. M. B., Hagoort, P. . Research methods in psycholinguistics and the neurobiology of language: A practical guide. , (2017).
  4. Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
  5. Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
  6. Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
  7. Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
  8. Conklin, K., Pellicer-Sánchez, A., Carrol, G. . Eye-tracking: A guide for applied linguistics research. , (2018).
  9. Duchowski, A. . Eye tracking methodology: Theory and practice. , (2007).
  10. Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
  11. Barr, D. J. Analyzing ‘visual world’ eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
  12. Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
  13. Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
  14. Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
  15. Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
  16. Baayen, R. H., van Rij, J., de Cat, C., Wood, S., Speelman, D., Heylen, K., Geeraerts, D. . Mixed-Effects Regression Models in Linguistics. 4, 49-69 (2018).
  17. Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
  18. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  19. Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
  20. Dahan, D., Tanenhaus, M. K., Salverda, A. P., van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. . Eye movements: A window on mind and brain. , 471-486 (2007).
  21. Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
  22. Grice, H. P., Cole, P., Morgan, J. L. Vol. 3 Speech Acts. Syntax and semantics. , 41-58 (1975).
  23. Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
  24. Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
  25. Fox, D., Sauerland, U., Stateva, P. . Presupposition and Implicature in Compositional Semantics. , 71-120 (2007).
  26. Meyer, M. C. . Ignorance and grammar. , (2013).
  27. SR Research Ltd. . SR Research Experiment Builder User Manual (Version 2.1.140). , (2017).
  28. SR Research Ltd. . EyeLink® 1000 Plus Technical Specifications. , (2017).
  29. SR Research Ltd. . EyeLink-1000-Plus-Brochure. , (2017).
  30. SR Research Ltd. . EyeLink® 1000 Plus User Manual (Version 1.0.12). , (2017).
  31. SR Research Ltd. . EyeLink® Data Viewer User’s Manual (Version 3.1.97). , (2017).
  32. McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
  33. Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
  34. Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
  35. Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
  36. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  37. Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
  38. Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
  39. Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
  40. Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
  41. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  42. Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children’s use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
  43. Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children’s online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
  44. Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children’s on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
  45. Moscati, V., Zhan, L., Zhou, P. Children’s on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
  46. Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
  47. Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
  48. Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
  49. Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
  50. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
  51. Tanenhaus, M. K., Trueswell, J. C., Trueswell, J. C., Tanenhaus, M. K. . Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. , (2005).

Play Video

Cite This Article
Zhan, L. Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language. J. Vis. Exp. (140), e58086, doi:10.3791/58086 (2018).

View Video