استخدام حركات العين التي تسجل في نموذج العالم المرئي لاستكشاف الإنترنت معالجة اللغة المنطوقة

اللغة المنطوقة هو تدفق معلومات السريع والمتواصل، الذي يختفي الحق بعيداً. تحد تجريبيا دراسة هذا الزمان، وسرعة تغيير إشارة الكلام. يمكن استخدام حركات العين التي تسجل في نموذج العالم المرئي للتغلب على هذا التحدي. في عين نموذجية تتبع دراسة باستخدام نموذج العالم المرئي، تراقب حركات العين المشاركين للصور في عرض أو الكائنات الحقيقية في مساحة عمل visual كما أنهم الاستماع إلى، أو إنتاج، اللغة المنطوقة التي تصور محتويات العالم المرئي^{1 ،2،،}من³⁴. المنطق الأساسي، أو فرضية الربط، وراء هذا النموذج أن فهم أو التخطيط الكلام (علنا أو سراً) سيتحول المشاركين الانتباه البصري لكائن معين في العالم المرئي. وسيكون هذا التحول في الاهتمام وجود احتمال كبير لبدء حركة عين ساككاديك لإحضار منطقة حضر إلى رؤية نقري. مع هذا النموذج، يعتزم الباحثون لتحديد ما هي النقطة الزمنية، فيما يتعلق ببعض معلما الصوتية في إشارة الكلام، يحدث تحولاً في المشارك الانتباه البصري، مقيسة بحركة عين ساككاديك لكائن أو صورة في المرئي العالم. متى وأين بدأت حركات العين ساككاديك فيما يتعلق بإشارة الكلام ثم تستخدم للاستدلال على معالجة اللغة على الإنترنت. يمكن استخدام نموذج العالم المرئي لدراسة اللغة المنطوقة الفهم^1،2 والإنتاج^5،6على حد سواء. سوف تركز هذه المادة المنهجية على دراسات الفهم. وفي دراسة فهم باستخدام نموذج العالم المرئي، العين المشاركين وتراقب تحركات على العرض المرئي كما كانوا يستمعون إلى تصريحات المنطوقة تتحدث عن العرض المرئي.

وقد صممت نظم تتبع العين مختلفة في التاريخ. أبسط، هو النظام الأقل كلفة والأكثر المحمولة مجرد كاميرا الفيديو عادي، الذي يسجل صورة لعيون المشارك. ثم يتم ترميز حركات العين يدوياً من خلال دراسة الإطار حسب الإطار لتسجيل الفيديو. بيد أن معدل أخذ العينات من هذه تعقب العين منخفضة نسبيا، وإجراءات الترميز مضيعة للوقت. وهكذا، يستخدم عين تجارية معاصرة بنظام تتبع عادة أجهزة الاستشعار البصرية قياس اتجاه العين في المدار^7،،من⁸⁹. لفهم كيفية عمل نظام تتبع العين تجارية معاصرة، ينبغي النظر في النقاط التالية. أولاً، لقياس اتجاه رؤية نقري، إضاءة الأشعة تحت حمراء بشكل صحيح (عادة مع الطول الموجي حوالي 780 880 نانومتر) هو عادة المزروعة على طول أو إيقاف المحور البصري للكاميرا، مما يجعل صورة التلميذ distinguishably أكثر إشراقا أو أغمق من القزحية المحيطة بها. ثم يتم استخدام صورة للتلميذ و/أو انعكاس القرنية التلميذ (عادة الصورة بوركنجي الأولى) لحساب اتجاه العين في مدارها. ثانيا، الموقع الحملقة في العالم المرئي فعلا يتوقف ليس فقط على اتجاه العين فيما يتعلق بالرأس ولكن أيضا على التوجه الرئيسي فيما يتعلق بالعالم المرئي. لدقة الاستدلال أنظار الصدد من اتجاه العين، مصدر الضوء والكاميرا من العين-تتبع أما ثابتة فيما يتعلق برئيس المشاركين (محمولة على رأس العين-تتبع) أو ثابتة فيما يتعلق بالعالم المرئي (محمولة على الجدول أو العين بعيد-تتبع). ثالثا، التوجه المشتركين الرئيسي يجب أن تكون ثابتة أما فيما يتعلق بالعالم المرئي أو يمكن تعويضه حسابياً إذا رأس المشاركين حرية التحرك. عندما يتم استخدام عين-تعقب بعيد في وضع الرأس مجاناً للتحرك، يتم تسجيل موقف المشاركين رئيس عادة بوضع ملصق صغير على جبهته المشاركين. ثم يتم طرح اتجاه الرأس حسابياً من اتجاه العين لاسترداد موقع البصر في العالم المرئي. رابعا، مطلوبة ثم معايرة وعملية التحقق من صحة لتعيين اتجاه العين للبصر الشأن في العالم المرئي. في عملية المعايرة، ويتم تسجيل تثبيت العينات المشاركين من النقاط المستهدفة معروفة لتعيين البيانات الخام العين نظرات الموقف في العالم المرئي. في عملية التحقق من الصحة، يتم عرض المشاركون مع نفس النقاط المستهدفة كعملية المعايرة. ثم يتم استخدام الفرق القائم بين موقف التثبيت محسوب من نتائج المعايرة والوضع الفعلي لهذا الهدف تركز اهتمامها في العالم المرئي للحكم على دقة المعايرة. إلى مزيد تأكيد دقة عملية التعيين، عادة يتم تطبيق الاختيار انجراف في كل محاكمة، التي عرضت فيها هدفا يتمثل في تثبيت واحد للمشاركين لقياس الفرق بين موقف محسوب التثبيت والوضع الفعلي الهدف الحالي.

البيانات الأولية لدراسة العالم المرئي تيار مواقع نظرات في العالم المرئية المسجلة بمعدل أخذ العينات من العين-tracker، تمتد على مدى كلياً أو جزئيا لمدة المحاكمة. تعتمد على المتغير المستخدمة في دراسة عالم مرئي هو عادة نسبة العينات أن تثبيتات المشاركين تقع في منطقة معينة المكانية في العالم المرئي عبر إطار زمني معين. لتحليل البيانات، لديها إطار زمني أولاً يتم اختيارها، غالباً ما يشار إلى فترات من الفائدة. الإطار الزمني عادة الوقت مغلق لعرض بعض الأحداث اللغوية في المدخلات السمعية. وعلاوة على ذلك، يلزم العالم المرئي أيضا لتقسيم إلى عدة مناطق للفائدة (رويس)، ويرتبط كل منها بواحد أو أكثر من الكائنات. واحد هذه المنطقة تحتوي على الكائن المناظرة للفهم الصحيح للغة المنطوقة، وهكذا كثيرا ما يسمى المنطقة المستهدفة. طريقة نموذجية لتصور البيانات هي مؤامرة نسبة من التثبيت، حيث في كل بن في إطار زمني، متوسط نسبة العينات مع نظرة لكل منطقة لمصلحة جميع المشاركين والبنود.

باستخدام البيانات التي تم الحصول عليها من دراسة عالم مرئي، يمكن الإجابة الأسئلة البحثية المختلفة:) على مستوى الحبوب الخشنة، هي حركات العين المشتركين في العالم البصرية تأثرا بمختلف المدخلات اللغوية السمعية؟ ب) إذا لم يكن هناك تأثير، ما هو مسار للتأثير على مجرى المحاكمة؟ هل تأثير الخطية أو تأثير الترتيب العالي؟ وج) إذا كان هناك تأثير، ثم على مستوى غرامة من الحبوب، هو عند أقرب النقطة الزمنية التي تظهر فيها مثل هذا أثر، وكم أثر هذا الأخير؟

لتحليل النتائج إحصائيا، ينبغي النظر في النقاط التالية. أولاً، متغير الاستجابة، أينسب تثبيتات، سواء أدناه وأعلاه يحدها (بين 0 و 1)، التي سوف تتبع توزيع متعدد الحدود بدلاً من توزيع الطبيعي. من الآن فصاعدا، الأساليب الإحصائية التقليدية استناداً إلى التوزيع العادي مثل اختبار t، ANOVA والنماذج الخطية (تأثير مختلطة)¹⁰، لا يمكن مباشرة استعمالها حتى النسب قد تم تحويلها إلى متغيرات غير محدودة كما هو الحال مع الصيغة التجريبية اللوغاريتمية¹¹ أو قد تم استبدال مع غير محدودة تعتمد على متغيرات مثل مسافة إقليدية¹². يمكن أيضا استخدام الأساليب الإحصائية التي لا تتطلب افتراض التوزيع العادي مثل المعمم النماذج الخطية (تأثير مختلطة)¹³ . ثانيا، استكشاف مسار التأثير الملاحظ المتغيرة، قد متغير تدل السلسلة الزمنية المراد إضافتها إلى النموذج. هذا متغير السلسلة الزمنية هو أصلاً العين-tracker أخذ عينات من نقاط إعادة تنظيمها إلى ظهور لغة الإدخال. نظراً لتغير مسار عادة ليست خطية، تتم عادة إضافة دالة متعدد الحدود ذات الترتيب العالي من السلاسل الزمنية في (المعمم) (تأثير مختلطة) النموذج الخطي، أيالنمو منحنى تحليلات¹⁴. وعلاوة على ذلك، مواقف المشاركين العين في نقطة العينة الحالية يعتمد اعتماداً كبيرا على نقطة (نقاط) أخذ العينات السابقة، خاصة عند تكرار تسجيل مرتفع، أسفر عن مشكلة ترابط تلقائي. للحد ترابط تلقائي بين نقاط العينات المتجاورة، البيانات الأصلية غالباً ما تكون عينات من أسفل أو إهمال. وفي السنوات الأخيرة، استخدمت أيضا نماذج تأثير مختلطة المضافة المعمم (جام) لمعالجة الأخطاء أوتوكوريلاتيد^12،،من¹⁵¹⁶. ويختلف عرض سلال بين دراسات مختلفة، تتراوح بين عدة مللي ثانية عدة مئات من المللي ثانية. بن أضيق يمكن اختيار دراسة مقيد بمعدل أخذ العينات من تعقب العين تستخدم في دراسة معينة. على سبيل المثال، إذا كان تعقب عين معدل أخذ عينات من 500 هرتز، ثم عرض الإطار الزمني لا تكون أصغر من 2 مللي ثانية = 1000/500. ثالثا، عندما يتم تطبيق تحليل الإحصائي مرارا وتكرارا على بن مرة كل فترة من فترات الفائدة، الناجمة عن الخطأ فاميليويسي من هذه المقارنات متعددة ينبغي معالجتها. كما وصفت لنا في وقت سابق، تحليل مسار يبلغ الباحث ما إذا كان تأثير على مستوى الحبوب الخشنة خطي فيما يتعلق بتغيير الوقت، ولكن لا تظهر عندما يبدأ التأثير الملاحظ في الظهور وكيف طويلة الملاحظة ويستمر تأثير. لتحديد موضع الزمنية عندما يبدأ الفارق الملاحظ تتباعد، ومعرفة مدة الفترة الزمنية التي يستمر التأثير الملاحظ، قد تحليل الإحصائي لتطبيقها مرارا وتكرارا على كل بن مرة. وسوف أعرض هذه مقارنات متعددة الخطأ فاميليويسي ما يسمى، بغض النظر عن يتم استخدام الأسلوب الإحصائي. يتم تصحيح الخطأ فاميليويسي تقليديا مع التكيف بونفيروني¹⁷. في الآونة الأخيرة، طبق أسلوب يسمى اختبار التباديل nonparametric المستخدمة أصلاً في نيورويماجينج قدم¹⁸ نموذج word البصرية¹⁹ لعنصر التحكم للخطأ فاميليويسي.

الباحثون باستخدام نموذج العالم المرئي تنوي الاستدلال الفهم لبعض اللغات المنطوقة من حركات العين المشتركين في العالم المرئي. للتأكد من صحة هذا الخصم، ينبغي أن تكون العوامل الأخرى التي ربما تؤثر حركات العين أما استبعد أو الخاضعة لسيطرة. اثنين من العوامل التالية من بين تلك المشتركة التي يتعين النظر فيها. العامل الأول ينطوي على بعض أنماط منتظمة في تثبيتات المشتركين تفسيرية مستقلة للغة الإدخال، مثل الميل إلى يحملق في أعلى يسار كوادرات العالم المرئي، وعيون تتحرك في اتجاه أفقي يجري أسهل في الاتجاه العمودي، إلخ^12،20 للتأكد من أن أنماط التثبيت الملاحظة المرتبطة بالكائنات، ولا ينبغي أن تعوض مواقف المكانية لكائن إلى المواقع المكانية التي يقع فيها الكائنات، عبر محاكمات مختلفة أو عبر مختلف المشاركين. والعامل الثاني الذي قد يؤثر على حركات العين المشاركين هو ملامح الصورة الأساسية للكائنات في العالم المرئي، مثل اتجاه التباين واللون وحافة النصوع، بين أمور أخرى²¹. لتشخيص هذه الإمكانات التباس، عادة ما يقدم العرض المرئي قبل ظهور اللغة المنطوقة أو قبل ظهور العلامة الصوتية الحرجة من اللغة المنطوقة، للسيدة حوالي 1000 خلال الفترة الزمنية من البداية ولم يسمع بعد صورة الاختبار لبدء اختبار الصوت، ولغة الإدخال أو نقطة توضيح لغة الإدخال. ينبغي أن يستنتج أي فرق بين الأوضاع المختلفة للعوامل الأخرى المؤثرة الأخرى مثل العرض المرئي في حد ذاته، بدلاً من لغة الإدخال. من الآن فصاعدا، حركات العين التي لوحظت في هذه الفترة معاينة توفر أساس لتحديد تأثير المدخلات اللغوية. كما يسمح هذا الفترة معاينة المشاركين للحصول على إطلاع مع العرض المرئي، وتقليل التحيز المنهجي تثبيتات تفسيرية عندما يتم عرض اللغة المنطوقة.

لتوضيح كيف تجري عين نموذجية بتتبع دراسة باستخدام نموذج العالم المرئي، يصف البروتوكول التالي تجربة مقتبس من زان ل¹⁷ لاستكشاف الإنترنت تجهيز البيانات المعقدة لغوياً، أي بيانات الفاصل (S1 أو S2) والبيانات المترابط (S1 و S2)، و لكن–البيانات (S1 ولكن عدم-S2). في الحفظ العادية، المعلومات التي أعرب عنها بعض التصريحات أقوى فعلا من معناها الحرفي. الفاصل عبارات مثل شياو مينغ في المربع يحتوي على بقرة أو ديك بمثل هذه التصريحات. منطقياً، يصح البيان الفاصل الذي طالما ديسجونكتس اثنين شياو مينغ في المربع يحتوي على بقرة و شياو مينغ في المربع يحتوي على ديك ليست على حد سواء كاذبة. ولذلك يصح البيان الفاصل عندما ديسجونكتس اثنين كلاهما صحيح، حيث يصح أيضا بيان المترابط المقابلة شياو مينغ في المربع يحتوي على بقرة وديك . في العادية المحادثة، إلا أن الاستماع إلى البيان الفاصل الذي غالباً ما يوحي بأن البيان المترابط المقابلة كاذبة (implicature العددية)؛ ويشير إلى أن قيم الحقيقة ديسجونكتس اثنين غير معروف بالمتكلم (الاستدلال الجهل). تختلف حسابات في الأدب في ما إذا كانت هي استدلالات اثنين العمليات النحوية أو عملي^{22،23،24،،}من²⁵²⁶. وتبين التجربة كيف يمكن استخدام نموذج العالم المرئي للفصل بين هذه الحسابات، باستكشاف الإنترنت تجهيز ثلاثة بيانات معقدة.