JoVE Journal > Behavior
Summary
Abstract
Introduction
Protocol
Résultats
Discussion
Divulgations
Acknowledgements
Materials
References
Please note that all translations are automatically generated. Click here for the English version.
Sciences du comportement

מעקב עין במהלך שפה חזותית ממוקם בהבנת הנקרא: מגבלות חשיפת הקשר חזותי אפקטים וגמישות

Published: November 30, 2018
doi:
10.3791/57694
, , , , , , , , , ,
1Institute of German Studies and Linguistics,Humboldt-Universität zu Berlin, 2Center for Advanced Research in Education – CIAE,Universidad de Chile, 3Institute of Psychology,Friedrich Schiller University Jena, 4Cognitive Interaction Technology Excellence Cluster (CITEC), Faculty of Linguistics and Literature,Bielefeld University, 5Department of Education,Concordia University, 6Berlin School of Mind and Brain, 7Einstein Center for Neurosciences Berlin

Summary

המאמר הנוכחי ביקורות מתודולוגיה עקיבה במחקרים על השפה והבנת הנקרא. כדי לקבל מידע אמין, השלבים החשובים של הפרוטוקול חייב להיות במעקב. בין אלה הן הסידור הנכון של העין המטייל (למשל, הבטחת איכות טובה של תמונות העין והראש) לבין כיול מדויק.

Abstract

העבודה הנוכחית היא תיאור הערכה של מתודולוגיה שנועד לכמת היבטים שונים של האינטראקציה בין עיבוד שפה ותפיסת העולם החזותי. ההקלטה של דפוסי מבט עין סיפק הוכחה טובה התרומה של הקשר חזותי והן הידע הלשוני/העולם כדי הנקרא בשפה. מחקר ראשוני העריכו אובייקט-ההקשר אפקטים כדי לבדוק את התיאוריות של מודולריות בעיבוד שפה. במבוא, נתאר כמה חקירות הבאים לקחת את התפקיד של הקשר חזותי רחב יותר בשפה עיבוד כתחום מחקר בפני עצמו, לשאול שאלות כאלה איך שלנו התפיסה החזותית של אירועים ושל הרמקולים תורמת הבנת הנקרא הודיע על ידי הניסיון של comprehenders. בין ההיבטים שנבדקו של הקשר חזותי הם פעולות, אירועים, של רמקול מבט, הבעות פנים רגשיות, וכן תצורות מרחביות. בעקבות סקירה של השיטה עקיבה ויישומים שונים שלה, אנחנו ברשימה את השלבים החשובים של המתודולוגיה בפרוטוקול, הממחישות כיצד להשתמש בהם בהצלחה ללמוד שפה חזותית-ממוקם בהבנת הנקרא. מקטע הסופי מציג שלושה סטים של התוצאות נציג, ממחיש את יתרונותיה וחסרונותיה של העין מעקב על חקירת יחסי הגומלין בין התפיסה של ההבנה עולם ושפה חזותית.

Introduction

מחקר psycholinguistic הדגישה את החשיבות של תנועות עיניים ניתוחים להבנת התהליכים ערבו בהבנת השפה. הליבה של מסיקה תהליכי הבנת הנקרא מהרשומה המבט הוא השערה המקשרת קוגניציה תנועות העין5. ישנם שלושה סוגים עיקריים של תנועות עיניים: saccades vestibulo-העינים תנועות, תנועות חלקות רדיפה. Saccades הן תנועות בליסטי ומהירה לקרות בעיקר באופן לא מודע, אמינה קושרו עם משמרות תשומת לב6. הרגעים של המבט היחסית יציבות בין saccades, המכונה הקיבועים, נחשבים האינדקס הנוכחי תשומת לב. מדידת מיקומה של הקיבועים ומשך שלהם ביחס תהליכים קוגניטיביים המכונה שיטת’ עקיבה’. יישומי מוקדם של שיטה זו שימש לבחינת הבנת הנקרא בהקשרים לשונית בלבד (ראה ריינר7 לסקירה). בגישה הזאת, משך הזמן של בדיקת אזור מילה או משפט משויכת עיבוד קושי. העין מעקב, עם זאת, היה גם להחיל כדי לבחון את השפה המדוברת הבנה במהלך הבדיקה של אובייקטים בעולם (או במחשב להציג2). בגירסה עקיבה זו ‘העולם החזותי’ ‘, הבדיקה של אובייקטים מונחה על ידי השפה. מתי comprehenders שומעת הזברה, למשל, את הבדיקה של זברה על המסך נלקח כדי לשקף כי הם חושבים על החיה. ב מה שמכונה הפרדיגמה העולם הויזואלי, מבט עין של comprehender נלקח כדי לשקף את השפה המדוברת להבנה והפעלה של ידע הקשורים (למשל, המאזינים לעיין גם הזברה כשהם שומעים מרעה, המציין פעולה המבוצעת על ידי הזברה)2. בדיקות כאלה מראים קשר שיטתי בין תנועות העין2ויחסי שפה-העולם. דרך נפוצה לכמת קישור זה היא על ידי חישוב היחס של מבטים לאזורים שונים שנקבע מראש על גבי מסך. זה מאפשר לחוקרים ישירות משווים (בין תנאים, על ידי המשתתפים ופריטים) כמות מתשומת אובייקטים שונים בכל זמן מסוים, כיצד לשנות ערכים אלה ברזולוציה של אלפיות השנייה.

במחקר פסיכובלשנות יש לנצל את העין מעקב עולמות חזותיים להתגרות בנפרד וההשערות תיאורטי מתחרות לגבי הארכיטקטורה של המוח1. עין הקיבועים באובייקטים מתוארים, יתר על כן, חשפו כי comprehenders יכול – בהנחה הקשר לשוני מספיק מגבילות — לבצע פרשנות סמנטי מצטבר8 , אפילו לפתח ציפיות בנוגע הקרובה תווים 9. נתונים כגון מבט עין יש גם לשפוך אור על מגוון נוסף הנקרא תהליכים, כגון עמימות לקסיקלית רזולוציה10,11, כינוי גוף רזולוציה12, את פירושונים בתפקיד נושאיות מבניים הקצאה לפי פירושו של מידע הקשר חזותי13,14,16, וכן תהליכי פרגמטי15, בקרב רבים אחרים4. בבירור, תנועות עיניים לאובייקטים במהלך ההבנה שפה יכול להיות אינפורמטיבי של התהליכים ימצא…

השיטה עקיבה אינה פולשנית, ניתן להשתמש עם תינוקות, משתמשים בשפה צעירים, ומעלה. יתרון מפתח זה, בניגוד punctate התגובות הגששים או בתגובה ללחיצות במשימות אימות, הוא מספק תובנות לאורך זמן ברזולוציה של מילי שניות לתוך איך השפה מנחה ותשומת לב, איך הקשר חזותי (בצורה של חפצים, פעולות, אירועים, של רמקול מבט, הבעות פנים רגשיות, וכן ואובייקטים מרחביים תצורות) תורם עיבוד שפה. ההמשכיות של המדד במהלך המשפט הנשמע משלים היטב עם משפט שלאחר וניסוי שלאחר אמצעים אחרים כגון אימות תמונה/וידאו-משפט עבירה, בהבנת הנקרא, משימות האחזור זיכרון. תגובות עבירה במשימות אלה ניתן להעשיר את הפרשנות של הרשומה מבט עין על-ידי מתן תובנה התוצאה של תהליך הבנת הנקרא, זיכרון, למידה2. שילוב של העין מעקב אלה לפעילויות אחרות חשף במידה אילו היבטים שונים של הקשר חזותי לווסת תשומת לב והבנה (מיידית, כמו גם מושהית) על פני תוחלת החיים.

המצגת של השפה (מדוברת או בכתב) ואת סצינות יכול להיות בו זמנית או רציפים. למשל, Knoeferle, משתפי פעולה17 הציגה את הסצנה ms 1000 לפני הקראת פסק הדין המדובר, נותרה נוכח בזמן בהבנת הנקרא. הם דיווחו ראיות שתורמים אוסף תמונות תיאורים של פעולה אירועים עד הרזולוציה של עמימות מבניים המקומי גרמני נושא-פועל-אובייקט (סקאבו) לעומת משפטים אובייקט-פועל-נושא (OVS). Knoeferle, קרוקר18 הציג קטע אוסף תמונות לפני משפט בכתב ונבדק השילוב מצטבר של אוסף תמונות אירועים במהלך המשפט הנשמע. הם נצפו תופעות חפיפה מצטבר, כלומר כי פעמים המשתתפים הקריאה של משפט המרכיבים היו יותר כאשר אלה תואמים (לעומת מתאימים) האירוע המתואר בזירה הקודמת. גרסה נוספת של המצגת גירוי, המשתתפים תחילה לקרוא משפט שיתאר יחסים מרחביים, ואז ראה קטע של סידור מרחבי מסוים מעורבים אובייקט לרישומי קו19. מחקר זה העריך הנבואה של השפה המרחבית חישובית מודלים בלשאול את המשתתפים כדי לדרג את ההתאמה של גזר הדין שגבה את הזירה, על תנועות העין מוקלט במהלך החקירה סצנה. דפוסי מבטו המשתתפים היו מווסת על ידי צורת האובייקט שעליו הם נתקלו — חלקית המאשרת את תחזיות מודל, אספקת נתונים עבור דגם עידון.

בעוד מחקרים רבים השתמשו אוסף תמונות תיאורים17,18,19,20,21,22,23, זה גם אפשרי לשלב בין העולם האמיתי אובייקטים, קטעי וידאו של אובייקטים אלה, או צילומים סטטיים עם השפה המדוברת1,21,24,25,26,46. Knoeferle ועמיתיו השתמשו הגדרה בעולם האמיתי של24 , אבשידזה ועמיתיו השתמשו תבנית מצגת מצולמים לבחינת אירועים פעולה, תופעות מתוח25. שונות לתוכן מדויק הסצנות (למשל, המתארים פעולות או לא)22,27,38 הינה אפשרית, גם יכול לחשוף את השפעות הקשר חזותי. מחקר הקשורות רודריגס, משתפי פעולה26 חקר השפעת מיגדריים חזותי מצולמים על ההבנה של לאחר מכן הציג משפטים המדוברת. המשתתפים צפו קטעי וידאו הצגת הידיים זכר או נקבה ביצוע פעולת הקשורות למין קיבוצניק. לאחר מכן, הם שמעו משפט גם על אירוע פעולה קיבוצניק זכר או נקבה תוך בו זמנית פיקוח תצוגה מציג שתי תמונות בצד אחד של אדם והשני של אישה. זה חזותי עשיר בסביבה לשונית מותר המחברים להתגרות לגזרים את ההשפעות של בתיווך שפה סטריאוטיפי ידע הבנה מן ההשפעות של המקלות מגדר הציג באופן חזותי (יד).

יישום נוסף של הפרדיגמה הזאת יש לפלח שינויים התפתחותיים עיבוד שפה. תנועות עיניים לאובייקטים במהלך השפה המדוברת הבנה חשף את ההשפעות של מתוארים אירועים 4 – 5 – בני27,28 מבוגרים בוגרים29 בזמן אמת, אבל קצת מתעכבת לעומת מבוגרים צעירים. Kröger, משתפי פעולה22 בחן את ההשפעות של רמזים פרוזודיות ומקרה סימון במסגרת ניסוי, והשוו אותם לאורך ניסויים אצל מבוגרים וילדים. המשתתפים בדק זירת פעולה רב-משמעית-אירוע בעת האזנה משפט הקשורים גרמני חד משמעית בתיק המסומן. תנועות עיניים חשף תבניות פרוזודיות ברורים עזר המבוגרים וגם את 4 או 5-בני כאשר יחודיים מי-זה-מה-כדי-מי. גזר דין-ראשוני בתיק המסומן, עם זאת, השפיע על מבוגרים אבל לא תנועות עיניים לילדים. הדבר מצביע על 5 בני של ההבנה של סימון במקרה זה, לא מספיק חזקים כדי לאפשר הקצאת תפקיד נושאיות (ראה את המחקר על ידי והמנהל, משתפי פעולה30), לפחות לא כאשר אירועים פעולה? האם לא לחדד יחסי תפקיד נושאיות. תוצאות אלו מעניינים, בהתחשב בכך שהם הם לעומת התוצאות הקודמות של השפעות פרוזודיות על הקצאת תפקיד נושאיות31. Kröger, משתפי פעולה22 הציע הקשר חזותי (פחות או יותר תומכת) אחראי על הממצאים מנוגדים. כך פרשנויות אלו מחזיקים, הם מדגישים את התפקיד של ההקשר בהבנת השפה ברחבי תוחלת החיים.

השיטה עקיבה משלבת היטב עם האמצעים של התמונה (או הסרטונים) משפט אימות משימות18,20,26, תמונה תמונה אימות משימות32, קורפוס מחקרים24, דירוג משימות19, או האחזור פוסט נסיוני משימות25,33. אבשידזה, משתפי פעולה34 , Kreysa, משתפי פעולה33 חקר הגומלין של רמקול המבט, פעולה אמיתיים סרטונים34 / רמקול המבט, פעולה תיאורים33, בהתאמה, כפי כשמתרחשים תוכן המשפט הקרובה. על ידי שילוב המעקב של מבט עין בסצינה במהלך שפה הבנה עם פעילות זיכרון שלאחר הניסוי, הם השיגו הבנה טובה יותר של הדרך שבה במודעותם של המאזינים של המבט של רמקול והפעולות מתוארים אינטראקציה ומשפיעים על שניהם עיבוד שפה מיידית, זיכרון האחזור. התוצאות חשף את התרומה ברורים של פעולות מול רמקול מבטו כדי הנקרא בזמן אמת מול תהליכי זיכרון שלאחר הניסוי האחזור.

בעוד השיטה עקיבה יכול להיות מועסק עם גמישות רבה, בתקנים מסוימים הם המפתח. להלן כללי התנהגות מסכמת הליך כללית ניתן להתאים לסוגים שונים של שאלות המחקר על פי הצרכים הספציפיים החוקרים. פרוטוקול זה הוא הליך מתוקננת המועסקים במעבדה פסיכובלשנות בשעה זו אוניברסיטת הומבולדט בברלין, כמו גם את השפה ואת קוגניציה מעבדה-קוגניטיבית אינטראקציה טכנולוגיה מצוינות אשכול (CITEC)-לשעבר בילפלד האוניברסיטה. הפרוטוקול מתאר שולחני התקנה מרחוק. האחרון הוא מומלץ לשימוש מחקרים עם ילדים או מבוגרים. כל הניסויים שצוין בתיבה על התוצאות נציג להשתמש בהתקן המעקב העין אשר קצב הדגימה של 1,000 הרץ משמש יחד עם מייצב ראש, מחשב לבדיקת המשתתפים (צג מחשב), מחשב עבור ניטור הניסוי ו תנועות עיניים של המשתתפים (מחשב מארח). ההבדל העיקרי של המכשיר הזה לקודמו הוא שהוא מאפשר מעקב עין דו-עינית. הפרוטוקול נועד להיות מספיק כלליות לשימוש עם התקני עקיבה אחרים לכלול מייצב ראש, או לעשות שימוש מחשב כפול התקנה (מארח + תצוגה). עם זאת, חשוב לזכור כי כיוונונים אחרים סביר להניח יש שיטות שונות לטיפול בבעיות כגון כיול כשלים או אובדן המסלול, שבו במקרה הנסיין צריך להפנות למשתמש ידנית של המכשיר הספציפי שלהם.

Protocol

פרוטוקול זה עוקב אחר ההנחיות אתיקה של המוסד שבו הנתונים נאספו, קרי, קוגניטיבית אינטראקציה עם טכנולוגיית מצוינות אשכול (CITEC) של בילפלד ואוניברסיטת הומבולדט זו ברלין. הניסויים שנערכו באוניברסיטת בילפלד אושרו בנפרד על-ידי ועדת האתיקה של האוניברסיטה בילפלד. המעבדה פסיכובלשנות בשעה זו אוניברסיטת הומבולדט בברלין יש פרוטוקול אתיקה מעבדה שאושרה על-ידי ועדת האתיקה של דויטשה בווריה לדנציג Sprachwissenschaft, החברה בלשנות הגרמנית (DGfS). 1. שולחן עבודה הערה: להלן השלבים המפתח בניסוי עקיבה. הכנת כלי נגינה הפעל את המצלמה עקיבה ואת המחשב המארח (ראה איור 1 לאיור של איסוף הנתונים במעבדה ועל ההגדרה עיבוד מראש). ליזום את תוכנת המעקב העין. הפעל את התצוגה במחשב. פתח את התיקיה המכילה את הניסויים. הפעל את הגירסה ‘פרוס’ עם סיומת. .exe על-ידי לחיצה כפולה עליו. בהתאם ההתקנה, בקשה לבחירת רשימת ניסיוני עשויים להופיע, שבו הוא בדרך כלל קובץ מופרד באמצעות טאב.csv/.txt המכילה את התנאים, שמות קובץ צליל, משפטים כתובים, ו/או תמונות משתתף יהיו חשופים. בחר את הרשימה, ולאחר התוכנית תתחיל. שם קובץ הפלט בו יאוחסן את התוצאות.הערה: קובץ הפלט יישמר במחשב התצוגה, גיבוי נשמר במחשב המארח. להשאיר את המסך הראשון של הניסוי (הקדמה או מסך הפתיחה) פתוחה. הסר את מכסה מגן ממצלמת המעקב העין. למטרות היגייניות, במקום טישו על המחזיק את הסנטר. אופציונלי: להכין משטח תגובה ו/או לוח מקשים כנדרש על ידי הניסוי. אופציונלי: אם הצגת גירויים שמיעתיים, לכוונן את עוצמת הרמקולים ובדוק אותם לפני הפעלת הניסוי. לחלופין, לבדוק את הפונקציונליות של האוזניות כדי לשמש על ידי המשתתף. הכינו את הטפסים הדרושים ליישומים יהיו חתומות על-ידי המשתתף. להתאים את עוצמת האור במעבדה על מנת לקבל חדר האפלולי עם זוהר קבוע למשך כל התהליך אוסף נתונים. הכנת המשתתפים אחרי המשתתפים הגיעו, הצג את עצמך. המקום נא לא להפריע שלט על הדלת מעבדה. שואל את המשתתף לשבת. מדריך המשתתף דרך דף המידע ואת הצורך הסכמה טפסים דמוגרפי. תן למשתתף לקרוא ולחתום על טופס הסכמה. בקיצור בהיבטים הכלליים של הניסוי ומשך שלה… אינם מספקים מידע רב מדי לפני הניסוי, מאז זה עשוי להשפיע על התנהגות מבטו של המשתתף ועל את הנתונים המתקבלים. לספק הוראות בכתב, לתת למשתתף את ההזדמנות לשאול שאלות. בקיצור את הפונקציה של רכיב המעקב העין… במידת הצורך, להבהיר את המשימה, ולהצביע בכל הכפתורים/מפתחות זה צריך להיות לחוץ במהלך הניסוי. להסביר איך מעמד הסנטר נועדה למזער את תנועת הראש במהלך הניסוי. לציין כי המכשיר מתפקד בצורה הטובה ביותר אם המשתתף מונע כל התנועות. הגדרת רכיב המעקב העין להתכונן המשתתף בניסוי: לבקש מהם לשבת בשולחן ולמקם את הסנטר שלהם על מעמד הסנטר. שאל אותם להישען המצח שלהם נגד משענת הראש. שואל את המשתתף כדי להתאים את הגובה ואת המיקום של הכיסא במידת הצורך: המשתתף צריך להרגיש נוח עם הסנטר שלהם על מעמד הסנטר, המצח שלהם נגד משענת הראש. מסבירים כי נהוג להעביר בטעות את הראש במהלך הניסוי, כי זה יש להימנע. מסבירים שיש תנוחת הראש יתוקן במהלך הניסוי. אם הניסוי דורש לחיצה על לחצן (למשל, באמצעות משטח תגובה), להורות את המשתתף לעזוב את אצבעותיהם נח על הכפתורים ץחליה ל וכדי למנוע מסתכל למטה על משטח התגובה בעת לחיצה על לחצן. שואל את המשתתף לקרוא למסך ברוך הבא/מבוא. לשבת מול המחשב המארח. אם המסך לא נמצאת עדיין במצלמה, לחץ על הגדרת המצלמה כדי להגיע המסך הנכון. אם עוטפים הוסר מ עדשת המצלמה, המשתתף ימוקם בצורה נכונה על מעמד הסנטר, המסך צריך להראות שלוש תמונות של העיניים של המשתתף: תמונה גדולה יותר בחלק העליון, שניים קטנים יותר בתחתית על ימין ועל שמאל. תמונות קטנות אלה מראים עין אחת כל אחת, המתאימה בצד שמאל, עין ימין. בחר את העין לבצע אחריהם מעקב. נהוג לעקוב אחר העין הדומיננטית של המשתתף. אם המשתתף אינו יודע אילו עין הוא הדומיננטי, לערוך מבחן דומיננטיות עינית (שלב 1.3.8). לקבוע דומיננטיות עינית. שואל את המשתתף להושיט יד אחת וליישר את האגודל עם אובייקט מרוחק עם שתי עיניים פקוחות. שואל את המשתתף כדי חלופי סגירת העין שמאלה או ימינה. העין הדומיננטית היא האחת שעבורה האגודל נשאר מיושר עם האובייקט כאשר העין פתוחה35,36. לחץ על התמונה | צג מחשב (או הקש Enter) התמונות שמתואר בשלב 1.3.6 יופיעו גם על מסך התצוגה של המשתתף, אבל רק אחד בכל פעם. הקש על החץ שמאלה/ימינה במקלדת המחשב של הנסיין או של המשתתף כדי לעבור בין התמונה קטן יותר גדול יותר של העין. להתמקד בתמונה קטן יותר (העין). הקש A (יישור העיניים חלון) במקלדת או כדי למרכז תיבת החיפוש מגבלות על מיקום התלמיד. לאחר מכן, ריבוע אדום סביב העין אמור להופיע עם עיגול בצבע טורקיז [‘השתקפות הקרנית’, (cr)] ליד החלק התחתון של התלמיד. התלמיד עצמו צריך להיות כחול. להבטיח שני צלבים (“הכוונת’) יופיעו על המסך — אחד במרכז של התלמיד, אחד במרכז הקרנית ההשתקפות. התיבה האדומה ואת השני חוצה אומר כי המעקב העין מזהה התלמיד וליצ.הערה: אם התיבה האדומה או חוצה נעדרים, העין אינו עוקב – במקרה כזה, אין התלמיד יופיע במחשב של הנסיין. להתאים את המיקוד של המצלמה על-ידי הפעלת באופן ידני את ההתמקדות העדשה. יש להיזהר לא לגעת הקדמי של העדשה. הפעל את העדשה עד נקודת המוקד הכי טוב.הערה: נקודת המוקד הכי טוב הוא הגיע כאשר העיגול בצבע טורקיז (השתקפות הקרנית) הוא קטן ככל האפשר (כלומר, כאשר המעגל הזה נמצא המוקד). הגדר את הסף האישון. להבטיח כי רק את התמונה של התלמיד הוא כחול (למשלהריסים לא צריך להיות כחול) במחשב המארח. בנוסף, עליך לוודא כי התלמיד כולו (לא רק חלקו המרכזי) הוא כחול. רק תדאג מה נמצא בתוך הכיכר האדומה. הקש A. פעולה זו מגדירה באופן אוטומטי את הסף האישון. אם התלמיד אינו מוצג באופן מדויק בכחול, להתאים את הסף באופן ידני באמצעות המפתח למעלה כדי להגדיל את המפתח למטה כדי להקטין את כמות כחול חלק פני התמונה.הערה: מסקרה (בדרך כלל שחור, כמו האישון) עלולים להפריע קביעת הסף – הגשש העין עלול לקחת את הריסים כהה עבור התלמיד. במקרה זה, בקש את המשתתף להסיר איפור שלהם על ידי מתן אותם עם איפור remover רקמות. הגדר את הסף cr. אם A היה לחוץ בשלב 1.3.15, cr הסף צריך באופן אוטומטי הוגדרו.הערה: ערכים מספריים עבור כל הגדרות הסף צריך להיות גלוי. אם מופיע סימן שאלה באחד מהם, הייתה בעיה באחד השלבים הקודמים, הסף צריך להיות מוגדר באופן ידני. כיול המכשיר מעקב עיןהערה: בדוק אם המעקב העין ניתן באופן עקבי לזהות את המיקום של העין המשתתף מסתכל על חלקים אחרים של המסך. שואל את המשתתף להסתכל על ארבע הפינות של מסך אחד בכל פעם בעוד חלון הגדרת המצלמה נמצא בתצוגה. חפשו בקפידה כל הרהורים לא סדיר (אלה יופיע כמו טורקיז ‘כתמים’ על המסך) המפריעות ההשתקפות הקרנית כאשר המבט עין מכוונת בפינה. שואל את המשתתף נראה במרכז המסך, ואז להפנות מבטם אל הפינה בעייתי אם התיבה האדומה סביב העין, גם של העדשה אינם גלויים בשלב כלשהו במהלך שלב 1.4.1. זה יעזור לקבוע את מקור הבעיה. מחדש להתאים את מיקום הראש של המשתתף ולבדוק אם זה מניב כל שיפור. חזור על שלב זה אם יש צורך בכך. אם ההתקן עדיין לא ניתן לעקוב בצורה מדויקת אחר מבטו של המשתתף לאחר מספר נסיונות, בטל את הניסוי. ליידע המשתתף כי מכוילים הגשש העין, כי הם עומדים לראות עיגול שחור (עם נקודה אפורה קטנה) העברת חלקים שונים של המסך. להורות המשתתף לקבע את העיגול עד שזה עובר למיקום חדש. להורות המשתתף להימנע מאמץ העיניים שלהם וכדי להתמקד הנקודה אפורים קטנים בתוך העיגול השחור לקבלת תוצאות אופטימליות. תגיד המשתתף כי חשוב לשמור עדיין לא לנסות לחזות את המיקום של המעגל הבא במהלך הכיול. להורות להם לעקוב את העיגולים עם העיניים שלהם, לא בראש שלהם. לחץ על כיול כדי להתחיל את תהליך כיול. בדרך כלל, הליך 9-נקודת הכיול משמש שבו העיגול השחור נע תשעה מיקומים באופן סדרתי. עבור כיול אוטומטי, הקש ENTER לאחר שהמשתתף יש מקובע במדויק את הנקודה הראשונה במרכז המסך. לכיול ידני (למשל, כאשר ישנן בעיות מעקב אחר העין של המשתתף או בעת התמודדות עם משתתף מיוחד קבוצות כגון ילדים), לקבל את כל קיבוע בהקשה על ENTER (או על-ידי לחיצה על קבל פיקסציה/ לחיצה על מקש הרווח).הערה: בסופו של תהליך הכיול, תבנית מלבנית כמעט במסך של הנסיין צריך להיות גלוי. זה מייצג את דפוסי מבט עין של המשתתף. בנוסף, תוצאות כיול טוב אמורים להיות מודגשים בירוק. אם הם לא, חזור על הליך הכיול (קרי, לחץ על כיול). לאמת את התוצאות. תגיד המשתתף לעבור את ההליך (מסתכל על הנקודות) כדי לאמת את התוצאות של תהליך כיול. להזכיר להם כדי שתביטו בנקודה וכדי להיות עדיין.הערה: התהליך של אימות דומה לזה של כיול, התוצאות הן מושווים על ידי תוכנת מעקב עין כדי להבטיח כי העין נמצאת במעקב במדויק. לחץ על לאמת. לקבל כל קיבוע בהקשה על ENTER (או לחיצה על מקבלפיקסציה/הקשה על מקש הרווח). לאחר האימות, התוצאות החיפוש יופיעו במסך של הנסיין. תשומת לב מיוחדת שגיאה שני האמצעים, השגיאה הממוצעת (למשל, 0.23 °) ושגיאה מקסימלי (למשל, 0.70 °). אלה מייצגים את מעלות שבה התמונה מסומנים סוטה המיקום בפועל מבטו של אחד המשתתפים. בעת שימוש פרדיגמה העולם הויזואלי, לשמור את השגיאה הממוצעת (המספר הראשון) תחת 0.5° ושגיאה המרבי (המספר השני) מתחת לגיל 1°. אם ערכי השגיאה מעל הסף, שואל את המשתתף כדי להתאים מחדש את המיקום של הראש ולהפעיל מחדש את הליך הכיול. אם אין שיפור נצפית, בטל את הניסוי.הערה: נהוג להתבונן כיול גבוהה שגיאות כאשר המשתתף לובש עדשות מגע. המשתתף צריך להתבקש מראש להביא שלהם משקפי ראייה במקום עדשות מגע שלהם. לאחר השלמת בהצלחה את תהליך הכיול, לחץ על פלט/הקלטה להתחיל את הניסוי. ליידע המשתתף כי הניסוי יתחיל עכשיו. במהלך הניסויהערה: במהלך הניסוי (תלוי איך ניסוי בודדות מתוכנת, אך בדרך כלל לפני בכל ניסוי ניסויית), מסך להיסחף הסימון או להיסחף הנכונים יוצגו נקודה במרכז המסך. מטרתו היא לדווח על שגיאה קיבוע מחושב עבור הזרם למשפט, ו, בהתאם לדגם המעקב העין, כדי להתאים באופן אוטומטי את זה. במהלך שלב ההדרכה, המשתתף נאמר לקבע את הנקודה המרכזית בכל פעם שהוא מופיע. ודא כי במהלך כל שלב הנכון הסימון/להיסחף להיסחף, המשתתפים הם שוב התקפה טרוריסטית הנקודה. ניתן לבצע זאת על-ידי ביצוע מבטו של המשתתף במחשב המארח, איפה מבטו של המשתתף מופיע עיגול ירוק נע. ברגע הסחף הסימון/הסחף נכון הושלמה, הקש ENTER (או כל מקש הרווח) כדי להפוך את הנקודה תיעלם ולהציג את המשפט הבא. לקבוע כיצד להתמודד עם כישלון לעבור את שלב הסימון להיסחף לפי המודל של הגשש העין בשימוש. בהתאם לדגם, הגשש העין גם יבצע אוטומטי להיסחף תיקון על-ידי התאמת הקואורדינטות של המבט לאלה של הנקודה המרכזית, או שהוא יעשה רעש המצפצף תציג הנסיין לכיול מחדש לפני שתמשיך הניסוי (הסחף הסימון). אם משתמש תיקון אוטומטי היבשות, עליך לזכור כי תיקונים להיסחף יותר מדי משפטים רצופים ו/או גדול מדי דרגת להיסחף תיקון לעוות את התוצאות, דורשים כיול מחדש של המכשיר. כיול מחדש במהלך הניסוי זה אפשרי לכיול מחדש בכל עת במהלך הניסוי. במהלך המצגת של המסך להיסחף תיקון/להיסחף הסימון , לחץ על מצלמה, ואז לחץ על כיול. לעבור את תהליכי כיול ובדיקת עד ערך משביע רצון, ולאחר מכן לחץ על פלט/הקלטה. הניסוי יחדש מנקודת היציאה ברצף למשפט. לאחר הניסוי לספק את המשתתף עם שאלון כדי להעריך אם הצליחו לנחש המניפולציות ניסיוני מפתח. . הנה, זה גם חשוב לשאול לגבי אסטרטגיות אפשריות אשר יכול פותחו לאורך כל הניסוי. לתחקר את המשתתף על מטרת הניסוי. . תודה להם על השתתפותם לספק את הצורך פיצוי כספי או הקצאת אשראי כמובן אם הוא ישים. 2. ההתקנה מרחוק: התאמת ההגדרה ללימודים עם מבוגרים וילדים הערה: סעיף זה מתאר רק את ההבדלים בין התקנה מרחוק, סידור שולחן העבודה כפי שמתואר בשלב 1. נקודות לא נאמר במפורש כאן צריך להיות ההנחה תהיה זהה ההליך המתואר בשלב 1. חילופי רגיל 35 מ מ עין המעקב עדשת המצלמה עבור עדשה 16 מ מ. לחבר את כל הציוד הנדרש (מחשב מארח, רמקולים, עין, ומכשיר נייד אם נישא משמש). הניחו את המחשב הנייד על דוכן נייד ואת המעקב עין מול זה (המשתתף צריך להיות מסוגל לראות את 75% העליון של המסך). הצב “מדבקה יעד” (זמין מיצרן של הגשש) על המצח של המשתתף (מעל הגבה של עין ימין או על הלחי הימנית אם המצח הוא יותר מדי קטן (כלומר, במקרה של תינוקות); הזה מחליף את המדבקה הסנטר שאר ההתקנה של שולחן העבודה וזה מאפשר המעקב העין לקבוע במדויק את המיקום של הראש של המשתתף. ודא כי המשתתף יושב 550-600 מ”מ מן המצלמה (המרחק של המדבקה היעד עם המצלמה). ודא כי המילים “זווית גדול” או “ליד העין” אינם מופיעים במחשב המארח. ואם כן, פירוש הדבר כי המיקום של המדבקה היעד אינה אידיאלית. במקרה זה, להתאים מחדש את המדבקה היעד. זה גם אומר כי המצח של המשתתף הוא קטן במיוחד. אם זה המקרה, מניחים את המדבקה על הלחי של המשתתף.הערה: אם המדבקה ממוקם קרוב מדי לאוזן, ההודעה “זווית גדול” היא עשויה להופיע, עליך למקם את המדבקה. לפני התחלת תהליך כיול שמתואר בשלב 1.4, ודא כי המשתתף יושב בנוחות. בקש מהם לשמור על אותה תנוחה לאורך כל הניסוי כולו ולהסביר כי המעקב העין הוא רגיש לתנועות הגוף. מתעקש שהם שומרים את הראש שלהם עדיין. אם המשתתף זזה יותר מדי, המכשיר פולט רעש מזמזם.הערה: אם הגדרת מעקב מרחוק העין נמצא בשימוש כדי לבדוק אוכלוסיות רגישות, כגון ילדים או מבוגרים, רצוי להשתמש הליך כיול ידני. 3. התאמת ההגדרה עבור קריאת מחקרים הערה: כאשר חוקרים השפעות הקשר חזותי על הקריאה, יש צורך לב במיוחד לתהליכים כיול וכיול מחדש. לעומת העולם הויזואלי מחקרים, העין מעקב במהלך הקריאה דורשת רמה גבוהה יותר של דיוק המכשיר, נתן את הדיוק הנחוצה כדי לעקוב אחר דפוסי הקריאה מילה במילה ו—למכתב. ודא כי הן את השגיאה הממוצעת ומקסימום מוצגים במהלך שלב אימות יישארו מתחת 0.5°. הקפד להשתמש לפחות מידה 9 נקודות לצורך כיול. זה מבטיח מעקב מדויק יותר של העמדה מבט העין, אשר הוא חיוני, בהינתן גודל קטן תחומי עניין במהלך הקריאה.

Representative Results

מחקר על ידי מינסטר, משתפי פעולה37 חקר יחסי הגומלין של מבנה המשפט, מתואר פעולות, סבר פנים רגשית במהלך השפה והבנת הנקרא. מחקר זה הוא מתאים היטב כדי להמחיש את יתרונות ומגבלות של השיטה, כמו זה הראה שניהם חזקים מתואר אפקטים פעולה ואפקטים שולית של הפנים סימנים רגשיים על משפט הנשמע. המחברים יצר 5 סרטונים s של הבעת פנים של אישה ששינה את מעמדה מנוחתו לתוך שמח או עצובות. הם גם יצרו רגשית חיובית valenced הגרמני אובייקט-פועל-הפועל-נושא (OVAdvS) משפטים של הטופס ‘ [אובייקט/מטופלהתיק accusative] [פועל] [הפועל חיובי] [נושא/סוכןגוף שני במקרה].’ דרך הפועל חיובית, המשפטים הוידאו “מאושר” ושה תואמים את הווידאו “עצוב”, המתיר בציפייה עיקרון של הסוכן (מי חייכה אשר תוארה להתנהג בשמחה על ידי הפועל חיובי). בעקבות הרמקול וידאו, המשפט הופיע באחד שתי גרסאות של סצנה הסוכן-החולה-distractor אוסף תמונות. בגירסה אחת, הסוכן תוארה ביצוע הפעולה שהוזכרו על המטופל, ואילו הדמות distractor לבצע פעולה שונה. הגרסה השנייה של זירת מתואר אין פעולות בין התווים. תנועות עיניים בזירה חשף את ההשפעות של הפעולות ואת הבעת פנים של הדובר על משפט הנשמע. תיאור פעולת משליכה תשומת לב ויזואלית המשתתפים, כלומר כי המשתתפים נראה יותר הסוכן מאשר distractor כאשר הפעולה שהוזכרו (לעומת לא היה) מתואר. המבטים האלו היו לסולמות (קרי, המתרחשת לפני הסוכן הוזכר), רומז כי תיאור פעילות מובהר הסוכן לפני גזר הדין. האפקט המוקדם של ייצוגי פעולה צמחו במהלך הפועל (קרי, הפועל מתווכת את הסוכן הקשורים פעולה). לעומת זאת, אם הדובר הקודם חייכה או נראה עצוב היה אין השפעה ברורה על הציפייה הסוכן (איור 2). התוצאה השנייה יכול לשקף את הקישור יותר קלוש בין החיוך של רמקול של הפועל sentential חיוביים הנוגעים הפעולה של הסוכן מתוארים (בהשוואה עם הפניה ישירה פועל פעולה מתווכים סוכן הקשורים פעולה). לחלופין, זה יכולה להיות ספציפית על המצגת גירוי של פעילות: אולי אפקטים רגש יש כבר יותר מבוטא פעילות אינטראקטיבית יותר חברתית או בכל אחד מציג את הפנים במהלך (ולא לפני) משפט הנשמע הדובר. עם זאת, מציג את הפנים המחייכות של רמקול במהלך הבנה עלול לגרום המשתתפים להתמקד על הפנים על חשבון תוכן למקום אחר, אולי השפעת המשתנים מניפולציה אחרת הנצפה מיסוך (מקור: נתונים שלא פורסמו). וריאציה נוספת של הפרדיגמה, ביקש גוארה, Knoeferle32 אם יחסי העולם בשפה מרחבית-סמנטי יכול לווסת להבנתם של תוכן סמנטי מופשט במהלך הקריאה. גוארה, Knoeferle שאול את הרעיון תורת מטאפורה רעיונית38 מרחק המרחבי (למשל, קרבה) מקרקע את המשמעות של יחסים סמנטיים מופשט (למשל, דמיון). בקנה אחד עם השערה זו, קרא למשתתפים מתואמת שמות עצם מופשטים מהר יותר כאשר הם היו דומים (לעומת הנגדי) במובן ולפניו היה כבר קרבה שינוע וידאו (לעומת המרחק; קלפים מהלך vs ביחד קרוב יותר. רחוק יותר). בערכה השניה של מחקרים39, משפטים תיאר את האינטראקציה בין שני אנשים כמו אינטימית או עוינים, מה שהוביל הגילוי כי קטעי וידאו של שני הקלפים מתקרבים אחד לשני האיץ את הקריאה של אזורים המשפט שהוליך חברתית קרבה/אינטימיות. שימו לב כי המרחק המרחבי מושפעות משפט קריאה במהירות, באופן מצטבר אפילו כאשר המשפטים לא התייחס על האובייקטים וידאו. קטעי וידאו מאופנן לגמרי הקריאה פעמים כפונקציה של חפיפה בין מרחק המרחבי היבטים סמנטיים, כמו גם חברתיים משמעות המשפט. תופעות אלה הופיעו שניהם בזמנים הקריאה הראשונה לעבור (משך הבדיקה הראשונה של אזור גזר הדין שנקבע מראש) ואת הזמן הכולל שהושקע באותו אזור משפט (ראו איור 3 איור של תוצאות המחקרים על ידי גוארה ו Knoeferle)32. עם זאת, הבדיקות התגלה גם וריאציה משמעותי בין המשתתפים, מובילים למסקנה כי תופעות כאלה-כרטיס-המרחק עדין לא ייתכן חזקים כמו גם ההשפעות של יחסי הפועל-פעולה, לציין דוגמה אחת. ערכה נוספת של מחקרים מדגימה איך וריאציה של מבנה המשפט יכול לעזור להעריך את הכלליות של השפעות הקשר חזותי. אבשידזה ועל משתפי הפעולה34 רודריגס, משתפי פעולה26 בחן את ההשפעות של הפעולות האחרונות על עיבוד עוקבות של משפטים המדוברת. שני מחקרים, המשתתפים בדק לראשונה סרט פעולה (לדוגמה, מלפפונים חומרי טעם של הנסיין, או הידיים הנשי אופה עוגה). לאחר מכן, הם האזינו משפט גרמני היה קשור גם הפעולה מהעת האחרונה, או פעולה אחרת עשוי להתבצע הבא (חומרי טעם עגבניות34; בניית דגם26). במהלך בהבנת הנקרא, המשתתפים בדק סצנה מציג שני אובייקטים (מלפפונים, עגבניות)34 או שתי תמונות של סוכן פרצופים (נקבה, פנים הסוכן זכר, בשם “סוזנה” ו- “תומאס”, בהתאמה)26. במחקר על ידי אבשידזה, משתפי פעולה34, הרמקול נזכרת לראשונה הנסיין, ולאחר מכן את הפועל (למשל, חומרי טעם), העלאת ציפיות לגבי נושא (למשל, את המלפפונים או את העגבניות). במחקר על ידי רודריגס, משתפי פעולה26, הרמקול נזכרת לראשונה ערכת נושא (העוגה), ולאחר מכן את הפועל (אפייה), העלאת ציפיות על הסוכן של הפעולה (נקבה: סוזנה, או זכר: תומאס, מתואר באמצעות תמונות של נקבה, זכר פנים). שני המחקרים, היה השאלה במחלוקת אם אנשים (חזותית) לחזות את הנושא/הסוכן של האירוע הפעולה האחרונה או את הנושא/סוכן אחר בהתבסס על נוספת הקשרית רמזים הניתנים במהלך בהבנת הנקרא. ב אבשידזה, משתפי פעולה34, מבטו של הנסיין לסמן האובייקט דירוג עתידית (העגבניות) תחילתה של הפועל (בתרגום מילולי מגרמנית: “הנסיין-הסוכן טעמים בקרוב…”). רודריגס, משתפי פעולה26, מגדר הידע של פעולות סטריאוטיפי הפך זמין כאשר הנושא ואת הפועל הוזכרו (למשל, התרגום המילולי של הגירויים הגרמני היה: ‘הנושא העוגה אופה בקרוב…’). שתי ערכות של מחקרים, המשתתפים מעדיפים בדק את היעד/הסוכן של הפעולה האחרונה (מלפפונים34 או סוזנה26) מעל המטרה (העתיד/אחר-מגדר) חלופי (עגבניות34 או תומאס26) במהלך המשפט. מה שנקרא “האחרונים-אירוע העדפה זו’, לפיכך, מופיע להיות עמידים לרוחב כל וריאציה ניכר מבנה המשפט וחומרים ניסיוני. זה היה מווסת, עם זאת, על ידי אילוצי חזותי של זירת בו-זמניות26, כך הצגת תמונות סבירה של ערכות נושא הפועל תמונות בנוסף ל נותן מענה לזהותה המגדרית מהסוכנים מופחתת של ההסתמכות על האירועים בדק לאחרונה פעולה ו שימו לב מאופנן המבוססים על ידע סטריאוטיפ המגדר מועברת על ידי השפה. איור 4 מדגימה את עיקרי ממצאי הניסויים רודריגס, משתפי פעולה26. בעוד גירסת הדפוס visual-העולם הניב תוצאות חזקות, מחקרים אחרים הדגישו את המורכבות (ואת המגבלות) של ההיפותזה המקשרים. Burigo, Knoeferle20 חשפו את המשתתפים — בעת האזנה מבעים כגון תיבת למות ist über דר נקניקיית (‘בתיבת is מעל הנקניקיות’) – בעיקר עקב האמירה ולממונה אוסף תמונות תיאורים של אובייקטים אלה. אבל על שיעור של ניסויים, מבטו המשתתפים decoupled ממה הוזכר. כששמע ‘נקניק’ ולא בדק את הנקניקייה לפחות פעם אחת, בדיקה הבאה המשתתפים מוחזרת אל תיבת על-21% של הניסויים ב- speeded אימות (ניסוי 1) וב -90% של משפטי בבית משפט לאחר אימות ( ניסוי 2). דפוס מבטו זה מרמז כי ההפניה (שמיעה ‘ נקניק’) מודרך רק קצת (בדיקת הנקניקיות) אבל לא כל עין תנועות (בדיקת תיבת). עיצוב מסוג זה יכול לשמש כדי לקנטר תהליכים לקסיקלית הקשרים בנפרד מהשני (כולל המשפט ברמת הלימוד) תהליכים. עם זאת, החוקרים עליך להיות זהיר בעת ביצוע תביעות על רמות שונות של עיבוד לשוני מבוסס על יחסי הבדלי הפרופורציות תנועות עיניים, נתן את העמימות ב קישור מבט עין כדי קוגניטיבי ותהליכי הבנה. איור 1: סקירה של הסביבה אוסף נתונים. הגרף מציג רכיבי חומרה ותוכנה שונים המשמשים לאיסוף נתונים וכיצד preprocessing מתייחסים אחד לשני. אנא לחץ כאן כדי להציג גירסה גדולה יותר של הדמות הזאת. איור 2: תוצאות נציג של מינסטר, משתפי פעולה37. לוחות אלה מראים מאת, נושא אכזרי היומן-המבט ההסתברות יחסי לכל תנאי באזור פועל (עבור הפעולה מתוארים) באזור פועל-הפועל בשילוב (עבור האפקט של ראש הממשלה רגשית). התוצאות מציגות שיעור גבוה יותר באופן ניכר של מבטים לעבר תמונת היעד בעת הפעולה שהוזכרו המשפט תוארה מאשר כאשר היא לא תוארה. התוצאות עבור האפקט של פנים הרגשיים הראשוניים היו פחות חד משמעי: הם מציעים רק עלייה קלה יחס אכזרי-יומן של מבטים אל המטרה כשהיה ראש פנים של חיובי הרגשי הערכי (חיוך) מאשר כאשר הייתה של ערכיות שלילית (פרצוף עצוב). קווי השגיאה מייצגים שגיאת התקן של הממוצע. דמות זו שונתה מ מינסטר. et al. 37. אנא לחץ כאן כדי להציג גירסה גדולה יותר של הדמות הזאת. איור 3: תוצאות נציג של גוארה, Knoeferle32- לוח זה מציג טיימס מתכוון לעבור קודם הקריאה (באלפיות שניה) של התואר דמיון (דיס). התוצאות מציגות זמני הקריאה קצרים יותר עבור משפטים דמיון לאחר לראות שני קלפים לשחק, התקרבו לעומת מפוסקות. קווי השגיאה מייצגים שגיאת התקן של הממוצע. דמות זו שונתה גוארה, Knoeferle32. אנא לחץ כאן כדי להציג גירסה גדולה יותר של הדמות הזאת. איור 4: תוצאות נציג של רודריגס, משתפי פעולה26. לוח זה מראה המבט יומן רעה מאת, נושא יחס ההסתברות לכל תנאי באזור פועל. נראה הפרופורציות של מעל הצג 0 העדפה תמונת הסוכן היעד ולהראות הפרופורציות מתחת ל-0 העדפה עבור התמונה סוכן מתחרה. התוצאות מציגות כי המשתתפים היו בסבירות גבוהה יותר לפקח על תמונת הסוכן היעד כאשר את האובייקט ואת הפועל שצוין במשפט מתאימים לאירועים מצולמים הקודם מאשר כאשר הם לא. בנוסף, היו נראה יותר כלפי התמונה הסוכן היעד בעת הפעולה שתואר על ידי המשפט תאמו מגדר סטריאוטיפים. קווי השגיאה מייצגים שגיאת התקן של הממוצע. דמות זו שונתה מ רודריגס. et al. 26. אנא לחץ כאן כדי להציג גירסה גדולה יותר של הדמות הזאת.

Discussion

לסיכום, שנסקרה וריאנטים של העין מעקב בהקשרים חזותי חשפו הרבה דרכים שבה סצינה ויזואלית יכול להשפיע השפה והבנת הנקרא. שיטה זו מספקת יתרונות חיוני לעומת שיטות כגון מדידת זמני תגובה. למשל, תנועות עיניים מתמשך לספק לנו חלון לתוך תהליכי הבנת הנקרא בשפה, איך אלה אינטראקציה עם תפיסת העולם החזותי לאורך זמן. יתר על כן, המשתתפים אינם בהכרח נדרשים לבצע משימה מפורשת במהלך ההבנה שפה (כגון לשפוט את grammaticality של משפט באמצעות מכבש כפתור). זה מאפשר לחוקרים להשתמש בשיטה עם אוכלוסיות כי ייתכן המאבק עם עבירה התנהגותית תגובות מלבד מבט עין, כמו תינוקות, ילדים, ו, במקרים מסוימים, מבוגרים. העין מעקב בתוקף מבחינה אקולוגית בכך שהיא משקפת תגובות תשומת לב המשתתפים – שלא כמו חקירת תקשורת רלוונטיות הדברים בעולם הסובב אותם במהלך פחות או יותר קשוב מקשיב מבעים התגלגלות החזותי של בני האדם.

אחד של גבולות (או אולי מאפיינים) של הפרדיגמה העולם הויזואלי הוא כי יכול להיות מתואר לא כל האירועים אבר המין הגברי, חד משמעית. בטון אובייקטים ואירועים ניתן, כמובן, להיות מתואר. . אלא כמה מושגים מופשטים הם הטובים ביותר מתואר הוא פחות ברור. זה יכול להגביל, או להגדיר תובנות האינטראקציה בין עיבוד שפה ותפיסת העולם החזותי באמצעות הפרדיגמה של העולם הויזואלי עקיבה. אתגרים נוספים מתייחסים וההשערות המקשרים בין נצפתה התנהגות ותהליכים בהבנת הנקרא. עין הקיבועים הם תגובה התנהגותית יחיד סביר המשקפת תהליכי משנה רבים במהלך ההבנה שפה (למשל, גישה לקסיקלי, תהליכים הקשרים, הציפיות בתיווך שפה, השפעות הקשר חזותי, בין היתר). בהתחשב תובנה זו, החוקרים צריך להיזהר שלא נגמר – או פרשו את דפוס מבטו שנצפו. כדי לטפל בבעיה זו, מחקר קודם הדגישה את התפקיד של הבנת הנקרא תת כדי להבהיר את הפרשנות של המבט שיא40.

דרך אחת לשפר את interpretability של תנועות עיניים היא לשלב אותן עם אמצעים אחרים כגון פוטנציאל הקשור לאירוע מוחי (ארפס). על ידי חוקרים אותה תופעה עם שתי שיטות כי הם המקבילה שלהם צפיפות טמפורלית ומשלימים ב ההשערות המקשרים שלהם, חוקרים יכולים לשלול הסברים חלופיים של התוצאות שלהם ולהעשיר את הפירוש של כל אחד בודדים מידה41. גישה זו יש כנראה תפס על פני ניסויים43, אבל, יותר לאחרונה, גם במסגרת ניסוי יחיד (גם אם בהקשרים בקפדנות לשונית)44. למחקר עתידי יכול להפיק תועלת רבה מן כזה שילוב מתודולוגיות והמשיך בשילוב עם משימות פוסט-משפט פוסט נסיוני.

השיטה עקיבה יכול לשכפל את תוצאות הוקמה, כמו גם לבדוק היפותזות חדשות, על האינטראקציה של תשומת לב בסצנות עם שפה הבנה. ההליך שפורטו בפרוטוקול בתחומיו בקפידה מאז שגיאות הנסיין קטן יכול להשפיע על איכות הנתונים. קריאה מחקרים, לדוגמה, ניתוח רלוונטית האזורים הם לעיתים קרובות מילים בודדות או אפילו אותיות, כלומר כיול קטן אפילו שגיאות עלול לעוות את התוצאות (ראה את המאמר על ידי רייני ועמיתיו42). שלבים 1.4 ו- 1.5 של הפרוטוקול, הכיול של העין ומכשיר את הסחף הסימון/הסחף נכון, יש חשיבות מיוחדת מאז הם משפיעים ישירות על דיוק הקלטה. יכול לגרום לכשל לכיול כראוי את הגשש העין ברכיב המעקב ולא מדויק מעקב אחר תנועות עיניים לאזורי טרום הוקמה עניין. כשלון מעקב שכזה יוביל חסרים נקודות נתונים, אובדן עוצמה סטטיסטית, אשר יכול להיות בעייתי כאשר חוקרים קשרים עם העולם-כדי-שפה הם עדינים מאוד, תשואות אפקט סטטיסטי קטן מידות (ראה את התיאור של ניסויים על ידי גוארה, Knoeferle32 ו מינסטר ועמיתיו37 בין נציג תוצאות).

בהתחשב בצורך להגדיל את כוח, רגישות של הציוד, זה חשוב כי ניסויים יודעים איך להתמודד עם בעיות שמתרחשות באופן שגרתי במהלך מפגש ניסיוני. לדוגמה, המיקום התלמיד ואת התנועה של המשתתפים משקפיים יכולים לגרום כיול לקשיים עקב השתקפויות האור על העדשות המשקפיים של המשתתף. אחת הדרכים לפתור בעיה זו היא מראה את התמונה של העין של המשתתף על צג המחשב ולעודד אותם כדי להזיז את הראש שלהם עד השתקפות האור על המשקפיים כבר אינו נראה לעין על המסך שלהם, כלומר, כי זה כבר לא נתפס על ידי המצלמה. גורם נוסף של כיול כישלון יכול להיות תלמידו הכיווץ, אשר עשוי להיות תוצאה של חשיפת יתר אור. במקרה כזה, עמעום האור במעבדה להגדיל נורמאליות ולעזור, לפיכך, הגשש העין באיתור במדויק את התלמיד.

כמו מחשבה אחרונה, אנחנו רוצים להתייחס את הפוטנציאל שיש הפרדיגמה visual-העולם לחקר רכישת שפה שנייה. הפרדיגמה בהצלחה שימש כבר במחקר psycholinguistic לחקור תופעות כמו האינטראקציה לקסיקלי, פונולוגית לשפות46,47,48. בנוסף, היה הדגישה הקשר ההדוק בין תשומת לב ולימוד השפה לעתים קרובות הספרות בלשנות מוחל על רכישת שפה שנייה-49,–50,–51. מחקר עתידי על לימוד שפה שנייה כנראה תמשיך להפיק תועלת מן המיקום יתרון של העין מעקב כשיטה מספק אינדקס של תשומת לב ברזולוציה של אלפיות השנייה.

Divulgations

The authors have nothing to disclose.

Acknowledgements

מחקר זה מומן על ידי זוקו (יוזמה מצוינות, זו אוניברסיטת הומבולדט בברלין), 277 אשכול מצוינות ‘קוגניטיבית אינטראקציה עם טכנולוגיית’ (מועצת המחקר הגרמני, DFG), ולא על-ידי תוכנית המסגרת השביעית של האיחוד האירופי למחקר, פיתוח טכנולוגי, הפגנה תחת גרנט הסכם n ° 316748 (LanPercept). המחברים להכיר גם תמיכה מן הכספים הבזליים מרכזי מצוינות, פרוייקט FB0003 מ את אסוציאטיבי מחקר התוכנית של CONICYT (הממשלה של צ’ילה) ומ -פרויקט “FoTeRo” במרכז המוקד XPrag (DFG). פיא Knoeferle בתנאי טיוטה ראשונה של המאמר הודיע על ידי פרוטוקול המעבדה הלין Kreysa מופעים באוניברסיטת בילפלד, זה ימשיך לשמש בשעה זו אוניברסיטת הומבולדט בברלין. כל המחברים תרמו התוכן על-ידי מתן קלט על שיטות, תוצאות בצורה אחת או אחרת. קמילו רודריגס Ronderos ו- Knoeferle. פיא תיאם את קלט מן המחברים ומתוקנים, בעוד שתי חזרות, באופן משמעותי את הטיוטה הראשונית. ארנסטו גוארה המיוצר דמויות 2 – 4 המבוססת על קלט Katja מינסטר, אלבה רודריגס, ארנסטו Guerra. הלן Kreysa מסופקים איור 1 ו- Knoeferle. פיא עדכון זה. חלקי התוצאות המדווחות פורסמו ב הליכים של הכנס השנתי של האגודה מדעים קוגניטיביים.

Materials

Desktop mounted eye-tracker including head/chin rest SR Research Ltd. EyeLink 1000 plus http://www.sr-research.com/eyelink1000plus.html
Software for the design and execution of an eye-tracking experiment SR Research Ltd. Experiment Builder http://www.sr-research.com/eb.html
DOWNLOAD MATERIALS LIST

References

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Knoeferle, P., Guerra, E., Finkbeiner, R., Meibauer, J., Schumacher, P. B. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. , 129-150 (2012).
  4. Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
  5. Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
  6. Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
  7. Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
  8. Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
  9. Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
  10. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  11. Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
  12. Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
  13. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
  14. Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
  15. Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
  16. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  17. Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
  18. Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , 1166-1171 (2005).
  19. Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , 11-14 (2016).
  20. Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
  21. Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 2675-2680 (2014).
  22. Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes?. Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , 2463-2468 (2017).
  23. Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
  24. Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376 (2011).
  25. Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference?. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 92-97 (2014).
  26. Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , 580-585 (2016).
  27. Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , 2593-2598 (2012).
  28. Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children’s comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , 1227-1232 (2012).
  29. Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
  30. Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , 291-303 (2016).
  31. Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
  32. Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
  33. Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 2513-2518 (2014).
  34. Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , 31-36 (2015).
  35. Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
  36. Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe’s Arch Clin Exp Ophthalmol. 243, 926 (2005).
  37. Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , 1673-1678 (2015).
  38. Lakoff, G., Johnson, M. . Metaphors We Live By. , (1980).
  39. Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
  40. Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , 1557-1562 (2012).
  41. Knoeferle, P., Roel, W. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. , 77-100 (2015).
  42. Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780 (2014).
  43. Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
  44. Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
  45. Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension?. Frontiers in Psychology. 3, 538 (2012).
  46. Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029 (2009).
  47. Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663 (2007).
  48. Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
  49. Verhallen, M. J., Bus, A. Young second language learners’ visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
  50. Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
  51. Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).

Tags

Eye TrackingVisually Situated Language ComprehensionPsycholinguisticsLanguage ProcessingOcular DominanceCalibrationCorneal ReflectionPupil Detection

Play Video
PDF
DOI
DOWNLOAD MATERIALS LIST
Citer Cet Article
Rodriguez Ronderos, C., Münster, K., Guerra, E., Kreysa, H., Rodríguez, A., Kröger, J., Kluth, T., Burigo, M., Abashidze, D., Nunnemann, E., Knoeferle, P. Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects. J. Vis. Exp. (141), e57694, doi:10.3791/57694 (2018).
Télécharger la Citation
Réimpressions et Autorisations

View Video

✖

To prove you're not a robot, please enter the text in the image below

CAPTCHA Image
Play CAPTCHA Audio
Refresh Image