באמצעות תנועות עיניים טלקוה הפרדיגמה העולם הויזואלי לחקור את עיבוד מקוון של השפה המדוברת

השפה המדוברת היא זרימה מידע מהיר, מתמשך, הנעלמת מיד. זה אתגר השפעול ללמוד זה זמני, לשנות במהירות את אות דיבור. תנועות עיניים טלקוה הפרדיגמה העולם הויזואלי יכול לשמש כדי להתגבר על האתגר הזה. בעין טיפוסי מעקב במחקר באמצעות הפרדיגמה העולם הויזואלי, תנועות עיניים של המשתתפים תמונות תצוגה או אובייקטים אמיתיים בסביבת עבודה חזותיים מנוטרים להקשיב, או להפיק, השפה המדוברת המתארים את התוכן של העולם החזותי^{1 ,2,3,4}. הלוגיקה הבסיסית, או ההנחה המקשרים, מאחורי תפיסה זו הוא כי בדיוק או תכנון של האמירה (בגלוי או בחשאי) יעבור תשומת לב המשתתפים לאובייקט מסוים בעולם החזותי. שינוי זה תשומת הלב תהיה הסתברות גבוהה ליזום תנועה העין saccadic להכניס את האזור השתתפו חזון foveal. עם הפרדיגמה הזו, מתכוונים החוקרים לקבוע באיזה שלב זמני, לגבי איזה ציון אקוסטית אות הדיבור, מתרחש מפנה תשומת לב ויזואלית של המשתתף, כפי שנמדד ע י תנועה saccadic העין לאובייקט או תמונה חזותית העולם. מתי ואיפה תנועות עיניים saccadic הם השיקה ביחס אות הדיבור משמשות לאחר מכן להסיק את עיבוד שפה באינטרנט. הפרדיגמה העולם הויזואלי ניתן ללמוד שפה מדוברת הבנה^1,2 והן הפקה^5,6. המאמר מתודולוגי יתמקדו הלימודים בהבנת הנקרא. מחקר הבנת הנקרא באמצעות הפרדיגמה העולם הויזואלי, העין של המשתתפים תנועות התצוגה החזותית מנוטרים כפי הם מקשיבים מבעים המדוברת מדבר על התצוגה החזותית.

מערכות מעקב עיניים שונות עוצבו בהיסטוריה. הפשוטה ביותר, לפחות יקר, הכי נייד מערכת היא פשוט רגילה מצלמת וידאו, אשר רשומות תמונה של העיניים של המשתתף. תנועות עיניים ואז מוצפנים באופן ידני באמצעות מסגרת בחינת הקלטת וידאו. עם זאת, קצב הדגימה של כזה עין-גשש היא נמוכה יחסית, ההליך קידוד זה זמן רב. לפיכך, יש עין מסחרית עכשווי מערכת מעקב בדרך כלל משתמשת חיישנים אופטיים מדידת הכיוון של העין שלו במסלול^7,8,9. כדי להבין איך עובדת מערכת עקיבה מסחרי עכשווי, יש לשקול את הנקודות הבאות. ראשית, למדוד בצורה נכונה את הכיוון של חזון foveal, מאייר אינפרא-אדום (בדרך כלל עם הגל סביב 780-880 ננומטר) מונח בדרך כלל לאורך או לבטל את הציר האופטי של המצלמה, שהופך את התמונה של התלמיד distinguishably בהיר יותר או כהה יותר מאשר הקשתית שמסביב. התמונה של התלמיד ו/או של תלמיד הקרנית ההשתקפות (בדרך כלל התמונה הראשונה של Purkinje) משמש לאחר מכן כדי לחשב את הכיוון של העין במסלולו. שנית, המיקום ההתבוננות בעולם החזותי נמדדת למעשה לא רק על הכיוון עין לגבי הראש, אלא גם כיוון הראש ביחס העולם החזותי. להסיק במדויק מבטו של כבוד מן הכיוון העין, מקור האור של המצלמה של העין-עוקבים או קבועים ביחס לראש של המשתתפים (רכוב ראש העין-הגששים) או קבועים ביחס העולם החזותי (רכוב טבלה או מרחוק עין-הגששים). שלישית, כיוון הראש המשתתפים יש לתקן גם ביחס העולם החזותי או שהמפתחות לתשלום אם הראש של המשתתפים הוא לנוע בחופשיות. כאשר העין-גשש מרחוק משמשת במצב ראש-חינם-כדי-סע, העמדה בראש המשתתפים מתועד בדרך כלל על-ידי הצבת מדבקה קטנה על המצח של המשתתפים. כיוון הראש ואז יופחת שהמפתחות מן הכיוון העין לאחזר את המיקום ההתבוננות בעולם החזותי. רביעית, כיול, תהליך אימות נדרשים ואז כדי למפות את הכיוון של העין מבטו של כבוד בעולם החזותי. תהליך הכיול, קיבוע דגימות של המשתתפים נקודות יעד ידוע נרשמים כדי למפות את הנתונים העין raw להתבונן בעולם החזותי. בתהליך האימות, המשתתפים מוצגים עם אותן נקודות יעד כמו תהליך כיול. ההבדל הקיים בין תנוחת קיבוע מחושב מתוצאות מכוילת של מיקומו המעשי של המטרה מקובעים בעולם החזותי משמשות לאחר מכן לשפוט את הדיוק של הכיול. בהמשך מומלץ מאוד לאשר את הדיוק של תהליך המיפוי, המחאה להיסחף בדרך כלל חלה בכל ניסוי, שבו מטרה קיבוע יחיד הוא הציג למשתתפים כדי למדוד את ההבדל בין תנוחת קיבוע מחושב של מיקומו המעשי של . המטרה הנוכחית.

הנתונים העיקריים של מחקר העולם הויזואלי הוא זרם של המבט מיקומים בעולם החזותי הקליט בקצב דגימה של העין-המעקב, החל על כל או על חלק המשך המשפט. המשתנה התלוי השתמשו במחקר העולם הויזואלי הוא בדרך כלל הפרופורציה של דגימות הקיבועים של המשתתפים ממוקמים על אזור מסויים מרחבי העולם חזותית על פני חלון זמן מסוים. כדי לנתח את הנתונים, חלון זמן יש ראשית להיבחר, המכונה לעתים קרובות תקופות ריבית. חלון הזמן הוא בדרך כלל זמן נעול על המצגת של כמה אירועים הלשוני קלט שמיעתי. יתר על כן, העולם החזותי נחוץ גם כדי לפצל במספר אזורים מעניינים (ROIs), שכל אחד מהם מזוהה עם אובייקט אחד או יותר. אזור אחד כזה מכילה את האובייקט המתאים ההבנה הנכונה של השפה המדוברת, כך לעיתים קרובות נקרא אזור היעד. שיטה נפוצה כדי להמחיש את הנתונים היא מזימה פרופורציה-של-קיבוע, איפה לכל סל בחלון הזמן, חלקם של דגימות עם מראה על כל אזור בעל עניין הם בממוצע על פני המשתתפים ופריטים.

באמצעות הנתונים שהושגו ממחקר העולם הויזואלי, שאלות המחקר שונים יכולה לקבל מענה:) ברובד גס-דגן, הן תנועות עיניים של המשתתפים בעולם החזותי מושפע הקלט שמיעתי לשוני? b) אם יש אפקט, מהו המסלול של האפקט במהלך המשפט? זה אפקט ליניארי או אפקט גבוהים? ו- c) אם יש השפעה, ואז על רמת הקנס-דגן, כאשר היא נקודת טמפורלית המוקדם שבו מתגלה אפקט כזה ועושה כמה זמן את האפקט הזה האחרון?

מבחינה סטטיסטית לניתוח התוצאות, יש לשקול את הנקודות הבאות. ראשית, התגובה המשתנה, כלומר, הפרופורציות של הקיבועים, גם מתחת וגם מעל תחומה (בין 0 ל-1), אשר יעברו על התפלגות המולטינום ולא בהתפלגות רגילה. מעתה ואילך, שיטות סטטיסטיות מסורתי המבוסס על התפלגות נורמלית כגון מבחן t, ANOVA מודלים ליניאריים (מעורב-אפקט)¹⁰, לא יכול להיות ישירות מנוצל עד הפכו את הפרופורציות למשתני מאוגדות כגון עם נוסחה אמפירית logit¹¹ או הוחלפו מאוגדות התלוי משתנים כגון מרחק אוקלידי¹². ניתן להשתמש גם טכניקות סטטיסטיות שאינם מצריכים שההנחה של התפלגות נורמלית כזה מוכללת מודלים ליניאריים (מעורב-אפקט)¹³ . שנית, על מנת לחקור את המסלול משתנה של האפקט הנצפה, משתנה המציין את הזמן-הסדרה יש להוסיף לתוך המודל. משתנה זה הזמן-סדרת הוא במקור העין-המעקב של דגימה נקודות יושרו תחילתה של שפת קלט. כיוון המסלול משתנה בדרך כלל אינו ליניארי, פונקציה פולינום מסדר גבוה של סדרת ה הזמן-בדרך כלל נוסף לתוך (כללית) (מעורב-אפקט) המודל הוא ליניארי, כלומר, ניתוחים עקומת גדילה¹⁴. יתר על כן, העין בתפקידים של המשתתפים נקודת הדגימה הנוכחית תלויה מאוד נקודות הדגימה הקודמת, במיוחד כאשר תדירות ההקלטה הוא גבוה, והתוצאה היא הבעיה של autocorrelation. כדי להפחית את autocorrelation בין נקודות דגימה סמוכים, הנתונים המקוריים הם לעתים קרובות שנדגמו למטה או נשברתי. בשנים האחרונות, הדגמים מוכללת מוספים אפקט מעורב (GAMM) גם שימשו כדי להתמודד עם ה autocorrelated שגיאות^12,15,16. הרוחב של סלים משתנה בין מחקרים שונים, ועד כמה מאות מילי שניות מספר אלפיות השניה. סל הצר שמחקר ניתן לבחור הוא מוגבל על ידי קצב הדגימה של רכיב המעקב העין השתמשו במחקר מסוים. לדוגמה, אם גשש העין יש קצב הדגימה של 500 הרץ, ואז מרוחב חלון הזמן לא יכולה להיות קטנה מ- 2 ms = 1000/500. שלישית, כאשר ניתוח סטטיסטי מוחל שוב ושוב כל הזמן סל של התקופות עניין, השגיאה familywise המושרה אלה שצריכה להיות מטופלת השוואות מרובות. כפי שהסברנו קודם לכן, מסלול הירי מודיע החוקר אם ההשפעה נצפתה רמה גס-תבואה הוא ליניארי לגבי שינוי של הזמן, אך אינם מציגים כאשר האפקט הנצפה מתחיל להסתמן וכיצד זמן שנצפו האפקט נמשך. כדי לקבוע את מיקום זמני כאשר ההבדל שנצפה מתחיל לסטות, וכדי להבין את משך התקופה זמני שנמשך האפקט הנצפה, ניתוחים סטטיסטיים כולל שיוחל שוב ושוב לכל סל זמן. השוואות מרובות אלה תציג את השגיאה familywise כביכול, לא משנה באיזו שיטה סטטיסטית משמש. השגיאה familywise היא תתוקן באופן מסורתי עם התאמה Bonferroni¹⁷. לאחרונה, שיטה הנקראת מבחן תמורה nonparametric שימשו במקור דימות מוחי הגיש¹⁸ הוחלה על הפרדיגמה המילה חזותי¹⁹ כדי לשלוט על השגיאה familywise.

חוקרים באמצעות הפרדיגמה העולם הויזואלי מתכוונים להסיק ההבנה של השפה המדוברת חלק מן המשתתפים תנועות עיניים בעולם החזותי. כדי להבטיח את תוקפו של התהליך הזה, גורמים אחרים המשפיעים על תנועות עיניים ואולי עליך להיות שללה או נשלט. שני הגורמים הבאים הם בין אלה נפוצים צריכים לקחת בחשבון. הגורם הראשון כרוך כמה דפוסים שיטתית הסבר הקיבועים של המשתתפים עצמאית של שפת קלט, כגון נטייה להתקבע על החלק העליון השאיר תתהלכו של העולם הויזואלי, והעיניים נע בכיוון אופקי לכך קל יותר מאשר ב- הכיוון האנכי,^12,ועוד²⁰ כדי לוודא כי הדפוסים שנצפו קיבוע קשורים לאובייקטים, שלא למיקומים מרחבית היכן ממוקמים העצמים, העמדות המרחבי של אובייקט צריך להיות אוזנו פני ניסויים שונים או על פני משתתפים שונים. הגורם השני העלולות להשפיע על תנועות עיניים של המשתתפים הוא תכונות התמונה הבסיסית של האובייקטים בעולם חזותיים, כגון כיוון ניגודיות, צבע, קצוות בוהק, בין היתר²¹. כדי לאבחן את פוטנציאל זה מבלבלים, התצוגה החזותית בדרך כלל מוצג לפני תחילתה של שפה מדוברת או לפני תחילתה של הסמן אקוסטית קריטי של השפה המדוברת, של גברת כ-1000 במהלך תקופת טמפורלית מראשית תמונת בדיקה תחילתה של מבחן השמע, את שפת הקלט או הנקודה פירושונים של שפת קלט היה עדיין לא שמע. כל הבדל שנצפה בין מצבים שונים צריך להסיק לגורמים מבלבלים אחרים כגון התצוגה החזותית כשלעצמה, ולא שפת קלט. מעתה ואילך, תנועות עיניים נצפתה בתקופה זו תצוגה מקדימה מספקים בסיס לקביעת השפעת הקלט הלשוני. תקופה זו התצוגה המקדימה מאפשר גם משתתפים כדי לקבל היכרות עם התצוגה החזותית, וכדי להפחית את האפליה השיטתית של הקיבועים הסבר כאשר השפה המדוברת מוצג.

כדי להמחיש כיצד מתנהל בעין טיפוסי מעקב במחקר באמצעות הפרדיגמה העולם הויזואלי, הפרוטוקול הבא מתאר ניסוי מקורי ל’ Zhan¹⁷ לחקור את עיבוד מקוון של דוחות מורכבים סמנטי, קרי, מאמר משפטי (S1 או S2) הצהרות conjunctive (S1, S2), אבל-הצהרות (S1 אבל לא-S2). בשימור רגילים, המידע לידי מבעים כמה הוא יותר חזק מהמשמעות המילולית שלה. מאמר משפטי כמו של Xiaoming מהטורים פרה או תרנגול הם מבעים כזה. מבחינה הגיונית, המשפט מאמר זה נכון כל עוד disjuncts שני התיבה של Xiaoming מכילה פרה , התיבה של Xiaoming מכילה תרנגול אינם שניהם כוזבים. לפיכך, המשפט מאמר נכון כאשר disjuncts שני שניהם נכונים, איפה ההצהרה conjunctive המקביל של Xiaoming מהטורים פרה ו תרנגול הוא גם נכון. בשיחה רגילה, עם זאת, שמיעת שהמשפט מאמר לעתים קרובות מרמז כי ההצהרה conjunctive המתאים. שקר (implicature שיטתית); מציע כי ערכי האמת שני disjuncts הם מוכרים על ידי הרמקול (בורות מסקנה). חשבונות בספרות נבדלים מסקנות שני תהליכים דקדוקית או פרגמטי^{22,23,24,25,26}. הניסוי מראה כיצד ניתן להשתמש הפרדיגמה העולם הויזואלי לדון בין חשבונות אלה, על-ידי חקירת עיבוד מקוון של שלוש הצהרות מורכבים.