JoVE Journal > Behavior
Summary
Abstract
Introduction
Protocol
Results
Discussion
Disclosures
Acknowledgements
Materials
References
русский

Automatically Generated
Please note that all translations are automatically generated. Click here for the English version.
Behavior

Глаз слежения во время визуально расположен языка понимание: Гибкость и ограничения в раскрытии визуальный контекст эффекты

Published: November 30, 2018
doi:
10.3791/57694
, , , , , , , , , ,
1Institute of German Studies and Linguistics,Humboldt-Universität zu Berlin, 2Center for Advanced Research in Education – CIAE,Universidad de Chile, 3Institute of Psychology,Friedrich Schiller University Jena, 4Cognitive Interaction Technology Excellence Cluster (CITEC), Faculty of Linguistics and Literature,Bielefeld University, 5Department of Education,Concordia University, 6Berlin School of Mind and Brain, 7Einstein Center for Neurosciences Berlin

Summary

Настоящей статьи обзоры методологии глаз отслеживания исследований на понимание языка. Для получения достоверных данных, должны соблюдаться основные этапы протокола. Среди них правильные настройки глаз отслеживания (например, обеспечивая хорошее качество изображений глаз и головы) и точной калибровки.

Abstract

Настоящая работа является описание и оценку методологии, предназначенных для количественной оценки различных аспектов взаимодействия между обработки языка и восприятие визуальный мир. Запись глаз взгляд шаблоны предоставила веские доказательства для вклада визуальный контекст и лингвистические/мир знаний для понимания языка. Первоначальные исследования оценить эффекты контекст объекта для проверки теории модульность языка обработки. Во введении, мы описываем как последующие расследования взяли роль более широкого контекста визуального языка обработки как темы исследования в своем собственном праве, задавая вопросы такие, как наше визуальное восприятие событий и ораторов способствует понимание, сообщил comprehenders опыт. Среди рассмотренных аспектов визуального контекста являются действия, события, спикер взглядом и эмоциональные выражения лица, а также пространственного объекта конфигурации. После обзора eye отслеживание метода и его различных приложений мы перечислим основные шаги методологии в протоколе, иллюстрирующие как успешно использовать его для изучения восприятия языка визуально расположен. Заключительном разделе представлены три представителя результирующие наборы и иллюстрирует преимущества и ограничения глаз слежения для изучения взаимосвязи между восприятия визуального восприятия мира и языка.

Introduction

Психолингвистические исследования подчеркнул важность анализа движения глаз в понимании процессов, замешанных в понимании языка. Ядром выведение понимания процессов от взгляда запись является гипотеза, которая связывает познания глаз движения5. Существует три основных вида движений глаз: саккад, вестибуло глазных движений и движений Гладкая гонка преследования. Саккад являются быстрый и баллистических движений, которые происходят в основном бессознательно и были надежно связаны с изменениями в внимание6. Моменты относительной взгляд стабильности между саккад, известный как фиксаций, считаются индекс текущего визуального внимания. Измерения Локус фиксаций и их длительность по отношению к когнитивных процессов известен как метод eye-tracking. Начале реализации этого метода служил для изучения прочитанного в строго лингвистических контекстах (см. Райнер7 для обзора). В этом подходе продолжительность проверки слова или предложения региона связан с обработкой трудности. Глаз слежения однако, также был применен для изучения разговорного языка понимания во время инспекции объектов в мире (или на компьютере дисплей2). В этой версии eye отслеживание «визуальный мир» инспекции объектов руководствуется языка. Когда comprehenders услышать Зебра, например, их осмотр Зебра на экране следует отразить, что они думают о животных. В то, что известно как парадигма визуальный мир, comprehender глаз взглядом берется отражать понимание разговорного языка и активации соответствующих знаний (например, слушатели также инспектировать Зебра, когда они слышат, выпас скота, указывающий действие, выполняемое Зебра)2. Такие инспекции свидетельствуют о систематической связь между язык мировых отношений и движений глаз2. Распространенным способом для количественной оценки этой ссылки является вычисления доли смотрит в разные регионы заранее на экране. Это позволяет исследователям непосредственно сравнить (в разных условиях, участников и элементов) количество внимания различных объектов в конкретное время и как эти значения изменяются в резолюции миллисекунды.

Исследования в психолингвистики эксплуатирует глаз слежения в визуальных миры, чтобы дразнить друг от друга конкурирующих теоретических гипотез относительно архитектуры ум1. Глаз фиксаций изображаемых объектов Кроме того, показали, что comprehenders могут — при условии достаточно ограничительный лингвистический контекст — выполнить добавочное семантической интерпретации8 и даже развивать ожиданий о предстоящих персонажей 9. такие данные взглядом глаз также пролить свет на ряд дальнейшего понимания процессов, таких как лексические двусмысленности резолюции10,11, местоимение резолюции12, значения роли структурные и тематические назначение с помощью информации в визуальный контекст13,14,16и прагматические процессы15, среди многих других4. Очевидно движения глаз для объектов во время понимание языка может быть информативным причастными процессов.

Глаз отслеживание метод является неинвазивным и может быть использован с грудных детей, молодых и старых язык пользователей. Ключевым преимуществом является то, что, в отличие от пунктата ответы на зондов или ответ кнопки нажимает в проверки задач, он обеспечивает идеи с течением времени в резолюции МС в как язык руководства внимание и как визуальный контекст (в форме объектов, действия, события, спикер взглядом и эмоциональные выражения лица, а также пространственного объекта конфигурации) способствует обработки языка. Непрерывность измерения во время понимания предложения дополняет хорошо с другими после приговора и после эксперимента такие меры, как от явной проверки изображение/видео приговор, понимание вопросов и памяти напомнить задачи. Открытые ответы в решении этих задач может обогатить интерпретации запись взглядом глаз, обеспечивая понимание результатов процесса восприятия, памяти и обучения2. Сочетая глаз слежения с этими задачами обнаружила в какой степени различные аспекты визуального контекста модулировать визуального внимания и восприятия (немедленно, а также задержкой) по всей жизни.

Представление языка (устной или письменной форме) и сцен может быть одновременно или последовательно. Например Knoeferle и коллаборационистов17 представлены сцены 1000 мс до устного предложения, и он оставался во время понимания. Они сообщили доказательства того, что clipart изображения событий действий способствуют урегулированию местных структурные неопределенности в немецкой субъект глагол объект (SVO) по сравнению с предложениями, объект глагол тема (ОВС). Knoeferle и Крокер18 представил клипарт сцены перед письменные предложения и испытания дополнительных интеграции клипарт событий во время понимания предложения. Они отметили добавочных конгруентность эффекты, означает, что участников раз чтение приговора составляющих были длиннее, когда эти несоответствия (против соответствием) событием, изображается в предыдущей сцене. В другой вариант презентации стимул участники сначала прочитать описание пространственных отношений и затем увидел сцену особое пространственное расположение с участием объектов чертежей19. Это исследование оценку предсказания вычислительной пространственных языковые модели, задавая участникам оценить fit приговоров к сцене, с движениями глаз, записанная во время допроса сцены. Участников взгляд шаблоны были модулированные форму объекта, что они сталкиваются с — частично подтверждающее модель предсказания и предоставление данных для уточнения модели.

Хотя многие исследования использовали clipart изображения17,18,19,20,21,22,23, это также возможно комбинировать реального мира объекты, видео этих объектов или статических фотографий с разговорного языка1,21,24,25,26,46. Knoeferle и коллеги использовали реальные параметр24 и Абашидзе и коллеги использовали формат видеозаписи представления для изучения событий действий и напряженной эффекты25. Точное содержание различных сцен (например, изображением действия или нет)22,27,38 возможен и может также выявить контексте визуальные эффекты. Смежное исследование Родригес и коллаборационистов26 исследовано влияние видеозапись визуальных полов сигналы на постижение впоследствии представил говорят приговоров. Участники смотрели видео, отображение мужского или женского пола руки, действия, стереотипно связанных с гендерной проблематикой. Затем они услышали приговор о либо стереотипно мужского или женского пола действий событий при осмотре одновременно дисплея показаны две фотографии бок о бок, один мужчина и женщина. Это богатые визуальные и языковой среды позволили авторы дразнить врозь эффекты языка опосредованной стереотипных знаний на понимание от последствий подсказки пола визуально представлены (рука).

Дальнейшее применение этой парадигмы ориентировала развития изменения языка обработки. Движения глаз для объектов во время понимание разговорного языка показали эффекты изображены события в 4 – 5 – летних27,28 и в старых взрослых29 в режиме реального времени, но несколько задерживается по сравнению с молодых взрослых. Крёгер и коллаборационистов22 рассмотрел последствия просодических подсказки и маркировки в качестве эксперимента и сравнить эти через эксперименты у взрослых и детей. Участники осмотрела неоднозначные события действия сцены во время прослушивания смежных однозначно отмечен случай немецкий приговора. Движения глаз показали, что собственный просодических шаблоны помог ни взрослых, ни 4 – или 5-летнего возраста при устранении неоднозначности кто ли что к кого. Приговор первоначальный случае маркировки, однако, влияние взрослых, но не детей движения глаз. Это свидетельствует о том, что 5-летних понимание случае маркировка не является достаточно надежными, чтобы назначение роли тематический (см. исследование Özge и коллаборационистов30), по крайней мере не когда события сделали не однозначного определения тематических роль отношений. Эти результаты являются интересно, учитывая, что они являются в отличие от предыдущих результатов просодических воздействия на тематических роль назначение31. Крёгер и коллаборационистов22 предложил, что визуальный контекст (более или менее благоприятной) отвечает за контрастные выводы. В той степени, в какой эти интерпретации держат, они подчеркивают роль контекста в понимании языка по всей жизни.

Глаз отслеживание метод хорошо сочетается с меры из картина – (или видео-) предложение проверки задачи18,20,26, фотография фотография проверки задачи32, корпус исследования24, Рейтинг задачи19, или после экспериментальной напомнить задачи25,33. Абашидзе и коллаборационистов34 Kreysa и коллаборационистов33 расследование и взаимодействие взгляд оратора и реальных действий видео34 и спикер взглядом и действий изображения33, соответственно, в качестве подсказки для будущие предложения содержание. Объединив отслеживания глаз взглядом на сцене во время понимание языка с задачей после экспериментальной памяти, они получили более глубокое понимание способа в котором восприятие слушателей взгляд оратора и изображены действия взаимодействуют и влияют на оба немедленной языка обработки и памяти вспомнить. Результаты показали собственный вклад действия против спикера взглядом в реальном времени понимание против памяти после эксперимента напомнить процессы.

В то время как метод глаз слежения могут быть использованы с большой гибкостью, определенные стандарты являются ключевыми. Следующий протокол кратко обобщенной процедуры, которая может быть скорректирована для различных типов вопросов исследования зависимости от конкретных потребностей исследователей. Этот протокол является стандартизированной процедурой, используемой в лаборатории психолингвистики Humboldt-Universität цу Берлин, а также в бывшей язык и познание лаборатория в когнитивной взаимодействия технологии совершенства кластера (CITEC) на Университет Билефельда. Протокол описывает рабочий стол и удаленной установки. Последний рекомендуется для использования в исследованиях с детей или пожилых людей. Все эксперименты, упомянутых в Представитель результаты использования глаз трекер устройство, которое имеет дискретизации 1000 Гц и используется вместе с головы стабилизатор, для тестирования участники (дисплея ПК) и ПК для мониторинга эксперимент и Участники движения глаз (Host-ПК). Основное отличие этого устройства его предшественника является, что она позволяет для бинокулярного глаз отслеживания. Протокол призван быть достаточно общим для использования с другими устройствами глаз слежения, которые включают головы стабилизатор и использовать двойной ПК установки (хост + дисплей). Однако важно иметь в виду, что другие настройки, вероятно, будет иметь различные методы для обработки таких проблем, как калибровка сбоев или потери трек, в котором случае экспериментатора должны относиться к пользователю вручную их конкретного устройства.

Protocol

Этот протокол руководящими принципами этики Института которой были собраны данные, т.е., когнитивная взаимодействия технологии совершенства кластера (CITEC) Университет Билефельда и Гумбольдт-Universität цу Берлин. Эксперименты в университете Билефельд были утверждены индивидуально Комитетом по этике Университет Билефельда. Лаборатория психолингвистики в Humboldt-Universität цу Берлин имеет лаборатории этики протокол, который был одобрен Комитетом по этике Deutsche Gesellschaft für Sprachwissenschaft, немецкого общества лингвистики (DGfS). 1. Классические настройки Примечание: Ниже приведены основные шаги в эксперименте глаз слежения. Подготовка документа Включите камеру eye отслеживание и Host-ПК (см. Рисунок 1 для иллюстрации в лаборатории данных сбора и предварительной обработки установки). Инициировать глаз отслеживания программного обеспечения. Включите отображение Заставки. Откройте папку, содержащую экспериментов. Начало «развернутой» версии с расширением .exe, дважды щелкнув его. В зависимости от установки может появиться запрос для выбора экспериментальный список, который является обычно табуляцией.csv/.txt файл, содержащий условия, имена звуковых файлов, письменные предложения и/или изображения, которые будут подвергаться участник. Выберите список, и программа запустится. Имя выходного файла, где будут храниться результаты.Примечание: Выходной файл сохраняется на экран ПК и back-up сохраняется на Host-ПК. Не закрывайте на первом экране эксперимента (введение или экран приветствия). Снимите защитную крышку от глаз трекер камеры. Для гигиенических целей место ткани на держателе подбородок. Дополнительно: Подготовьте площадку ответ и/или клавиатура как предусмотрено эксперимент. Необязательно: Если представления слуховые раздражители, отрегулировать громкость динамиков и проверить их перед запуском эксперимент. Кроме того Проверьте функциональность наушники, чтобы использоваться участником. Подготовьте необходимые формы должен быть подписан участником. Отрегулируйте яркость света в лаборатории для того чтобы иметь тускло освещенной комнате с одинаковой яркости в течение всего процесса сбора данных. Подготовка для участников После того, как участники прибыли, представьтесь. Место не беспокоить знак на двери лаборатории. Попросите участников занять место. Руководство участника через информационный бюллетень и необходимые согласия и демографические форм. Пусть участники прочитать и подписать форму согласия. Кратко объясните общие аспекты эксперимента и его продолжительность. Не дают слишком много информации до эксперимента, так как это может повлиять на участника взгляд поведение и полученные данные. Предоставить письменные инструкции и предоставить участнику возможность задать вопросы. Кратко объясните функции отслеживания глаз. При необходимости, уточнить задачи и отметить любые ключи кнопки, которые нужно будет быть нажата во время эксперимента. Объясните, как остальная Чин предназначен для сведения к минимуму движения головы во время эксперимента. Отметить, что устройство функционирует лучше всего если участник избегает любых движений. Настройка отслеживания глаз Подготовка участников для эксперимента: попросите их, чтобы сидеть за столом и место их подбородок на остальной подбородок. Попросите их постное их лоб против подголовника. Попросите участников регулировать высоту и положение Председателя при необходимости: участник должен чувствовать себя комфортно с их подбородок на отдых подбородок и лоб против подголовника. Объясните, что оно является общим для случайного перемещения головы во время эксперимента и что их следует избегать. Объясните, что головы позы придется быть исправлены во время эксперимента. Если эксперимент требует нажатия кнопки (например, через ответ pad), поручить участника покинуть свои пальцы отдыхает на кнопки нажимать и избежать глядя на площадке ответ при нажатии кнопки. Попросите участников для чтения на экране приветствия/введение. Сядьте перед Host-ПК. Если экран не уже на камеру установки, нажмите на установки камеры , чтобы попасть на правом экране. Если защитная крышка от объектива камеры и участник правильно размещен на остальной Чин, на экране следует отобразить три изображения глазами участника: увеличить изображение в верхней и два маленьких внизу слева и справа. Эти небольшие изображения показывают один глаз каждый, соответствующий левого и правого глаза. Выберите глаз, чтобы быть считано. Это обычное для отслеживания участника доминирующей глаз. Если участник не знать, какой глаз является доминирующим, проведите тест на глазной доминирование (шаг 1.3.8). Определите глазные господство. Попросите участников протянуть руку и выровнять thumb с далеких объектов с оба глаза открытыми. Попросите участником альтернативных закрытия левый или правый глаз. Доминирующей глаз является то, для которого thumb остается соответствие с объектом, когда глаза открытым35,36. Нажмите на изображение | Отображение заставки (или нажмите клавишу Enter) и изображения, описанные в шаге 1.3.6 также появится на экран дисплея участника, но только один на один раз. Нажмите стрелку влево/вправо на клавиатуре компьютера экспериментатора или участника для переключения между малых и больших изображение глаза. Сосредоточиться на меньшие изображения (глаза). Нажмите A (окно Выровнять глаз) на любой клавиатуре для того, чтобы центр ограничения поиска на позиции ученика. Затем красный квадрат вокруг глаз должен появиться с бирюзовой круга [«роговицы отражение», (cr)] в нижней части зрачка. Ученик сам должен быть синий. Убедитесь, что два Креста («перекрестье») появляются на экране — одна в центре зрачка и один в центре роговицы отражения. Красная рамка и два пересекает означает, что глаз tracker является обнаружение ученика и ЧР.Примечание: Если поле красный или кресты отсутствуют, глаз не отслеживается — если это произойдет, не ученик будет отображаться на компьютере экспериментатора. Отрегулируйте фокус камеры повернув вручную фокус объектива. Будьте осторожны, чтобы не коснуться передней части объектива. Поверните объектив, пока не будет достигнуто лучшее фокусная точка.Примечание: Лучший фокусная точка достигается, когда бирюзовый круг (роговицы отражение) как малые, как можно (т.е., когда этот круг находится в фокусе). Установите порог ученика. Убедитесь, что синей является только изображение зрачка (например, ресницы не должно быть синий) на Host-ПК. Кроме того убедитесь, что весь ученик (не только ее центральной части) синий. Только беспокоиться о том, что внутри на Красной площади. Нажмите A. Это автоматически устанавливает порог ученика. Если ученик не отображается точно в голубой, настройте порог, вручную, используя клавишу вверх , чтобы увеличить и вниз клавишу вниз, чтобы уменьшить количество синей части изображения поверхности.Примечание: Тушь, (который обычно черный, как ученик) может мешать установке порогового значения — для зрачка глаза трекер может занять темные ресницы. В этом случае попросите участника для удаления их макияж, предоставляя им макияж remover тканей. Установите порог cr. Если A была нажата на шаге 1.3.15, cr порог должен автоматически установлены.Примечание: Числовые значения для всех параметров порогового значения должны быть видны. Если в любой из них появляется знак вопроса, существует проблема в одном из предыдущих шагов и пороговые значения должен быть установлен вручную. Калибровка глаз трекерПримечание: Проверьте ли трекер глаз последовательно можно определить положение глаза, когда участник смотрит на других частях экрана. Попросите участника смотреть на четырех углах экрана, один в то время, пока окно настройки камеры в представлении. Внимательно посмотрите на любых нерегулярных размышления (они будут отображаться как бирюза «капли» на экране), которые мешают роговицы отражение, когда глаз взгляд направлен на углу. Попросите участников взглянуть на центре экрана и затем направлять свои взоры в проблемных угол если красный прямоугольник вокруг глаз и либо перекрестье не видны в любой момент во время шага 1.4.1. Это поможет определить источник проблемы. Подрегулировать положение головы участника и проверить, если это дает каких-либо улучшений. При необходимости повторите этот шаг. Если устройство по-прежнему не может точно отслеживать участника взгляд после нескольких попыток, прервать эксперимент. Информировать участника, что глаз трекер будет откалиброван и что они собираются, чтобы увидеть черный круг (с маленькой серой точкой), движущихся в различных частях экрана. Поручить участником фиксируют круг до тех пор, пока он перемещается на новое место. Проинструктируйте участников избегать напрягая глаза и сосредоточить внимание на маленькие серые точки внутри черный круг для получения оптимальных результатов. Скажите участник, что важно сохранить до сих пор и не пытаться предвосхитить позицию следующего круга во время калибровки. Проинструктируйте их следовать кругов с их глазами и не их головы. Нажмите на калибровать , чтобы начать процесс калибровки. Как правило 9-точечная калибровка процедура используется, в котором черный круг движется в девяти местах на последовательной основе. Для автоматической калибровки нажмите клавишу ENTER после того, как участник точно зафиксировал первую точку в середине экрана. Для ручной калибровки (например, когда есть проблемы отслеживания глаз участника или когда занимающихся специальные участником группы таких детей), принять каждой фиксации, нажав ENTER (или, нажав кнопку Accept фиксации/ нажав клавишу пробел).Примечание: В конце процесса калибровки, почти прямоугольные шаблон на экране экспериментатор должен быть видимым. Это представляет шаблоны взглядом глаз участника. Кроме того результаты хорошие калибровки должны выделены зеленым цветом. Если они не являются, повторите процедуру калибровки (то есть, нажмите на калибровки). Проверьте результаты. Скажите участникам пройти через ту же процедуру (глядя на точки), чтобы проверить результаты процесса калибровки. Напомните им взглянуть на точка и по-прежнему.Примечание: Процесс проверки аналогична калибровке и оба результаты сравниваются с глаз отслеживания программного обеспечения, точно отслеживается глаз. Нажмите кнопку проверить. Примите каждой фиксации, нажав ENTER (или, нажав кнопку принятьфиксации/нажав пробел). После проверки результаты будут отображаться на экране экспериментатора. Обратите особое внимание на две ошибки меры, средняя ошибка (например, 0.23 °) и Максимальная ошибка (например, 0,70 °). Они представляют собой градусов, которым записанные изображения отличается от фактического взгляд позиция участника. При использовании парадигмы визуальный мир, постоянно средняя ошибка (первый номер) 0,5 ° и Максимальная ошибка (второй номер) до 1°. Если выше порогового значения ошибки, попросите участника скорректировать положение их головы и перезапустить процесс калибровки. Если улучшения не наблюдается, прервать эксперимент.Примечание: Это часто соблюдать высокие калибровки ошибки, когда участник носит контактные линзы. Участник должен заранее попросил принести их очками вместо их контактные линзы. После успешного завершения процесса калибровки, нажмите кнопку Выход/запись , чтобы начать эксперимент. Информировать участника будет теперь начать эксперимент. В ходе экспериментаПримечание: Во время эксперимента (в зависимости от того, как эксперимент Индивидуальный запрограммирован, но как правило, перед каждой экспериментальной судебного разбирательства), дрейф чек или дрейфа правильный экран будет отображать точка в центре экрана. Его цель заключается в том, чтобы сообщить об ошибке вычисляемых фиксации для текущего судебного разбирательства и, в зависимости от модели трекер глаз, чтобы автоматически настроить его. На этапе обучения участник сообщил фиксировать Центральная точка, когда она появляется. Убедитесь, что на каждом этапе правильно проверить/дрейф дрейф, участники снова фиксирующий точка. Это можно сделать, следуя участника взгляд на Host-ПК, где взгляд участника отображается в виде движущейся зеленый круг. После завершения дрейфа чек/дрейф правильно, нажмите ENTER (или пробел), чтобы сделать dot исчезают и отображать следующее заседание. Определите, как бороться с неспособность пройти этап проверки дрейфа согласно модели глаз отслеживания используется. В зависимости от модели, глаз трекер будет либо выполнить автоматическое Дрифт коррекции , регулируя взгляд координаты совпадают с центральной точкой, или он будет делать звуковой шум, чтобы запрашивать экспериментатор для повторной калибровки перед продолжением эксперимент (дрейф проверить). При использовании автоматического дрейф коррекции, имейте в виду, что слишком много исправлений дрейф последовательных испытаний и/или слишком большая степень коррекции дрейф исказить результаты и требуют повторной калибровки устройства. Калибровка прибора во время эксперимента Это возможность повторной калибровки в любое время в ходе эксперимента. Во время презентации Дрифт коррекции/дрейф проверить экран нажмите на настройки камеры, а затем нажмите на калибровать. Пройти через процесс калибровки и проверки, пока не будет достигнуто удовлетворительное значение, а затем нажмите на выход/запись. Эксперимент будет возобновлена с точки выхода в порядке судебного разбирательства. После эксперимента Предоставить участнику вопросника для оценки, если они смогли угадать ключевых экспериментальных манипуляций. Здесь важно также спросить о возможных стратегий, которые могли бы были разработаны на протяжении всего эксперимента. Подведение итогов участника о цели эксперимента. Благодарю их за их участие и предоставить необходимую денежную компенсацию или назначить курс кредит, если применимо. 2. Удаленная установка: Настройка установки для исследования с детьми и пожилых людей Примечание: Этот раздел описывает только различия между удаленной установки и настройки рабочего стола, как описано в шаге 1. Очки не упомянуты, здесь следует предположить, что идентична процедуре, описанной в шаге 1. Обмен глаз стандартного 35-мм объектива трекер для 16 мм объектив. Подключите все необходимое оборудование (Host-ПК, колонки, глаз трекер и ноутбук, если ноутбук используется). Место ноутбук ноутбук стенд и трекер глаз перед ним (участник должен иметь возможность видеть top 75% экрана). Разместите наклейку «целевой» (доступно от производителя трекер) на лбу участника (выше бровей правого глаза или на правой щеке если лоб является слишком малым (то есть, в случае младенцев); Этот стикер заменяет подбородок остальной настройки рабочего стола и это позволяет глаз трекер, чтобы точно определить положение головы участника. Убедитесь, что участник установлен 550-600 мм от камеры (расстояние целевой стикер к камере). Убедитесь, что слова «большой угол» или «возле глаз» не появляются на Host-ПК. Если они это сделают, это означает, что позиция целевого стикер не является идеальным. В этом случае корректировка целевой стикер. Это также может означать, что участника лоб особенно мал. Если это так, Поместите наклейку на щеке участника.Примечание: Если наклейка находится слишком близко к уху, скорее всего, появится сообщение «большой угол» и наклейка должна быть приложена. Перед началом процесса калибровки, описанного в шаге 1.4, убедитесь, что участник устроились. Попросите их поддерживать ту же позицию на протяжении всего эксперимента и объяснить, что глаз tracker является очень чувствительной к телодвижения. Настаивать на том, что они держат их головы до сих пор. Если участник движется слишком много, устройство будет излучать жужжащий шум.Примечание: Если удаленный глаз трекер установки используется для проверки чувствительных групп населения, например детей или пожилых людей, рекомендуется использовать процедуру ручной калибровки. 3. Настройка установки для чтения исследования Примечание: При расследовании визуальный контекст воздействия на чтение, необходимо обратить особое внимание на процесс калибровки и повторной калибровки. В отличие от исследования визуальный мир глаз слежения во время чтения требует намного более высокой степени точности устройства, учитывая точность, необходимые для отслеживания чтение слова слова и буквы к букве шаблонов. Убедитесь, что как средняя и Максимальная ошибка, отображается на этапе проверки остаются под 0,5 °. Убедитесь в том использовать по крайней мере 9-балльной шкале калибровки. Это обеспечивает более точное отслеживание положения взглядом глаз, которая имеет важное значение, учитывая небольшие размеры областей интерес во время чтения.

Representative Results

Исследование к Мюнстер и коллаборационистов37 исследовал взаимосвязь структуры предложения, изображены действия и лица эмоциональные сигналы во время понимания языка. Это исследование является хорошо подходит, чтобы проиллюстрировать преимущества и ограничения метода, как он показал, что оба надежные изображены эффекты действий и маргинальные эффекты лица эмоциональные сигналы на приговор понимания. Авторы создали 5 s видео женщины выражение лица, что изменилось от положении покоя в счастливое или печальное выражение. Они также создали эмоционально положительно valenced немецкий объекта-глагол-наречие-тема (OVAdvS) приговоры формы ‘ [объект/пациентавинительный дела] [команда] [позитивные наречие] [тема/агентименительном падеже].» Через позитивные наречие, приговоры соответствовали «счастливый» видео и несовпадающими «сад» видео, позволяет в принципе ожидании агента (который улыбался и описал как исполняющий обязанности счастливо положительных наречие). После видео спикера приговор появился с одной из двух версий агента пациент дистрактор клипарт сцены. В одной из версий агент был изображен как выполнения указанных действий на пациента, в то время как знак дистрактор выполнено другое действие. В другой версии сцены изображены никаких действий между персонажами. Движения глаз в сцене выявлены последствия действий и выражение лица говорящего на приговор понимания. Изображением действий быстро ухудшаться визуального внимание участников, что означает, что участники выглядело более на агент чем на дистрактор, когда указанные действия (против не было) изображены. Эти взгляды были досрочная (т.е., происходящих до того, как агент было упомянуто), предполагая, что изображение действий уточнить агент, прежде чем предложение сделал. Ранние эффект действий изображением проявились во время глагола (т.е., глагола опосредованной связанных действий агента). Напротив ли предыдущего оратора улыбнулся или выглядела несчастной имели не ясно влияние на ожидания агента (рис. 2). Последний результат может отражать более слабую связь между спикер улыбка и позитивные пропозициональную наречие, касающимся изображены агента действий (по сравнению с ссылкой прямых команд действий, посредничество связанных действий агента). Кроме того, это может быть конкретные задачи и стимул презентации: возможно эмоций эффектов бы были более выраженными в более социально интерактивных задач или в одном, который представляет спикера лицо во время (а не до) предложение понимания. Однако, представляя улыбаясь спикер лицо во время понимание может привести к участникам сосредоточить внимание на лицо за счет другого содержимого сцены, возможно иначе наблюдаемых эффектов маскирования манипулировать переменных (Источник: неопубликованные данные). В дальнейшем варианте парадигмы Герра и Knoeferle32 спросил ли пространственных и семантических отношений мира язык может модулировать понимания Аннотация семантическое содержание во время чтения. Герра и Knoeferle позаимствовал идею из теории Концептуальная метафора38 пространственное расстояние (например, близость) сад смысл абстрактных семантических отношений (например, сходство). Согласно этой гипотезе участники чтения координировала абстрактные существительные быстрее, когда они были аналогичные (против противоположной) в значении и предшествовали видео передачи близости (против расстояние; игральные карты шаг ближе вместе против. дальше друг от друга). Во втором наборе исследований39приговоры описано взаимодействие между двумя людьми как Интимные или недружественных, ведущий к открытию, что видео двух карт, приближается к друг другу ускорить чтение приговора регионов, которые передал социальной близость/интимности. Обратите внимание, что пространственное расстояние затронуты предложение быстро и постепенно даже когда приговоры сделал не ссылаются на объекты в видео. Видео отчетливо модулированные раз чтение как функция согласованности пространственное расстояние и семантические, а также социальные аспекты предложения смысл. Эти эффекты появилась как раз чтение первого прохода (продолжительность первой инспекции заранее предложения региона) и общее время, затраченное на этом регионе предложения (см. Рисунок 3 для иллюстрации результатов исследований, проводимых Герра и Knoeferle)32. Однако анализов также выявили существенные различия между участниками, ведущих к заключению, что такие тонкие эффекты карты расстояние не могут быть столь надежным, как эффекты глагола действий отношений, чтобы привести один пример. Еще один набор исследований иллюстрирует, как изменения в структуре предложения может помочь оценить общность контексте визуальных эффектов. Абашидзе и коллаборационистов34 и Родригес и коллаборационистов26 рассмотрел последствия недавних действий говорят приговоров по последующей обработке. В обоих исследованиях, участники впервые осмотр видео действий (например, экспериментатор ароматизатор огурцы, или женские руки, выпечки торта). Далее, они слушали немецкий приговор, который был либо связанных с недавних действий или другое действие, которое может быть выполнено далее (ароматизатор помидоры34; строительство модель26). Во время понимания, участники проинспектировала сцены показаны два объекта (огурцы, помидоры)34 или две фотографии агента лица (женский и мужской агента лицо, названный «Сусанна» и «Томас», соответственно)26. В исследовании Абашидзе и коллаборационистов34, оратор впервые упоминается экспериментатора, а затем команду (например, ароматизаторы), выявление ожиданий о теме (например, огурцы или помидоры). В исследовании Родригес и коллаборационистов26, оратор впервые упоминается тема (пирог), а затем команду (выпечка), вызывая ожидания агента действий (женщины: Сусанна, или мужчина: Томас, изображается через фотографии женщины и мужчины лицо). В обоих исследованиях обсуждался вопрос ли люди (визуально) предвидеть тема/агент недавние события действия или другие темы/агента основе дальнейших контекстной подсказки во время понимания. В34Абашидзе и коллаборационистов, экспериментатор взгляд cued объект будущей темы (помидоры) от наступления глагола (в буквальном переводе с немецкого: «экспериментатора агент ароматы скоро…»). В Родригес и коллаборационистов26, знания гендерных стереотипных действий стали доступны, когда были упомянуты темы и глагола (например, дословный перевод немецкого раздражители было: «торт тема печет скоро…»). В обоих исследованиях участники преференциально проинспектировала агента целевого объекта недавних действий (огурцы34 или Сусанна26) по альтернативной цели (будущее/другие пол) (помидоры34 или Томас26) в предложении. Это так называемые «недавние события предпочтение», таким образом, представляется надежной через значительные изменения в структуре предложения и экспериментальные материалы. Он был модулированные, однако, визуальных ограничений одновременных сцены26, таким образом, чтобы представить правдоподобное фотографии глагола темы в дополнение к гендерной фотографии агентов сократить зависимость от действий недавно проинспектировала события и модулированные внимание, основанной на знаниях гендерного стереотипа, передал по языкам. Рисунок 4 иллюстрирует основные результаты экспериментов по Родригес и коллаборационистов26. Хотя эта версия visual мир парадигмы принесли надежные результаты, другие исследования показали сложность (и ограничения) увязки гипотезы. 20 Burigo и Knoeferle обнаружили что участники — при прослушивании высказываний например über Die Box ist der Wurst («поле – выше колбаса») — главным образом за высказывания в проверке clipart изображения этих объектов. Однако на долю испытаний, участников взгляд, зависит от того, что было упомянуто. Услышав «колбаса» и осмотрев колбаса по крайней мере один раз, участников следующей инспекции вернулся в поле на приблизительно 21% судебных процессов, ускоряется проверка (Experiment 1) и в 90% судебных процессов в проверке после приговора ( Эксперимент 2). Этот взгляд шаблон предполагает, что ссылка (слух «колбаса») руководствуется только некоторые (проверка колбаса), но не все глаза движений (проверка поле). Такого рода конструкции могут быть использованы для дразнить друг от друга лексико ссылочной процессов от других (в том числе предложение уровень толкования) процессов. Однако, исследователи должны быть осторожны при подачи исков о различных уровнях лингвистической обработки на основе относительных различий в пропорции глаз передвижение, учитывая неоднозначность в увязке глаз взглядом к когнитивной и понимания процессов. Рисунок 1: Обзор среды сбора данных. На графике показано, как различных программных и аппаратных элементов используется для сбора данных и предварительной обработки связаны друг с другом. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры. Рисунок 2: Представитель результаты Мюнстер и коллаборационистов37. Эти панели показывают среднее по теме журнала взгляд вероятности коэффициенты на условие в регионе глагола (для действия изображены) и в регионе глагола наречие, комбинированный (для эффекта эмоциональной премьер). Результаты показывают значительно большее количество выглядит к целевого изображения, когда действия, упомянутые в предложении была изображена чем когда он не был изображен. Результаты для эффекта эмоциональных лица чисел были менее убедительным: они предлагают лишь незначительное увеличение в соотношении среднее журнал смотрит к целевому объекту, когда лица премьер имел положительный эмоциональный Валанса (улыбка) чем когда он имел отрицательные Валанса (грустное лицо). Планки погрешностей представляют Среднеквадратичная ошибка среднего значения. Эта цифра была изменена от Мюнстера и др. 37. пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры. Рисунок 3: Представитель результаты Герра и Knoeferle-32. Эта панель показывает означает чтение первого прохода раз (в миллисекундах) прилагательного подобия (ДИС). Результаты показывают короче раз чтение для подобия приговоров после видя две игровые карты сближения по сравнению с дальше друг от друга. Планки погрешностей представляют Среднеквадратичная ошибка среднего значения. Эта цифра была изменена с Герра и Knoeferle32. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры. Рисунок 4: Представитель результаты Родригес и коллаборационистов26. Эта группа показывает среднее журнала по теме взгляд вероятности коэффициенты на условия в регионе глагола. Пропорции выглядит выше 0 Показать предпочтение для целевого агента изображения и пропорции ниже 0 Показать предпочтение для образа агента конкурента. Результаты показывают, что участники были скорее для проверки целевого агента изображения, когда объект и глагола, упомянутых в предложении соответствует предыдущей видеозапись событий, чем когда они не. Кроме того было больше выглядит к целевой образ агента когда действий, описанных в предложении соответствует гендерных стереотипов. Планки погрешностей представляют Среднеквадратичная ошибка среднего значения. Эта цифра была изменена от Родригес и др. 26. пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.

Discussion

В целом рассмотрены варианты глаз слежения в визуальные контекстах обнаружили много способов, в которых визуальной сцены может повлиять на понимание языка. Этот метод обеспечивает решающую преимущества по сравнению с методами, например измерение времени реакции. Например движения текущей глаз обеспечивают нас с окном в языке понимания процессов и как они взаимодействуют с нашим восприятием визуальный мир со временем. Кроме того участники, не обязательно выполнять явное задание во время понимание языка (например, судя Грамматичность приговор через нажатие кнопки). Это позволяет исследователям использовать метод с населением, которые могут бороться с открытой поведенческие реакции, за исключением глаз взглядом, как младенцев, детей и, в некоторых случаях, пожилые люди. Глаз слежения экологически допустимым в том, что он отражает внимание ответы участников — не в отличие от визуального допросов людей коммуникации соответствующих вещей в мире вокруг них в течение более или менее внимательныя(ый) слушать разворачивается высказываний.

Одна из границ (или возможно характеристики) визуальный мир парадигмы является, что не все события могут быть изображены прямо и недвусмысленно. Можно конечно, изображены конкретные объекты и события. Но как абстрактные понятия являются лучшими изображена менее ясно. Это может ограничить (или определить) понимание взаимодействия между обработки языка и восприятие визуальный мир, используя визуальный мир глаз отслеживания парадигмы. Дополнительные проблемы касаются ссылок гипотезы между наблюдаемым поведением и понимания процессов. Глаз записей представляют собой единый поведенческих ответ, который вероятно отражает многие подпроцессы во время понимание языка (например, лексические доступ, ссылочной процессов, язык опосредованной ожиданий, визуальный контекст эффекты, среди прочих). Учитывая это понимание, исследователи должны быть осторожны, чтобы не более – или неверно истолковать наблюдаемые взгляд шаблон. Для решения этой проблемы, предварительного исследования подчеркнул роль понимания подзадач для уточнения толкования взгляд записи40.

Одним из способов повышения интерпретируемости движений глаз является интегрировать их с другими мерами, например мозга, связанных с событиями потенциалов (ФПЗ). Исследуя то же явление с двумя методами, которые сопоставимы по их временной детализации и дополняют друг друга в их увязки гипотезы, исследователи могут исключать альтернативные объяснения их результатов и обогатить интерпретации каждого отдельные меры41. Этот подход осуществлялась через эксперименты43, но, более недавно, также в пределах одного эксперимента (хотя и в строго лингвистических контекстах)44. Будущие исследования могли бы извлечь большую пользу из таких методологических интеграции и продолжил комбинации с послесудебного и после экспериментальных задач.

Глаз отслеживание метод может реплицировать установленные результаты, а также испытания новых гипотез о взаимодействии визуального внимания в сценах с понимания языка. Изложенных в протоколе должны быть тщательно процедура поскольку экспериментатор даже незначительные ошибки могут повлиять на качество данных. В чтении исследования, например, в регионах соответствующего анализа зачастую отдельных слов или даже письма, означает, что даже небольшие калибровки ошибки может исказить результаты (см. статью42Рани и коллеги). Шаги 1.4 и 1.5 протокола, калибровка трекер глаз и дрейфа чек/дрейф правильно, имеют особое значение, поскольку они непосредственно влияют на точность записи. Неспособность правильно откалибровать трекер глаз может привести к трекер не точно отслеживания движения глаз в установленных областях, представляющих интерес. Такая неудача отслеживания приведет к отсутствующие точки данных и потерю в статистической мощности, что может быть проблематичным при расследовании отношения язык мира, которые являются очень тонкие и принести небольшой статистический эффект размеров (описание см. эксперименты по Герра и Knoeferle32 и37 Мюнстер и коллеги среди Представитель результаты).

Учитывая необходимость увеличить мощность и чувствительность оборудования, важно, что экспериментаторов знают, как бороться с проблемами, которые регулярно происходят во время экспериментальной сессии. Например ученик положение и движения участников очках может привести к калибровки трудности из-за отражения света на линзы очки участника. Одним из способов решения этой проблемы заключается в зеркало изображение участника глаз на экран ПК и поощрять их для перемещения их головы до тех пор, пока отражение света на очки больше не видны на экране, означает, что он больше не захвачен камеры. Еще одной причиной отказа калибровки может быть сужение зрачка, которая может быть следствием чрезмерного к свету. В этом случае диммирование света в лаборатории будет увеличить дилатация зрачка и, таким образом, помочь глаз tracker в точно обнаружение ученика.

Как последняя мысль мы хотели бы рассмотреть потенциал visual мире парадигма имеет по изучению второго языка обучения. Парадигма уже успешно используется в Психолингвистические исследования расследовать такие явления, как кросс языковых лексические и фонологические взаимодействия46,47,48. Кроме того в литературе прикладной лингвистики на приобретение второго языка49,,5051часто была подчеркнута тесная связь между визуального внимания и изучения языка. Будущие исследования по второго языка обучения, скорее всего, продолжит пользоваться выгодное положение глаз слежения, как метод, который обеспечивает индекс визуального внимания в резолюции миллисекунды.

Disclosures

The authors have nothing to disclose.

Acknowledgements

Это исследование финансировалось Зуко (передового опыта инициатива, Гумбольдт-Universität цу Берлин), 277 кластера Excellence «Когнитивных взаимодействия технологии» (Немецкий исследовательский совет, DFG) и седьмой рамочной программы Европейского союза для проведения исследований, технологическое развитие и демонстрация под Грант соглашение n ° 316748 (LanPercept). Авторы также отметить поддержку от базальной фондов для центров передового опыта, проект FB0003 от ассоциативного исследования программа НКНТИ (правительство Чили) и от проекта «FoTeRo» в центре внимания XPrag (DFG). Пиа Knoeferle условии первый проект статьи протоколом лабораторных сообщил, что Helene Kreysa создан в университете Билефельд и что по-прежнему использоваться в Humboldt-Universität цу Берлин. Все авторы способствовали содержимое, обеспечивая ввод о методах и результатах в той или иной форме. Камило Родригес рондерос и Пиа Knoeferle координировал от авторов и в двух итераций, существенно пересмотрел первоначальный проект. Эрнесто Guerra производится на рисунках 2 – 4 на основе ввода от Katja Münster, Альба Родригес и Эрнесто Герра. Helene Kreysa условии, что это обновление Рисунок 1 и Пиа Knoeferle. Части полученные результаты были опубликованы в работе ежегодного совещания общества когнитивной науки.

Materials

Desktop mounted eye-tracker including head/chin rest SR Research Ltd. EyeLink 1000 plus http://www.sr-research.com/eyelink1000plus.html
Software for the design and execution of an eye-tracking experiment SR Research Ltd. Experiment Builder http://www.sr-research.com/eb.html
DOWNLOAD MATERIALS LIST

References

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Knoeferle, P., Guerra, E., Finkbeiner, R., Meibauer, J., Schumacher, P. B. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. , 129-150 (2012).
  4. Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
  5. Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
  6. Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
  7. Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
  8. Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
  9. Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
  10. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  11. Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
  12. Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
  13. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
  14. Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
  15. Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
  16. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  17. Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
  18. Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , 1166-1171 (2005).
  19. Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , 11-14 (2016).
  20. Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
  21. Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 2675-2680 (2014).
  22. Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes?. Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , 2463-2468 (2017).
  23. Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
  24. Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376 (2011).
  25. Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference?. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 92-97 (2014).
  26. Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , 580-585 (2016).
  27. Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , 2593-2598 (2012).
  28. Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children’s comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , 1227-1232 (2012).
  29. Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
  30. Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , 291-303 (2016).
  31. Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
  32. Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
  33. Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 2513-2518 (2014).
  34. Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , 31-36 (2015).
  35. Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
  36. Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe’s Arch Clin Exp Ophthalmol. 243, 926 (2005).
  37. Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , 1673-1678 (2015).
  38. Lakoff, G., Johnson, M. . Metaphors We Live By. , (1980).
  39. Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
  40. Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , 1557-1562 (2012).
  41. Knoeferle, P., Roel, W. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. , 77-100 (2015).
  42. Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780 (2014).
  43. Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
  44. Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
  45. Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension?. Frontiers in Psychology. 3, 538 (2012).
  46. Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029 (2009).
  47. Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663 (2007).
  48. Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
  49. Verhallen, M. J., Bus, A. Young second language learners’ visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
  50. Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
  51. Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).

Tags

Eye TrackingVisually Situated Language ComprehensionPsycholinguisticsLanguage ProcessingOcular DominanceCalibrationCorneal ReflectionPupil Detection

Play Video
PDF
DOI
DOWNLOAD MATERIALS LIST
Cite This Article
Rodriguez Ronderos, C., Münster, K., Guerra, E., Kreysa, H., Rodríguez, A., Kröger, J., Kluth, T., Burigo, M., Abashidze, D., Nunnemann, E., Knoeferle, P. Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects. J. Vis. Exp. (141), e57694, doi:10.3791/57694 (2018).
Download Citation
Reprints and Permissions

View Video

✖

To prove you're not a robot, please enter the text in the image below

CAPTCHA Image
Play CAPTCHA Audio
Refresh Image