JoVE Journal > Behavior
Summary
Abstract
Introduction
Protocol
Results
Discussion
Disclosures
Acknowledgements
Materials
References
Please note that all translations are automatically generated. Click here for the English version.
行为学

Eye Tracking durante la comprensión del lenguaje visual situado: Flexibilidad y las limitaciones de descubrir efectos de contexto Visual

Published: November 30, 2018
doi:
10.3791/57694
, , , , , , , , , ,
1Institute of German Studies and Linguistics,Humboldt-Universität zu Berlin, 2Center for Advanced Research in Education – CIAE,Universidad de Chile, 3Institute of Psychology,Friedrich Schiller University Jena, 4Cognitive Interaction Technology Excellence Cluster (CITEC), Faculty of Linguistics and Literature,Bielefeld University, 5Department of Education,Concordia University, 6Berlin School of Mind and Brain, 7Einstein Center for Neurosciences Berlin

Summary

El presente artículo revisa una metodología de seguimiento de ojo para estudios sobre la comprensión del lenguaje. Para obtener datos confiables, se deben seguir pasos claves del protocolo. Entre ellos están el montaje correcto del perseguidor del ojo (por ejemplo, garantizar la buena calidad de las imágenes de la cara y cabeza) y calibración de precisión.

Abstract

El presente trabajo es una descripción y una evaluación de una metodología diseñada para cuantificar diferentes aspectos de la interacción entre el procesamiento del lenguaje y la percepción del mundo visual. La grabación de patrones de mirada ha proporcionado pruebas convincentes para la contribución del contexto visual y lingüística mundial conocimiento a la comprensión del lenguaje. Inicial de investigación evaluaron efectos de contexto del objeto para poner a prueba las teorías de la modularidad en procesamiento del lenguaje. En la introducción, se describe cómo las investigaciones subsecuentes han tomado el papel del contexto visual en lenguaje de procesamiento como un tema de investigación en su propio derecho, pidiendo preguntas tales como la percepción visual de los acontecimientos y de altavoces contribuye a comprensión por experiencia de comprehenders. Entre los aspectos examinados del contexto visual son acciones, eventos, un altavoz mirada, expresiones faciales emocionales, así como configuraciones del objeto espacial. Después de tener una visión general del método de seguimiento de ojo y sus diferentes aplicaciones, enumeramos los pasos clave de la metodología en el protocolo, que ilustran cómo utilizar con éxito para el estudio de comprensión del lenguaje visual situado. Una sección final presenta tres conjuntos de resultados representativos e ilustra los beneficios y limitaciones de seguimiento del ojo para investigar la interacción entre la percepción de la comprensión de mundo y lenguaje visual.

Introduction

La investigación psicolingüística ha subrayado la importancia del análisis del movimiento del ojo en la comprensión de los procesos implicados en la comprensión del lenguaje. El núcleo de inferir procesos de comprensión de los registros de la mirada es una hipótesis que vincula la cognición a ojo movimientos5. Hay tres tipos principales de movimientos de los ojos: Movimientos sacádicos, los movimientos de reflejo vestíbulo-ocular y movimientos suaves de la búsqueda. Movimientos sacádicos son movimientos rápidos y balísticos que suceden sobre todo inconscientemente y han sido confiablemente asociado con cambios en atención6. Los momentos de la mirada relativa estabilidad entre movimientos sacádicos, conocido como fijaciones, se consideran que la atención visual actual de índice. Medir el lugar geométrico de las fijaciones y su duración en relación con los procesos cognitivos es conocido como el ‘método de eye-tracking’. Primeras implementaciones de este método sirven para examinar la comprensión de lectura en contextos estrictamente lingüísticos (véase Rayner7 para una revisión). En ese enfoque, la duración de la inspección de la región de una palabra o frase se asocia con dificultad de procesamiento. Eye tracking, sin embargo, también ha sido aplicado para examinar la comprensión del lenguaje hablado durante la inspección de objetos en el mundo (o en un ordenador, pantalla2). En esta versión de eye-tracking “mundo visual”, la inspección de objetos está guiada por el lenguaje. Cuando los comprehenders escuchan la cebra, por ejemplo, la inspección de una cebra en la pantalla se toma para reflejar que piensan sobre el animal. En lo que se conoce como el paradigma de mundo visual, mirada de comprehender se toma para reflejar la comprensión del lenguaje hablado y la activación de los conocimientos asociados (por ejemplo, los oyentes también inspección la cebra cuando oyen de pastoreo, lo que indica una acción realizada por la cebra)2. Tales inspecciones sugieren un vínculo sistemático entre las relaciones del mundo de la lengua y ojo movimientos2. Una forma común de cuantificar este enlace es la proporción de miradas a diferentes regiones predeterminadas en una pantalla de computación. Esto permite a los investigadores comparar directamente (a través de las condiciones, los participantes y) la cantidad de atención dada a diferentes objetos en un momento determinado y cómo cambian estos valores en la resolución de milisegundos.

Investigación en psicolingüística ha explotado en mundos visuales para embromar apartes hipótesis teóricas competencia con respecto a la arquitectura de la mente1rastreo ocular. Fijaciones de ojo en los objetos representados, además, revelaron que comprehenders puede, suponiendo un contexto lingüístico lo suficientemente restrictivo, realizar interpretación semántica incremental8 e incluso desarrollar expectativas sobre los próximos personajes 9. esos datos de mirada del ojo también han arrojado luz sobre una gama de otros procesos de comprensión, tales como resolución de ambigüedad léxica10,11, pronombre resolución12, la desambiguación del papel estructural y temática asignación por medio de la información en el contexto visual13,14,16y procesos pragmáticos15, entre muchos otros4. Claramente, los movimientos del ojo a los objetos durante la comprensión del lenguaje pueden ser informativos de los procesos implicados.

El método de eye-tracking es no invasivo y se puede utilizar con los niños, los usuarios de lenguaje jóvenes y mayores. Una ventaja clave es que, a diferencia de las respuestas a las sondas o presiona el botón de respuesta en tareas de verificación, proporciona penetraciones en el tiempo en una resolución de milisegundos en cómo lengua guías de atención y cómo el contexto visual (en forma de objetos, acciones, eventos, un altavoz mirada, expresiones faciales emocionales, así como configuraciones de objeto espacial) contribuye al procesamiento del lenguaje. La continuidad de la medida durante la comprensión de la frase se complementa bien con otras medidas después de la sentencia y posterior al experimento como de verificación de imagen o video-frase abierta, preguntas de comprensión y tareas de recuperación de la memoria. Las respuestas manifiestas en estas tareas pueden enriquecer la interpretación del registro de la mirada ojo proporcionando información sobre el resultado del proceso de comprensión, memoria y aprendizaje2. Combinación de seguimiento de ojo con estas otras tareas ha descubierto hasta qué punto diversos aspectos del contexto visual modulan la atención visual y la comprensión (inmediata, así como retrasado) a través de la vida.

La presentación de idioma (hablado o escrito) y las escenas pueden ser simultánea o secuencial. Por ejemplo, Knoeferle y colaboradores17 presentó la escena de 1.000 ms antes de la sentencia oral, y se mantuvo presente durante la comprensión. Ellos reportaron evidencia que gráfico representaciones de eventos de acción contribuyen a la resolución de la ambigüedad estructural local en alemán sujeto-verbo-objeto (SVO) en comparación con las oraciones de objeto verbo sujeto (OVS). Knoeferle y Crocker18 presentaron una escena de gráfico antes de una oración escrita y probaron la integración incremental de eventos de gráfico durante la comprensión de la frase. Observaron efectos incrementales de la congruencia, significa que tiempos de lectura de los participantes de los constituyentes de la oración eran más largas cuando estas unida mal (vs emparejado) el evento representado en la escena precedente. En otra variante de la presentación de estímulos, los participantes primero Lee una frase que describe una relación espacial y entonces vieron una escena de una disposición espacial particular que implican objeto dibujos19. Este estudio evaluó las predicciones de modelos de lenguaje espacial computacional preguntando a los participantes para valorar el ajuste de la oración da a la escena, con los movimientos del ojo se grabó durante el interrogatorio de la escena. Patrones de mirada de los participantes fueron modulados por la forma del objeto que fueron confrontados con — parcialmente confirmando las predicciones del modelo y proporciona datos para el refinamiento del modelo.

Mientras que muchos estudios han utilizado imágenes prediseñadas representaciones17,18,19,20,21,22,23, también es posible combinar el mundo real objetos, videos de estos objetos o fotografías estáticas con lenguaje hablado1,21,24,25,26,46. Knoeferle y colaboradores utilizaron una configuración reales24 y Abashidze y colaboradores utilizaron un formato de presentación grabados en vídeo para examinar los eventos de acción y efectos de tensión25. Variando el contenido exacto de las escenas (p. ej., que representan acciones o no)22,27,38 es posible y también pueden revelar efectos de contexto visual. Un estudio relacionado por Rodríguez y colaboradores26 investigó la influencia de señales grabadas género visual en la comprensión de posteriormente presentó oraciones habladas. Los participantes vieron los videos mostrando las manos ya sea hombres o mujeres, realizar una acción estereotipada relacionadas con el género. Luego, se enteraron una oración ya sea un evento de acción estereotípicamente masculino o femenino mientras la inspecciona al mismo tiempo una pantalla que muestra dos fotografías lado a lado, uno de un hombre y una mujer. Este rico entorno visual y lingüística permitió a los autores a embromar aparte los efectos de conocimientos estereotipados mediada por el lenguaje en la comprensión de los efectos de las señales de género presentado visualmente (a mano).

Otro uso de este paradigma ha dirigido a cambios de desarrollo en el procesamiento del lenguaje. Movimientos de los ojos a los objetos durante la comprensión del lenguaje hablado revelaron los efectos de los acontecimientos representados en 4 – 5 – años de edad27,28 y en más viejos adultos29 en tiempo real, pero un poco retrasado en comparación con adultos jóvenes. Kröger y colaboradores22 examinaron los efectos de señales prosódicas y caso de la marca dentro de un experimento y comparó a través de experimentos en adultos y niños. Los participantes inspeccionan una escena ambigua-evento de acción mientras se escucha una frase alemana claramente marcado por el caso relacionada. Movimientos de los ojos revelaron que los distintos patrones prosódicos ayudó a los adultos ni los 4 o 5-años de edad cuando desambiguación que-hace-lo-que-que. Caso de oración inicial de la marca, sin embargo, influenciado adultos pero no movimientos de los ojos de los niños. Esto sugiere que la comprensión de 5 años de edad del caso marcado no es lo suficientemente robusta para permitir la asignación de papel temático (ver el estudio por Özge y colaboradores30), por lo menos no cuando eventos de acción no eliminar la ambigüedad de las relaciones de rol temático. Estos resultados son interesantes, ya que son en contraste con los resultados anteriores de efectos prosódicos en la asignación de papel temático31. Kröger y colaboradores22 propone que el contexto visual (más o menos apoyo) es responsable de los resultados contrastantes. En la medida en que estas interpretaciones tienen, ponen de manifiesto el papel del contexto en la comprensión del lenguaje a través de la vida.

El método de seguimiento de ojo combina bien con las medidas de la imagen (o video) frase verificación tareas18,20,26, de las tareas de verificación de imagen32, corpus estudios24, calificación tareas19o recuperación post experimental tareas25,33. Abashidze y colaboradores34 y Kreysa y colaboradores33 investigan la interacción de altavoces mirada y mirada de34 y altavoz de videos reales de acción y acción representaciones33, respectivamente, como pautas para contenido de la próxima sentencia. Al combinar el seguimiento de la mirada en una escena durante la comprensión del lenguaje con una tarea de memoria post experimental, adquirieron un mejor entendimiento de la forma en que la opinión de los oyentes de la mirada de un orador y lo representado interactúan y afectan a ambos procesamiento del lenguaje inmediato y memoria. Los resultados revelaron la distinta contribución de acciones versus altavoz mirada a los procesos de comprensión en tiempo real versus post-experimento memoria memoria.

Mientras que el método de seguimiento de ojo se puede emplear con gran flexibilidad, determinadas normas son clave. El siguiente protocolo resume un procedimiento generalizado que puede ajustarse a diferentes tipos de preguntas de investigación según las necesidades específicas de los investigadores. Este protocolo es un procedimiento estándar empleado en el laboratorio de psicolingüística en la Humboldt-Universität zu Berlin, así como en la antigua lengua y laboratorio de la cognición en el cognitivo interacción tecnología excelencia Cluster (CITEC) en Universidad de Bielefeld. El protocolo describe un escritorio y una configuración remota. Este último se recomienda para uso en estudios con niños o adultos mayores. Todos los experimentos mencionados en los Resultados de representante utilizan un dispositivo de seguimiento de ojos que tiene una tasa de muestreo de 1000 Hz y se usa junto con un estabilizador de cabeza, un PC para las pruebas de los participantes (pantalla de PC) y un PC de control el experimento y la movimientos oculares de los participantes (Host PC). La principal diferencia de este dispositivo a su predecesor es que permite para el seguimiento ocular binocular. El protocolo pretende ser lo suficientemente general para el uso con otros dispositivos de seguimiento ocular que incluyen un estabilizador de la cabeza y hacer uso de una PC de doble configuración (Host + pantalla). Sin embargo, es importante tener en cuenta que otras configuraciones probablemente tienen diferentes métodos para manejar problemas como fallas de calibración o pérdida de la pista, en el cual caso el experimentador debe referirse al usuario manual de su dispositivo específico.

Protocol

Este protocolo sigue las pautas del ética de la institución donde se recogen los datos, es decir, el cognitivo interacción tecnología excelencia Cluster (CITEC) de la Universidad de Bielefeld y la Humboldt-Universität zu Berlín. Los experimentos llevados a cabo en la Universidad de Bielefeld fueron aprobados individualmente por el Comité de ética de la Universidad de Bielefeld. El laboratorio de psicolingüística en la Humboldt-Universität zu Berlin dispone de un protocolo de ética de laboratorio que fue aprobado por el Comité de ética de la Deutsche Gesellschaft für Sprachwissenschaft, la sociedad de lingüística alemana (DGfS). 1. escritorio Setup Nota: Los siguientes son los pasos clave en un experimento de eye-tracking. Preparación del instrumento Encienda la cámara eye-tracking y la PC del anfitrión (ver figura 1 para una ilustración de la colección de datos en el laboratorio y la configuración del procesa). Iniciar el software de eye tracker. Encienda la pantalla PC. Abra la carpeta que contiene los experimentos. Iniciar la versión ‘desplegada’ con la extensión .exe por doble clic en él. Dependiendo de la configuración, puede aparecer un mensaje para seleccionar una lista experimental, que es normalmente un archivo.csv/.txt delimitado que contiene las condiciones, nombres de archivo de sonido, frases escritas o imágenes que un participante pueda estar expuesto a. Seleccione la lista y el programa se iniciará. Nombre del archivo de salida donde se almacenarán los resultados.Nota: El archivo de salida se guarda en el PC de la pantalla y una copia de seguridad está guardado en el PC Host. Dejar abierta la primera pantalla del experimento (la introducción o la pantalla de bienvenida). Retire la cubierta protectora de la cámara de seguimiento del ojo. Con fines higiénicos, coloque un pañuelo de papel en el soporte de barbilla. Opcional: Prepare una almohadilla de respuesta o un teclado como lo requiere el experimento. Opcional: Si la presentación de estímulos auditivos, ajustar el volumen de los altavoces y prueba antes de ejecutar el experimento. También puede probar la funcionalidad de auriculares para ser utilizado por el participante. Preparar los formularios necesarios para ser firmado por el participante. Ajustar la intensidad de la luz en el laboratorio para tener una habitación tenuemente iluminada con una luminosidad constante durante todo el proceso de recolección de datos. Preparación para los participantes Después han llegado los participantes, preséntate a ti mismo. Firman el lugar una función de no molestar en la puerta del laboratorio. Pregunte a los participantes a tomar asiento. Guía del participante a través de la hoja de información y el consentimiento necesario y formas demográficas. Que el participante Lea y firme el formulario de consentimiento. Explique brevemente los aspectos generales del experimento y su duración. No proporcionan demasiada información antes del experimento, ya que esto puede influir el comportamiento de la mirada de los participantes y los datos resultantes. Proporcionar instrucciones escritas y dar al participante la oportunidad de hacer preguntas. Explique brevemente la función del rastreador de ojos. Si es necesario, clarificar la tarea y señalar cualquier botones/teclas que deben pulsarse durante el experimento. Explicar cómo el resto de la barbilla está diseñado para minimizar el movimiento de la cabeza durante el experimento. Mencionar que el dispositivo funciona mejor si el participante evita cualquier movimiento. Configurar el rastreador de ojos Preparar al participante para el experimento: les pedimos que se sientan en la mesa y colocar su barbilla sobre el resto de la barbilla. Pídales que lean su frente contra el reposacabezas. Preguntar al participante para ajustar la altura y la posición de la silla si es necesario: el participante debe sentirse cómodo con su barbilla en el resto de la barbilla y la frente contra el reposacabezas. Explicar que es común a la cabeza se mueva accidentalmente durante el experimento y que deben evitarse. Explicar que la postura principal hubiera podido corregirse durante el experimento. Si el experimento requiere una pulsación (por ejemplo, a través de la almohadilla de respuesta), instruir a los participantes a dejar sus dedos sobre los botones para presionar y evitar mirando hacia abajo en la almohadilla de respuesta al pulsar un botón. Pregunte a los participantes a leer la pantalla de bienvenida/introducción. Sentarse frente a la PC Host. Si la pantalla no está en la configuración de la cámara, haga clic en configuración de la cámara para llegar a la pantalla derecha. Si se ha quitado la tapa protectora de lente de la cámara y el participante se coloca correctamente en el resto de la barbilla, la pantalla debe mostrar tres imágenes de los ojos del participante: una imagen más grande en la parte superior y dos más pequeños en el fondo a la izquierda y derecha. Estas pequeñas imágenes muestran un ojo cada uno, correspondiente a la izquierda y el ojo derecho. Seleccione el ojo para ser rastreados. Es costumbre seguir ojo dominante del participante. Si el participante no sabe cual ojo es dominante, realice una prueba de dominancia ocular (paso 1.3.8). Determinar la dominancia ocular. Pregunte al participante para estirar un brazo y alinear el pulgar con un objeto lejano con ambos ojos abiertos. Pregunte al participante suplente cerrando el ojo izquierdo o derecho. El ojo dominante es el que el pulgar permanece alineado con el objeto cuando el ojo está abierto35,36. Haga clic en imagen | Pantalla pc (o presione Enter) y las imágenes que se describe en el paso 1.3.6 también aparecerán en la pantalla de visualización de los participantes, pero sólo uno a la vez. Pulse la flecha izquierda/derecha en el teclado de computador o el experimentador o el participante para cambiar entre la imagen del ojo más pequeño y más grande. Se centran en la imagen más pequeña (el ojo). Presiona A (ventana de alineación ocular) o teclado para centrar el cuadro de límites de búsqueda en la posición de la pupila. Luego, debe aparecer un cuadrado rojo alrededor del ojo con un círculo turquesa [la ‘reflexión corneal’, (cr)] cerca de la parte inferior de la pupila. El alumno de sí mismo debe ser azul. Asegurarse de que dos cruces (‘mira’) aparecen en la pantalla, uno en el centro de la pupila y uno en el centro de la reflexión corneal. La caja roja y las dos cruces significan que el perseguidor del ojo detecta la pupila y el cr.Nota: Si el cuadro rojo o las cruces están ausentes, el ojo no se realiza un seguimiento, si esto sucede, ningún alumno aparecerá en ordenador del experimentador. Ajustar el foco de la cámara girando manualmente la lente de enfoque. Tenga cuidado de no tocar la parte delantera de la lente. Gire el objetivo hasta el punto de enfoque mejor.Nota: El mejor punto de foco se alcanza cuando el círculo turquesa (reflejo corneal) es tan pequeño como sea posible (es decir, cuando este círculo está en foco). Ajuste del umbral de la pupila. Asegúrese de que sólo la imagen de la pupila es de color azul (por ejemplo, las pestañas no deben ser azul) en el PC Host. Además, asegúrese de que la pupila toda (no sólo la parte central) es de color azul. Sólo preocuparse por lo que está dentro de la Plaza Roja. Pulse A. Esto establece automáticamente el umbral de la pupila. Si el alumno no se muestra exactamente en azul, ajustar el umbral manualmente mediante la tecla de arriba para aumentar y la tecla abajo para disminuir la cantidad de azul parte de la superficie de la imagen.Nota: El rimel (que es generalmente negro, como la pupila) puede interferir con el ajuste del umbral: el rastreador de ojos podría tener las pestañas oscuras para el alumno. En este caso, pregunte al participante para remover su maquillaje dándoles maquillaje tejidos removedor. Ajuste del umbral de cr. Si A se pulsó en el paso 1.3.15, el umbral cr debe automáticamente se han creado.Nota: Los valores numéricos para todas las configuraciones de umbral deben ser visibles. Si en alguno de ellos aparece un signo de interrogación, hubo un problema en uno de los pasos anteriores y los umbrales deben establecerse manualmente. Calibrar el perseguidor del ojoNota: Revise si el perseguidor del ojo siempre puede identificar la posición del ojo cuando el participante se ve en otras partes de la pantalla. Pregunte a los participantes a buscar en las cuatro esquinas de la pantalla uno a la vez mientras que la ventana de configuración de la cámara está a la vista. Busque cuidadosamente cualquier reflexiones irregulares (estos aparecerán como turquesa ‘manchas’ en la pantalla) que pueden interferir con el reflejo corneal si la mirada se dirige a la esquina. Pregunte a los participantes a buscar en el centro de la pantalla y luego dirigir a su mirada a la problemática esquina si el cuadro rojo alrededor del ojo y de la Cruz no es visible en cualquier momento durante el paso 1.4.1. Esto le ayudará a determinar el origen del problema. Vuelva a ajustar la posición de la cabeza del participante y comprobar si esto produce una mejora. Repita este paso si es necesario. Si el dispositivo es todavía incapaz de seguimiento preciso de la mirada de los participantes después de varios intentos, abortar el experimento. Informar a los participantes que se calibrará el perseguidor del ojo y que van a ver un círculo negro (con un pequeño punto gris) hacia diferentes partes de la pantalla. Instruir a los participantes a fijar el círculo hasta que se mueve a una nueva ubicación. Instruir al participante para evitar filtrar sus ojos y concentrarse en el punto gris más pequeño dentro del círculo negro para obtener resultados óptimos. Dígale a los participantes que es importante mantener aún y no para tratar de anticipar la posición del círculo próximo durante la calibración. Instruirlos a seguir los círculos con los ojos y no la cabeza. Haga clic en calibrar para iniciar el proceso de calibración. Normalmente, se utiliza un procedimiento de calibración de 9 puntos en el que el círculo negro se mueve a nueve localidades de manera serial. Para una calibración automática, presione entrar después de que el participante ha fijado con precisión el primer punto en el centro de la pantalla. Para la calibración manual (por ejemplo, cuando hay problemas de seguimiento de ojo del participante o cuándo tratar con participante especial grupos como los niños), aceptar cada fijación presionando ENTER (o haga clic en Aceptar de fijación/ pulsando la barra espaciadora).Nota: Al final del proceso de calibración de un patrón casi rectangular en la pantalla del experimentador debe ser visible. Esto representa los patrones de mirada del ojo del participante. Además, cabe destacar los resultados de una buena calibración en verde. Si no, repita el procedimiento de calibración (por ejemplo, haga clic en calibración). Validar los resultados. Dígale a los participantes a pasar por el mismo procedimiento (mirando a puntos) con el fin de validar los resultados del proceso de calibración. Mirar el punto y que todavía recuerdan.Nota: El proceso de validación es similar a la de calibración y ambos resultados son comparados por el software de eye tracker para asegurarse de que el ojo se rastrean correctamente. Haga clic en validar. Aceptar cada fijación presionando ENTER (o hacer clic en aceptar la fijacióno presionando la barra espaciadora). Después de la validación, los resultados aparecerán en la pantalla del experimentador. Preste especial atención a las medidas de dos errores, el error promedio (por ejemplo, 0,23 °) y el error máximo (e.g., ° 0,70). Estos representan los grados a que la imagen de orugas se desvía de la posición de la mirada real de un participante. Cuando se utiliza un paradigma de mundo visual, mantener el error promedio (el primer número) debajo de 0.5° y el error máximo (el segundo número) debajo de 1°. Si los valores de error por encima del umbral, pregúntele al participante a reajustar la posición de su cabeza y vuelva a iniciar el procedimiento de calibración. Si se constata ninguna mejoría, abortar el experimento.Nota: Es común observar errores de calibración alta cuando el participante usa lentes de contacto. El participante debe pedirse con anticipación para traer sus gafas graduadas en lugar de sus lentes de contacto. Después de completar el proceso de calibración, haga clic en Registro de salida para iniciar el experimento. Informar a los participantes que ahora comienza el experimento. Durante el experimentoNota: Durante el experimento (según está programado un experimento individual, pero por lo general antes de cada ensayo experimental), una pantalla de verificación de la deriva o drift correcta mostrará un punto en el centro de la pantalla. Su propósito es divulgar el error calculado de fijación para la corriente de prueba y, dependiendo del modelo de eye tracker, para ajustarlo automáticamente. Durante la fase de instrucción, ha dicho el participante para fijar el punto central cada vez que aparece. Asegúrese de que durante cada fase correcta del cheque/drift deriva, los participantes son fijación nuevamente el punto. Esto puede hacerse siguiendo la mirada de los participantes en la PC del anfitrión, donde la mirada de los participantes aparece como un círculo verde móvil. Una vez concluida la deriva check/deriva correcta, presione ENTER (o la barra espaciadora) para hacer el punto de desaparecer y mostrar el siguiente ensayo. Determinar cómo tratar con falta de pasar la fase de verificación deriva según el modelo del rastreador ocular utilizado. Dependiendo del modelo, el perseguidor del ojo ya sea realizará un automático de la corrección de la deriva mediante el ajuste de coordenadas de la mirada para que coincida con los del punto central, o hará un pitido para incitar el experimentador volver a calibrar antes de continuar el experimento (verificación de la deriva). Si se utiliza una corrección de deriva automática, tenga en cuenta que demasiadas correcciones de deriva en ensayos consecutivos o demasiado grande un grado de corrección de deriva se distorsionan los resultados y requiere una recalibración del aparato. Peso durante el experimento Es posible recalibrar en cualquier momento durante el experimento. Durante la presentación de la pantalla de verificación de la corrección de la deriva de la deriva , haga clic en configuración, haga clic en calibrar. Ir a través de los procesos de calibración y validación, hasta alcanzar un valor satisfactorio, haga clic en registro de salida. El experimento se reanudará desde el punto de salida en la secuencia de prueba. Después del experimento Proporcionar al participante un cuestionario para evaluar si fueron capaces de adivinar las claves manipulaciones experimentales. Aquí, también es importante preguntar sobre posibles estrategias que se han desarrollado durante todo el experimento. Debrief el participante sobre el propósito del experimento. Darles las gracias por su participación y proporcionar la necesaria compensación monetaria o asignar crédito de curso si procede. 2. configuración remota: Ajustar la configuración de los estudios con niños y adultos mayores Nota: Esta sección describe sólo las diferencias entre una configuración remota y una configuración de escritorio, como se describe en el paso 1. Puntos no explícitamente mencionan aquí debe suponerse idéntico al procedimiento descrito en el paso 1. Intercambio de la lente de cámara estándar de 35 mm ojo tracker para un lente de 16 mm. Conectar todo el equipo necesario (PC Host, altavoces, ojos y ordenador portátil si se utiliza un ordenador portátil). Coloque el portátil en un ordenador portátil y el rastreador de ojos delante de él (el participante debe ser capaz de ver el 75% de la pantalla). Coloque una “etiqueta meta” (disponible del fabricante del perseguidor) en frente del participante (por encima de la ceja del ojo derecho o en la mejilla derecha si la frente es demasiado pequeño (es decir, en el caso de los bebés), este sustituye la etiqueta engomada descansar la barbilla de la configuración de escritorio y permite el perseguidor del ojo determinar con precisión la posición de la cabeza del participante. Asegúrese de que el participante esté asentado 550-600 mm de la cámara (la distancia de la etiqueta meta a la cámara). Asegúrese de que las palabras “gran ángulo” o “cerca de ojo” no aparece en la PC Host. Si lo hacen, significa que la posición de la etiqueta meta no es ideal. En este caso, vuelva a ajustar la etiqueta de destino. También puede significar que frente del participante es particularmente pequeña. Si este es el caso, coloque la etiqueta engomada en la mejilla del participante.Nota: Si la etiqueta se coloca demasiado cerca de la oreja, el mensaje “gran ángulo” es probable que aparezca y debe cambiarse de la etiqueta engomada. Antes de iniciar el proceso de calibración que se describe en el paso 1.4, asegúrese de que el participante se sienta cómodamente. Les pedimos mantener la misma posición durante todo el experimento entero y explicar que el ojo es muy sensible a los movimientos corporales. Insisten en que mantener su cabeza quieta. Si el participante se mueve demasiado, el dispositivo emitirá un zumbido.Nota: Si la configuración de rastreador de ojo remoto se utiliza para probar las poblaciones sensibles, como niños o adultos mayores, es recomendable utilizar un procedimiento de calibración manual. 3. Ajuste la configuración para la lectura de estudios Nota: La investigación de efectos de contexto visual en la lectura, es necesario prestar especial atención a los procesos de calibración y recalibración. A diferencia de estudios del mundo visual, eye tracking durante la lectura requiere de un mucho mayor grado de precisión necesario, dada la precisión necesaria para rastrear patrones de lectura palabra a palabra y letra a letra. Asegúrese de que tanto el error de la medio y máximo durante la fase de validación siguen siendo menores de 0,5 °. Asegúrese de que utilizar al menos una escala de 9 puntos de calibración. Esto asegura un seguimiento más preciso de la posición de la mirada del ojo, que es esencial, dado el pequeño tamaño de las áreas de interés durante la lectura.

Representative Results

Un estudio realizado por Münster y colaboradores37 investigó la interacción de la estructura de la oración, representa acciones y facial señales emocionales durante la comprensión del lenguaje. Este estudio es muy adecuado para ilustrar las ventajas y limitaciones del método, como demostró que tanto robusta representan efectos de acción y efectos marginales de los estímulos emocionales faciales en comprensión de la frase. Los autores crearon 5 videos de s de la expresión facial de una mujer que cambió de una posición de reposo en un feliz o en una expresión triste. También crearon emocionalmente positiva valenced alemán objeto-verbo-adverbio-sujeto (OVAdvS) las oraciones de la forma ‘ [objeto/pacientecaso acusativo] [Verbo] [adverbio positivo] [sujeto/agentecaso nominativo].’ Mediante el adverbio positivo, las frases emparejado el video ‘feliz’ y lencería desconjunta el video ‘triste’, en previsión del principio del agente (que estaba sonriendo y se describe como actuar alegremente por el adverbio positivo). Tras el vídeo del orador, la frase apareció con una de dos versiones de una escena de imágenes prediseñadas de agente-paciente-distractor. En una versión, el agente fue representado como realizar la acción mencionada en el paciente, mientras que el carácter distractor realiza una acción diferente. La otra versión de la escena había representada ninguna acción entre los personajes. Movimientos oculares en la escena revelaron los efectos de las acciones y de la expresión facial del orador en la comprensión de la frase. La representación de acción afectó rápidamente atención visual de los participantes, lo que significa que los participantes parecía más en el agente que en el distractor cuando la acción mencionada fue (vs no era) representado. Estos looks fueron anticipación (es decir, antes de que el agente fue mencionado), lo que sugiere que la representación de acción aclaró el agente antes de la sentencia. El primer efecto de la representación de la acción surgió durante el verbo (es decir, la conjugación mediada por el agente de acción asociados). Por el contrario, si el orador anterior sonrió o mirado infeliz no tuvo ningún efecto claro sobre la anticipación de agente (figura 2). Este último resultado podría reflejar el vínculo más tenue entre la sonrisa de un altavoz y un adverbio oraciones positivo relativas a la acción de los agentes representados (en comparación con una referencia de la acción directa de verbo mediar a un agente de acción asociados). Alternativamente, puede ser específico para la presentación de tareas y estímulos: quizás efectos de emoción habría sido más pronunciadas en una tarea socialmente más interactiva o en uno que presenta la comprensión de frase del orador cara durante (y no antes). Sin embargo, presentando la cara de un orador sonriente durante la comprensión puede hacer que los participantes centrarse en la cara a costa de otro contenido de la escena, quizás enmascarar lo contrario observan efectos de las variables manipuladas (fuente: datos no publicados). En otra variante del paradigma, Guerra y Knoeferle32 preguntó si relaciones espaciales semánticas de la lengua de mundo pueden modular la comprensión de contenido semántico abstracto durante la lectura. Guerra y Knoeferle pidió prestada la idea de la teoría de la metáfora conceptual del38 que la distancia espacial (por ejemplo, proximidad) motivos el significado de relaciones semánticas abstractas (por ejemplo, semejanza). En consonancia con esta hipótesis, los participantes leer coordinado sustantivos abstractos más rápido cuando eran similares (frente a frente) en significado y había sido precedidos por una proximidad transporte video (vs distancia, jugando a las cartas mover más cerca juntos vs. más lejos aparte). En un segundo conjunto de estudios39, frases describen la interacción entre dos personas como el íntima o antipático, hacia el descubrimiento de que videos de dos tarjetas de acercarse a uno con el otro acelera la lectura de las regiones de la oración que transmitía social proximidad/intimidad. Tenga en cuenta que la distancia espacial afectado sentencia de lectura rápida y progresivamente aun cuando las sentencias no se refiere a los objetos en el video. Los videos claramente modulan en tiempos de lectura en función de la congruencia entre la distancia espacial y sociales semánticos, así como aspectos del significado de la frase. Estos efectos aparecieron en tiempos de lectura de primer paso (la duración de la primera inspección de una región de sentencia determinado) y el tiempo total dedicado a esa región de oración (ver figura 3 para una ilustración de los resultados de los estudios de Guerra y Knoeferle)32. Sin embargo, el análisis también revelaron una variación sustancial entre los participantes, lleva a la conclusión de que tales efectos sutiles de la tarjeta distancia pueden no ser tan robustos como los efectos de las relaciones del verbo de acción, para mencionar un ejemplo. Un conjunto adicional de estudios ilustra cómo la variación en la estructura de la oración puede ayudar a evaluar la generalidad de los efectos de contexto visual. Abashidze y colaboradores34 y Rodríguez y colaboradores26 examinaron los efectos de las acciones recientes en el procesamiento posterior de oraciones habladas. En ambos estudios, los participantes inspeccionan primero un video de acción (p. ej., un experimentador saborizante pepinos, o manos femeninas para hornear un pastel). A continuación, han escuchado una frase alemana que tampoco estaba relacionado con la reciente acción o a otra acción que pueda realizarse siguiente (condimentar tomates34; construcción de un modelo26). Durante la comprensión, los participantes inspeccionan una escena de dos objetos (pepinos, tomates)34 o dos fotografías del agente de caras (una hembra y una cara de agente masculino, llamado ‘Susana’ y ‘Thomas’, respectivamente)26. En el estudio de Abashidze y colaboradores34, el orador mencionado por primera vez el experimentador y luego el verbo (e.g., sabor) que las expectativas sobre un tema (por ejemplo, los pepinos o los tomates). En el estudio realizado por Rodríguez y colaboradores26, el orador mencionado por primera vez un tema (la torta) y luego el verbo (hornada), que las expectativas sobre el agente de la acción (Femenino: Susanna u hombre: Thomas, representado a través de fotos de una mujer y una hombre cara). En ambos estudios, la pregunta en cuestión era si la gente (visualmente) anticiparía el tema/agente del reciente evento de acción o el otro tema/basado en otras claves contextuales durante la comprensión. Abashidze y colaboradores34, la mirada del experimentador localiza el objeto tema futuro (los tomates) desde el inicio del verbo (literalmente traducido del alemán: ‘el agente experimentador pronto sabores…’). Rodríguez y colaboradores26, conocimiento del género de acciones estereotipadas llegó a estar disponible cuando se mencionaron el tema y el verbo (por ejemplo, la traducción literal de los estímulos alemán era: ‘el tema de la torta pronto hornea…’). En ambos grupos de estudios, los participantes preferentemente inspeccionan al destino/agente de la acción reciente (pepinos34 o Susanna26) sobre blanco (futuro/otros-género) alternativo (tomates34 o Thomas26) durante la oración. Este llamada ‘evento reciente preferencia’, por lo tanto, parece ser robusto a través de una variación sustancial en la estructura de la oración y materiales experimentales. Fue modulada, sin embargo, por limitaciones visuales del concurrente escena26, que presenta fotografías plausibles de temas del verbo además de género fotografías de agentes reduce la dependencia de los eventos de acción recientemente inspeccionados y atención modular basada en el conocimiento de género estereotipo transmitido por idioma. Figura 4 ilustra las principales conclusiones de los experimentos por Rodríguez y colaboradores26. Mientras que esta versión del paradigma visual-mundo rindió resultados robustos, otros estudios han puesto de relieve la complejidad y limitaciones de la hipótesis de vinculación. Burigo y Knoeferle20 descubrieron que los participantes — al escuchar expresiones como der über de ist caja Die Wurst (‘la caja está por encima de la salchicha’) — en su mayoría siguieron la elocución en examinar imágenes prediseñadas representaciones de estos objetos. Pero en una proporción de los ensayos, la mirada de los participantes desconectada de lo que fue mencionada. Al escuchar ‘salchicha’ y después de haber inspeccionado la salchicha por lo menos una vez, próxima inspección de los participantes volvió a la caja en aproximadamente 21% de los ensayos de verificación apresurada (experimento 1) y en el 90% de los ensayos de verificación de la sentencia ( Experimento 2). Este patrón de mirada sugiere que la referencia (audiencia ‘ salchicha’) guiados sólo algunos (inspección de la salchicha) pero no todos ojo movimientos (inspección de la caja). Este tipo de diseño podría utilizarse para embromar apartes procesos léxico referencial (incluyendo nivel de sentencia interpretativa) de otros procesos. Sin embargo, los investigadores deben tener cuidado cuando hace afirmaciones sobre diferentes niveles de procesamiento lingüístico basado en diferencias relativas en las proporciones del movimiento del ojo, dada la ambigüedad en la vinculación de mirada a cognitiva y procesos de comprensión. Figura 1: Resumen del ambiente de la colección de datos. El gráfico muestra cómo los diferentes software y elementos de hardware utilizan para la recolección de datos y procesamiento se relacionan con uno otro. Haga clic aquí para ver una versión más grande de esta figura. Figura 2: Resultados representativos de Münster y colaboradores37. Estos paneles muestran la media de por tema registro-mirada cocientes de probabilidad por condición en la región de verbo (para la acción representada) y en la región de verbo-adverbio combinado (por el efecto del primer emocional). Los resultados muestran una proporción considerablemente mayor de miradas hacia la imagen de destino cuando la acción mencionada en la oración se describe que cuando no estaba representado. Los resultados para el efecto de reexpresión facial emocional fueron menos concluyentes: sugieren que sólo un ligero aumento en el cociente significa-log de miradas en el destino cuando el primer facial tenía una Valencia emocional positiva (una sonrisa) que cuando tenía una Valencia negativa (una cara triste). Las barras de error representan el error estándar de la media. Esta figura ha sido modificada desde Münster et al. 37. haga clic aquí para ver una versión más grande de esta figura. Figura 3: Resultados representativos de Guerra y Knoeferle32. Este panel muestra los tiempos de lectura primer paso medio (en milisegundos) del adjetivo (dis) similitud. Los resultados muestran tiempos más cortos de la lectura para las frases de similitud después de ver dos tarjetas de juegos se mueven más cerca juntos en comparación con más lejos aparte. Las barras de error representan el error estándar de la media. Esta figura ha sido modificada de Guerra y Knoeferle32. Haga clic aquí para ver una versión más grande de esta figura. Figura 4: Resultados representativos de Rodríguez y colaboradores26. Este panel muestra a la mirada de registro media por tema cocientes de probabilidad por condición en la región de verbo. Las proporciones de mira por encima de 0 mostrar una preferencia por la imagen del agente de destino y las proporciones por debajo de 0 mostrar una preferencia por la imagen del agente competidor. Los resultados muestran que los participantes eran más propensos a inspeccionar la imagen del agente de destino cuando el objeto y el verbo en la oración empareja los eventos grabados en vídeo anteriores que cuando no lo hicieron. Además, había más miradas hacia la imagen del agente de destino cuando la acción descrita por la frase se ajustó a los estereotipos de género. Las barras de error representan el error estándar de la media. Esta figura ha sido modificada de Rodríguez et al. 26. por favor haga clic aquí para ver una versión más grande de esta figura.

Discussion

En Resumen, las variantes ha comentado de eye tracking en contextos visuales han descubierto muchas formas en que una escena visual puede afectar la comprensión del lenguaje. Este método ofrece ventajas cruciales en comparación con métodos como la medición de tiempos de reacción. Por ejemplo, movimientos del ojo continua nos proporcionan una ventana en los procesos de comprensión del idioma y cómo estos interactúan con nuestra percepción del mundo visual en el tiempo. Por otra parte, los participantes se requieren necesariamente para realizar una tarea explícita durante la comprensión del lenguaje (por ejemplo, juzgar la gramaticalidad de una oración a través de una prensa del botón). Esto permite a los investigadores a utilizar el método con las poblaciones que podrían luchar con respuestas conductuales manifiestas que no sea la mirada, como los lactantes, los niños y, en algunos casos, los adultos mayores. Eye tracking es ecológicamente válida, ya que refleja las respuestas de atención de los participantes, no a diferencia de interrogatorio visual de los seres humanos de comunicación relevantes cosas en el mundo alrededor de ellos durante más o menos atento escuchando expresiones despliegue.

Uno de los límites (o tal vez características) del paradigma de mundo visual es que no todos los eventos pueden representarse directamente y sin ambigüedades. Por supuesto, pueden, representar acontecimientos y objetos concretos. Pero cómo conceptos abstractos son mejor representados es menos clara. Esto puede limitar o definir conocimientos sobre la interacción entre el procesamiento del lenguaje y la percepción del mundo visual utilizando un paradigma de mundo visual eye-tracking. Otros desafíos se relacionan con las hipótesis de vinculación entre el comportamiento observado y los procesos de comprensión. Fijaciones de ojo son una respuesta conductual solo que probablemente refleja muchos subprocesos durante la comprensión del lenguaje (p. ej., acceso léxico, procesos referenciales, expectativas mediada por el lenguaje, efectos de contexto visual, entre otros). Teniendo en cuenta esta idea, los investigadores deben tener cuidadosos para no sobre – o interpretar el patrón observado de la mirada. Para resolver este problema, investigaciones previas ha destacó el papel de comprensión subtareas para aclarar la interpretación de los registros de mirada40.

Una forma para mejorar la interpretabilidad de los movimientos de los ojos es integrarlas con otras medidas como potenciales acontecimiento-relacionados del cerebro (ERP). Por investigar el mismo fenómeno con dos métodos que son comparables en su granularidad temporal y complementario en sus hipótesis de vinculación, los investigadores pueden descartar explicaciones alternativas de sus resultados y enriquecer la interpretación de cada uno medida individual de41. Este enfoque se ha seguido a través de experimentos43, pero, más recientemente, también en un solo experimento (aunque en contextos estrictamente lingüístico)44. Futuras investigaciones podrían beneficiarse enormemente de esta integración metodológica y continuaron combinación con tareas después del juicio y la experimentales.

El método de seguimiento de ojo puede replicar resultados establecidos, así como probar nuevas hipótesis, acerca de la interacción de la atención visual en escenas con la comprensión del lenguaje. El procedimiento descrito en el protocolo debe seguirse ya que experimentador incluso menores errores pueden afectar la calidad de los datos. En la lectura de estudios, por ejemplo, las regiones de análisis relevantes suelen ser palabras individuales o incluso letras, lo que significa que la calibración incluso los pequeños errores podrían distorsionar los resultados (véase el artículo de Raney y colegas42). Pasos 1.4 y 1.5 del Protocolo, la calibración del perseguidor del ojo y la deriva check/deriva correcta, son de particular importancia ya que impactan directamente la exactitud de la grabación. Para calibrar correctamente el perseguidor del ojo pueden fallar en el tracker no precisa seguimiento movimientos oculares a las zonas previamente establecidas de interés. Tal falta de seguimiento dará lugar a falta de puntos de datos y una pérdida de poder estadístico que puede ser problemático al investigar las relaciones de lengua de mundo que son muy sutiles y rendimiento tamaños pequeño efecto estadístico (véase la descripción de la experimentos de Guerra y Knoeferle32 y Münster y sus colegas37 entre los Resultados de representante).

Dada la necesidad de maximizar la potencia y sensibilidad del equipo, es importante que experimentadores saben cómo lidiar con los problemas que habitualmente se producen durante una sesión experimental. Por ejemplo, la posición de la pupila y movimiento de los participantes con gafas pueden provocar dificultades de calibración debido a reflejos de luz en las lentes de gafas de un participante. Una manera de resolver este problema es la imagen del ojo del participante en el PC de la pantalla del espejo y animarles a mover su cabeza hasta que la reflexión de la luz en los vidrios ya no es visible en su pantalla, lo que significa que ya no es capturado por la cámara. Otra causa de la falta de calibración puede ser constricción de la pupila, que puede ser una consecuencia de una sobreexposición a la luz. En ese caso, oscurecimiento de la luz en el laboratorio será aumentar la dilatación de la pupila y, así, ayudar al perseguidor del ojo en la precisa detección de la pupila.

Como un pensamiento final, quisiéramos abordar el potencial que tiene el paradigma visual-mundo para la investigación en el aprendizaje del segundo idioma. El paradigma ya se ha utilizado con éxito en la investigación psicolingüística para investigar fenómenos como la interacción léxicas y fonológicas entre lenguajes46,47,48 Además, la estrecha relación entre la atención visual y aprendizaje de la lengua con frecuencia se ha destacado en la literatura de lingüística aplicada en el aprendizaje de una segunda lengua49,50,51. Futuras investigaciones sobre el aprendizaje de segundo idioma probablemente seguirán beneficiándose de la posición ventajosa de rastreo del ojo como un método que proporciona un índice de la atención visual en la resolución de milisegundos.

Disclosures

The authors have nothing to disclose.

Acknowledgements

Esta investigación fue financiada por el ZuKo (iniciativa de excelencia, Humboldt-Universität zu Berlin), la excelencia Cluster 277 ‘Interacción tecnología cognitiva’ (Consejo alemán de investigación, DFG) y por el séptimo programa marco de la Unión Europea para la investigación, el desarrollo tecnológico y demostración bajo contrato de concesión n ° 316748 (LanPercept). Los autores también reconocen apoyo de los fondos basales para centros de excelencia, proyecto FB0003 desde el programa de investigación asociativa de CONICYT (Gobierno de Chile) y desde el proyecto “FoTeRo” en el centro de atención XPrag (DFG). Pia Knoeferle siempre un primer borrador del artículo había informado por un protocolo de laboratorio que Helene Kreysa instanciado en la Universidad de Bielefeld y continúa siendo utilizado en la Humboldt-Universität zu Berlín. Todos los autores contribuyeron a los contenidos por ofrecer aportes en métodos y resultados de una forma u otra. Camilo Rodríguez Ronderos y Pia Knoeferle coordinación la entrada de los autores y, en dos repeticiones, revisaron sustancialmente el proyecto inicial. Ernesto Guerra produjo figuras 2 – 4 basado en el aporte de Katja Münster, Alba Rodríguez y Ernesto Guerra. Helene Kreysa proporcionada figura 1 y Pia Knoeferle actualizan. Partes de los resultados informados han sido publicadas en las actas de la reunión anual de la sociedad de ciencia cognitiva.

Materials

Desktop mounted eye-tracker including head/chin rest SR Research Ltd. EyeLink 1000 plus http://www.sr-research.com/eyelink1000plus.html
Software for the design and execution of an eye-tracking experiment SR Research Ltd. Experiment Builder http://www.sr-research.com/eb.html
DOWNLOAD MATERIALS LIST

References

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Knoeferle, P., Guerra, E., Finkbeiner, R., Meibauer, J., Schumacher, P. B. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. , 129-150 (2012).
  4. Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
  5. Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
  6. Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
  7. Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
  8. Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
  9. Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
  10. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  11. Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
  12. Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
  13. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
  14. Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
  15. Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
  16. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  17. Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
  18. Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , 1166-1171 (2005).
  19. Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , 11-14 (2016).
  20. Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
  21. Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 2675-2680 (2014).
  22. Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes?. Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , 2463-2468 (2017).
  23. Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
  24. Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376 (2011).
  25. Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference?. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 92-97 (2014).
  26. Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , 580-585 (2016).
  27. Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , 2593-2598 (2012).
  28. Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children’s comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , 1227-1232 (2012).
  29. Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
  30. Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , 291-303 (2016).
  31. Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
  32. Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
  33. Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 2513-2518 (2014).
  34. Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , 31-36 (2015).
  35. Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
  36. Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe’s Arch Clin Exp Ophthalmol. 243, 926 (2005).
  37. Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , 1673-1678 (2015).
  38. Lakoff, G., Johnson, M. . Metaphors We Live By. , (1980).
  39. Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
  40. Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , 1557-1562 (2012).
  41. Knoeferle, P., Roel, W. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. , 77-100 (2015).
  42. Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780 (2014).
  43. Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
  44. Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
  45. Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension?. Frontiers in Psychology. 3, 538 (2012).
  46. Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029 (2009).
  47. Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663 (2007).
  48. Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
  49. Verhallen, M. J., Bus, A. Young second language learners’ visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
  50. Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
  51. Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).

Tags

Eye TrackingVisually Situated Language ComprehensionPsycholinguisticsLanguage ProcessingOcular DominanceCalibrationCorneal ReflectionPupil Detection

Play Video
PDF
DOI
DOWNLOAD MATERIALS LIST
Cite This Article
Rodriguez Ronderos, C., Münster, K., Guerra, E., Kreysa, H., Rodríguez, A., Kröger, J., Kluth, T., Burigo, M., Abashidze, D., Nunnemann, E., Knoeferle, P. Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects. J. Vis. Exp. (141), e57694, doi:10.3791/57694 (2018).
Download Citation
Reprints and Permissions

View Video

✖

To prove you're not a robot, please enter the text in the image below

CAPTCHA Image
Play CAPTCHA Audio
Refresh Image