Eye Tracking au cours de la compréhension du langage visuel situé : Flexibilité et Limitations en découvrant des effets de contexte visuel
Summary
Le présent article examine une méthodologie de suivi oculaire pour les études sur la compréhension de la langue. Pour obtenir des données fiables, des étapes clés du protocole doivent être respectées. Parmi ceux-ci figurent la mise en place correcte du Traqueur d’oeil (par exemple, assurer la bonne qualité des images oeil et tête) et un étalonnage précis.
Abstract
Le présent ouvrage est une description et une évaluation d’une méthodologie visant à quantifier les différents aspects de l’interaction entre le traitement du langage et la perception du monde visuel. L’enregistrement de modèles d’yeux-regard a fourni des preuves suffisantes pour la contribution du contexte visuel et connaissances linguistiques/world à la compréhension de la langue. Recherche initiale évalué les effets de contexte de l’objet pour tester des théories de la modularité dans le traitement du langage. Dans l’introduction, les auteurs décrivent comment des enquêtes ultérieures ont pris le rôle du contexte visuel plus large dans la langue de traitement comme un sujet de recherche à part entière, poser des questions telles que la façon dont notre perception visuelle des événements et des orateurs contribue à compréhension informée par expérience des comprehenders. Parmi les aspects examinés du contexte visuel sont des actions, événements, d’un haut-parleur regard et des expressions faciales émotionnelles, ainsi que des configurations spatiales objet. Après un aperçu de la méthode de suivi du regard et de ses différentes applications, nous listons les principales étapes de la méthodologie dans le protocole, illustrant la façon de l’utiliser avec succès pour étudier la compréhension de la langue trouve visuellement. Une dernière section présente trois ensembles de résultats représentatifs et illustre les avantages et les limites de suivi oculaire pour étudier l’interaction entre la perception de la compréhension mondiale et le langage visuelle.
Introduction
Recherche psycholinguistique a mis en évidence l’importance des analyses des mouvements oculaires dans la compréhension des processus impliqués dans la compréhension de la langue. Au cœur du processus de compréhension de l’enregistrement en regard de la déduction est une hypothèse qui relie la cognition et de mouvements oculaires5. Il existe trois grands types de mouvements oculaires : saccades, mouvements vestibulo-oculaire et sans heurt de poursuite. Saccades sont rapides et balistiques des mouvements qui se produisent plus souvent inconsciemment et ont été sûrement associés aux déplacements attention6. Les moments de regard relative stabilité entre les saccades, connu comme les fixations, sont considérés comme attention visuelle actuelle index. Le locus des fixations et leur durée en ce qui concerne les processus cognitifs de mesure est connue comme la « méthode d’eye-tracking ». Premières implémentations de cette méthode a servi à examiner la compréhension de la lecture dans des contextes strictement linguistiques (voir Rayner7 pour un examen). Dans cette approche, la durée d’inspecter un mot ou une phrase région est associée au traitement des difficultés. Cependant, oculométrique a également été appliquée pour examiner la compréhension de la langue parlée au cours de l’inspection d’objets dans le monde (ou sur un ordinateur affichage2). Dans cette version d’oculométrie « univers visuel », l’inspection d’objets est guidée par la langue. Quand les comprehenders entendent le zèbre, par exemple, l’inspection d’un zèbre à l’écran est censée refléter qu’ils pensent sur l’animal. Dans ce qui est connu comme le paradigme de l’univers visuel, regard oeil d’un comprehender est censée refléter la compréhension de la langue parlée et l’activation des savoirs associés (p. ex., les auditeurs aussi inspectent le zèbre quand ils entendent le pâturage, ce qui indique une action effectuée par le zèbre)2. Ces inspections suggèrent un lien systématique entre les relations langue-monde et de mouvements oculaires2. Un moyen courant de quantifier ce lien est en calculant la proportion de regards vers différentes régions prédéterminées sur un écran. Cela permet aux chercheurs de comparer directement (dans des conditions, par les participants et éléments) la quantité d’attention accordée à des objets différents à un moment donné et comment ces valeurs changent dans la résolution de la milliseconde.
Recherches en psycholinguistique a exploité la suivi des yeux dans des mondes visuels pour taquiner apart concurrentes hypothèses théoriques sur l’architecture de l’ esprit1. Fixations d’oeil sur les objets représentés ont, en outre, révélé que comprehenders peut — en supposant un contexte linguistique suffisamment restrictif — effectuer une interprétation sémantique différentiel8 et même développer des attentes sur les caractères à venir 9. ces données de regard yeux ont également fait la lumière sur une gamme de plus les processus de compréhension, comme ambiguïté lexicale résolution10,11, pronom résolution12, la désambiguïsation du rôle structurel et thématique cession par le biais de l’information dans le contexte visuel13,14,16et processus pragmatique15, parmi beaucoup d’autres4. De toute évidence, les mouvements de le œil aux objets au cours de la compréhension de la langue peuvent être informatives des processus impliqués.
La méthode de l’oculométrie est non invasif et peut être utilisée avec les nourrissons, les utilisateurs des langues des jeunes et plus âgés. Un avantage clé est que, contrairement aux réponses ponctuées de sondes ou de pressions sur la touche de réponse dans les tâches de vérification, il donne un aperçu au fil du temps dans une résolution de milliseconde dans Comment langue guides attention et comment le contexte visuel (sous la forme d’objets, actions, événements, d’un orateur regard et des expressions faciales émotionnelles, ainsi des configurations spatiales objet) contribue au traitement du langage. La continuité de la mesure au cours de la compréhension de la phrase complète bien avec les autres mesures postpénale et après expérience comme vérification de photo/vidéo-phrase manifeste, questions de compréhension et tâches de rappel de mémoire. Des réponses ouvertes à ces tâches peuvent enrichir l’interprétation de l’enregistrement de regard yeux en fournissant la perspicacité dans le résultat de la processus de compréhension, la mémoire et d’apprentissage2. Combinant la suivi des yeux avec ces autres tâches a permis de découvrir dans quelle mesure différents aspects du contexte visuel modulent l’attention visuelle et la compréhension (immédiate, ainsi que retardée) toutes les étapes de la vie.
La présentation de la langue (parlée ou écrite) et des scènes peuvent être simultanée ou séquentielle. Par exemple, Knoeferle et collaborateurs17 présenté la scène 1 000 ms avant la phrase parlée, et il est resté présent au cours de la compréhension. Ils ont signalé la preuve clipart représentations des événements d’action contribuant à la résolution de l’ambiguïté structurelle locale allemande sujet-verbe-objet (SVO) par rapport aux phrases sujet-verbe-objet (OVS). Knoeferle et Crocker18 présenté une scène clipart avant une phrase écrite et testé l’intégration progressive des cliparts événements au cours de la compréhension de la phrase. Ils ont observé des effets de congruence supplémentaires, ce qui signifie que les participants lecture des constituants de la phrase était plus long lorsque ceux-ci correspondent pas (vs appariés) l’événement représenté dans la scène précédente. Dans une autre variante de présentation de stimulation, les participants d’abord lire une phrase décrivant une relation spatiale et puis vu une scène d’une disposition spatiale particulière impliquant l’objet des dessins au trait19. Cette étude a évalué les prédictions des modèles de calcul langue spatiale en demandant aux participants d’évaluer l’adéquation de la phrase donnée à la scène, avec les mouvements de le œil étant enregistrées au cours de l’interrogatoire de la scène. Modèles de regard des participants ont été modulées par la forme de l’objet qu’ils ont été confrontés — partiellement confirmant les prédictions du modèle et en fournissant des données pour l’affinement du modèle.
Alors que de nombreuses études ont utilisé des cliparts représentations17,18,19,20,21,22,23, il est également possible de combiner le monde réel objets, des vidéos de ces objets, ou des photos statiques avec langue parlée1,21,24,25,26,46. Knoeferle et collègues ont utilisé un contexte réel24 et Abachidzé et collègues utilisaient un format de présentation enregistrée sur bande magnétoscopique pour l’examen des événements d’action et effets tendue25. Variant le contenu précis des scènes (par exemple, illustrant les actions ou non)22,27,38 est possible et peut également révéler des effets de contexte visuel. Une étude connexe par Rodríguez et collaborateurs26 a étudié l’influence des signaux sur bande vidéo sexe visuel sur la compréhension des présenté par la suite les phrases parlées. Participants ont regardé les vidéos montrant des mains mâles ou femelles qui exécute une action stéréotype sexiste. Puis, ils ont entendu une phrase sujet soit un événement d’action stéréotype masculin ou féminin lors de l’inspection en même temps un affichage montrant deux photos côte à côte, l’un de l’homme et l’autre d’une femme. Ce riche environnement visuel et linguistique a permis aux auteurs de distinguer les effets des connaissances stéréotypée véhiculée par la langue sur la compréhension des effets des signaux entre les sexes visuellement présentés (main).
Une autre demande de ce paradigme a ciblé des changements développementaux dans le traitement du langage. Mouvements oculaires aux objets au cours de la compréhension de la langue parlée a révélé les effets des événements représentés dans 4 – 5 – ans27,28 et d’adultes plus âgés29 en temps réel, mais un peu retardé par rapport aux jeunes adultes. Kröger et collaborateurs22 a examiné les effets des indices prosodiques et cas marquant au sein d’une expérience et comparé ces travers expériences chez les adultes et les enfants. Participants ont inspecté une scène d’action-événement ambigu pendant l’écoute d’une phrase allemande connexe clairement marquées en cas. Mouvements oculaires ont révélé que les profils prosodiques distincts a aidé ni adultes, ni les 4 ou 5-ans quand qui-est-ce que-à qui diriger. Phrase initiale cas marquant, mais influencé des adultes mais pas les mouvements des yeux des enfants. Ceci suggère que la compréhension des 5-year-olds de marquage affaire n’est pas suffisamment robuste pour permettre l’attribution de rôle thématique (Voir l’étude de Özge et collaborateurs30), au moins pas quand événements action ne pas lever l’ambiguïté entre rôle thématique relations. Ces résultats sont intéressants, étant donné qu’ils sont en contraste avec les résultats antérieurs des effets prosodiques le rôle thématique affectation31. Kröger et collaborateurs22 a proposé que le contexte visuel (plus ou moins favorable) est responsable des résultats contrastés. Dans la mesure où ces interprétations tiennent, elles mettent en évidence le rôle du contexte dans la compréhension de la langue toutes les étapes de la vie.
La méthode de l’oculométrie combine bien avec les mesures de la photo (ou vidéo) phrase vérification tâches18,20,26, image vérification tâches32, corpus études24, cotation tâches19, ou études expérimentales de rappel des tâches25,33. Abachidzé et collaborateurs34 et Kreysa et collaborateurs33 a étudié le jeu de regard de haut-parleur et action réelle vidéos34 et haut-parleur regard et action représentations33, respectivement, comme repères pour contenu de la phrase à venir. En combinant le suivi du regard des yeux dans une scène au cours de la compréhension de la langue avec une tâche de mémoire après expérimentation, ils ont acquis une meilleure compréhension de la façon dont perception de l’auditeur du regard du conférencier et les actions représentées interagissent et affectent traitement du langage immédiat et mémorisation. Les résultats ont révélé la contribution distincte des actions par rapport aux haut-parleurs regard aux processus de rappel compréhension en temps réel par rapport à post-l’expérience mémoire.
Alors que la méthode de suivi oculaire peut être employée avec beaucoup de souplesse, certaines normes sont essentielles. Le protocole suivant résume une procédure généralisée qui peut être réglée à différents types de questions de recherche selon les besoins spécifiques des chercheurs. Ce protocole est une procédure normalisée utilisée dans le laboratoire de psycholinguistique à la Humboldt-Universität zu Berlin, ainsi que dans l’ancienne langue et laboratoire Cognition à la Cognitive Interaction technologie Excellence Cluster (CITEC) à Université de Bielefeld. Le protocole décrit un ordinateur de bureau et d’une installation à distance. Ce dernier est recommandé pour une utilisation dans les études avec des enfants ou des adultes plus âgés. Toutes les expériences mentionnées dans les Résultats représentant utilisent un appareil de traqueur d’oeil qui a une fréquence d’échantillonnage de 1 000 Hz et est utilisé conjointement avec un stabilisateur de tête, un PC pour tester les participants (écran PC) et un PC de surveillance de l’expérience et la mouvements oculaires des participants (PC hôte). La différence principale de cet appareil à son prédécesseur, c’est qu’il permet un suivi oculaire binoculaire. Le protocole est destiné à être suffisamment générales pour une utilisation avec d’autres dispositifs de poursuite oculaire qui incluent un stabilisateur de la tête et de faire usage d’un PC dual setup (hôte + affichage). Cependant, il est important de garder à l’esprit que les autres configurations auront probablement des méthodes différentes pour traiter des problemes tels que les échecs de calibrage ou de la perte de la piste, dans lequel cas l’expérimentateur doit faire référence à l’utilisateur manuelle d’un périphérique spécifique.
Protocol
Representative Results
Discussion
En résumé, les variantes révisés d’oculométrique dans des contextes visuels ont découvert plusieurs façons dans lequel une scène visuelle peut affecter la compréhension de la langue. Cette méthode offre des avantages cruciaux par rapport aux méthodes comme la mesure des temps de réaction. Par exemple, les mouvements oculaires en cours nous fournissent une fenêtre dans le processus de compréhension de langue et comment ceux-ci interagissent avec notre perception du monde visuel au fil du temps. En outre, les participants ne doivent pas forcément pour effectuer une tâche explicite au cours de la compréhension de la langue (par exemple, à en juger la grammaticalité d’une phrase par une presse de bouton). Cela permet aux chercheurs d’utiliser la méthode avec les populations qui pourraient lutter avec des réponses comportementales manifestes, autres que le regard de le œil, comme les nourrissons, enfants et, dans certains cas, les personnes âgées. Oculométrique est écologiquement valable en ce qu’elle reflète les réponses des participants attention — pas contrairement aux interrogatoires visuelle des humains de communication les choses dans le monde autour d’eux pendant plus ou moins attentif, écouter les énoncés qui se déroule.
Une des limites (ou peut-être caractéristiques) du paradigme univers visuel est que pas tous les événements peuvent être présentés directement et sans ambiguïté. Événements et objets concrets peuvent, bien sûr, être présentés. Mais comment les concepts abstraits sont les mieux représentés est moins claire. Cela peut limiter (ou définir) aperçus de l’interaction entre le traitement du langage et la perception de l’univers visuel à l’aide d’un paradigme de l’oculométrie monde visuel. Autant les défis concernent les hypothèses reliant entre processus de compréhension et de comportement observé. Fixations oculaires sont une réponse comportementale unique qui reflète probablement les nombreux sous-processus au cours de la compréhension de la langue (par exemple, accès lexical, processus référentielles, induite par la langue des attentes, des effets de contexte visuel, entre autres). Compte tenu de cette idée, les chercheurs doivent être prudents pas de sur – ou de mal interpréter le modèle regard observées. Pour résoudre ce problème, la recherche antérieure a mis en évidence le rôle de la compréhension des sous-tâches pour clarifier l’interprétation du regard record40.
Améliorer l’intelligibilité des mouvements oculaires consiste à les intégrer à d’autres mesures telles que les potentiels de cerveau liées à l’événement (ERPs). En enquêtant sur le même phénomène avec deux méthodes qui soient comparables dans leur granularité temporelle et complémentaires dans leurs hypothèses reliant, les chercheurs peuvent exclure d’autres explications de leurs résultats et enrichir l’interprétation de chacun 41de mesure individuelle. Cette démarche a été poursuivie à travers des expériences43, mais, plus récemment, également au sein d’une seule expérience (bien que dans des contextes strictement linguistiques)44. Recherches futures pourraient bénéficier grandement d’une telle intégration méthodologique et a continué de combinaison avec les tâches après le procès et études expérimentales.
La méthode de suivi oculaire peut reproduire les résultats établis, ainsi que tester de nouvelles hypothèses, sur l’interaction de l’attention visuelle dans les scènes avec la compréhension de la langue. La procédure décrite dans le protocole doit être soigneusement suivie puisque même mineures expérimentateur erreurs peuvent affecter la qualité des données. En lisant les études, par exemple, les régions d’analyse pertinents sont souvent des mots individuels ou même des lettres, ce qui signifie que l’étalonnage même de petites erreurs pourraient fausser les résultats (Voir l’article de Raney et collègues42). Marches 1.4 et 1.5 du protocole, l’étalonnage de la Traqueur oculaire et la dérive cocher/dérive correcte, sont d’une importance particulière puisqu’ils ont un impact direct sur l’exactitude de l’enregistrement. Pour calibrer correctement le traqueur oculaire peut entraîner dans le tracker pas correctement suivi les mouvements des yeux aux domaines d’intérêt préétablis. Ce défaut de suivi emmènera en manque de points de données et une perte de puissance statistique qui peut être problématique lors d’enquêtes sur le monde-à-langue des relations qui sont très subtiles et qui produisent des tailles petit effet statistique (voir la description de la expériences de Guerra et Knoeferle32 et Münster et collègues37 Résultats représentant, entre autres).
Compte tenu de la nécessité de maximiser la puissance et la sensibilité de l’appareil, il est important que les expérimentateurs savent comment traiter les problèmes qui se produisent régulièrement lors d’une séance expérimentale. Par exemple, la position de l’élève et le mouvement de participants portant des lunettes peuvent entraîner des difficultés de calibration en raison des reflets lumineux sur les verres de lunettes d’un participant. Pour résoudre ce problème consiste à refléter l’image de le œil du participant sur le PC de l’affichage et les encourager à bouger leur tête jusqu’à ce que la réflexion de la lumière sur les lunettes n’est plus visible sur son écran, ce qui signifie qu’il est n’est plus capturée par la caméra. Une autre cause de l’échec de l’étalonnage peut être constriction de pupille, qui peut être une conséquence d’une surexposition à la lumière. Dans ce cas, gradation de la lumière dans le laboratoire augmentera dilatation de la pupille et, ainsi, aider le traqueur d’oeil de détecter avec précision la pupille.
Comme une dernière pensée, nous aimerions aborder le potentiel que le paradigme de visual-monde a pour la recherche sur l’apprentissage de la langue seconde. Le paradigme a déjà été avec succès utilisé en recherche psycholinguistique pour enquêter sur des phénomènes tels qu’interlangage lexicale et phonologique interaction46,47,48. En outre, le lien étroit qui existe entre l’attention visuelle et l’apprentissage des langues a fréquemment été mis en évidence dans la littérature linguistique appliquée sur une langue seconde49,50,,51. Les recherches futures sur l’apprentissage de la langue seconde continuera probablement à bénéficier de la position avantageuse de suivi oculaire comme une méthode qui fournit un indice d’attention visuelle dans la résolution de la milliseconde.
Offenlegungen
The authors have nothing to disclose.
Acknowledgements
Cette recherche a été financée par le ZuKo (Initiative d’Excellence, Humboldt-Universität zu Berlin), l’Excellence Cluster 277 « Cognitive Interaction technologie » Conseil allemand de la recherche (DFG) et par le septième programme-cadre de l’Union européenne pour la recherche, développement technologique et démonstration en vertu de l’accord de subvention n° 316748 (LanPercept). Les auteurs reconnaissent également le soutien des fonds basale des centres d’Excellence, FB0003 projet du programme de la recherche Associative de CONICYT (gouvernement du Chili), ainsi que du projet « FoTeRo » dans le centre de mise au point XPrag (DFG). Pia Knoeferle pourvu par un protocole de laboratoire, une première ébauche de l’article a informé que Helene Kreysa instancié à l’Université de Bielefeld et qui continue d’être utilisé à la Humboldt-Universität zu Berlin. Tous les auteurs ont contribué au contenu en fournissant des entrées sur les méthodes et les résultats sous une forme ou une autre. Camilo Rodríguez Ronderos et Pia Knoeferle a coordonné la contribution des auteurs et, dans deux itérations, révision substantielle du projet initial. Ernesto Guerra produit Figures 2 – 4 basé sur la contribution de Katja Münster, Alba Rodríguez et Ernesto Guerra. Helene Kreysa fourni Figure 1 et Pia Knoeferle mis à jour. Pièces des résultats rapportés ont été publiés dans le compte rendu de la réunion annuelle de la société des sciences cognitives.
Materials
| Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
| Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |
Referenzen
- Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
- Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
- Knoeferle, P., Guerra, E., Finkbeiner, R., Meibauer, J., Schumacher, P. B. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. , 129-150 (2012).
- Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
- Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
- Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
- Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
- Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
- Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
- Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
- Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
- Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
- Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
- Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
- Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
- Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
- Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
- Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , 1166-1171 (2005).
- Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , 11-14 (2016).
- Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
- Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 2675-2680 (2014).
- Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes?. Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , 2463-2468 (2017).
- Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
- Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376 (2011).
- Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference?. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 92-97 (2014).
- Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , 580-585 (2016).
- Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , 2593-2598 (2012).
- Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children’s comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , 1227-1232 (2012).
- Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
- Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , 291-303 (2016).
- Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
- Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
- Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 2513-2518 (2014).
- Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , 31-36 (2015).
- Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
- Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe’s Arch Clin Exp Ophthalmol. 243, 926 (2005).
- Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , 1673-1678 (2015).
- Lakoff, G., Johnson, M. . Metaphors We Live By. , (1980).
- Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
- Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , 1557-1562 (2012).
- Knoeferle, P., Roel, W. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. , 77-100 (2015).
- Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780 (2014).
- Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
- Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
- Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension?. Frontiers in Psychology. 3, 538 (2012).
- Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029 (2009).
- Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663 (2007).
- Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
- Verhallen, M. J., Bus, A. Young second language learners’ visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
- Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
- Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).
