Olho de monitoramento durante a compreensão de linguagem visualmente situado: Flexibilidade e limitações no descobrindo contexto Visual Effects
Summary
O presente artigo clientes uma metodologia de acompanhamento de olho para estudos na compreensão da linguagem. Para obter dados fiáveis, etapas-chave do protocolo devem ser seguidas. Entre estes estão a afinação correta do tracker do olho (por exemplo, garantindo a boa qualidade das imagens olhos e cabeça) e calibração precisa.
Abstract
O presente trabalho é uma descrição e uma avaliação de uma metodologia que visa quantificar os diferentes aspectos da interação entre o processamento da linguagem e a percepção do mundo visual. A gravação do olho-olhar padrões forneceu boa evidência para a contribuição do contexto visual e conhecimentos de linguística/mundo de compreensão de linguagem. Inicial de pesquisa avaliou efeitos de contexto de objeto para testar teorias da modularidade no processamento da linguagem. Na introdução, descrevemos como investigações posteriores tomaram o papel do contexto mais amplo de visual na linguagem de processamento como um tópico de pesquisa em sua própria direita, fazendo perguntas tais como nossa percepção visual dos eventos e dos alto-falantes contribui para compreensão informada pela experiência dos comprehenders. Entre os aspectos examinados do contexto visual são ações, eventos, de um alto-falante olhar e expressões faciais emocionais, bem como configurações de objeto espacial. Seguindo uma visão geral do método olho de monitoramento e suas diferentes aplicações, lista as principais etapas da metodologia no protocolo, ilustrando como usá-lo com êxito para estudar a compreensão de linguagem visualmente-situado. Uma seção final apresenta três conjuntos de resultados representativos e ilustra os benefícios e limitações do olho de monitoramento para investigar a interação entre a percepção da compreensão de mundo e linguagem visual.
Introduction
Pesquisas linguísticas destacou a importância das análises de movimento dos olhos em compreender os processos implicados na compreensão da linguagem. O núcleo de se inferir os processos de compreensão do registro do olhar é uma hipótese que liga a cognição de olho movimentos5. Existem três tipos principais de movimentos oculares: sacadas, movimentos vestíbulo-ocular e movimentos de perseguição suave. Os saques são movimentos balísticos e rápidos que acontecem principalmente inconscientemente e foram confiantemente associados a mudanças na atenção6. São considerados os momentos de olhar relativa estabilidade entre os saques, conhecido como fixações, atenção visual atual do índice. O locus das fixações e a duração dos mesmos em relação aos processos cognitivos de medição é conhecido como o “método de eye-tracking”. As primeiras implementações desse método serviam para examinar a compreensão de leitura em contextos estritamente linguísticos (veja Rayner7 para uma revisão). Essa abordagem, a duração da inspeção de uma palavra ou frase região é associada com a dificuldade de processamento. Olho de rastreamento, no entanto, também foi aplicado para examinar a compreensão da língua falada durante a inspeção de objetos do mundo (ou em um computador exibir2). Nesta versão de ‘mundo visual’ olho-de acompanhamento, a inspeção de objetos é guiada pela linguagem. Quando os comprehenders ouvirem a zebra, por exemplo, a inspeção de uma zebra na tela é levado a refletir o que eles estão pensando sobre o animal. No que é conhecido como o paradigma do mundo visual, olhar de um comprehender olho é levado para refletir a compreensão da linguagem falada e ativação de conhecimento associado (por exemplo, os ouvintes também inspecionam a zebra quando ouvem pastando, indicando uma ação executada pela zebra)2. Essas inspecções sugerem uma ligação sistemática entre linguagem-mundo relações e de movimentos do olho2. Uma maneira comum de quantificar este link está calculando a proporção de olhares para diferentes regiões pré-determinado em uma tela. Isto permite que os pesquisadores para comparar diretamente (através de condições, pelos participantes e itens) a quantidade de atenção dada aos diferentes objetos em um determinado tempo e como esses valores mudam em resolução milissegundos.
Investigação em Psicolinguística tem explorado olho de rastreamento no visuais mundos para arreliar distante concorrentes hipóteses teóricas sobre a arquitetura da mente1. Fixações de olho nos objetos representados, além disso, revelaram que o comprehenders pode — supondo um contexto linguístico suficientemente restritivo — executar incremental interpretação semântica8 e até mesmo desenvolver expectativas sobre os próximos caracteres 9. tais dados de olhar olho tem também lançar luz sobre uma gama de mais processos de compreensão, tais como a ambiguidade lexical resolução10,11, pronome resolução12, a desambiguação de papel estrutural e temática atribuição por meio de informações no contexto visual13,14,16e processos pragmáticos15, entre muitos outros4. Claramente, os movimentos oculares de objetos durante a compreensão de linguagem podem ser informativos dos processos implicados.
O método de controle de olho é não-invasivo e pode ser usado com crianças, usuários de linguagem jovem e mais velhos. Uma grande vantagem é que, ao contrário de punctate respostas para sondas ou botão de resposta pressiona em tarefas de verificação, fornece insights sobre o tempo em uma resolução de milissegundos em como linguagem orienta a atenção e como o contexto visual (sob a forma de objetos, ações, eventos, de um alto-falante olhar e expressões faciais emocionais, bem como configurações de objeto espacial) contribui para o processamento da linguagem. A continuidade da medida durante a compreensão de sentença complementa bem com outras medidas pós-sentença e pós-experiência como de verificação de imagens/vídeo-sentença ostensiva, questões de compreensão e tarefas de recuperação de memória. Respostas evidentes nestas tarefas podem enriquecer a interpretação do registro olhar olho fornecendo insights sobre o resultado do processo de compreensão, memória e aprendizagem2. Combinar o olho com essas outras tarefas de monitoramento revelou até que ponto os diferentes aspectos do contexto visual modulam atenção visual e a compreensão (imediata, bem como atraso) em toda a vida útil.
A apresentação da linguagem (falada ou escrita) e cenas podem ser simultânea ou sequencial. Por exemplo, Knoeferle e colaboradores17 apresentou a cena 1.000 ms antes da sentença falada, e manteve-se presente durante a compreensão. Eles relataram evidências que clipart representações de eventos de ação contribuem para a resolução de ambiguidade estrutural local em alemão sujeito-verbo-objeto (SVO) em comparação com as frases de sujeito-objeto-verbo (OVS). Knoeferle e Crocker18 apresentaram uma cena de clipart antes de uma frase escrita e testaram a integração incremental de clipart eventos durante a compreensão da frase. Observaram a congruência incremental efeitos, significando que tempos de leitura dos participantes dos constituintes da sentença foram mais quando estas incompatível (vs correspondido) o evento retratado na cena anterior. Em outra variante estímulo de apresentação, os participantes primeiro ler uma frase que descreve uma relação espacial em então viram uma cena de um arranjo espacial específico envolvendo objeto desenhos de linha19. Este estudo avaliou as previsões dos modelos computacionais linguagem espacial, pedindo aos participantes para classificar o ajuste da sentença dada à cena, com os movimentos do olho durante o interrogatório de cena a ser gravados. Padrões do olhar dos participantes foram modulados pela forma do objeto que eles foram confrontados com — parcialmente confirmando as previsões do modelo e fornecendo dados para refinamento do modelo.
Enquanto muitos estudos utilizaram clipart representações17,18,19,20,21,22,23, também é possível combinar o mundo real objetos, vídeos desses objetos, ou fotografias estáticas com língua falada1,21,24,25,26,46. Knoeferle e os colegas usaram um cenário do mundo real24 e Abashidze e os colegas usaram um formato de apresentação em vídeo para analisar eventos de ação e efeitos tenso25. Variando o conteúdo exacto das cenas (por exemplo, representando ações ou não)22,,27,38 é possível e também pode revelar efeitos de contexto visual. Um estudo relacionado por Rodríguez e colaboradores26 investigou a influência de pistas de videotape sexo visual sobre a compreensão do apresentado posteriormente sentenças faladas. Participantes assistiram os vídeos exibindo as mãos ou masculinas ou femininas, realizando uma ação estereotipadas relacionadas com o género. Depois, ouviram uma frase sobre um evento de ação estereótipo masculino ou feminino enquanto simultaneamente inspecionando um display mostrando duas fotos lado a lado, um de um homem e o outro de uma mulher. Este rico ambiente visual e linguístico permitiu os autores arreliar distante os efeitos da mediada por linguagem estereotipado conhecimento na compreensão dos efeitos das indicações gênero apresentado visualmente (mão).
Uma aplicação deste paradigma tem como alvo as alterações do desenvolvimento em processamento de linguagem. Movimentos oculares de objetos durante a compreensão da linguagem falada revelaram os efeitos dos eventos retratados em 4 – 5 – anos de idade27,28 e de adultos mais velhos29 em tempo real, mas um pouco atrasado em comparação com adultos jovens. Kröger e colaboradores22 examinaram os efeitos de pistas prosódicas e caso marcação dentro de um experimento e comparei estas através de experimentos em adultos e crianças. Os participantes inspecionado uma cena de ação-evento ambíguo ao escutar uma frase alemã inequivocamente-marcadas de relacionados. Movimentos oculares revelaram que os distintos padrões prosódicos ajudaram os adultos nem o 4 – ou 5-year-olds quando disambiguating quem faz-o-que-quem. Caso de sentença-inicial, marcando, no entanto, influenciado dos adultos, mas não os movimentos do olho da criança. Isto sugere que a compreensão de 5 anos de marcação de caso não é suficientemente robusto para permitir a atribuição de função temática (ver o estudo por Özge e colaboradores30), pelo menos não quando eventos de ação não disambiguate relações temáticas de papel. Estes resultados são interessantes, dado que estão em contraste com os resultados anteriores de efeitos prosódicos na atribuição de papel temático31. Kröger e colaboradores22 propôs que o contexto de visual (mais ou menos solidário) é responsável para os resultados contrastantes. À medida que essas interpretações segurar, eles destacam o papel do contexto na compreensão da linguagem em toda a vida útil.
O método de controle de olho combina bem com as medidas da foto (ou vídeo) sentença verificação tarefas18,20,26, classificação de tarefas de verificação de imagem imagem32, corpus de estudos24 tarefas19, ou tarefas de recuperação pós-experimental25,33. Abashidze e colaboradores34 e Kreysa e colaboradores33 investigaram a interação de olhar de alto-falante e mundo real ação vídeos34 e alto-falante olhar e ação representações33, respectivamente, como pistas para conteúdo da futura sentença. Combinando o rastreamento do olhar de olho em uma cena durante a compreensão de linguagem com uma tarefa de memória pós-experimental, eles ganharam uma melhor compreensão da maneira em que percepção os ouvintes do olhar de um alto-falante e as ações retratadas interagem e afetam os dois processamento de linguagem imediata e recuperação de memória. Os resultados revelaram a contribuição distinta das ações contra o alto-falante olhar para compreensão em tempo real contra processos de recordação de pós-experiência memória.
Enquanto o método de olho-de rastreamento pode ser empregado com grande flexibilidade, determinadas normas são fundamentais. O protocolo seguinte resume um procedimento generalizado que pode ser ajustado para diferentes tipos de perguntas de pesquisa, de acordo com as necessidades específicas dos pesquisadores. Este protocolo é um procedimento padronizado empregado no laboratório de Psicolinguística no Humboldt-Universität zu Berlin, assim como na antiga linguagem e cognição laboratório no cognitivo interação tecnologia excelência Cluster (CITEC) no Universidade de Bielefeld. O protocolo descreve um desktop e uma instalação remota. Este último é recomendado para uso em estudos com crianças ou adultos mais velhos. Todos os experimentos, mencionados nos Resultados representante usam um dispositivo rastreador de olho que tem uma taxa de amostragem de 1.000 Hz e é usado em conjunto com um estabilizador de cabeça, um PC para testar os participantes (Display PC) e um PC para o monitoramento do experimento e a movimentos oculares dos participantes (Host PC). A principal diferença deste dispositivo ao seu antecessor é que ela permite binocular olho de monitoramento. O protocolo destina-se a ser suficientemente geral para uso com outros dispositivos de controle de olho que incluem um estabilizador de cabeça e fazer uso de um PC dual configuração (Host + Display). No entanto, é importante manter em mente que outras configurações provavelmente terá diferentes métodos para lidar com problemas tais como falhas de calibração ou perda de faixa, na qual caso o experimentador deve referir-se o usuário manual do seu dispositivo específico.
Protocol
Representative Results
Discussion
Em resumo, as variantes opinião do olho de rastreamento em contextos visuais descobriram muitas maneiras em que uma cena visual pode afetar a compreensão de linguagem. Este método fornece vantagens cruciais em comparação com métodos como medição de tempos de reação. Por exemplo, movimentos oculares em curso nos fornecem uma janela em processos de compreensão de linguagem e como estas interagem com nossa percepção do mundo visual ao longo do tempo. Além disso, os participantes não são necessariamente necessário para executar uma tarefa explícita durante a compreensão de linguagem (como julgar a gramaticalidade de uma frase através de pressionar um botão). Isto permite que os pesquisadores usar o método com populações que podem lutar com respostas comportamentais evidentes diferente olhar olho, tais como lactentes, crianças e, em alguns casos, adultos mais velhos. Olho de rastreamento é ecologicamente válido em que ele reflete respostas de atenção dos participantes — não muito diferente do interrogatório de visual dos seres humanos de coisas relevantes para a comunicação no mundo em torno deles durante a escuta mais ou menos atenta ao desenrolar dos enunciados.
Um dos limites (ou talvez características) do paradigma visual do mundo é que nem todos os eventos podem ser retratados direta e inequívoca. Eventos e objetos concretos podem, naturalmente, ser retratados. Mas como conceitos abstratos são melhores retratado é menos clara. Isso pode limitar (ou definir) insights sobre a interação entre o processamento da linguagem e a percepção do mundo visual usando uma paradigma do mundo visual olho de monitoramento. Novos desafios se relacionar as hipóteses de vinculação entre os processos de compreensão e comportamento observado. Fixações do olho são uma única resposta comportamental que provavelmente reflete muitos subprocessos durante a compreensão de linguagem (por exemplo, acesso lexical, referenciais processos, mediada por linguagem de expectativas, efeitos de contexto visual, entre outros). Dada essa percepção, pesquisadores devem ter cuidadosos para não over – ou interpretar mal o padrão observado de olhar. Para resolver este problema, pesquisas anteriores destacou o papel da compreensão subtarefas para clarificar a interpretação do olhar recorde40.
Uma maneira de melhorar a interpretabilidade dos movimentos oculares é integrá-los com outras medidas tais como potenciais relacionados a eventos cérebro (ERPs). Investigando o mesmo fenômeno com dois métodos que são comparáveis em sua granularidade temporal e complementares em suas hipóteses de vinculação, pesquisadores podem descartar explicações alternativas dos seus resultados e enriquecer a interpretação de cada um medida individual41. Esta abordagem tem sido perseguida através de de experimentos43, mas, mais recentemente, também dentro de uma única experiência (embora em contextos estritamente linguístico)44. Futuras pesquisas poderiam beneficiar enormemente tal integração metodológica e continuaram a combinação com tarefas pós-teste e pós-experimentais.
O método de controle de olho pode replicar os resultados estabelecidos, bem como testar novas hipóteses, sobre a interação da atenção visual em cenas com compreensão de linguagem. O procedimento descrito no protocolo deve ser cuidadosamente seguido, desde que o experimentador mesmo pequenos erros podem afetar a qualidade dos dados. Em estudos de leitura, por exemplo, as regiões de análise relevantes são frequentemente palavras individuais ou até cartas, significando que a calibração mesmo pequenos erros podem distorcer os resultados (ver o artigo por Raney e colegas42). Passos 1.4 e 1.5 do protocolo, a calibração do tracker do olho e a seleção/deriva de tração correta, são de particular importância, uma vez que elas impactam diretamente a precisão de gravação. Para calibrar corretamente o tracker do olho pode resultar no tracker não precisão de controle de movimentos oculares para previamente estabelecidas áreas de interesse. Tal falta de rastreamento levará à falta de pontos de dados e uma perda no poder estatístico que pode ser problemático quando investigando relações de linguagem-ao-mundo que são muito sutis e produzem tamanhos pequeno efeito estatístico (veja a descrição do experiências de Guerra e Knoeferle32 e Münster e colegas37 entre os Resultados de representante).
Dada a necessidade de maximizar a potência e sensibilidade do equipamento, é importante que os experimentadores saiba como lidar com os problemas que ocorrem rotineiramente durante uma sessão experimental. Por exemplo, o aluno posição e o movimento dos participantes usando óculos podem resultar em dificuldades de calibração devido a reflexos de luz nas lentes dos óculos de um participante. Uma maneira de resolver este problema é espelhar a imagem do olho do participante no PC Display e incentivá-los a mover sua cabeça até que o reflexo da luz, os óculos já não é visível na sua tela, significa que já não é captada pela câmera. Uma outra causa da falha de calibração pode ser constrição da pupila, que pode ser uma consequência de uma exposição excessiva à luz. Nesse caso, escurecimento da luz no laboratório aumentará a dilatação da pupila e, assim, ajudar o tracker em detectar com precisão a pupila do olho.
Como um pensamento final, gostaríamos de abordar o potencial que o paradigma visual-mundo tem para a pesquisa sobre a aprendizagem de segunda língua. O paradigma tem já sido utilizado com sucesso em pesquisas linguísticas para investigar fenômenos como a interação de várias linguagens lexical e fonológica46,,47,48. Além disso, a estreita ligação entre a atenção visual e aprendizagem de línguas, frequentemente tem sido destacada na literatura linguística aplicada na aquisição de segunda língua49,50,51. Futuras pesquisas sobre o aprendizado da segunda língua provavelmente continuará a beneficiar-se da posição vantajosa do olho de rastreamento como um método que fornece um índice da atenção visual em resolução milissegundo.
Divulgaciones
The authors have nothing to disclose.
Acknowledgements
Esta pesquisa foi financiada pelo ZuKo (iniciativa de excelência, Humboldt-Universität zu Berlin), a 277 do Cluster de excelência ‘Cognitivo interação tecnologia’ (Conselho de investigação alemão, DFG) e pelo sétimo programa-quadro da União Europeia para a investigação, desenvolvimento tecnológico e demonstração sob contrato de concessão n ° 316748 (LanPercept). Os autores também reconhecem o apoio dos fundos Basal para centros de excelência, projeto FB0003, do programa de pesquisa associativa de CONICYT (governo do Chile) e do projeto “FoTeRo” no centro de foco XPrag (DFG). Pia Knoeferle desde o primeiro rascunho do artigo informados por um protocolo de laboratório que Helene Kreysa instanciado na Universidade de Bielefeld e que continua a ser usado no Humboldt-Universität zu Berlin. Todos os autores contribuíram para o conteúdo, fornecendo entrada sobre métodos e resultados de uma forma ou de outra. Camilo Rodríguez Ronderos e Pia Knoeferle coordenou a entrada dos autores e, em duas iterações, substancialmente revisaram o projecto inicial. Ernesto Guerra produziu as figuras 2 – 4 , com base na entrada de Katja Münster, Alba Rodríguez e Ernesto Guerra. Helene Kreysa fornecido Figura 1 e Pia Knoeferle atualizado. Partes dos resultados relatados foram publicadas no processo da reunião anual da sociedade de ciência cognitiva.
Materials
| Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
| Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |
Referencias
- Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
- Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
- Knoeferle, P., Guerra, E., Finkbeiner, R., Meibauer, J., Schumacher, P. B. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. , 129-150 (2012).
- Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
- Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
- Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
- Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
- Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
- Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
- Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
- Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
- Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
- Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
- Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
- Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
- Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
- Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
- Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , 1166-1171 (2005).
- Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , 11-14 (2016).
- Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
- Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 2675-2680 (2014).
- Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes?. Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , 2463-2468 (2017).
- Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
- Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376 (2011).
- Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference?. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 92-97 (2014).
- Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , 580-585 (2016).
- Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , 2593-2598 (2012).
- Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children’s comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , 1227-1232 (2012).
- Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
- Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , 291-303 (2016).
- Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
- Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
- Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , 2513-2518 (2014).
- Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , 31-36 (2015).
- Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
- Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe’s Arch Clin Exp Ophthalmol. 243, 926 (2005).
- Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , 1673-1678 (2015).
- Lakoff, G., Johnson, M. . Metaphors We Live By. , (1980).
- Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
- Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , 1557-1562 (2012).
- Knoeferle, P., Roel, W. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. , 77-100 (2015).
- Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780 (2014).
- Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
- Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
- Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension?. Frontiers in Psychology. 3, 538 (2012).
- Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029 (2009).
- Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663 (2007).
- Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
- Verhallen, M. J., Bus, A. Young second language learners’ visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
- Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
- Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).
