Summary

Examinando a produção de gestos na presença de desafios de comunicação

Published: January 26, 2024
doi:

Summary

Aqui, apresentamos um protocolo que manipula a visibilidade do interlocutor para examinar seu impacto na produção de gestos na comunicação interpessoal. Este protocolo é flexível para tarefas implementadas, gestos examinados e modalidade de comunicação. É ideal para populações com desafios de comunicação, como alunos de segunda língua e indivíduos com transtorno do espectro do autismo.

Abstract

Entender por que os falantes modificam seus gestos de mão ao falar com interlocutores fornece informações valiosas sobre como esses gestos contribuem para a comunicação interpessoal em contextos presenciais e virtuais. Os protocolos atuais manipulam a visibilidade dos falantes e seus interlocutores em conjunto em um contexto face a face para examinar o impacto da visibilidade na produção de gestos quando a comunicação é desafiadora. Nesses protocolos, os falantes concluem tarefas como ensinar palavras de uma segunda língua desconhecida ou recontar os eventos de vinhetas de desenhos animados para um interlocutor que é outro participante ou um cúmplice. Ao realizar essas tarefas, os falantes são visíveis ou não visíveis para seu interlocutor, e o falante é visível ou não visível para o participante. Na tarefa de aprendizagem de palavras, falantes e interlocutores visíveis uns aos outros produzem mais gestos representacionais, que transmitem significado por meio da forma e do movimento da mão, e gestos dêitticos (apontando) do que falantes e interlocutores que não são visíveis um para o outro. No protocolo de reconto narrativo, os adolescentes com transtorno do espectro autista (TEA) produziram mais gestos ao falar com interlocutores visíveis do que com interlocutores não visíveis. Um dos principais pontos fortes do protocolo atual é sua flexibilidade em termos de tarefas, populações e gestos examinados, e o protocolo atual pode ser implementado em videoconferência e também em contextos presenciais. Assim, o protocolo atual tem o potencial de avançar na compreensão da produção de gestos, elucidando seu papel na comunicação interpessoal em populações com desafios de comunicação.

Introduction

Gestos de co-fala (até então, gestos) – movimentos significativos das mãos produzidos simultaneamente com a fala – contribuem para a comunicação interpessoal, transmitindo informações que complementam o conteúdo verbal1. De acordo com a taxonomia mais utilizada 2,3, os gestos podem ser divididos em três categorias: gestos representacionais, que transmitem referentes por meio de sua forma e movimento (por exemplo, bater as mãos para frente e para trás para transmitir o vôo); gestos de batida, que transmitem ênfase por meio de movimentos pontilhados simples (por exemplo, mover a mão dominante ligeiramente para baixo em conjunto com cada palavra na frase “agora”); e gestos dêiticos, que chamam a atenção para a presença ou ausência de uma entidade por meio do apontamento (por exemplo, balançar o polegar para trás para indicar algo atrás de si mesmo). Os gestos representacionais podem ser divididos em duas categorias adicionais: gestos icônicos, que transmitem referentes concretos (por exemplo, um pássaro) e gestos metafóricos, que transmitem referentes metafóricos (por exemplo, êxtase). Como o gesto e a fala surgem do mesmo conteúdo conceitual, eles estão intimamente relacionados no significado 4,5. Ao servir como um meio visual icônico para a comunicação, os gestos podem ajudar a compensar quando surgem desafios na compreensão da linguagem falada6, seja devido a fatores individuais, como proficiência limitada no idioma falado 7,8 ou fatores ambientais, como dificuldade em ouvir a fala 9,10. Assim, os gestos são essenciais para entender a comunicação interpessoal em contextos presenciais e virtuais, fornecendo informações sobre como falantes e ouvintes transmitem e compreendem informações multimodalmente.

Várias tarefas interativas estruturadas foram desenvolvidas para medir como o gesto afeta a comunicação interpessoal. Essas tarefas incluem entrevistas, nas quais os participantes respondem a perguntas descrevendo suas experiências pessoais11,12; descrição da imagem, na qual uma imagem estática é apresentada aos participantes para descrever13,14; resolução de quebra-cabeças, em que os participantes descrevem como resolver um quebra-cabeça orientando espacialmente os componentescorretamente 15,16; provisão de direção, na qual os participantes são instruídos a dar instruções para um local desconhecido para os ouvintes 17,18,19; e recontagem narrativa, na qual os participantes assistem a um desenho animado retratando uma sequência de eventos e, posteriormente, os recontam 20,21,22. Muitas das tarefas empregadas nos estudos citados acima incorporam conteúdo espacial e ação, que o gesto transmite com particular eficácia 15,23,24,25. Nas tarefas dos estudos citados acima, os participantes normalmente produzem gestos em conjunto com a linguagem, e as informações transmitidas por meio do gesto e sua relação com a linguagem produzida simultaneamente são avaliadas. Alternativamente, os participantes podem ver uma gravação de alguém gesticulando (ou não gesticulando) e produzindo linguagem ao completar uma dessas tarefas, após o que a compreensão dos participantes é avaliada. Todas essas tarefas podem ser realizadas virtualmente e presencialmente, permitindo a coleta de dados de uma ampla gama de participantes e a comparação entre as modalidades.

O impacto dos gestos na comunicação interpessoal foi implementado com uma ampla gama de participantes. De particular interesse têm sido as populações com desafios de comunicação, incluindo crianças pequenas 26,27,28,29,30, usuários de segunda língua (L2) 8,31,32,33, indivíduos com transtorno do espectro autista (TEA)20,21,22,34, indivíduos com transtorno específico alteração da linguagem 35,36,37, indivíduos com afasia12,38, indivíduos com lesão cerebral39 e indivíduos com gagueira40,41. Este trabalho revelou que, embora muitas dessas populações possam utilizar gestos para facilitar a comunicação, algumas, como indivíduos com transtorno do espectro do autismo, podem encontrar dificuldade em alavancar gestos para se comunicar de forma eficaz. Os resultados sugerem que isso pode ser devido à medida em que essas populações levam em consideração o design do público e as pistas ambientais, destacando as implicações práticas dessas explicações para o impacto dos gestos na comunicação.

Uma característica fundamental que fornece informações sobre o impacto dos gestos na comunicação interpessoal é a visibilidade do interlocutor. Uma questão de grande importância no campo da pesquisa do gesto é até que ponto os participantes gesticulam para seu próprio benefício, indicando o descarregamento de operações cognitivas no corpo, versus o benefício de seus interlocutores, indicando o uso do gesto para se comunicar. Essa questão foi investigada examinando o impacto da (não) visibilidade do interlocutor na produção de gestos em contextos face a face por meio do uso de uma partição opaca26,42, bem como em contextos telefônicos13 e contextos virtuais43. De modo geral, os resultados deste trabalho indicam que, embora os falantes gesticulem para seu próprio benefício, eles produzem mais gestos representacionais ao se comunicarem com interlocutores visíveis do que não visíveis, enquanto a produção de gestos de batida é semelhante, independentemente da visibilidade do interlocutor. Assim, eles sugerem que o gesto representacional facilita a comunicação em uma variedade de contextos, sugerindo que os falantes levem em consideração a perspectiva de seus interlocutores e modifiquem sua produção de gestos de acordo. Embora pesquisas anteriores que examinaram o efeito da visibilidade do interlocutor tenham sido fundamentais para fornecer informações sobre as contribuições do gesto para a comunicação interpessoal, elas se concentraram no inglês como primeira língua (L1) em populações com desenvolvimento típico, por isso não está claro se as descobertas podem ser estendidas a populações com desafios de comunicação. Duas dessas populações são os alunos de L2, que podem ter dificuldade para se comunicar por meio da fala no idioma alvo, e crianças com TEA, cuja comunicação verbal e não verbal é anormal. Além disso, poucas pesquisas examinaram o impacto da visibilidade do interlocutor na produção de gestos em contextos virtuais, o que permite que o efeito da visibilidade do interlocutor sobre o participante seja desembaraçado do efeito da visibilidade do participante para o interlocutor, de modo que a replicabilidade dos achados desses contextos não está clara atualmente. Finalmente, algumas pesquisas se concentraram no impacto da visibilidade do interlocutor na produção de tipos específicos de gestos, portanto, não está claro se a produção de outros tipos de gestos é afetada de forma semelhante pela visibilidade do interlocutor.

Os protocolos descritos abaixo manipulam a visibilidade do interlocutor para examinar a produção de gestos em circunstâncias desafiadoras: aprendizagem de palavras em L2 e recontagem de narrativas por indivíduos com TEA. O protocolo de aprendizado de palavras L2 une pesquisas que examinam o impacto da observação de gestos no aprendizado de palavras L2 com pesquisas que examinam a contribuição dos gestos para a comunicação por meio de um paradigma interativo de aprendizado de palavras. Nesse paradigma, os participantes não familiarizados com a língua-alvo aprendem palavras nela e, em seguida, ensinam essas palavras a outros participantes não familiarizados com a língua-alvo, permitindo que o impacto da visibilidade do interlocutor na produção de gestos seja examinado nos estágios iniciais da aquisição de L2 em um contexto conversacional. O paradigma de reconto de desenhos animados emprega uma tarefa de reconto narrativo amplamente utilizada, na qual diferenças na produção de gestos têm sido observadas quando a visibilidade do interlocutor é manipulada com uma nova população: adolescentes com TEA. Essa população é de interesse porque o desenvolvimento da linguagem, incluindo a produção de gestos, é maduro na adolescência, e o TEA acarreta dificuldade na comunicação verbal e não verbal, incluindo gestos, bem como falta de sensibilidade às necessidades comunicativas dos interlocutores. Juntos, esses protocolos fornecem informações sobre até que ponto a produção de gestos depende – e, inversamente, pode compensar – a fala quando a comunicação interpessoal é desafiadora.

Com base em descobertas que demonstram como a visibilidade do ouvinte afeta a produção de gestos por falantes de inglês L1 13,26,42,43, foi levantada a hipótese de que os participantes produziriam mais gestos gerais e gestos mais representacionais ao discutir palavras L2 com um interlocutor visível do que não visível. Com base em achados que demonstram anormalidades na produção de gestos no TEA20,44, foi levantada a hipótese de que adolescentes com TEA produziriam menos gestos gerais, bem como menos gestos representacionais e dêitticos do que adolescentes com desenvolvimento típico (DT). Além disso, com base nos achados que mostram que o TEA acarreta dificuldade em assumir a perspectiva45, foi levantada a hipótese de que a produção de gestos por adolescentes com TEA não diferiria significativamente na presença de interlocutores visíveis e não visíveis. Por fim, foi prevista uma interação entre diagnóstico e visibilidade, de modo que a produção de gestos não diferiria pela visibilidade para adolescentes com TEA, mas sim para adolescentes com DT.

Protocol

Todos os participantes assinaram o termo de consentimento livre e esclarecido e todos os protocolos foram aprovados pelos Comitês de Ética em Pesquisa da instituição anfitriã. Os protocolos de aprendizagem de palavras L2 e reconto de desenhos animados foram implementados nos estudos nos quais os resultados representativos se baseiam21,33. Embora esses protocolos tenham sido conduzidos apenas em contextos presenciais até o m…

Representative Results

Aprendizagem de palavras L2Implementação: Os resultados relatados abaixo são baseados em dados coletados de 52 participantes saudáveis (21 homens, 31 mulheres; idade: M = 20,15, DP = 1,73, intervalo = 18-28) de acordo com o protocolo descrito acima. Todas as falas e gestos foram codificados por um codificador primário, que não pôde ser cego para a condição de visibilidade, pois os dados do falante e do interlocutor foram gravados us…

Discussion

O protocolo atual manipula a visibilidade do falante e do interlocutor um para o outro, fornecendo informações sobre seu impacto na produção de gestos em circunstâncias desafiadoras: aprendizagem de palavras L2 e recontagem de narrativas por adolescentes com TEA. Este protocolo pode ser implementado presencialmente ou virtualmente, permitindo que a visibilidade do participante e do interlocutor seja manipulada em conjunto ou de forma independente. Ele pode acomodar uma ampla varieda…

Divulgazioni

The authors have nothing to disclose.

Acknowledgements

O desenvolvimento e a validação do protocolo de aprendizado de palavras L2 foram apoiados por uma bolsa de pós-graduação em ciência e engenharia de defesa nacional (NDSEG) (32 CFR 168a) emitida pelo Escritório de Pesquisa Científica da Força Aérea do Departamento de Defesa dos EUA. O desenvolvimento e a validação do protocolo de recontagem de desenhos animados com adolescentes com TEA foram apoiados pelo Prêmio Ruth S. Kirschstein Institucional National Research Service (T32) do National Institutes of Mental Health. O autor agradece a Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo e Marco Pilotta pela assistência na coleta e codificação de dados.

Materials

Computer Apple Z131 24" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphone Tonor B07GVGMW59
ELAN The Language Archive Software application used to transcribe speech and gesture
Video Recorder Vjianger B07YBCMXJJ FHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of Intelligence Pearson 158981561 Used to verify full scale IQ ≥ 80 in Morett et al. (2016)

Riferimenti

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297 (2011).
  2. McNeill, D. . Hand and Mind. , (1992).
  3. McNeill, D. . Gesture and thought. , (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765 (2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you’re saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. . Gesture, Thought and Spatial Language. , (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults’ recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490 (2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O’Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -. M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children’s gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers’ comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children’s prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck’s garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture’s effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -. L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -. Y., Lam, W. -. Y., Cheng, C. -. H., So, W. -. C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212 (2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, &. #. 2. 1. 4. ;. E., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815 (2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. . Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -. C., Wong, M. K. -. Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. . Wechsler Abbreviated Scale of Intelligence. , (1999).
  47. Macwhinney, B. . The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Play Video

Citazione di questo articolo
Morett, L. M. Examining Gesture Production in the Presence of Communication Challenges. J. Vis. Exp. (203), e66256, doi:10.3791/66256 (2024).

View Video