Summary

Examinando la producción de gestos en presencia de desafíos de comunicación

Published: January 26, 2024
doi:

Summary

Aquí, presentamos un protocolo que manipula la visibilidad del interlocutor para examinar su impacto en la producción de gestos en la comunicación interpersonal. Este protocolo es flexible a las tareas implementadas, los gestos examinados y la modalidad de comunicación. Es ideal para poblaciones con problemas de comunicación, como los estudiantes de un segundo idioma y las personas con trastorno del espectro autista.

Abstract

Comprender por qué los hablantes modifican sus gestos con las manos al hablar con los interlocutores proporciona información valiosa sobre cómo estos gestos contribuyen a la comunicación interpersonal en contextos presenciales y virtuales. Los protocolos actuales manipulan la visibilidad de los hablantes y sus interlocutores en conjunto en un contexto cara a cara para examinar el impacto de la visibilidad en la producción de gestos cuando la comunicación es difícil. En estos protocolos, los hablantes completan tareas como enseñar palabras de un segundo idioma desconocido o contar los eventos de viñetas de dibujos animados a un interlocutor que es otro participante o un cómplice. Al realizar estas tareas, los hablantes son visibles o no visibles para su interlocutor, y el hablante es visible o no visible para el participante. En la tarea de aprendizaje de palabras, los hablantes e interlocutores visibles entre sí producen más gestos representativos, que transmiten significado a través de la forma de la mano y el movimiento, y gestos deícticos (señalando) que los hablantes e interlocutores que no son visibles entre sí. En el protocolo de narración de historias, los adolescentes con trastorno del espectro autista (TEA) produjeron más gestos al hablar con interlocutores visibles que cuando no lo hicieron. Una de las principales fortalezas del protocolo actual es su flexibilidad en términos de las tareas, poblaciones y gestos examinados, y el protocolo actual se puede implementar tanto en videoconferencias como en contextos presenciales. Por lo tanto, el protocolo actual tiene el potencial de avanzar en la comprensión de la producción de gestos al dilucidar su papel en la comunicación interpersonal en poblaciones con desafíos de comunicación.

Introduction

Los gestos de co-habla (hasta ahora, gestos) -movimientos significativos de las manos producidos simultáneamente con el habla- contribuyen a la comunicación interpersonal al transmitir información que complementa el contenido verbal1. De acuerdo con la taxonomía más utilizada 2,3, los gestos se pueden dividir en tres categorías: gestos representativos, que transmiten referentes a través de su forma y movimiento (por ejemplo, aletear las manos hacia adelante y hacia atrás para transmitir volar); gestos de ritmo, que transmiten énfasis a través de movimientos punteados simples (por ejemplo, mover la mano dominante ligeramente hacia abajo junto con cada palabra en la frase “ahora mismo”); y los gestos deícticos, que llaman la atención sobre la presencia o ausencia de una entidad a través del señalamiento (por ejemplo, balancear el pulgar hacia atrás para indicar algo detrás de uno mismo). Los gestos representacionales pueden dividirse a su vez en dos categorías adicionales: gestos icónicos, que transmiten referentes concretos (por ejemplo, un pájaro), y gestos metafóricos, que transmiten referentes metafóricos (por ejemplo, éxtasis). Debido a que el gesto y el habla surgen del mismo contenido conceptual, están estrechamente relacionados en el significado 4,5. Al servir como un medio visual icónico para la comunicación, los gestos pueden ayudar a compensar cuando surgen desafíos en la comprensión del lenguaje hablado6, ya sea debido a factores individuales como el dominio limitado del idioma hablado 7,8 o factores ambientales como la dificultad para escuchar el habla 9,10. Por lo tanto, los gestos son fundamentales para comprender la comunicación interpersonal en contextos presenciales y virtuales, ya que proporcionan información sobre cómo los hablantes y los oyentes transmiten y comprenden la información de forma multimodal.

Se han desarrollado varias tareas interactivas estructuradas para medir cómo afecta el gesto a la comunicación interpersonal. Estas tareas incluyen entrevistas, en las que los participantes responden a las preguntas describiendo sus experiencias personales11,12; descripción de la imagen, en la que se presenta a los participantes una imagen estática para describir13,14; resolución de acertijos, en el que los participantes describen cómo resolver un rompecabezas orientando espacialmente los componentes correctamente15,16; provisión de dirección, en la que se instruye a los participantes para que den indicaciones para llegar a un lugar desconocido para los oyentes 17,18,19; y el relato narrativo, en el que los participantes ven una caricatura que representa una secuencia de eventos y posteriormente los vuelven a contar 20,21,22. Muchas de las tareas empleadas en los estudios citados anteriormente incorporan contenido espacial y acción, que el gesto transmite con particular eficacia 15,23,24,25. En las tareas de los estudios citados anteriormente, los participantes suelen producir gestos en conjunción con el lenguaje, y se evalúa la información transmitida a través del gesto y su relación con el lenguaje producido simultáneamente. Alternativamente, los participantes pueden ver una grabación de alguien gesticulando (o no gesticulando) y produciendo lenguaje al completar una de estas tareas, después de lo cual se evalúa la comprensión de los participantes. Todas estas tareas pueden llevarse a cabo tanto de forma virtual como presencial, lo que permite la recopilación de datos de una amplia gama de participantes y la comparación entre modalidades.

El impacto de los gestos en la comunicación interpersonal se ha implementado con una amplia gama de participantes. De particular interés han sido las poblaciones con problemas de comunicación, incluidos los niños pequeños 26,27,28,29,30, los usuarios de un segundo idioma (L2) 8,31,32,33, las personas con trastorno del espectro autista (TEA)20,21,22,34, las personas con trastornos del espectro autista (TEA)20,21,22,34, las personas con trastornos del espectro autista (TEA)20,21,22,34, las personas con trastornos del espectro autista (TEA)20,21,22,34, las personas con trastornos del espectro autista (TEA)21,22,34, las personas con trastornos del espectro autista (TEA)21,22,34, las personas con discapacidades específicas. trastorno del lenguaje 35,36,37, personas con afasia 12,38, personas con lesión cerebral39 y personas que tartamudean40,41. Este trabajo ha revelado que, si bien muchas de estas poblaciones pueden utilizar gestos para facilitar la comunicación, algunas, como las personas con trastorno del espectro autista, pueden tener dificultades para aprovechar los gestos para comunicarse de manera efectiva. Los hallazgos sugieren que esto puede deberse a la medida en que estas poblaciones tienen en cuenta el diseño de la audiencia y las señales ambientales, destacando las implicaciones prácticas de estas explicaciones para el impacto de los gestos en la comunicación.

Una característica clave que proporciona información sobre el impacto de los gestos en la comunicación interpersonal es la visibilidad del interlocutor. Una cuestión de gran importancia en el campo de la investigación de los gestos es hasta qué punto los participantes gesticulan para su propio beneficio, lo que indica la descarga de las operaciones cognitivas en el cuerpo, frente al beneficio de sus interlocutores, lo que indica el uso del gesto para comunicarse. Esta cuestión se ha investigado examinando el impacto de la (no)visibilidad del interlocutor en la producción de gestos en contextos cara a cara mediante el uso de una partición opaca26,42, así como en contextos telefónicos13 y virtuales43. En general, los resultados de este trabajo indican que, aunque los hablantes gesticulan para su propio beneficio, producen más gestos representacionales cuando se comunican con interlocutores visibles que con interlocutores no visibles, mientras que la producción de gestos de ritmo es similar independientemente de la visibilidad del interlocutor. Por lo tanto, sugieren que el gesto representacional facilita la comunicación en una variedad de contextos, sugiriendo que los hablantes tengan en cuenta la perspectiva de sus interlocutores y modifiquen su producción de gestos en consecuencia. Aunque investigaciones anteriores que examinan el efecto de la visibilidad del interlocutor han sido fundamentales para proporcionar información sobre las contribuciones del gesto a la comunicación interpersonal, se han centrado en el inglés como primera lengua (L1) en poblaciones con desarrollo típico, por lo que no está claro si los hallazgos pueden extenderse a poblaciones con problemas de comunicación. Dos de estas poblaciones son los estudiantes de L2, que pueden tener dificultades para comunicarse a través del habla en el idioma objetivo, y los niños con TEA, cuya comunicación verbal y no verbal es anormal. Además, pocas investigaciones han examinado el impacto de la visibilidad del interlocutor en la producción de gestos en contextos virtuales, lo que permite desvincular el efecto de la visibilidad del interlocutor sobre el participante del efecto de la visibilidad del participante para el interlocutor, por lo que la replicabilidad de los hallazgos de estos contextos no está clara actualmente. Por último, algunas investigaciones se han centrado en el impacto de la visibilidad del interlocutor en la producción de tipos específicos de gestos, por lo que no está claro si la producción de otros tipos de gestos se ve afectada de manera similar por la visibilidad del interlocutor.

Los protocolos que se describen a continuación manipulan la visibilidad del interlocutor para examinar la producción de gestos en circunstancias difíciles: aprendizaje de palabras en L2 y narración de historias por parte de personas con TEA. El protocolo de aprendizaje de palabras en L2 une la investigación que examina el impacto de la observación de gestos en el aprendizaje de palabras en L2 con la investigación que examina la contribución de los gestos a la comunicación a través de un paradigma interactivo de aprendizaje de palabras. En este paradigma, los participantes que no están familiarizados con la lengua meta aprenden palabras en ella y luego enseñan estas palabras a otros participantes que no están familiarizados con la lengua meta, lo que permite examinar el impacto de la visibilidad del interlocutor en la producción de gestos en las primeras etapas de la adquisición de L2 en un contexto conversacional. El paradigma del relato de dibujos animados emplea una tarea narrativa de recuento ampliamente utilizada en la que se han observado diferencias en la producción de gestos cuando se manipula la visibilidad del interlocutor con una nueva población: los adolescentes con TEA. Esta población es de interés porque el desarrollo del lenguaje, incluida la producción de gestos, es maduro en la adolescencia, y el TEA implica dificultades con la comunicación verbal y no verbal, incluidos los gestos, así como una falta de sensibilidad a las necesidades comunicativas de los interlocutores. En conjunto, estos protocolos proporcionan información sobre hasta qué punto la producción de gestos depende del habla y, por el contrario, puede compensarlo cuando la comunicación interpersonal es un desafío.

Sobre la base de los hallazgos que demuestran cómo la visibilidad del oyente afecta la producción de gestos por parte de los hablantes de inglés L1 13,26,42,43, se planteó la hipótesis de que los participantes producirían más gestos generales y más gestos representativos cuando discutieran palabras L2 con un interlocutor visible que con un interlocutor no visible. Sobre la base de los hallazgos que demuestran anormalidades en la producción de gestos en el TEA20,44, se planteó la hipótesis de que los adolescentes con TEA producirían menos gestos en general, así como menos gestos representativos y deícticos que los adolescentes con desarrollo típico (TD). Además, a partir de los hallazgos que muestran que el TEA conlleva dificultades para tomar perspectiva45, se planteó la hipótesis de que la producción de gestos por parte de los adolescentes con TEA no diferiría significativamente en presencia de interlocutores visibles y no visibles. Por último, se predijo una interacción entre el diagnóstico y la visibilidad, de modo que la producción de gestos no difiere en la visibilidad para los adolescentes con TEA, pero sí para los adolescentes con TD.

Protocol

Todos los participantes dieron su consentimiento por escrito, y todos los protocolos fueron aprobados por las Juntas de Revisión Institucional de la institución anfitriona. Los protocolos de aprendizaje de palabras en L2 y narración de dibujos animados fueron implementados en los estudios en los que se basan los resultados representativos21,33. Aunque hasta la fecha estos protocolos solo se han llevado a cabo en contextos pres…

Representative Results

Aprendizaje de palabras L2Implementación: Los resultados que se informan a continuación se basan en datos recopilados de 52 participantes sanos (21 hombres, 31 mujeres; edad: M = 20.15, SD = 1.73, rango = 18-28) de acuerdo con el protocolo descrito anteriormente. Todos los signos y gestos fueron codificados por un codificador primario, que no podía ser ciego a la condición de visibilidad, ya que los datos tanto del hablante como del inte…

Discussion

El protocolo actual manipula la visibilidad del hablante y del interlocutor entre sí, proporcionando información sobre su impacto en la producción de gestos en circunstancias difíciles: el aprendizaje de palabras en L2 y la narración de historias por parte de adolescentes con TEA. Este protocolo puede implementarse de forma presencial o virtual, permitiendo manipular la visibilidad de participantes e interlocutores de forma conjunta o independiente. Puede acomodar una amplia varieda…

Divulgazioni

The authors have nothing to disclose.

Acknowledgements

El desarrollo y la validación del protocolo de aprendizaje de palabras L2 contó con el apoyo de una beca de posgrado en Ciencias e Ingeniería de Defensa Nacional (NDSEG) (32 CFR 168a) emitida por la Oficina de Investigación Científica de la Fuerza Aérea del Departamento de Defensa de los Estados Unidos. El desarrollo y la validación del protocolo de narración de dibujos animados con adolescentes con TEA contó con el apoyo de un premio Ruth S. Kirschstein Institutional National Research Service (T32) de los Institutos Nacionales de Salud Mental. El autor agradece a Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo y Marco Pilotta por su ayuda con la recopilación de datos y la codificación.

Materials

Computer Apple Z131 24" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphone Tonor B07GVGMW59
ELAN The Language Archive Software application used to transcribe speech and gesture
Video Recorder Vjianger B07YBCMXJJ FHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of Intelligence Pearson 158981561 Used to verify full scale IQ ≥ 80 in Morett et al. (2016)

Riferimenti

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297 (2011).
  2. McNeill, D. . Hand and Mind. , (1992).
  3. McNeill, D. . Gesture and thought. , (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765 (2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you’re saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. . Gesture, Thought and Spatial Language. , (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults’ recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490 (2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O’Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -. M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children’s gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers’ comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children’s prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck’s garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture’s effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -. L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -. Y., Lam, W. -. Y., Cheng, C. -. H., So, W. -. C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212 (2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, &. #. 2. 1. 4. ;. E., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815 (2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. . Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -. C., Wong, M. K. -. Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. . Wechsler Abbreviated Scale of Intelligence. , (1999).
  47. Macwhinney, B. . The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Play Video

Citazione di questo articolo
Morett, L. M. Examining Gesture Production in the Presence of Communication Challenges. J. Vis. Exp. (203), e66256, doi:10.3791/66256 (2024).

View Video