Summary

Esaminare la produzione gestuale in presenza di sfide comunicative

Published: January 26, 2024
doi:

Summary

Qui, presentiamo un protocollo che manipola la visibilità dell’interlocutore per esaminare il suo impatto sulla produzione di gesti nella comunicazione interpersonale. Questo protocollo è flessibile per le attività implementate, i gesti esaminati e la modalità di comunicazione. È ideale per le popolazioni con problemi di comunicazione, come gli studenti di seconda lingua e gli individui con disturbo dello spettro autistico.

Abstract

Capire perché i parlanti modificano i gesti delle mani quando parlano con gli interlocutori fornisce preziose informazioni su come questi gesti contribuiscano alla comunicazione interpersonale in contesti faccia a faccia e virtuali. Gli attuali protocolli manipolano la visibilità dei parlanti e dei loro interlocutori in tandem in un contesto faccia a faccia per esaminare l’impatto della visibilità sulla produzione dei gesti quando la comunicazione è impegnativa. In questi protocolli, i parlanti completano compiti come insegnare parole da una seconda lingua sconosciuta o raccontare gli eventi di vignette di cartoni animati a un interlocutore che è un altro partecipante o un complice. Durante l’esecuzione di queste attività, gli oratori sono visibili o non visibili al loro interlocutore e l’oratore è visibile o non visibile al partecipante. Nel compito di apprendimento delle parole, i parlanti e gli interlocutori visibili l’uno all’altro producono gesti più rappresentativi, che trasmettono il significato attraverso la forma e il movimento della mano, e gesti dittici (indicanti) rispetto ai parlanti e agli interlocutori che non sono visibili l’uno all’altro. Nel protocollo di narrazione narrativa, gli adolescenti con disturbo dello spettro autistico (ASD) hanno prodotto più gesti quando parlavano con interlocutori visibili rispetto agli interlocutori non visibili. Uno dei principali punti di forza dell’attuale protocollo è la sua flessibilità in termini di compiti, popolazioni e gesti esaminati, e l’attuale protocollo può essere implementato sia in videoconferenza che in contesti faccia a faccia. Pertanto, l’attuale protocollo ha il potenziale per far progredire la comprensione della produzione gestuale chiarendo il suo ruolo nella comunicazione interpersonale nelle popolazioni con problemi di comunicazione.

Introduction

I gesti di co-discorso (in precedenza, gesti) – movimenti significativi delle mani prodotti in concomitanza con il discorso – contribuiscono alla comunicazione interpersonale trasmettendo informazioni che completano il contenuto verbale1. Secondo la tassonomia 2,3 più diffusa, i gesti possono essere suddivisi in tre categorie: gesti rappresentativi, che trasmettono i referenti attraverso la loro forma e movimento (ad esempio, sbattere le mani avanti e indietro insieme per trasmettere il volo); gesti di battimento, che trasmettono enfasi attraverso semplici movimenti di punteggiatura (ad esempio, spostando leggermente la mano dominante verso il basso in combinazione con ogni parola nella frase “proprio ora”); e gesti deittici, che attirano l’attenzione sulla presenza o l’assenza di un’entità attraverso l’indicazione (ad esempio, facendo oscillare il pollice all’indietro per indicare qualcosa dietro di sé). I gesti rappresentativi possono essere ulteriormente suddivisi in due categorie aggiuntive: gesti iconici, che trasmettono referenti concreti (ad esempio, un uccello), e gesti metaforici, che trasmettono referenti metaforici (ad esempio, estasi). Poiché il gesto e la parola derivano dallo stesso contenuto concettuale, sono strettamente correlati nel significato 4,5. Fungendo da mezzo visivo iconico per la comunicazione, i gesti possono aiutare a compensare quando sorgono difficoltà nella comprensione della lingua parlata6, sia a causa di fattori individuali come la limitata competenza nella lingua parlata 7,8 che di fattori ambientali come la difficoltà nell’udire il parlato 9,10. Pertanto, i gesti sono parte integrante della comprensione della comunicazione interpersonale in contesti faccia a faccia e virtuali, fornendo informazioni su come i parlanti e gli ascoltatori trasmettono e comprendono le informazioni in modo multimodale.

Sono stati sviluppati diversi compiti interattivi strutturati per misurare come il gesto influisce sulla comunicazione interpersonale. Questi compiti includono interviste, in cui i partecipanti rispondono alle domande descrivendo le loro esperienze personali11,12; descrizione dell’immagine, in cui viene presentata ai partecipanti un’immagine statica per descrivere13,14; risoluzione di puzzle, in cui i partecipanti descrivono come risolvere un puzzle orientando spazialmente correttamente i componenti 15,16; disposizione di direzione, in cui i partecipanti sono istruiti a dare indicazioni verso un luogo sconosciuto agli ascoltatori 17,18,19; e la rivisitazione narrativa, in cui i partecipanti vedono un cartone animato raffigurante una sequenza di eventi e successivamente li raccontano 20,21,22. Molti dei compiti impiegati negli studi sopra citati incorporano il contenuto spaziale e l’azione, che il gesto trasmette con particolare efficacia 15,23,24,25. Nei compiti per gli studi sopra citati, i partecipanti producono tipicamente gesti in combinazione con il linguaggio, e vengono valutate le informazioni trasmesse attraverso i gesti e la loro relazione con il linguaggio prodotto contemporaneamente. In alternativa, i partecipanti possono visualizzare una registrazione di qualcuno che gesticola (o non gesticola) e produce linguaggio durante il completamento di uno di questi compiti, dopodiché viene valutata la comprensione dei partecipanti. Tutte queste attività possono essere svolte sia virtualmente che faccia a faccia, consentendo la raccolta di dati da un’ampia gamma di partecipanti e il confronto tra le modalità.

L’impatto dei gesti sulla comunicazione interpersonale è stato implementato con un’ampia gamma di partecipanti. Di particolare interesse sono state le popolazioni con difficoltà di comunicazione, tra cui i bambini piccoli 26,27,28,29,30, gli utenti di una seconda lingua (L2) 8,31,32,33, gli individui con disturbo dello spettro autistico (ASD)20,21,22,34, gli individui con specifiche disturbi del linguaggio 35,36,37, individui con afasia 12,38, individui con lesione cerebrale39 e individui che balbettano40,41. Questo lavoro ha rivelato che, mentre molte di queste popolazioni possono utilizzare i gesti per facilitare la comunicazione, alcuni, come gli individui con disturbo dello spettro autistico, possono incontrare difficoltà a sfruttare i gesti per comunicare in modo efficace. I risultati suggeriscono che ciò potrebbe essere dovuto alla misura in cui queste popolazioni prendono in considerazione il design del pubblico e gli spunti ambientali, evidenziando le implicazioni pratiche di queste spiegazioni per l’impatto dei gesti sulla comunicazione.

Una caratteristica chiave che fornisce informazioni sull’impatto dei gesti sulla comunicazione interpersonale è la visibilità dell’interlocutore. Una questione di grande importanza nel campo della ricerca sul gesto è la misura in cui i partecipanti gesticolano a proprio vantaggio, indicando lo scarico delle operazioni cognitive sul corpo, rispetto al beneficio dei loro interlocutori, indicando l’uso del gesto per comunicare. Questa domanda è stata indagata esaminando l’impatto della (non) visibilità dell’interlocutore sulla produzione di gesti in contesti faccia a faccia attraverso l’uso di una partizione opaca 26,42, così come in contesti telefonici13 e in contesti virtuali43. Nel complesso, i risultati di questo lavoro indicano che, sebbene i parlanti gesticolino a proprio vantaggio, producono gesti più rappresentativi quando comunicano con interlocutori visibili rispetto a quelli non visibili, mentre la produzione di gesti di battito è simile indipendentemente dalla visibilità dell’interlocutore. Pertanto, suggeriscono che il gesto rappresentativo facilita la comunicazione in una varietà di contesti, suggerendo che i parlanti tengano conto della prospettiva dei loro interlocutori e modifichino di conseguenza la loro produzione gestuale. Sebbene la ricerca precedente che esamina l’effetto della visibilità dell’interlocutore sia stata determinante nel fornire informazioni sui contributi del gesto alla comunicazione interpersonale, si è concentrata sull’inglese come prima lingua (L1) nelle popolazioni in via di sviluppo, quindi non è chiaro se i risultati possano essere estesi alle popolazioni con problemi di comunicazione. Due di queste popolazioni sono gli studenti L2, che possono avere difficoltà a comunicare con la parola nella lingua di destinazione, e i bambini con ASD, la cui comunicazione verbale e non verbale è anormale. Inoltre, poche ricerche hanno esaminato l’impatto della visibilità dell’interlocutore sulla produzione di gesti in contesti virtuali, che consentono di districare l’effetto della visibilità dell’interlocutore sul partecipante dall’effetto della visibilità del partecipante sull’interlocutore, quindi la replicabilità dei risultati di questi contesti non è attualmente chiara. Infine, alcune ricerche si sono concentrate sull’impatto della visibilità dell’interlocutore sulla produzione di specifici tipi di gesti, quindi non è chiaro se la produzione di altri tipi di gesti sia influenzata in modo simile dalla visibilità dell’interlocutore.

I protocolli descritti di seguito manipolano la visibilità dell’interlocutore per esaminare la produzione di gesti in circostanze difficili: apprendimento di parole L2 e rivisitazione narrativa da parte di individui con ASD. Il protocollo di apprendimento delle parole L2 collega la ricerca che esamina l’impatto dell’osservazione dei gesti sull’apprendimento delle parole L2 con la ricerca che esamina il contributo dei gesti alla comunicazione attraverso un paradigma interattivo di apprendimento delle parole. In questo paradigma, i partecipanti che non hanno familiarità con la lingua target imparano parole in essa contenute e poi insegnano queste parole ad altri partecipanti che non hanno familiarità con la lingua target, consentendo di esaminare l’impatto della visibilità dell’interlocutore sulla produzione dei gesti nelle prime fasi dell’acquisizione della L2 in un contesto conversazionale. Il paradigma della rivisitazione dei cartoni animati impiega un compito di narrazione narrativa ampiamente utilizzato in cui sono state osservate differenze nella produzione dei gesti quando la visibilità dell’interlocutore viene manipolata con una nuova popolazione: gli adolescenti con ASD. Questa popolazione è interessante perché lo sviluppo del linguaggio, compresa la produzione di gesti, è maturo entro l’adolescenza e l’ASD comporta difficoltà con la comunicazione verbale e non verbale, compresi i gesti, nonché una mancanza di sensibilità alle esigenze comunicative degli interlocutori. Insieme, questi protocolli forniscono informazioni sulla misura in cui la produzione di gesti dipende dal parlato e, al contrario, può compensare quando la comunicazione interpersonale è impegnativa.

Sulla base dei risultati che dimostrano come la visibilità dell’ascoltatore influenzi la produzione di gesti da parte degli anglofoni L1 13,26,42,43, è stato ipotizzato che i partecipanti avrebbero prodotto più gesti complessivi e gesti più rappresentativi quando discutevano di parole L2 con un interlocutore visibile rispetto a uno non visibile. Sulla base dei risultati che dimostrano anomalie nella produzione di gesti in ASD20,44, è stato ipotizzato che gli adolescenti con ASD produrrebbero meno gesti complessivi e meno gesti rappresentativi e deittici rispetto agli adolescenti a sviluppo tipico (TD). Inoltre, sulla base dei risultati che dimostrano che l’ASD comporta difficoltà con l’assunzione della prospettiva45, è stato ipotizzato che la produzione di gesti da parte degli adolescenti con ASD non differirebbe significativamente in presenza di interlocutori visibili e non visibili. Infine, è stata prevista un’interazione tra diagnosi e visibilità, in modo tale che la produzione dei gesti non differisca in base alla visibilità per gli adolescenti con ASD, ma per gli adolescenti TD.

Protocol

Tutti i partecipanti hanno fornito il consenso scritto e tutti i protocolli sono stati approvati dai comitati di revisione istituzionale presso l’istituzione ospitante. I protocolli di apprendimento delle parole L2 e di retelling dei cartoni animati sono stati implementati negli studi su cui si basano i risultati rappresentativi21,33. Sebbene questi protocolli siano stati condotti solo in contesti di persona fino ad oggi, è attu…

Representative Results

Apprendimento delle parole L2Implementazione: I risultati riportati di seguito si basano sui dati raccolti da 52 partecipanti sani (21 maschi, 31 femmine; età: M = 20,15, SD = 1,73, range = 18-28) secondo il protocollo sopra descritto. Tutti i discorsi e i gesti sono stati codificati da un codificatore primario, che non poteva essere cieco alla condizione di visibilità poiché i dati sia dell’oratore che dell’interlocutore sono stati regis…

Discussion

L’attuale protocollo manipola la visibilità reciproca del parlante e dell’interlocutore, fornendo informazioni sul suo impatto sulla produzione dei gesti in circostanze difficili: apprendimento di parole L2 e rivisitazione narrativa da parte di adolescenti con ASD. Questo protocollo può essere implementato sia di persona che virtualmente, consentendo di manipolare la visibilità dei partecipanti e degli interlocutori in tandem o in modo indipendente. Può ospitare un’ampia varietà di …

Disclosures

The authors have nothing to disclose.

Acknowledgements

Lo sviluppo e la convalida del protocollo di apprendimento delle parole L2 è stato supportato da una borsa di studio National Defense Science and Engineering Graduate (NDSEG) (32 CFR 168a) rilasciata dall’Ufficio di ricerca scientifica dell’aeronautica militare del Dipartimento della Difesa degli Stati Uniti. Lo sviluppo e la convalida del protocollo di rivisitazione dei cartoni animati con adolescenti con ASD è stato supportato da un Ruth S. Kirschstein Institutional National Research Service Award (T32) del National Institutes of Mental Health. L’autore ringrazia Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo e Marco Pilotta per l’assistenza nella raccolta e nella codifica dei dati.

Materials

Computer Apple Z131 24" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphone Tonor B07GVGMW59
ELAN The Language Archive Software application used to transcribe speech and gesture
Video Recorder Vjianger B07YBCMXJJ FHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of Intelligence Pearson 158981561 Used to verify full scale IQ ≥ 80 in Morett et al. (2016)

References

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297 (2011).
  2. McNeill, D. . Hand and Mind. , (1992).
  3. McNeill, D. . Gesture and thought. , (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765 (2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you’re saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. . Gesture, Thought and Spatial Language. , (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults’ recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490 (2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O’Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -. M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children’s gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers’ comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children’s prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck’s garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture’s effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -. L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -. Y., Lam, W. -. Y., Cheng, C. -. H., So, W. -. C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212 (2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, &. #. 2. 1. 4. ;. E., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815 (2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. . Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -. C., Wong, M. K. -. Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. . Wechsler Abbreviated Scale of Intelligence. , (1999).
  47. Macwhinney, B. . The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Play Video

Cite This Article
Morett, L. M. Examining Gesture Production in the Presence of Communication Challenges. J. Vis. Exp. (203), e66256, doi:10.3791/66256 (2024).

View Video