Qui, presentiamo un protocollo che manipola la visibilità dell’interlocutore per esaminare il suo impatto sulla produzione di gesti nella comunicazione interpersonale. Questo protocollo è flessibile per le attività implementate, i gesti esaminati e la modalità di comunicazione. È ideale per le popolazioni con problemi di comunicazione, come gli studenti di seconda lingua e gli individui con disturbo dello spettro autistico.
Capire perché i parlanti modificano i gesti delle mani quando parlano con gli interlocutori fornisce preziose informazioni su come questi gesti contribuiscano alla comunicazione interpersonale in contesti faccia a faccia e virtuali. Gli attuali protocolli manipolano la visibilità dei parlanti e dei loro interlocutori in tandem in un contesto faccia a faccia per esaminare l’impatto della visibilità sulla produzione dei gesti quando la comunicazione è impegnativa. In questi protocolli, i parlanti completano compiti come insegnare parole da una seconda lingua sconosciuta o raccontare gli eventi di vignette di cartoni animati a un interlocutore che è un altro partecipante o un complice. Durante l’esecuzione di queste attività, gli oratori sono visibili o non visibili al loro interlocutore e l’oratore è visibile o non visibile al partecipante. Nel compito di apprendimento delle parole, i parlanti e gli interlocutori visibili l’uno all’altro producono gesti più rappresentativi, che trasmettono il significato attraverso la forma e il movimento della mano, e gesti dittici (indicanti) rispetto ai parlanti e agli interlocutori che non sono visibili l’uno all’altro. Nel protocollo di narrazione narrativa, gli adolescenti con disturbo dello spettro autistico (ASD) hanno prodotto più gesti quando parlavano con interlocutori visibili rispetto agli interlocutori non visibili. Uno dei principali punti di forza dell’attuale protocollo è la sua flessibilità in termini di compiti, popolazioni e gesti esaminati, e l’attuale protocollo può essere implementato sia in videoconferenza che in contesti faccia a faccia. Pertanto, l’attuale protocollo ha il potenziale per far progredire la comprensione della produzione gestuale chiarendo il suo ruolo nella comunicazione interpersonale nelle popolazioni con problemi di comunicazione.
I gesti di co-discorso (in precedenza, gesti) – movimenti significativi delle mani prodotti in concomitanza con il discorso – contribuiscono alla comunicazione interpersonale trasmettendo informazioni che completano il contenuto verbale1. Secondo la tassonomia 2,3 più diffusa, i gesti possono essere suddivisi in tre categorie: gesti rappresentativi, che trasmettono i referenti attraverso la loro forma e movimento (ad esempio, sbattere le mani avanti e indietro insieme per trasmettere il volo); gesti di battimento, che trasmettono enfasi attraverso semplici movimenti di punteggiatura (ad esempio, spostando leggermente la mano dominante verso il basso in combinazione con ogni parola nella frase “proprio ora”); e gesti deittici, che attirano l’attenzione sulla presenza o l’assenza di un’entità attraverso l’indicazione (ad esempio, facendo oscillare il pollice all’indietro per indicare qualcosa dietro di sé). I gesti rappresentativi possono essere ulteriormente suddivisi in due categorie aggiuntive: gesti iconici, che trasmettono referenti concreti (ad esempio, un uccello), e gesti metaforici, che trasmettono referenti metaforici (ad esempio, estasi). Poiché il gesto e la parola derivano dallo stesso contenuto concettuale, sono strettamente correlati nel significato 4,5. Fungendo da mezzo visivo iconico per la comunicazione, i gesti possono aiutare a compensare quando sorgono difficoltà nella comprensione della lingua parlata6, sia a causa di fattori individuali come la limitata competenza nella lingua parlata 7,8 che di fattori ambientali come la difficoltà nell’udire il parlato 9,10. Pertanto, i gesti sono parte integrante della comprensione della comunicazione interpersonale in contesti faccia a faccia e virtuali, fornendo informazioni su come i parlanti e gli ascoltatori trasmettono e comprendono le informazioni in modo multimodale.
Sono stati sviluppati diversi compiti interattivi strutturati per misurare come il gesto influisce sulla comunicazione interpersonale. Questi compiti includono interviste, in cui i partecipanti rispondono alle domande descrivendo le loro esperienze personali11,12; descrizione dell’immagine, in cui viene presentata ai partecipanti un’immagine statica per descrivere13,14; risoluzione di puzzle, in cui i partecipanti descrivono come risolvere un puzzle orientando spazialmente correttamente i componenti 15,16; disposizione di direzione, in cui i partecipanti sono istruiti a dare indicazioni verso un luogo sconosciuto agli ascoltatori 17,18,19; e la rivisitazione narrativa, in cui i partecipanti vedono un cartone animato raffigurante una sequenza di eventi e successivamente li raccontano 20,21,22. Molti dei compiti impiegati negli studi sopra citati incorporano il contenuto spaziale e l’azione, che il gesto trasmette con particolare efficacia 15,23,24,25. Nei compiti per gli studi sopra citati, i partecipanti producono tipicamente gesti in combinazione con il linguaggio, e vengono valutate le informazioni trasmesse attraverso i gesti e la loro relazione con il linguaggio prodotto contemporaneamente. In alternativa, i partecipanti possono visualizzare una registrazione di qualcuno che gesticola (o non gesticola) e produce linguaggio durante il completamento di uno di questi compiti, dopodiché viene valutata la comprensione dei partecipanti. Tutte queste attività possono essere svolte sia virtualmente che faccia a faccia, consentendo la raccolta di dati da un’ampia gamma di partecipanti e il confronto tra le modalità.
L’impatto dei gesti sulla comunicazione interpersonale è stato implementato con un’ampia gamma di partecipanti. Di particolare interesse sono state le popolazioni con difficoltà di comunicazione, tra cui i bambini piccoli 26,27,28,29,30, gli utenti di una seconda lingua (L2) 8,31,32,33, gli individui con disturbo dello spettro autistico (ASD)20,21,22,34, gli individui con specifiche disturbi del linguaggio 35,36,37, individui con afasia 12,38, individui con lesione cerebrale39 e individui che balbettano40,41. Questo lavoro ha rivelato che, mentre molte di queste popolazioni possono utilizzare i gesti per facilitare la comunicazione, alcuni, come gli individui con disturbo dello spettro autistico, possono incontrare difficoltà a sfruttare i gesti per comunicare in modo efficace. I risultati suggeriscono che ciò potrebbe essere dovuto alla misura in cui queste popolazioni prendono in considerazione il design del pubblico e gli spunti ambientali, evidenziando le implicazioni pratiche di queste spiegazioni per l’impatto dei gesti sulla comunicazione.
Una caratteristica chiave che fornisce informazioni sull’impatto dei gesti sulla comunicazione interpersonale è la visibilità dell’interlocutore. Una questione di grande importanza nel campo della ricerca sul gesto è la misura in cui i partecipanti gesticolano a proprio vantaggio, indicando lo scarico delle operazioni cognitive sul corpo, rispetto al beneficio dei loro interlocutori, indicando l’uso del gesto per comunicare. Questa domanda è stata indagata esaminando l’impatto della (non) visibilità dell’interlocutore sulla produzione di gesti in contesti faccia a faccia attraverso l’uso di una partizione opaca 26,42, così come in contesti telefonici13 e in contesti virtuali43. Nel complesso, i risultati di questo lavoro indicano che, sebbene i parlanti gesticolino a proprio vantaggio, producono gesti più rappresentativi quando comunicano con interlocutori visibili rispetto a quelli non visibili, mentre la produzione di gesti di battito è simile indipendentemente dalla visibilità dell’interlocutore. Pertanto, suggeriscono che il gesto rappresentativo facilita la comunicazione in una varietà di contesti, suggerendo che i parlanti tengano conto della prospettiva dei loro interlocutori e modifichino di conseguenza la loro produzione gestuale. Sebbene la ricerca precedente che esamina l’effetto della visibilità dell’interlocutore sia stata determinante nel fornire informazioni sui contributi del gesto alla comunicazione interpersonale, si è concentrata sull’inglese come prima lingua (L1) nelle popolazioni in via di sviluppo, quindi non è chiaro se i risultati possano essere estesi alle popolazioni con problemi di comunicazione. Due di queste popolazioni sono gli studenti L2, che possono avere difficoltà a comunicare con la parola nella lingua di destinazione, e i bambini con ASD, la cui comunicazione verbale e non verbale è anormale. Inoltre, poche ricerche hanno esaminato l’impatto della visibilità dell’interlocutore sulla produzione di gesti in contesti virtuali, che consentono di districare l’effetto della visibilità dell’interlocutore sul partecipante dall’effetto della visibilità del partecipante sull’interlocutore, quindi la replicabilità dei risultati di questi contesti non è attualmente chiara. Infine, alcune ricerche si sono concentrate sull’impatto della visibilità dell’interlocutore sulla produzione di specifici tipi di gesti, quindi non è chiaro se la produzione di altri tipi di gesti sia influenzata in modo simile dalla visibilità dell’interlocutore.
I protocolli descritti di seguito manipolano la visibilità dell’interlocutore per esaminare la produzione di gesti in circostanze difficili: apprendimento di parole L2 e rivisitazione narrativa da parte di individui con ASD. Il protocollo di apprendimento delle parole L2 collega la ricerca che esamina l’impatto dell’osservazione dei gesti sull’apprendimento delle parole L2 con la ricerca che esamina il contributo dei gesti alla comunicazione attraverso un paradigma interattivo di apprendimento delle parole. In questo paradigma, i partecipanti che non hanno familiarità con la lingua target imparano parole in essa contenute e poi insegnano queste parole ad altri partecipanti che non hanno familiarità con la lingua target, consentendo di esaminare l’impatto della visibilità dell’interlocutore sulla produzione dei gesti nelle prime fasi dell’acquisizione della L2 in un contesto conversazionale. Il paradigma della rivisitazione dei cartoni animati impiega un compito di narrazione narrativa ampiamente utilizzato in cui sono state osservate differenze nella produzione dei gesti quando la visibilità dell’interlocutore viene manipolata con una nuova popolazione: gli adolescenti con ASD. Questa popolazione è interessante perché lo sviluppo del linguaggio, compresa la produzione di gesti, è maturo entro l’adolescenza e l’ASD comporta difficoltà con la comunicazione verbale e non verbale, compresi i gesti, nonché una mancanza di sensibilità alle esigenze comunicative degli interlocutori. Insieme, questi protocolli forniscono informazioni sulla misura in cui la produzione di gesti dipende dal parlato e, al contrario, può compensare quando la comunicazione interpersonale è impegnativa.
Sulla base dei risultati che dimostrano come la visibilità dell’ascoltatore influenzi la produzione di gesti da parte degli anglofoni L1 13,26,42,43, è stato ipotizzato che i partecipanti avrebbero prodotto più gesti complessivi e gesti più rappresentativi quando discutevano di parole L2 con un interlocutore visibile rispetto a uno non visibile. Sulla base dei risultati che dimostrano anomalie nella produzione di gesti in ASD20,44, è stato ipotizzato che gli adolescenti con ASD produrrebbero meno gesti complessivi e meno gesti rappresentativi e deittici rispetto agli adolescenti a sviluppo tipico (TD). Inoltre, sulla base dei risultati che dimostrano che l’ASD comporta difficoltà con l’assunzione della prospettiva45, è stato ipotizzato che la produzione di gesti da parte degli adolescenti con ASD non differirebbe significativamente in presenza di interlocutori visibili e non visibili. Infine, è stata prevista un’interazione tra diagnosi e visibilità, in modo tale che la produzione dei gesti non differisca in base alla visibilità per gli adolescenti con ASD, ma per gli adolescenti TD.
L’attuale protocollo manipola la visibilità reciproca del parlante e dell’interlocutore, fornendo informazioni sul suo impatto sulla produzione dei gesti in circostanze difficili: apprendimento di parole L2 e rivisitazione narrativa da parte di adolescenti con ASD. Questo protocollo può essere implementato sia di persona che virtualmente, consentendo di manipolare la visibilità dei partecipanti e degli interlocutori in tandem o in modo indipendente. Può ospitare un’ampia varietà di …
The authors have nothing to disclose.
Lo sviluppo e la convalida del protocollo di apprendimento delle parole L2 è stato supportato da una borsa di studio National Defense Science and Engineering Graduate (NDSEG) (32 CFR 168a) rilasciata dall’Ufficio di ricerca scientifica dell’aeronautica militare del Dipartimento della Difesa degli Stati Uniti. Lo sviluppo e la convalida del protocollo di rivisitazione dei cartoni animati con adolescenti con ASD è stato supportato da un Ruth S. Kirschstein Institutional National Research Service Award (T32) del National Institutes of Mental Health. L’autore ringrazia Rachel Fader, Theo Haugen, Andrew Lynn, Ashlie Caputo e Marco Pilotta per l’assistenza nella raccolta e nella codifica dei dati.
Computer | Apple | Z131 | 24" iMac, 8-core CPU & GPU, M3 chip |
Conference USB microphone | Tonor | B07GVGMW59 | |
ELAN | The Language Archive | Software application used to transcribe speech and gesture | |
Video Recorder | Vjianger | B07YBCMXJJ | FHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod |
Weschler Abbreviated Scale of Intelligence | Pearson | 158981561 | Used to verify full scale IQ ≥ 80 in Morett et al. (2016) |