Untersuchung der Gestenproduktion in Gegenwart von kommunikativen Herausforderungen

Co-Speech-Gesten (früher Gesten) – bedeutungsvolle Handbewegungen, die gleichzeitig mit der Sprache ausgeführt werden – tragen zur zwischenmenschlichen Kommunikation bei, indem sie Informationen vermitteln, die verbale Inhalte ergänzen¹. Nach der am weitesten verbreiteten Taxonomie ^2,3 lassen sich Gesten in drei Kategorien einteilen: repräsentationale Gesten, die Referenten über ihre Form und Bewegung vermitteln (z.B. das gemeinsame Hin- und Herflattern der Hände, um das Fliegen zu vermitteln); Beat-Gesten, die durch einfache punktuelle Bewegungen Betonung vermitteln (z. B. die dominante Hand in Verbindung mit jedem Wort in der Phrase “right now” leicht nach unten bewegen); und deiktische Gesten, die durch Zeigen auf die An- oder Abwesenheit einer Entität aufmerksam machen (z. B. den Daumen nach hinten schwingen, um etwas hinter sich zu zeigen). Repräsentationale Gesten können weiter in zwei weitere Kategorien unterteilt werden: ikonische Gesten, die konkrete Bezüge vermitteln (z. B. ein Vogel), und metaphorische Gesten, die metaphorische Bezüge vermitteln (z. B. Ekstase). Da Gestik und Rede aus demselben begrifflichen Gehalt hervorgehen, sind sie in ihrer Bedeutung eng miteinander verwandt ^4,5. Indem sie als ikonisches visuelles Medium für die Kommunikation dienen, können Gesten dazu beitragen, Herausforderungen beim Verstehen der gesprochenen Sprache^zu kompensieren 6, sei es aufgrund individueller Faktoren wie begrenzter Kenntnisse der gesprochenen Sprache^7,8 oder Umweltfaktoren wie Schwierigkeiten beim Hören^von Sprache ^9,10. Gesten sind daher ein wesentlicher Bestandteil des Verständnisses zwischenmenschlicher Kommunikation in persönlichen und virtuellen Kontexten und geben Aufschluss darüber, wie Sprecher und Zuhörer Informationen multimodal vermitteln und verstehen.

Es wurden mehrere strukturierte interaktive Aufgaben entwickelt, um zu messen, wie sich Gesten auf die zwischenmenschliche Kommunikation auswirken. Zu diesen Aufgaben gehören Interviews, in denen die Teilnehmer auf Fragen antworten, indem sie ihre persönlichen Erfahrungen beschreiben^11,12; Bildbeschreibung, bei der den Teilnehmern ein statisches Bild präsentiert wird, um zu beschreiben^13,14; Puzzle Solving, bei dem die Teilnehmer beschreiben, wie man ein Rätsel löst, indem sie Komponenten räumlich richtig ausrichten^15,16; Regiebereitstellung, bei der die Teilnehmer angewiesen werden, Anweisungen zu einem Ort zu geben, der den Zuhörern unbekannt ist 17,18,19; und narrative Nacherzählung, bei der die Teilnehmer eine Karikatur betrachten, die eine Abfolge von Ereignissen darstellt, und diese anschließend erzählen 20,21,22. Viele der Aufgaben, die in den oben zitierten Studien angewandt werden, beziehen räumliche Inhalte und Handlungen mit ein, die durch die Geste besonders wirksam vermittelt^werden 15,23,24,25. In den Aufgaben für die oben zitierten Studien produzieren die Teilnehmer typischerweise Gesten in Verbindung mit Sprache, und Informationen, die über Gesten vermittelt werden, und ihre Beziehung zur gleichzeitig produzierten Sprache werden bewertet. Alternativ können die Teilnehmer eine Aufzeichnung von jemandem ansehen, der gestikuliert (oder nicht gestikuliert) und Sprache produziert, wenn eine dieser Aufgaben erledigt wird, woraufhin das Verständnis der Teilnehmer bewertet wird. Alle diese Aufgaben können sowohl virtuell als auch von Angesicht zu Angesicht durchgeführt werden, was eine Datenerfassung von einem breiten Spektrum von Teilnehmern und einen Vergleich zwischen verschiedenen Modalitäten ermöglicht.

Die Wirkung von Gesten auf die zwischenmenschliche Kommunikation wurde mit einem breiten Spektrum von Teilnehmern umgesetzt. Von besonderem Interesse waren Bevölkerungsgruppen mit Kommunikationsproblemen, darunter Kleinkinder 26,27,28,29,30, Zweitsprachennutzer (L2) 8,31,32,33, Personen mit Autismus-Spektrum-Störung (ASD)20,21,22,34, Personen mit spezifischen Sprachbehinderung ^35,36,37, Personen mit Aphasie ^12,38, Personen mit Hirnverletzungen³⁹ und Personen mit Stottern^40,41. Diese Arbeit hat gezeigt, dass viele dieser Bevölkerungsgruppen zwar Gesten nutzen können, um die Kommunikation zu erleichtern, einige, wie z. B. Personen mit Autismus-Spektrum-Störung, jedoch Schwierigkeiten haben können, Gesten für eine effektive Kommunikation zu nutzen. Die Ergebnisse deuten darauf hin, dass dies auf das Ausmaß zurückzuführen sein könnte, in dem diese Populationen das Design des Publikums und Umwelthinweise berücksichtigen, was die praktischen Implikationen dieser Erklärungen für die Auswirkungen von Gesten auf die Kommunikation hervorhebt.

Ein wichtiges Merkmal, das Aufschluss über die Auswirkungen von Gesten auf die zwischenmenschliche Kommunikation gibt, ist die Sichtbarkeit des Gesprächspartners. Eine Frage von großer Bedeutung im Bereich der Gestenforschung ist das Ausmaß, in dem die Teilnehmer zu ihrem eigenen Vorteil gestikulieren, was auf die Ablagerung kognitiver Operationen auf den Körper hinweist, im Gegensatz zum Nutzen ihrer Gesprächspartner, was auf die Verwendung von Gesten zur Kommunikation hinweist. Dieser Frage wurde nachgegangen, indem der Einfluss der (Nicht-)Sichtbarkeit des Gesprächspartners auf die Gestenproduktion in Face-to-Face-Kontexten durch die Verwendung einer undurchsichtigen Trennwand^26,42 sowie in telefonischen Kontexten¹³ und virtuellen Kontexten⁴³ untersucht wurde. Insgesamt deuten die Ergebnisse dieser Arbeit darauf hin, dass Sprecher, obwohl sie zu ihrem eigenen Vorteil gestikulieren, mehr repräsentative Gesten produzieren, wenn sie mit sichtbaren Gesprächspartnern kommunizieren als mit nicht-sichtbaren Gesprächspartnern, während die Produktion von Beat-Gesten unabhängig von der Sichtbarkeit des Gesprächspartners ähnlich ist. Sie legen daher nahe, dass repräsentationale Gesten die Kommunikation über eine Vielzahl von Kontexten hinweg erleichtern, was darauf hindeutet, dass Sprecher die Perspektive ihrer Gesprächspartner berücksichtigen und ihre Gestenproduktion entsprechend anpassen. Obwohl frühere Forschungen, die die Wirkung der Sichtbarkeit von Gesprächspartnern untersuchten, maßgeblich dazu beigetragen haben, Einblicke in die Beiträge von Gesten zur zwischenmenschlichen Kommunikation zu erhalten, konzentrierten sie sich auf Englisch als Erstsprache (L1) in typischerweise sich entwickelnden Bevölkerungen, so dass unklar ist, ob die Ergebnisse auf Populationen mit Kommunikationsproblemen ausgeweitet werden können. Zwei dieser Populationen sind L2-Lernende, die Schwierigkeiten haben können, sich durch Sprache in der Zielsprache zu verständigen, und Kinder mit ASS, deren verbale und nonverbale Kommunikation abnormal ist. Darüber hinaus gibt es nur wenige Forschungsarbeiten, die den Einfluss der Sichtbarkeit des Gesprächspartners auf die Gestenproduktion in virtuellen Kontexten untersuchen, die es ermöglichen, die Wirkung der Sichtbarkeit des Gesprächspartners auf den Teilnehmer von der Wirkung der Sichtbarkeit des Teilnehmers auf den Gesprächspartner zu trennen, so dass die Replizierbarkeit von Erkenntnissen aus diesen Kontexten derzeit unklar ist. Schließlich haben sich einige Forschungen auf die Auswirkungen der Sichtbarkeit des Gesprächspartners auf die Produktion bestimmter Arten von Gesten konzentriert, so dass unklar ist, ob die Produktion anderer Arten von Gesten in ähnlicher Weise von der Sichtbarkeit des Gesprächspartners beeinflusst wird.

Die unten beschriebenen Protokolle manipulieren die Sichtbarkeit des Gesprächspartners, um die Gestenproduktion unter schwierigen Umständen zu untersuchen: L2-Wortlernen und narratives Nacherzählen von Personen mit ASS. Das L2-Wortlernprotokoll schlägt eine Brücke zwischen der Forschung, die den Einfluss des Beobachtens von Gesten auf das Lernen von L2-Wörtern untersucht, und der Forschung, die den Beitrag von Gesten zur Kommunikation über ein interaktives Wortlernparadigma untersucht. In diesem Paradigma lernen Teilnehmer, die mit der Zielsprache nicht vertraut sind, Wörter in der Zielsprache und lehren diese Wörter dann anderen Teilnehmern, die mit der Zielsprache nicht vertraut sind, wodurch der Einfluss der Sichtbarkeit des Gesprächspartners auf die Gestenproduktion in den frühesten Stadien des L2-Erwerbs in einem Gesprächskontext untersucht werden kann. Das Paradigma des Nacherzählens von Karikaturen bedient sich einer weit verbreiteten narrativen Nacherzählaufgabe, bei der Unterschiede in der Gestenproduktion beobachtet wurden, wenn die Sichtbarkeit des Gesprächspartners bei einer neuen Population manipuliert wird: Jugendlichen mit ASS. Diese Population ist von Interesse, da die Sprachentwicklung, einschließlich der Gestenproduktion, im Jugendalter ausgereift ist und ASS Schwierigkeiten bei der verbalen und nonverbalen Kommunikation, einschließlich Gesten, sowie einen Mangel an Sensibilität für die kommunikativen Bedürfnisse der Gesprächspartner mit sich bringt. Zusammen geben diese Protokolle Aufschluss darüber, inwiefern die Gestenproduktion von Sprache abhängig ist und diese umgekehrt kompensieren kann, wenn die zwischenmenschliche Kommunikation eine Herausforderung darstellt.

Basierend auf Ergebnissen, die zeigten, wie sich die Sichtbarkeit der Zuhörer auf die Gestenproduktion von L1-Englischsprechern auswirkt 13,26,42,43, wurde die Hypothese aufgestellt, dass die Teilnehmer mehr allgemeine Gesten und mehr repräsentative Gesten produzierten, wenn sie L2-Wörter mit einem sichtbaren als mit einem nicht sichtbaren Gesprächspartner diskutierten. Basierend auf Befunden, die Anomalien in der Gestenproduktion bei ASD zeigten^20,44, wurde die Hypothese aufgestellt, dass Jugendliche mit ASS insgesamt weniger Gesten sowie weniger repräsentationale und deiktische Gesten produzieren als sich typischerweise entwickelnde (TD) Jugendliche. Darüber hinaus wurde auf der Grundlage von Befunden, die zeigten, dass ASS Schwierigkeiten beim Perspektivnehmen mit sich bringt⁴⁵, die Hypothese aufgestellt, dass sich die Gestenproduktion von Jugendlichen mit ASS in Gegenwart von sichtbaren und nicht sichtbaren Gesprächspartnern nicht signifikant unterscheidet. Schließlich wurde eine Wechselwirkung zwischen Diagnose und Sichtbarkeit vorhergesagt, so dass sich die Gestenproduktion bei Jugendlichen mit ASS nicht durch die Sichtbarkeit unterscheidet, bei TD-Jugendlichen jedoch schon.