Onderzoek naar de productie van gebaren in de aanwezigheid van communicatie-uitdagingen

Co-spraakgebaren (tot nu toe gebaren) – betekenisvolle handbewegingen die gelijktijdig met spraak worden geproduceerd – dragen bij aan interpersoonlijke communicatie door informatie over te brengen die een aanvulling vormt op de verbale inhoud¹. Volgens de meest gebruikte taxonomie ^2,3 kunnen gebaren worden onderverdeeld in drie categorieën: representatieve gebaren, die referenten overbrengen via hun vorm en beweging (bijv. de handen heen en weer wapperen om vliegen over te brengen); beat-gebaren, die de nadruk leggen via eenvoudige puntvormige bewegingen (bijv. de dominante hand iets naar beneden bewegen in combinatie met elk woord in de zin “op dit moment”); en deiktische gebaren, die de aandacht vestigen op de aan- of afwezigheid van een entiteit door te wijzen (bijvoorbeeld de duim naar achteren zwaaien om iets achter zichzelf aan te geven). Representatieve gebaren kunnen verder worden onderverdeeld in twee extra categorieën: iconische gebaren, die concrete referenten overbrengen (bijv. een vogel), en metaforische gebaren, die metaforische referenten overbrengen (bijv. extase). Omdat gebaar en spraak voortkomen uit dezelfde conceptuele inhoud, zijn ze in betekenis nauw verwant ^4,5. Door te dienen als een iconisch visueel medium voor communicatie, kunnen gebaren helpen compenseren wanneer zich problemen voordoen bij het begrijpen van gesproken taal⁶, hetzij als gevolg van individuele factoren zoals beperkte vaardigheid in de gesproken taal ^7,8 of omgevingsfactoren zoals moeite met het horen van spraak ^9,10. Gebaren zijn dus een integraal onderdeel van het begrijpen van interpersoonlijke communicatie in face-to-face en virtuele contexten, en geven inzicht in hoe sprekers en luisteraars informatie multimodaal overbrengen en begrijpen.

Er zijn verschillende gestructureerde interactieve taken ontwikkeld om te meten hoe gebaren de interpersoonlijke communicatie beïnvloeden. Deze taken omvatten interviews, waarin deelnemers reageren op vragen door hun persoonlijke ervaringen te beschrijven ^11,12; beeldbeschrijving, waarbij een statisch beeld aan de deelnemers wordt gepresenteerd om ^13,14 te beschrijven; puzzel oplossen, waarbij deelnemers beschrijven hoe ze een puzzel kunnen oplossen door onderdelen juist ruimtelijk te oriënteren^15,16; regiebepaling, waarbij deelnemers de opdracht krijgen om aanwijzingen te geven naar een locatie die luisteraars niet kennen 17,18,19; en verhalende hervertelling, waarbij deelnemers een cartoon bekijken die een opeenvolging van gebeurtenissen weergeeft en deze vervolgens 20,21,22 vertellen. Veel van de taken die in de hierboven genoemde studies worden gebruikt, omvatten ruimtelijke inhoud en actie, die gebaar met bijzondere doeltreffendheid overbrengt 15,23,24,25. In de taken voor de hierboven genoemde onderzoeken produceren deelnemers doorgaans gebaren in combinatie met taal, en wordt informatie die via gebaren wordt overgebracht en de relatie met gelijktijdig geproduceerde taal beoordeeld. Als alternatief kunnen deelnemers een opname bekijken van iemand die gebaart (of niet gebaart) en taal produceert bij het voltooien van een van deze taken, waarna het begrip van de deelnemers wordt beoordeeld. Al deze taken kunnen zowel virtueel als face-to-face worden uitgevoerd, waardoor gegevens van een breed scala aan deelnemers kunnen worden verzameld en tussen modaliteiten kunnen worden vergeleken.

De impact van gebaren op interpersoonlijke communicatie is geïmplementeerd bij een breed scala aan deelnemers. Van bijzonder belang waren populaties met communicatieproblemen, waaronder jonge kinderen 26,27,28,29,30, gebruikers van een tweede taal (L2) 8,31,32,33, personen met een autismespectrumstoornis (ASS)20,21,22,34, personen met specifieke taalstoornis ^35,36,37, personen met afasie ^12,38, personen met hersenletsel³⁹ en personen die stotteren^40,41. Dit werk heeft aangetoond dat, hoewel veel van deze populaties gebaren kunnen gebruiken om de communicatie te vergemakkelijken, sommigen, zoals personen met een autismespectrumstoornis, moeite kunnen hebben met het benutten van gebaren om effectief te communiceren. De bevindingen suggereren dat dit te wijten kan zijn aan de mate waarin deze populaties rekening houden met het ontwerp van het publiek en omgevingssignalen, wat de praktische implicaties van deze verklaringen voor de impact van gebaren op communicatie benadrukt.

Een belangrijk kenmerk dat inzicht geeft in de impact van gebaren op interpersoonlijke communicatie is de zichtbaarheid van de gesprekspartner. Een vraag van groot belang op het gebied van gebarenonderzoek is de mate waarin deelnemers gebaren maken voor hun eigen voordeel, wat wijst op het overdragen van cognitieve operaties op het lichaam, versus het voordeel van hun gesprekspartners, wat wijst op het gebruik van gebaar om te communiceren. Deze vraag is onderzocht door de impact van de (niet-)zichtbaarheid van de gesprekspartner op de productie van gebaren te onderzoeken in face-to-face contexten via het gebruik van een ondoorzichtige partitie^26,42, alsook in telefooncontexten¹³ en virtuele contexten⁴³. Over het algemeen geven de resultaten van dit werk aan dat, hoewel sprekers gebaren maken voor hun eigen voordeel, ze meer representatieve gebaren produceren wanneer ze communiceren met zichtbare dan niet-zichtbare gesprekspartners, terwijl de productie van beat-gebaren vergelijkbaar is, ongeacht de zichtbaarheid van de gesprekspartner. Zo suggereren ze dat representatieve gebaren communicatie in verschillende contexten vergemakkelijken, wat suggereert dat sprekers rekening houden met het perspectief van hun gesprekspartners en hun gebarenproductie dienovereenkomstig aanpassen. Hoewel eerder onderzoek naar het effect van zichtbaarheid van gesprekspartners een belangrijke rol heeft gespeeld bij het verschaffen van inzicht in de bijdragen van gebaren aan interpersoonlijke communicatie, heeft het zich gericht op Engels als eerste taal (L1) in typisch ontwikkelende populaties, dus het is onduidelijk of de bevindingen kunnen worden uitgebreid naar populaties met communicatieproblemen. Twee van dergelijke populaties zijn L2-leerlingen, die moeite kunnen hebben om te communiceren via spraak in de doeltaal, en kinderen met ASS, van wie de verbale en non-verbale communicatie abnormaal zijn. Bovendien is er weinig onderzoek gedaan naar de impact van de zichtbaarheid van de gesprekspartner op de productie van gebaren in virtuele contexten, waardoor het effect van de zichtbaarheid van de gesprekspartner op de deelnemer kan worden losgekoppeld van het effect van de zichtbaarheid van de deelnemer op de gesprekspartner, dus de reproduceerbaarheid van bevindingen uit deze contexten is momenteel onduidelijk. Ten slotte is er enig onderzoek gedaan naar de impact van de zichtbaarheid van de gesprekspartner op de productie van specifieke soorten gebaren, dus het is onduidelijk of de productie van andere soorten gebaren op dezelfde manier wordt beïnvloed door de zichtbaarheid van de gesprekspartner.

De hieronder beschreven protocollen manipuleren de zichtbaarheid van de gesprekspartner om de productie van gebaren in uitdagende omstandigheden te onderzoeken: L2-woordleren en verhalende hervertelling door personen met ASS. Het L2-protocol voor het leren van woorden slaat een brug tussen onderzoek naar de impact van het observeren van gebaren op het leren van L2-woorden en onderzoek naar de bijdrage van gebaren aan communicatie via een interactief woordleerparadigma. In dit paradigma leren deelnemers die niet bekend zijn met de doeltaal woorden in de doeltaal en leren deze woorden vervolgens aan andere deelnemers die niet bekend zijn met de doeltaal, waardoor de impact van de zichtbaarheid van de gesprekspartner op de productie van gebaren kan worden onderzocht in de vroegste stadia van L2-verwerving in een gesprekscontext. Het paradigma van cartoonhervertelling maakt gebruik van een veelgebruikte narratieve herverteltaak waarbij verschillen in gebarenproductie zijn waargenomen wanneer de zichtbaarheid van de gesprekspartner wordt gemanipuleerd met een nieuwe populatie: adolescenten met ASS. Deze populatie is van belang omdat de taalontwikkeling, inclusief de productie van gebaren, volwassen is in de adolescentie, en ASS brengt problemen met zich mee met verbale en non-verbale communicatie, inclusief gebaren, evenals een gebrek aan gevoeligheid voor de communicatieve behoeften van gesprekspartners. Samen geven deze protocollen inzicht in de mate waarin de productie van gebaren afhankelijk is van – en omgekeerd kan compenseren voor – spraak wanneer interpersoonlijke communicatie uitdagend is.

Op basis van bevindingen die aantonen hoe de zichtbaarheid van de luisteraar de gebarenproductie beïnvloedt door L1 Engelstaligen 13,26,42,43, werd verondersteld dat deelnemers meer algemene gebaren en meer representatieve gebaren zouden produceren bij het bespreken van L2-woorden met een zichtbare dan een niet-zichtbare gesprekspartner. Op basis van bevindingen die afwijkingen in de productie van gebaren bij ASS^20,44 aantoonden, werd verondersteld dat adolescenten met ASS minder algemene gebaren en minder representatieve en deictische gebaren zouden produceren dan typisch ontwikkelende (TD) adolescenten. Bovendien werd op basis van bevindingen die aantoonden dat ASS moeite met het nemen van perspectief met zich meebrengt⁴⁵, verondersteld dat de gebarenproductie door adolescenten met ASS niet significant zou verschillen in de aanwezigheid van zichtbare en niet-zichtbare gesprekspartners. Ten slotte werd een interactie tussen diagnose en zichtbaarheid voorspeld, zodat de productie van gebaren niet zou verschillen door zichtbaarheid voor adolescenten met ASS, maar wel voor TD-adolescenten.