Op memorisatie gebaseerd trainings- en testparadigma voor robuuste vocale identiteitsherkenning in expressieve spraak met behulp van gebeurtenisgerelateerde potentialenanalyse

Menselijke vocale stromen zijn rijk aan informatie, zoals emotie ^1,2, gezondheidstoestand ^3,4, biologisch geslacht^{5, 6 jaar} en, nog belangrijker, de individuele vocale identiteit ^7,8. Studies hebben gesuggereerd dat menselijke luisteraars een robuust vermogen hebben om de identiteit van hun leeftijdsgenoten te herkennen en te differentiëren door middel van stemmen, waardoor variaties binnen de spreker rond de gemiddelde representatie van de sprekeridentiteit in de akoestische ruimte worden overwonnen⁹. Dergelijke variaties worden teweeggebracht door akoestische manipulatie (fundamentele frequentie en lengte van het stemkanaal, d.w.z. F0 en VTL) die niet overeenkomt met duidelijke pragmatische bedoelingen⁹, emotieprosodieën¹⁰ en vocaal vertrouwen dat het gevoel van weten van de sprekers overbrengt¹¹. Gedragsexperimenten hebben zich gericht op vele factoren die van invloed zijn op de prestaties van luisteraars bij het herkennen van de sprekers, waaronder taalgerelateerde manipulaties ^8,12,13, deelnemersgerelateerde kenmerken zoals muziekervaring of leesvaardigheid^14,15, en stimuli-gerelateerde aanpassingen zoals achterwaartse spraak of niet-woorden^16,17; Meer is te vinden in literatuuroverzichten^18,19. Een paar recente experimenten hebben onderzocht hoe individuele variatie van de representatie van de identiteit van de spreker de herkenningsnauwkeurigheid zou kunnen ondermijnen, rekening houdend met aspecten als hoge versus lage emotionele expressiviteit¹⁶ en neutrale versus angstige prosodieën⁵; Er staan meer mogelijke scenario’s open voor verder onderzoek, zoals gesuggereerd door een review²⁰.

Voor de eerste onderzoekslacune stelt de studie voor dat de neurologische onderbouwing van sprekeridentificatie nog niet volledig moet worden onderzocht hoe variatie binnen de spreker de hersenactiviteiten van luisteraars uitdaagt. Bijvoorbeeld, in een op fMRI gebaseerde sprekerherkenningstaak van Zäske et al., vertoonden de rechter posterieure superieure temporale gyrus (pSTG), rechter inferieure/middelste frontale gyrus (IFG/MFG), rechter mediale frontale gyrus en linker caudatus verminderde activering wanneer ze correct werden geïdentificeerd als oude versus nieuwe praters, ongeacht of de taalkundige inhoud hetzelfde of anders was²¹. Een eerdere elektro-encefalografie (EEG) studie van Zäske et al. observeerde dit oude/nieuwe effect echter niet wanneer variatie in de identiteit van de spreker werd geïntroduceerd via verschillende teksten²². In het bijzonder was een grotere, late positieve component (LPC) variërend van 300 tot 700 ms, gedetecteerd aan de Pz-elektrode wanneer luisteraars hun bekende getrainde spreker tegenkwamen die dezelfde tekst uitdrukte (d.w.z. een herhaling hoorde met niet-gevarieerde taalkundige inhoud), afwezig wanneer de sprekers nieuwe teksten leverden.

Ter ondersteuning van de bewering van Zäske et ^al.21 vermoedt deze studie dat er nog steeds een oud/nieuw-effect kan worden waargenomen, ondanks verschillen in taalkundige inhoud tussen trainings- en testsessies in event-related potential (ERP) analyses. Deze grondgedachte komt voort uit het idee dat het ontbreken van het oude/nieuwe effect in Zäske et ^al.22, onder omstandigheden waarin andere teksten werden gebruikt, kan worden toegeschreven aan het ontbreken van een extra controlesessie tijdens de trainingstaak om grondig en effectief identiteitsleren te garanderen, zoals gesuggereerd door Lavan et ^al.23. Het eerste doel van de studie is dan ook om deze hypothese te onderzoeken en te valideren. Deze studie heeft tot doel dit te testen door een controlesessie toe te voegen aan het trainings-testparadigma²².

Een andere belangrijke vraag die deze studie wil beantwoorden, is de robuustheid van sprekersidentificatie in aanwezigheid van spraakprosodie. Eerdere gedragsstudies hebben gesuggereerd dat luisteraars vooral moeite hebben om praters in verschillende prosodieën te herkennen, wat wijst op een modulerende rol van de prosodische context – luisteraars presteerden ondermaats in de verschillende trainingstestende prosodiecondities. Deze studie heeft tot doel dit te testen door luisteraars bloot te stellen aan het herkennen van bekende praters in zelfverzekerde of twijfelachtige prosodieën²⁴. Deze studie verwacht dat de waargenomen ERP-verschillen zullen helpen verklaren hoe spraakprosodie identiteitsherkenning beïnvloedt.

Het kerndoel van de huidige studie is om de robuustheid van het oude/nieuwe effect in sprekerherkenning te onderzoeken, waarbij specifiek wordt onderzocht of er verschillen zijn in het herkennen van praters in zelfverzekerde versus twijfelachtige prosodieën. Xu en Armony¹⁰ voerden een gedragsonderzoek uit met behulp van een trainingstestparadigma, en hun bevindingen suggereren dat luisteraars prosodische verschillen niet kunnen overwinnen (bijvoorbeeld getraind om een prater te herkennen in neutrale prosodie en getest op angstige prosodie) en alleen een nauwkeurigheid kunnen bereiken die lager is dan kansniveau¹⁰. Akoestische analyse geeft aan dat luidsprekers die verschillende emotionele toestanden uitdrukken, geassocieerd zijn met VTL/F0-modulatie; zelfverzekerde prosodie wordt bijvoorbeeld gekenmerkt door verlengde VTL en lagere F0, terwijl het tegenovergestelde waar is voor twijfelachtige prosodie^11,24. Een ander bewijs komt uit de studie van Lavan et ^al.23, die bevestigde dat luisteraars zich kunnen aanpassen aan VTL- en F0-veranderingen van de spreker en op gemiddelden gebaseerde representaties van de sprekers kunnen vormen. Deze studie verzoent dat, vanuit het perspectief van gedragsgegevens, luisteraars waarschijnlijk nog steeds de identiteit van de spreker herkennen in prosodieën (bijv. getraind om er een te herkennen in zelfverzekerde prosodie, maar getest in twijfelachtige prosodie; gerapporteerd in een afzonderlijk manuscript in voorbereiding). Toch blijven de neurale correlaten van sprekeridentificatie, met name de generaliseerbaarheid van het oude/nieuwe effect waargenomen door Zäske et ^al.22, onduidelijk. Daarom zet de huidige studie zich in voor het valideren van de robuustheid van het oude/nieuwe effect in zelfverzekerde versus twijfelachtige prosodieën als contexten voor testen.

De studie introduceert een afwijking van eerdere onderzoeksparadigma’s in oude/nieuwe effectstudies. Terwijl eerder onderzoek zich richtte op hoe herkenning van oude/nieuwe praters de perceptie beïnvloedt, breidt deze studie dit uit door twee betrouwbaarheidsniveaus (zelfverzekerd versus twijfelachtig) in het paradigma op te nemen (dus een 2+2-studie). Dit stelt ons in staat om sprekerherkenning te onderzoeken binnen de context van zelfverzekerde en twijfelachtige spraakprosodieën. Het paradigma maakt het mogelijk om de robuustheid van oude/nieuwe effecten te verkennen. De analyses van geheugeneffecten en interessegebieden (ROI) binnen zowel zelfverzekerde als twijfelachtige spraakcontexten dienen als bewijs voor dit onderzoek.

Al met al heeft de studie tot doel het begrip van de EEG-correlaten van spraakherkenning bij te werken, met de hypothesen dat de vergrote LPC van het EEG oud/nieuw-effect waarneembaar is, zelfs wanneer 1) de taalkundige inhoud niet hetzelfde is, en 2) met de aanwezigheid van zelfverzekerde versus twijfelachtige prosodie. Deze studie onderzocht de hypothesen aan de hand van een paradigma in drie stappen. Ten eerste legden de deelnemers tijdens de trainingsfase associaties tussen drie stemmen en hun bijbehorende namen. Vervolgens, in de controlefase, kregen ze de taak om uit een selectie van drie kandidaten de naam te identificeren die overeenkwam met een stem. Deze controle, in navolging van Lavan et ^al.23, heeft tot doel onvoldoende vertrouwd te raken met oude sprekers, wat leidde tot het niet-waargenomen oud/nieuw-effect wanneer de tekst in de trainings- en testfasen verschilde⁶, en praters praters over neutrale en angstige prosodieën niet konden herkennen¹⁰. Ten slotte maakten de deelnemers in de testfase onderscheid tussen drie oude en drie nieuwe sprekersstemmen in een taak met twee alternatieve gedwongen keuzes, waarbij spraakprosodie werd gepresenteerd als zelfverzekerd of twijfelachtig. EEG-gegevens werden verzameld met behulp van een 64-kanaals EEG-systeem en ondergingen voorbewerking vóór analyse. Statistische analyse en event-related potential (ERP) analyse werden uitgevoerd in RStudio, terwijl MATLAB werd gebruikt voor analyse van de hersentopografie.

Wat de ontwerpdetails betreft, stelt deze studie een experiment voor het leren van de identiteit van de spreker voor dat de lengte van de spreker controleert, wat gerelateerd is aan VTL en de indrukken van wie er aan het woord is^{beïnvloedt 23}. Dit aspect beïnvloedt ook sociale indrukken, zoals waargenomen dominantie²⁵, en een dergelijke indrukvorming op een hoger niveau kan interageren met het decoderen van de identiteit van de spreker²⁶.