Olayla İlgili Potansiyeller Analizi Kullanılarak İfade Edici Konuşmada Sağlam Vokal Kimlik Tanıma için Ezberlemeye Dayalı Eğitim ve Test Paradigması

İnsan ses akışları, duygu ^1,2, sağlık durumu ^3,4, biyolojik cinsiyet⁵,^yaş 6 ve daha da önemlisi bireysel ses kimliği ^7,8 gibi bilgiler açısından zengindir. Araştırmalar, insan dinleyicilerin, sesler aracılığıyla akranlarının kimliklerini tanıma ve ayırt etme konusunda güçlü bir kapasiteye sahip olduklarını, konuşmacı kimliğinin akustik alandaki ortalamaya dayalı temsili etrafındaki konuşmacı içi varyasyonların üstesinden geldiklerini göstermiştir⁹. Bu tür varyasyonlar, net bir pragmatik niyete 9 karşılık gelmeyen akustik manipülasyon⁽temel frekans ve ses yolu uzunluğu, yani F0 ve VTL), duygu prozodilerine¹⁰ ve konuşmacıların bilme hissini ileten vokal güvene¹¹ neden olur. Davranışsal deneyler, dil ile ilgili manipülasyonlar ^8,12,13, müzik deneyimi veya okuma yeteneği gibi katılımcılarla ilgili özellikler^14,15 ve geriye doğru konuşma veya kelime olmayanlar gibi uyaranlarla ilgili uyarlamalar^16,17; Literatür incelemelerinde daha fazla bulunabilir^18,19. Yakın zamanda yapılan birkaç deney, yüksek ve düşük duygusal ifade¹⁶ ve nötr ve korkulu prozodiler⁵ gibi yönleri göz önünde bulundurarak, konuşmacı kimlik temsilinin bireysel varyasyonunun tanıma doğruluğunu nasıl zayıflatabileceğini araştırdı; Bir gözden geçirme²⁰ tarafından önerildiği gibi, daha fazla araştırma için daha fazla olası senaryo açıktır.

İlk araştırma boşluğu için, çalışma, konuşmacı tanımlamanın nörolojik temellerinin, konuşmacı içi varyasyonun dinleyicilerin beyin aktivitelerine nasıl meydan okuduğunu henüz tam olarak keşfetmediğini öne sürüyor. Örneğin, Zäske ve arkadaşları tarafından yapılan fMRI tabanlı bir konuşmacı tanıma görevinde, katılımcıların sağ posterior superior temporal girus (pSTG), sağ inferior/orta frontal girus (IFG/MFG), sağ medial frontal girus ve sol kaudat, dilsel içeriğin aynı veya farklı olmasına bakılmaksızın, eski ve yeni konuşmacılar olarak doğru bir şekilde tanımlandığında azalmış aktivasyon gösterdi²¹. Bununla birlikte, Zäske ve arkadaşları tarafından yapılan daha önceki bir elektroensefalografi (EEG) çalışması, konuşmacı kimlik varyasyonu farklı metinler aracılığıyla tanıtıldığında bu eski/yeni etkiyi gözlemlememiştir²². Spesifik olarak, 300 ila 700 ms arasında değişen daha büyük, geç pozitif bileşen (LPC), dinleyiciler aynı metni ifade eden tanıdık eğitimli konuşmacılarıyla karşılaştıklarında (yani, çeşitli olmayan dilsel içerikli bir tekrar duymak) Pz elektrodunda tespit edildi, konuşmacılar yeni metinler sunduğunda yoktu.

Zäske ve ^ark.21 tarafından yapılan iddiayı desteklemek için, bu çalışma, olayla ilgili potansiyel (ERP) analizlerinde eğitim ve test oturumları arasındaki dilsel içerik farklılıklarına rağmen eski/yeni bir etkinin hala gözlemlenebileceğinden şüphelenmektedir. Bu mantık, farklı metinlerin kullanıldığı koşullar altında Zäske ve ^ark.22’de eski/yeni etkisinin olmamasının, Lavan ve ^ark.23 tarafından önerildiği gibi, kapsamlı ve etkili kimlik öğrenimini sağlamak için eğitim görevi sırasında ek bir kontrol oturumunun olmamasına atfedilebileceği fikrinden kaynaklanmaktadır. Sonuç olarak, çalışmanın ilk amacı bu hipotezi incelemek ve doğrulamaktır. Bu çalışma, eğitim-test paradigması^22’ye bir kontrol oturumu ekleyerek bunu test etmeyi amaçlamaktadır.

Bu çalışmanın ele almayı amaçladığı bir diğer önemli soru, konuşma prozodisi varlığında konuşmacı kimliğinin sağlamlığıdır. Önceki davranışsal çalışmalar, dinleyicilerin özellikle farklı prozodiler arasında konuşmacıları tanımakta zorlandıklarını öne sürmüştür, bu da prozodik bağlamın modülatör bir rolünü gösterir – dinleyiciler farklı eğitim-test prozodi koşullarında düşük performans gösterir. Bu çalışma, dinleyicilerin kendinden emin veya şüpheli prozodilerde tanıdık konuşmacıları tanımalarını sağlayarak bunu test etmeyi amaçlamaktadır²⁴. Bu çalışma, gözlemlenen ERP farklılıklarının, konuşma prozodisinin kimlik tanımayı nasıl etkilediğini açıklamaya yardımcı olacağını beklemektedir.

Bu çalışmanın temel amacı, konuşmacı tanımadaki eski/yeni etkinin sağlamlığını araştırmak, özellikle kendinden emin ve şüpheli prozodilerde konuşmacıları tanımada farklılıklar olup olmadığını incelemektir. Xu ve Armony¹⁰, bir eğitim-test paradigması kullanarak davranışsal bir çalışma yaptılar ve bulguları, dinleyicilerin prozodik farklılıkların üstesinden gelemeyeceklerini (örneğin, nötr prozodideki bir konuşmacıyı tanımak için eğitilmiş ve korkulu prozodi üzerinde test edilmiş) ve yalnızca şans seviyesi^10’dan daha düşük bir doğruluk elde edebileceklerini göstermektedir. Akustik analiz, çeşitli duygusal durumları ifade eden hoparlörlerin VTL/F0 modülasyonu ile ilişkili olduğunu gösterir; örneğin, kendinden emin prozodi, uzamış VTL ve daha düşük F0 ile karakterize edilirken, şüpheli prozodi^11,24 için bunun tersi geçerlidir. Bir başka kanıt da Lavan ve ^ark.23 tarafından yapılan ve dinleyicilerin konuşmacının VTL ve F0 değişikliklerine uyum sağlayabildiğini ve konuşmacıların ortalamaya dayalı temsillerini oluşturabildiğini doğrulayan çalışmadan geliyor. Bu çalışma, davranışsal veri perspektifinden bakıldığında, dinleyicilerin prozodiler arasında konuşmacının kimliğini hala tanıma olasılığının yüksek olduğunu uzlaştırmaktadır (örneğin, kendine güvenen prozodide birini tanımak için eğitilmiş, ancak şüpheli prozodide test edilmiş; hazırlık aşamasında ayrı bir el yazmasında rapor edilmiştir). Yine de, konuşmacı tanımlamasının sinirsel bağıntıları, özellikle Zäske ve ^ark.22 tarafından gözlemlenen eski/yeni etkinin genelleştirilebilirliği belirsizliğini korumaktadır. Bu nedenle, mevcut çalışma, test bağlamları olarak kendinden emin ve şüpheli prozodilerde eski / yeni etkinin sağlamlığını doğrulamaya kendini adamıştır.

Çalışma, eski / yeni etki çalışmalarında önceki araştırma paradigmalarından bir ayrılma ortaya koymaktadır. Geçmiş araştırmalar, eski / yeni konuşmacı tanımanın algıyı nasıl etkilediğine odaklanırken, bu çalışma bunu paradigmaya iki güven düzeyi (kendinden emin ve şüpheli) ekleyerek genişletmektedir (bu nedenle, 2 + 2 çalışması). Bu, kendinden emin ve şüpheli konuşma prozodileri bağlamında konuşmacı tanımayı araştırmamıza olanak tanır. Paradigma, eski/yeni etkilerin sağlamlığının araştırılmasını sağlar. Hem kendinden emin hem de şüpheli konuşma bağlamlarında hafıza etkilerinin ve ilgi bölgelerinin (ROI) analizleri bu araştırma için kanıt görevi görür.

Toplamda, çalışma, EEG eski/yeni etkisinin genişlemiş LPC’sinin 1) dilsel içerik aynı olmadığında ve 2) kendinden emin ve şüpheli prozodi varlığında bile gözlemlenebilir olduğu hipotezleriyle, ses tanımanın EEG korelasyonlarının anlaşılmasını güncellemeyi amaçlamaktadır. Bu çalışmada hipotezler üç aşamalı bir paradigma ile incelenmiştir. İlk olarak, eğitim aşamasında katılımcılar üç ses ve karşılık gelen isimleri arasında ilişkiler kurdular. Daha sonra, kontrol aşamasında, üç aday arasından bir sese karşılık gelen ismi belirlemekle görevlendirildiler. Lavan ve ^ark.23’ü takip eden bu kontrol, eğitim ve test aşamalarındaki metnin^{farklı olduğu 6} ve konuşmacıların tarafsız ve korkulu prozodiler¹⁰ boyunca konuşmacıları tanıyamadığı durumlarda gözlemlenmeyen eski/yeni etkisine yol açan yetersiz eski konuşmacı aşinalığının üstesinden gelmeyi amaçlamaktadır. Son olarak, test aşamasında, katılımcılar iki alternatifli zorunlu seçim görevinde üç eski ve üç yeni konuşmacı sesi arasında ayrım yaptılar ve konuşma prozodisi kendinden emin veya şüpheli olarak sunuldu. EEG verileri 64 kanallı EEG sistemi kullanılarak toplandı ve analizden önce ön işleme tabi tutuldu. İstatistiksel analiz ve olayla ilişkili potansiyel (ERP) analizi RStudio’da yapılırken, beyin topografisi analizi için MATLAB kullanıldı.

Tasarım detayları ile ilgili olarak, bu çalışma, VTL ile ilgili olan ve kimin konuştuğuna dair izlenimleri etkileyen, konuşmacının boyunu kontrol eden bir konuşmacı kimliği öğrenme deneyi önermektedir²³. Bu yön aynı zamanda algılanan baskınlık²⁵ gibi sosyal izlenimleri de etkiler ve bu tür üst düzey izlenim oluşumu, konuşmacı kimliğinin²⁶ kodunu çözme ile etkileşime girebilir.