イベント関連ポテンシャル分析を用いた表現力豊かな音声におけるロバストな音声同一認識のための暗記ベース訓練とテストパラダイム

人間の声の流れは、感情^1,2、健康状態^3,4、生物学的性別⁵、^年齢6、そしてさらに重要なことに、個々の声のアイデンティティ^7,8などの情報が豊富です。研究によると、人間のリスナーは、声を通じて仲間のアイデンティティを認識し、区別する強固な能力を持っており、^{音響空間における}話者アイデンティティの平均ベースの表現をめぐる話者内の変動を克服することが示唆されている9。このような変化は、明確な語用論的意図^{9に対応する音響}操作(基本周波数と声道の長さ、すなわちF0とVTL)、感情の韻律¹⁰、そして話し手の知った感覚を伝える声の自信¹¹によってもたらされる。行動実験は、言語関連の操作^8,12,13、音楽経験や読解能力などの参加者関連の特性^14,15、後方発話や非単語^16,17などの刺激関連の適応など、聞き手が話し手を認識する際のパフォーマンスに影響を与える多くの要因に焦点を当ててきました。詳細については、文献^{レビュー18,19}をご覧ください。最近のいくつかの実験では、話者のアイデンティティ表現の個々のバリエーションが認識精度をどのように損なうかを調査しており、感情表現力の高低¹⁶、中立的な韻律と恐怖の韻律⁵などの側面を考慮しています。^{レビュー20}で示唆されているように、さらなる調査のために開かれている可能性のあるシナリオ。

最初の研究ギャップについては、この研究は、話者識別の神経学的基盤が、話者内の変動がリスナーの脳活動にどのように挑戦するかをまだ完全には調査していないことを提案しています。例えば、ZäskeらによるfMRIに基づく話者認識課題では、参加者の右後上側頭回(pSTG)、右下/中前頭回(IFG/MFG)、右内側前頭回、および左尾状は、言語内容が同じか異なるかに関係なく、古い話し手と新しい話し手として正しく識別された場合、活性化の低下を示した²¹.しかし、Zäskeらによる以前の脳波計(EEG)研究では、話者のアイデンティティのバリエーションが異なるテキストを通じて導入された場合、この新旧の影響は観察されなかった²²。具体的には、聞き手が同じテキストを表現する(つまり、変化しない言語内容のリプレイを聞く)慣れ親しんだ訓練された話し手に出くわしたときにPz電極で検出された、300〜700ミリ秒の範囲のより大きな遅延正成分(LPC)は、話し手が新しいテキストを配信したときには存在しませんでした。

Zäske et ^al.21による主張を支持して、この研究では、イベント関連電位(ERP)分析におけるトレーニングセッションとテストセッションの間の言語内容の違いにもかかわらず、古い/新しい効果が依然として観察される可能性があると疑っています。この理論的根拠は、異なるテキストが使用された条件下で、Zäske et ^al.22に新旧の効果が存在しないのは、Lavan et ^al.23が示唆しているように、徹底的かつ効果的なアイデンティティ学習を確保するためのトレーニングタスク中の追加のチェックセッションの欠如に起因する可能性があるという考えに由来しています。したがって、この研究の最初の目的は、この仮説を調査し、検証することです。この研究は、トレーニングテストパラダイム²²にチェックセッションを追加することにより、これをテストすることを目的としています。

この研究が取り組むことを目指しているもう一つの重要な問題は、音声韻律の存在下での話者識別の堅牢性です。これまでの行動研究では、聞き手は特に異なる韻律の話し手を認識するのに苦労していることが示唆されており、これは韻律の文脈の調節的な役割を示しています。これは、聞き手がさまざまなトレーニングテストの韻律条件でパフォーマンスが低いことを示しています。この研究は、聞き手が自信に満ちた韻律または疑わしい韻律²⁴で馴染みのある話し手を認識するように公開することにより、これをテストすることを目的としています。この研究では、観察されたERPの違いが、音声の韻律がID認識にどのように影響するかを説明するのに役立つと期待しています。

現在の研究の主な目的は、話者認識における新旧の効果の堅牢性を調査することであり、具体的には、自信のある韻律と疑わしい韻律で話し手を認識することに違いがあるかどうかを調べることです。XuとArmony¹⁰は、トレーニングテストパラダイムを使用して行動研究を行い、その結果は、聞き手が韻律の違いを克服することができず(たとえば、中立的な韻律で話し手を認識するように訓練され、恐ろしい韻律でテストされた)、偶然のレベル¹⁰よりも低い精度しか達成できないことを示唆しています。音響解析は、さまざまな感情状態を表現するスピーカーがVTL/F0変調に関連していることを示しています。たとえば、自信のある韻律は VTL が長くなり、F0 が低くなるという特徴がありますが、疑わしい韻律^11,24 ではその逆が当てはまります。もう1つの証拠は、Lavanらの研究から来ています.²³、これにより、リスナーは話者のVTLおよびF0の変化に適応し、話し手の平均ベースの表現を形成できることを確認しました。この研究は、行動データの観点から、聞き手は韻律全体で話し手のアイデンティティを認識する可能性が高いことを調和させています(たとえば、自信のある韻律では話し手を認識するように訓練されているが、疑わしい韻律でテストされている、準備中の別の原稿で報告されています)。しかし、話者識別の神経相関、特にZäskeらによって観察された新旧の効果の一般化可能性は不明のままです²²。したがって、現在の研究では、テストのコンテキストとして、自信のある韻律と疑わしい韻律における古い/新しい効果の堅牢性を検証することに専念しています。

この研究は、新旧の影響研究における以前の研究パラダイムからの逸脱を導入しています。過去の研究では、新旧の話し手の認識が知覚にどのように影響するかに焦点を当てていましたが、この研究では、2つの信頼レベル(自信と疑わしい)をパラダイムに組み込むことでこれを拡張しました(したがって、2+2研究)。これにより、自信に満ちた韻律と疑わしい韻律の文脈における話者の認識を調査することができます。このパラダイムにより、新旧の効果の堅牢性を探求することができます。自信のある音声文脈と疑わしい音声文脈の両方における記憶効果と関心領域(ROI)の分析は、この調査の証拠として役立ちます。

全体として、この研究は、音声認識のEEG相関の理解を更新することを目的としており、EEGの新旧効果の拡大したLPCは、1)言語内容が同じでない場合でも観察可能であり、2)自信のある韻律と疑わしい韻律の存在でも観察できます。この研究では、3段階のパラダイムを通じて仮説を調査しました。まず、トレーニングフェーズでは、参加者は3つの声とそれに対応する名前の間の関連付けを確立しました。その後、チェックフェーズでは、3つの候補から音声に対応する名前を特定するタスクが課せられました。このチェックは、Lavan et ^al.23に倣い、トレーニングフェーズとテストフェーズのテキストが異なるときに観察されない古い/新しい影響につながった、不十分な古い話者の習熟を克服することを目的として^おり、6、話し手は中立的で恐ろしい韻律¹⁰の話し手を認識することができませんでした。最後に、テストフェーズでは、参加者は2つの選択肢からなる強制選択課題で、3つの古い話者の声と3つの新しい話者の声を区別し、音声の韻律は自信があるか疑わしいかとして提示されました。脳波データは、64チャンネルの脳波システムを使用して収集され、分析前に前処理が行われました。統計解析とイベント関連ポテンシャル(ERP)解析はRStudioで行い、脳トポグラフィー解析にはMATLABを利用しました。

設計詳細に関しては、本研究では、VTLに関連し、誰が話しているかの印象に影響を与える話し手の身長を制御する話者アイデンティティ学習実験を提案する²³。この側面は、知覚された優位性²⁵などの社会的印象にも影響を及ぼし、そのような高レベルの印象形成は、話者のアイデンティティ²⁶の解読と相互作用するかもしれない。