이벤트 관련 전위 분석을 사용하여 표현 음성에서 강력한 음성 정체성 인식을 위한 암기 기반 교육 및 테스트 패러다임

인간의 발성에는 감정(emotion)^1,2, 건강 상태^3,4, 생물학적 성(biological sex)⁵, 나이(age⁾⁶, 그리고 더 중요하게는 개인의 발성 정체성(vocal identity)^7,8과 같은 정보가 풍부하다. 연구에 따르면 인간 청취자는 목소리를 통해 동료의 정체성을 인식하고 구별할 수 있는 강력한 능력을 가지고 있으며, 음향 공간에서 화자 정체성의 평균 기반 표현을 둘러싼 화자 내 변동을 극복한다⁹. 이러한 변화는 명확한 실용적 의도^{9, 감정} 운율(emotion prosodies)¹⁰, 화자의 앎감을 전달하는 목소리 자신감(vocal confidence)¹¹에 해당하는 음향 조작(기본 주파수 및 성도 길이, 즉 F0 및 VTL)에 의해 발생한다. 행동 실험은 언어 관련 조작^8,12,13, 음악 경험 또는 읽기 능력과 같은 참가자 관련 특성^14,15, 거꾸로 말하기 또는 비단어와 같은 자극 관련 적응^16,17 등 청취자가 화자를 인식하는 데 영향을 미치는 많은 요인에 초점을 맞췄다. 더 많은 것은 문헌 검토^18,19에서 찾을 수 있습니다. 최근의 몇몇 실험에서는 화자의 정체성 표현의 개인적 차이가 어떻게 인식 정확도를 저해할 수 있는지를 조사했으며, 이는 높은 감정 표현력과 낮은 감정 표현력(high and low emotional expressiveness)¹⁶, 중립적 표현력과 두려운 표현력⁽neutral versus fearful prosodies5)을 포함한 여러 측면을 고려했다. 리뷰²⁰에서 제안한 바와 같이 추가 조사를 위해 더 많은 가능한 시나리오가 열려 있습니다.

첫 번째 연구 격차에 대해, 이 연구는 화자 식별의 신경학적 토대가 화자 내 변이가 청취자의 뇌 활동에 어떻게 도전하는지 아직 완전히 탐구하지 않았다고 제안합니다. 예를 들어, Zäske et al.의 fMRI 기반 화자 인식 과제에서 참가자의 우측 후방상측두이랑(pSTG), 우측 하측/중전두회(IFG/MFG), 우측 내측 전두이랑, 좌측 미상이랑은 언어 내용이 같거나 다르는지에 관계없이 오래된 화자와 새로운 화자로 올바르게 식별되었을 때 활성화가 감소한 것으로 나타났다²¹. 그러나 Zäske et al.의 초기 뇌파 검사(EEG) 연구에서는 화자 정체성 변이가 다른 텍스트를 통해 도입되었을 때 이러한 구/신 효과를 관찰하지 못했다²². 구체적으로, 청취자가 동일한 텍스트를 표현하는 친숙하고 훈련된 발화자를 만났을 때(즉, 다양하지 않은 언어 내용의 재생을 들었을 때) Pz 전극에서 감지된 300ms에서 700ms에 이르는 더 큰 LPC(Late Positive Component)는 발화자가 새로운 텍스트를 전달할 때 없었습니다.

Zäske et ^al.21의 주장을 뒷받침하기 위해 이 연구는 ERP(Event-Related Potential) 분석에서 교육 세션과 테스트 세션 간의 언어 내용의 차이에도 불구하고 이전/새로운 효과가 여전히 관찰될 수 있다고 의심합니다. 이 이론적 근거는 다른 텍스트가 사용된 조건에서 Zäske et ^al.22에서 구/신 효과가 없는 것은 Lavan et ^al.23이 제안한 것처럼 철저하고 효과적인 정체성 학습을 보장하기 위해 훈련 과제 중에 추가 점검 세션이 부족했기 때문일 수 있다는 개념에서 비롯됩니다. 결과적으로 이 연구의 첫 번째 목표는 이 가설을 조사하고 검증하는 것입니다. 본 연구는 훈련-테스팅 패러다임²²에 체크 세션(checking session)을 추가하여 이를 검증하는 것을 목표로 한다.

이 연구가 다루고자 하는 또 다른 핵심 질문은 언어 운율이 있을 때 화자 식별의 견고성입니다. 이전의 행동 연구는 청취자가 서로 다른 운율에 걸쳐 화자를 인식하는 데 특히 어려움을 겪는다는 것을 시사했는데, 이는 운율 맥락의 조절적 역할, 즉 청취자는 다양한 훈련 테스트 운율 조건에서 저조한 성과를 보였습니다. 본 연구는 청자가 자신감 있는 또는 의심스런 운율에서 친숙한 화자를 인식하도록 노출시킴으로써 이를 검증하는 것을 목표로 한다²⁴. 이 연구는 관찰된 ERP 차이가 음성 운율이 ID 인식에 미치는 영향을 설명하는 데 도움이 될 것으로 기대합니다.

본 연구의 핵심 목적은 화자 인식에서 구/신 효과의 견고성을 조사하고, 특히 자신감 있는 운율과 의심스러운 운율에서 발화자를 인식하는 데 차이가 있는지 여부를 조사하는 것입니다. Xu와 Armony¹⁰은 훈련-테스트 패러다임을 사용하여 행동 연구를 수행했으며, 그들의 연구 결과는 청취자가 운율 차이를 극복할 수 없으며(예: 중립 운율에서 발화자를 인식하도록 훈련받은 후 두려운 운율에서 테스트) 확률 수준¹⁰ 미만의 정확도만 달성할 수 있음을 시사합니다. 음향 분석에 따르면 다양한 감정 상태를 표현하는 스피커는 VTL/F0 변조와 관련이 있습니다. 예를 들어, 자신감 있는 운율은 VTL이 길어지고 F0가 낮아지는 것이 특징인 반면, 의심스런 운율^11,24의 경우 그 반대입니다. 또 다른 증거는 Lavan et ^al.23의 연구에서 나온 것으로, 청취자는 화자의 VTL 및 F0 변화에 적응하고 화자의 평균 기반 표현을 형성할 수 있음을 확인했습니다. 이 연구는 행동 데이터 관점에서 청취자가 운율 전반에 걸쳐 화자의 정체성을 여전히 인식할 가능성이 있음을 조정합니다(예: 자신감 있는 운율에서 자신을 인식하도록 훈련받았지만 의심스러운 운율에서 테스트됨, 준비 중인 별도의 원고에 보고됨). 그러나 화자 식별의 신경 상관 관계, 특히 Zäske et ^al.22이 관찰한 이전/새로운 효과의 일반화 가능성은 여전히 불분명합니다. 따라서 현재 연구는 테스트를 위한 맥락으로 확신에 찬 운율과 의심스러운 운율에서 이전/새로운 효과의 견고성을 검증하는 데 전념하고 있습니다.

이 연구는 구/신 효과 연구에서 기존 연구 패러다임에서 벗어난 것을 소개합니다. 과거의 연구는 오래된/새로운 화자 인식이 인식에 미치는 영향에 초점을 맞췄지만, 이 연구는 패러다임에 두 가지 자신감 수준(확신 대 의심)을 통합함으로써 이를 확장했습니다(따라서 2+2 연구). 이를 통해 우리는 자신감 있고 의심스러운 언어 운율의 맥락에서 화자 인식을 조사할 수 있습니다. 이 패러다임은 이전/새로운 효과의 견고성을 탐구할 수 있게 해줍니다. 자신감 있는 음성 맥락과 의심스러운 음성 맥락 모두에서 기억 효과와 관심 영역(ROI)에 대한 분석은 이 조사의 증거로 사용됩니다.

전체적으로, 이 연구는 1) 언어 내용이 동일하지 않고 2) 확신 대 의심 운율이 있는 경우에도 EEG 이전/새 효과의 확대된 LPC가 관찰 가능하다는 가설을 통해 음성 인식의 EEG 상관 관계에 대한 이해를 업데이트하는 것을 목표로 합니다. 본 연구는 3단계 패러다임을 통해 가설을 조사하였다. 첫째, 훈련 단계에서 참가자들은 세 가지 목소리와 그에 해당하는 이름 사이의 연관성을 확립했습니다. 그 후, 확인 단계에서 그들은 3명의 후보 중에서 선택한 음성에 해당하는 이름을 식별하는 임무를 맡았습니다. Lavan et ^al.23에 따른 이러한 점검은 훈련 단계와 테스트 단계의^{텍스트가 다를} 때 관찰되지 않는 오래된 화자 친숙화(old speaker familiarization)가 불충분하고6, 발화자가 중립적이고 두려운 운율(prosodies)을 가로지르는 발화자를 인식할 수 없을 때 관찰되지 않는 오래된 화자에 대한 친숙함을 극복하는 것을 목표로 한다¹⁰. 마지막으로, 테스트 단계에서 참가자들은 두 가지 대안 강제 선택 과제에서 세 가지 기존 화자 목소리와 세 가지 새로운 화자 목소리를 구별했으며, 언어 운율은 자신감 있거나 의심스러운 것으로 제시되었습니다. EEG 데이터는 64채널 EEG 시스템을 사용하여 수집되었으며 분석 전에 전처리를 거쳤습니다. 통계 분석과 ERP(Event-related Potential) 분석은 RStudio에서 수행되었으며, MATLAB은 뇌 지형 분석에 활용되었습니다.

디자인 세부사항과 관련하여, 본 연구는 VTL과 관련이 있고 말하는 사람에 대한 인상에 영향을 미치는 화자의 키를 조절하는 화자 정체성 학습 실험을 제안한다²³. 이러한 측면은 또한 인지된 지배력(perceived dominance)²⁵과 같은 사회적 인상에 영향을 미치며, 이러한 높은 수준의 인상 형성은 화자 정체성(화자 정체성)²⁶을 해독하는 것과 상호작용할 수 있다.