의사소통 문제가 있는 경우의 제스처 생성 검사

말과 동시에 생성되는 의미 있는 손 움직임인 공동 말하기 제스처(이하 제스처)는 언어적 내용을 보완하는 정보를 전달함으로써 대인 커뮤니케이션에 기여합니다¹. 가장 널리 사용되는 분류법 ^2,3에 따르면, 제스처는 세 가지 범주로 나눌 수 있습니다 : 형태와 움직임을 통해 지시 대상을 전달하는 표현 제스처 (예 : 비행을 전달하기 위해 손을 앞뒤로 펄럭임); 간단한 튕김 동작을 통해 강조를 전달하는 비트 제스처(예: “right now”라는 구문의 각 단어와 함께 주로 사용하는 손을 약간 아래로 이동); 그리고 가리키기를 통해 개체의 존재 또는 부재에 주의를 기울이는 deictic 제스처(예: 엄지손가락을 뒤로 흔들어 자신 뒤에 있는 무언가를 표시함). 표상적 제스처는 두 가지 추가 범주로 더 나눌 수 있습니다 : 구체적인 지시 대상(예: 새)을 전달하는 상징적 제스처와 은유적 지시 대상(예: 엑스터시)을 전달하는 은유적 제스처. 몸짓과 말은 동일한 개념적 내용에서 발생하기 때문에 의미 ^4,5에서 밀접하게 관련되어 있습니다. 몸짓은 의사소통을 위한 상징적인 시각 매체 역할을 함으로써 구어이해에 어려움이 있을 때 이를 보완하는 데 도움이 될 수 있다.⁶ 이는 구어에 대한 제한된 숙련도와 같은 개인적 요인으로 인한 것^이든7,8 또는 말을 듣는 데 어려움이 있는 환경적 요인으로 인한 것이든 ^9,10. 따라서 제스처는 대면 및 가상 상황에서 대인 커뮤니케이션을 이해하는 데 필수적이며, 화자와 청취자가 정보를 다중 방식으로 전달하고 이해하는 방법에 대한 통찰력을 제공합니다.

제스처가 대인 커뮤니케이션에 어떤 영향을 미치는지 측정하기 위해 몇 가지 구조화된 대화형 작업이 개발되었습니다. 이러한 과제에는 참가자가 자신의 개인적인 경험을 설명함으로써 질문에 응답하는 인터뷰가 포함됩니다^11,12; ^13,14를 설명하기 위해 참가자에게 정적 이미지를 제공하는 이미지 설명; 퍼즐 풀기, 참가자가 구성 요소를 공간적으로 올바르게 배치하여 퍼즐을 푸는 방법을 설명하는 것^15,16; 참가자가 청취자에게 익숙하지 않은 위치로 지시를 내리는 방향 제공(17,18,19); 그리고 내러티브 텔링(narrative retelling)은 참가자들이 일련의 사건을 묘사한 만화를 보고 그 사건을 다시 이야기하는 것이다 20,21,22. 위에서 인용한 연구에서 사용된 많은 과제는 공간적 내용과 행동을 포함하며, 제스처는 특히 효과적으로 전달한다 15,23,24,25. 위에서 인용한 연구의 과제에서 참가자들은 일반적으로 언어와 함께 제스처를 생성하며, 제스처를 통해 전달되는 정보와 동시에 생성된 언어와의 관계를 평가합니다. 또는, 참가자는 이러한 과제 중 하나를 완료할 때 누군가가 몸짓을 하고(또는 몸짓을 하지 않고) 언어를 생성하는 녹음을 볼 수 있으며, 그 후 참가자의 이해력을 평가합니다. 이러한 모든 작업은 대면뿐만 아니라 가상으로 수행될 수 있으므로 다양한 참가자로부터 데이터를 수집하고 여러 양식을 비교할 수 있습니다.

대인 커뮤니케이션에 대한 제스처의 영향은 다양한 참가자와 함께 구현되었습니다. 특히 관심을 끈 것은 의사소통에 문제가 있는 인구집단으로, 소아 26,27,28,29,30, 제2언어(L2) 사용자 ^8,31,32,33, 자폐 스펙트럼 장애(ASD)^20,21,22,34, 특정 언어 장애 35,36,37, 실어증 환자 ^12,38, 뇌 손상 환자³⁹, 말을 더듬는 개인^40,41. 이 연구는 이러한 인구 집단 중 다수가 의사 소통을 촉진하기 위해 제스처를 활용할 수 있지만 자폐 스펙트럼 장애가 있는 개인과 같은 일부는 효과적인 의사 소통을 위해 제스처를 활용하는 데 어려움을 겪을 수 있음을 밝혔습니다. 이 연구 결과는 이러한 인구 집단이 청중 디자인과 환경적 단서를 고려하는 정도에 기인할 수 있음을 시사하며, 이러한 설명이 의사 소통에 미치는 제스처의 영향에 대한 실질적인 의미를 강조합니다.

제스처가 대인 커뮤니케이션에 미치는 영향에 대한 통찰력을 제공하는 핵심 기능은 대화 상대 가시성입니다. 제스처 연구 분야에서 매우 중요한 질문은 참가자가 자신의 이익을 위해 제스처를 취하는 정도이며, 이는 신체에 대한 인지 기능의 부담을 나타내는 정도와 대화 상대의 이익을 나타내며 의사 소통을 위해 제스처를 사용하는 정도입니다. 이 질문은 불투명 칸막이(^26,42)의 사용을 통한 대면 상황에서의 제스처 생성에 대한 대담자의 (비)가시성의 영향을 조사함으로써 조사되었으며, 전화 맥락⁽¹³) 및 가상 맥락⁽⁴³)에서도 조사되었다. 전반적으로, 이 연구의 결과는 화자가 자신의 이익을 위해 제스처를 취하지만 보이지 않는 대화 상대보다 눈에 보이는 대화 상대와 의사 소통 할 때 더 많은 표상적 제스처를 생성하는 반면, 비트 제스처 생성은 대화 상대의 가시성에 관계없이 유사하다는 것을 나타냅니다. 따라서 그들은 표현 제스처가 다양한 맥락에서 의사 소통을 촉진한다고 제안하며, 화자가 대화 상대의 관점을 고려하고 그에 따라 제스처 생성을 수정할 것을 제안합니다. 대담 자 가시성의 효과를 조사한 이전 연구는 대인 커뮤니케이션에 대한 제스처의 기여도에 대한 통찰력을 제공하는 데 중요한 역할을 했지만, 일반적으로 개발 도상국에서 모국어로서의 영어(L1)에 초점을 맞추었으므로 연구 결과를 의사 소통 문제가 있는 인구로 확장할 수 있는지 여부는 불분명합니다. 이러한 두 집단은 목표 언어로 말을 통해 의사 소통하는 데 어려움을 겪을 수 있는 L2 학습자와 언어 및 비언어적 의사 소통이 비정상적인 ASD 아동입니다. 더욱이, 가상 맥락에서 대화 상대 가시성이 제스처 생성에 미치는 영향을 조사한 연구는 거의 없으며, 이를 통해 참가자에 대한 대담자의 가시성 효과가 대화 상대에 대한 참가자의 가시성 효과와 분리될 수 있으므로 이러한 맥락에서의 결과의 재현 가능성은 현재 불분명합니다. 마지막으로, 일부 연구는 대화 상대 가시성이 특정 유형의 제스처 생성에 미치는 영향에 초점을 맞추었으므로 다른 유형의 제스처 생성이 대화 상대 가시성에 의해 유사하게 영향을 받는지 여부는 불분명합니다.

아래에 설명된 프로토콜은 도전적인 상황에서 제스처 생성을 검사하기 위해 대화 상대 가시성을 조작합니다: ASD를 가진 개인의 L2 단어 학습 및 내러티브 말하기. L2 단어 학습 프로토콜은 대화형 단어 학습 패러다임을 통해 제스처가 의사소통에 기여하는 것을 조사하는 연구와 제스처 관찰이 L2 단어 학습에 미치는 영향을 조사하는 연구를 연결합니다. 이 패러다임에서는 대상 언어에 익숙하지 않은 참가자가 해당 언어로 된 단어를 학습한 다음 이 단어를 대상 언어에 익숙하지 않은 다른 참가자에게 가르치므로 대화 맥락에서 L2 습득의 초기 단계에서 제스처 생성에 대한 대화 상대 가시성의 영향을 조사할 수 있습니다. 만화 재말하기 패러다임은 널리 사용되는 내러티브 재말하기 작업을 사용하는데, 대화 상대의 가시성이 새로운 인구, 즉 ASD를 가진 청소년으로 조작될 때 제스처 생성의 차이가 관찰되었습니다. 몸짓 생성을 포함한 언어 발달은 청소년기에 성숙하고 ASD는 몸짓을 포함한 언어적 및 비언어적 의사 소통에 어려움이 있을 뿐만 아니라 대화 상대의 의사 소통 요구에 대한 민감성이 부족하기 때문에 이 인구가 관심을 끌고 있습니다. 이러한 프로토콜은 함께 제스처 생성이 대인 커뮤니케이션이 어려울 때 발화에 의존하는 정도에 대한 통찰력을 제공하며, 반대로 이를 보상할 수 있습니다.

L1 영어 화자 13,26,42,43에 의한 청취자 가시성이 제스처 생성에 어떤 영향을 미치는지 보여주는 결과를 바탕으로, 참가자들은 보이지 않는 대화 상대보다 보이는 사람과 L2 단어를 논의할 때 더 많은 전반적인 제스처와 더 많은 표현적 제스처를 생성할 것이라는 가설을 세웠다. ASD^20,44에서 몸짓 생성의 이상을 보여주는 결과를 바탕으로 ASD를 가진 청소년은 일반적으로 발달 중인(TD) 청소년보다 전반적인 몸짓을 더 적게 생산하고 더 적은 표상적 및 비식적 제스처를 생성할 것이라는 가설을 세웠습니다. 더욱이, ASD는 관점을 취하는 데 어려움이 있다는 연구 결과를 바탕으로⁴⁵ ASD를 가진 청소년의 몸짓 생성은 눈에 보이는 대화 상대와 보이지 않는 대화 상대가 있을 때 크게 다르지 않을 것이라는 가설을 세웠다. 마지막으로, 진단과 가시성 사이의 상호 작용이 예측되어 ASD가 있는 청소년의 가시성에 따라 제스처 생성이 다르지 않지만 TD 청소년의 경우 차이가 있을 것으로 예측되었습니다.