コミュニケーションの課題がある場合のジェスチャー生成の調査

共同発話ジェスチャー(以下、ジェスチャー)は、発話と同時に生じる意味のある手の動きであり、言語の内容を補完する情報を伝えることにより、対人コミュニケーションに貢献します¹。最も広く使用されている分類法^2,3によると、ジェスチャーは3つのカテゴリに分類できます:表現ジェスチャーは、その形状と動きを介して指示対象を伝えます(たとえば、手を前後に羽ばたかせて飛行を伝えます)。ビートジェスチャーは、単純な点状の動きで強調を伝えます(例:「right now」というフレーズの各単語と連動して利き手をわずかに下に動かす)。そして、指差しを通じてエンティティの存在または不在に注意を引くダイクティックジェスチャー(たとえば、親指を後ろに振って自分の後ろに何かを示す)。表象的ジェスチャーは、さらに2つの追加カテゴリーに分けることができる:具体的な指示対象(例えば、鳥)を伝える象徴的なジェスチャーと、隠喩的な指示対象(例えば、エクスタシー)を伝える隠喩的ジェスチャーである。ジェスチャーとスピーチは同じ概念的内容から生じるため、意味において密接に関連しています^4,5。ジェスチャーは、コミュニケーションのための象徴的な視覚媒体として機能することにより、話し言葉の熟練度が限られているなどの個々の要因^{によるものであれ}、6 話し言葉の習熟度が限られているなどの個々の要因による^{ものであれ}、音声の聞き取り困難^などの環境要因によるものであれ、6 話し言葉の理解に課題が生じた場合にそれを補うのに役立ちます ^9,10.したがって、ジェスチャーは、対面および仮想のコンテキストでの対人コミュニケーションを理解するために不可欠であり、スピーカーとリスナーがマルチモーダルに情報を伝え、理解する方法についての洞察を提供します。

ジェスチャーが対人コミュニケーションにどのように影響するかを測定するために、いくつかの構造化されたインタラクティブタスクが開発されました。これらのタスクには、参加者が自分の個人的な経験を説明することによって質問に答えるインタビューが含まれます^11,12;画像の説明、^13,14を説明するために静的な画像が参加者に提示される。パズル解決、参加者がコンポーネントを正しく空間的に配置してパズルを解く方法を説明する^15,16。参加者が聞き手17,18,19にとってなじみのない場所に道順を示すように指示される方向規定;そして、参加者が一連の出来事を描いた漫画を見て、その後それらを詳述する物語の語り直し20,21,22。上に引用した研究で採用された課題の多くは、空間的な内容と行動を組み込んでおり、ジェスチャーは特に効果的である15,23,24,25を伝えます。上記の研究の課題では、参加者は通常、言語と連動してジェスチャーを生成し、ジェスチャーを介して伝達される情報と、同時に生成された言語との関係が評価されます。あるいは、参加者は、これらのタスクのいずれかを完了するときに、誰かがジェスチャーをしたり(またはジェスチャーをしなかったり)、言語を生成したりしている録音を見ることができ、その後、参加者の理解度が評価されます。これらのタスクはすべて、対面だけでなく仮想的にも実施できるため、幅広い参加者からのデータ収集とモダリティ間の比較が可能になります。

ジェスチャーが対人コミュニケーションに与える影響は、幅広い参加者で実装されています。特に興味深いのは、コミュニケーションに課題を持つ人々で、幼児^{26、27、28、29、30}、第二言語(L2)^{ユーザー8、31、32、33}、自閉症スペクトラム障害(ASD)^{20、21、22、34}、特定の子供を含む。言語障害 35,36,37、失語症^12,38、脳損傷³⁹、吃音^40,41。この研究により、これらの集団の多くがジェスチャーを利用してコミュニケーションを促進できる一方で、自閉症スペクトラム障害のある人などの一部は、ジェスチャーを活用して効果的にコミュニケーションをとるのが難しい場合があることが明らかになりました。この知見は、これらの集団が観客のデザインと環境の手がかりをどの程度考慮しているかによるものである可能性を示唆しており、ジェスチャーがコミュニケーションに与える影響について、これらの説明が実際的な意味を持つことが浮き彫りになっている。

ジェスチャーが対人コミュニケーションに与える影響についての洞察を提供する主要な機能は、対話者の可視性です。ジェスチャー研究の分野で非常に重要な問題は、参加者が自分の利益のためにジェスチャーをする程度であり、認知操作の身体への負荷の軽減を示すのに対し、対話者の利益は、コミュニケーションのためのジェスチャーの使用を示すものです。この問題は、不透明なパーティション^26,42の使用による対面のコンテキスト、および電話のコンテキスト¹³および仮想コンテキスト⁴³におけるジェスチャーの生成に対する対話者(非)可視性の影響を調べることによって調査された。全体として、この研究の結果は、話し手は自分自身の利益のためにジェスチャーをするが、見えない対話者よりも目に見える対話者とコミュニケーションをとるときにより多くの表象的なジェスチャーを生成するのに対し、ビートジェスチャーの生成は対話者の可視性に関係なく類似していることを示しています。したがって、彼らは、表象的ジェスチャーがさまざまな文脈にわたるコミュニケーションを促進することを示唆しており、話し手が対話者の視点を考慮に入れ、それに応じてジェスチャーの生成を変更することを示唆しています。対話者の可視性の影響を調べた先行研究は、ジェスチャーが対人コミュニケーションに寄与する洞察を提供するのに役立ってきたが、それは典型的に発達中の集団における第一言語としての英語(L1)に焦点を当ててきたため、この知見をコミュニケーションに課題のある集団に拡大できるかどうかは不明である。そのような集団は、目標言語での音声によるコミュニケーションに苦労する可能性のあるL2学習者と、言語的および非言語的コミュニケーションが異常なASDの子供です。さらに、対話者の可視性が仮想コンテキストでのジェスチャー生成に与える影響を調べた研究はほとんどなく、対話者の可視性が参加者に与える影響を参加者の可視性の影響から切り離すことができるため、これらのコンテキストからの調査結果の再現性は現在不明です。最後に、対話者の可視性が特定のタイプのジェスチャーの生成に与える影響に焦点を当てた研究もあるため、他のタイプのジェスチャーの生成が対話者の可視性によって同様に影響を受けるかどうかは不明です。

以下に説明するプロトコルは、対話者の可視性を操作して、困難な状況でのジェスチャーの生成を調査します:ASDの個人によるL2単語学習と物語の再話。L2単語学習プロトコルは、ジェスチャーの観察がL2単語学習に与える影響を調べる研究と、インタラクティブな単語学習パラダイムを介したジェスチャーのコミュニケーションへの貢献を調べる研究を橋渡しするものです。このパラダイムでは、ターゲット言語に不慣れな参加者がターゲット言語で単語を学び、ターゲット言語に不慣れな他の参加者にこれらの単語を教えることで、対話者の可視性がジェスチャー生成に与える影響を、会話の文脈におけるL2習得の最も早い段階で調査することができます。カートゥーン・リテリング・パラダイムは、対話者の可視性が新しい集団であるASDの青年で操作されたときにジェスチャーの生成に違いが観察される、広く使用されている物語のリテリング・タスクを採用しています。ジェスチャーの生成を含む言語発達は思春期までに成熟し、ASDはジェスチャーを含む言語的および非言語的なコミュニケーションの困難さを伴い、対話者のコミュニケーションニーズに対する感度の欠如を伴うため、この集団は興味深いものです。これらのプロトコルを組み合わせることで、対人コミュニケーションが困難な場合に、ジェスチャーの生成がどの程度スピーチに依存しているか、逆にスピーチを補うことができるかについての洞察が得られます。

聞き手の可視性がL1英語話^者13,26,42,43によるジェスチャーの生成にどのように影響するかを示す結果に基づいて、参加者は、目に見える対話者よりも目に見える対話者とL2単語を議論するときに、全体的なジェスチャーと表現的なジェスチャーをより多く生成するという仮説が立てられました。ASD^20,44 のジェスチャー生成の異常を示す調査結果に基づいて、ASD の青年は、通常発達している (TD) 青年よりも全体的なジェスチャーが少なく、表象的および直観的なジェスチャーも少ないという仮説が立てられました。さらに、ASDが遠近法撮影^の困難さを伴うことを示す調査結果に基づいて、ASDの青年によるジェスチャーの生成は、目に見える対話者と見えない対話者の存在下で有意に変わらないという仮説が立てられました。最後に、診断と視認性との間の相互作用が予測され、ASDの青年ではジェスチャーの生成が視認性によって異なるのではなく、TDの青年では異なることが予測されました。