概要

コミュニケーションの課題がある場合のジェスチャー生成の調査

Published: January 26, 2024
doi:

概要

ここでは、対話者の可視性を操作して、対人コミュニケーションにおけるジェスチャー生成への影響を調べるプロトコルを紹介します。このプロトコルは、実装されたタスク、調査されるジェスチャ、および通信モダリティに対して柔軟です。これは、第二言語学習者や自閉症スペクトラム障害のある人など、コミュニケーションに課題のある人々にとって理想的です。

Abstract

話し手が対話者と話すときに共同スピーチの手のジェスチャーを変更する理由を理解することは、これらのジェスチャーが対面および仮想のコンテキストでの対人コミュニケーションにどのように貢献するかについての貴重な洞察を提供します。現在のプロトコルは、対面のコンテキストでスピーカーとその対話者の可視性を連携して操作し、コミュニケーションが困難な場合の可視性がジェスチャーの生成に与える影響を調査します。これらのプロトコルでは、話者は、なじみのない第二言語から単語を教えたり、漫画のビネットの出来事を別の参加者または共犯者である対話者に詳述したりするなどのタスクを完了します。これらのタスクを実行するとき、スピーカーは対話者から見えるか見えないか、スピーカーは参加者に見えるか見えないかです。学習課題という言葉では、話し手と対話者が互いに見えるように、手の形や動きを通じて意味を伝える表象的なジェスチャー、そして互いに見えない話し手と対話者よりもダイクティック(指差す)ジェスチャーを生成します。ナラティブ・リテリング・プロトコルでは、自閉症スペクトラム障害(ASD)の青年は、目に見えない対話者よりも、目に見える対話者と話すときにより多くのジェスチャーを生み出しました。現在のプロトコルの大きな強みは、調査対象のタスク、集団、ジェスチャーの点で柔軟性があることであり、現在のプロトコルはビデオ会議だけでなく、対面のコンテキストでも実装できます。したがって、現在のプロトコルは、コミュニケーションに課題を持つ集団の対人コミュニケーションにおけるジェスチャー生成の役割を解明することにより、ジェスチャー生成の理解を進める可能性を秘めています。

Introduction

共同発話ジェスチャー(以下、ジェスチャー)は、発話と同時に生じる意味のある手の動きであり、言語の内容を補完する情報を伝えることにより、対人コミュニケーションに貢献します1。最も広く使用されている分類法2,3によると、ジェスチャーは3つのカテゴリに分類できます:表現ジェスチャーは、その形状と動きを介して指示対象を伝えます(たとえば、手を前後に羽ばたかせて飛行を伝えます)。ビートジェスチャーは、単純な点状の動きで強調を伝えます(例:「right now」というフレーズの各単語と連動して利き手をわずかに下に動かす)。そして、指差しを通じてエンティティの存在または不在に注意を引くダイクティックジェスチャー(たとえば、親指を後ろに振って自分の後ろに何かを示す)。表象的ジェスチャーは、さらに2つの追加カテゴリーに分けることができる:具体的な指示対象(例えば、鳥)を伝える象徴的なジェスチャーと、隠喩的な指示対象(例えば、エクスタシー)を伝える隠喩的ジェスチャーである。ジェスチャーとスピーチは同じ概念的内容から生じるため、意味において密接に関連しています4,5。ジェスチャーは、コミュニケーションのための象徴的な視覚媒体として機能することにより、話し言葉の熟練度が限られているなどの個々の要因によるものであれ、6 話し言葉の習熟度が限られているなどの個々の要因によるものであれ、音声の聞き取り困難などの環境要因によるものであれ、6 話し言葉の理解に課題が生じた場合にそれを補うのに役立ちます 9,10.したがって、ジェスチャーは、対面および仮想のコンテキストでの対人コミュニケーションを理解するために不可欠であり、スピーカーとリスナーがマルチモーダルに情報を伝え、理解する方法についての洞察を提供します。

ジェスチャーが対人コミュニケーションにどのように影響するかを測定するために、いくつかの構造化されたインタラクティブタスクが開発されました。これらのタスクには、参加者が自分の個人的な経験を説明することによって質問に答えるインタビューが含まれます11,12;画像の説明、13,14を説明するために静的な画像が参加者に提示される。パズル解決、参加者がコンポーネントを正しく空間的に配置してパズルを解く方法を説明する15,16。参加者が聞き手17,18,19にとってなじみのない場所に道順を示すように指示される方向規定;そして、参加者が一連の出来事を描いた漫画を見て、その後それらを詳述する物語の語り直し20,21,22。上に引用した研究で採用された課題の多くは、空間的な内容と行動を組み込んでおり、ジェスチャーは特に効果的である15,23,24,25を伝えます。上記の研究の課題では、参加者は通常、言語と連動してジェスチャーを生成し、ジェスチャーを介して伝達される情報と、同時に生成された言語との関係が評価されます。あるいは、参加者は、これらのタスクのいずれかを完了するときに、誰かがジェスチャーをしたり(またはジェスチャーをしなかったり)、言語を生成したりしている録音を見ることができ、その後、参加者の理解度が評価されます。これらのタスクはすべて、対面だけでなく仮想的にも実施できるため、幅広い参加者からのデータ収集とモダリティ間の比較が可能になります。

ジェスチャーが対人コミュニケーションに与える影響は、幅広い参加者で実装されています。特に興味深いのは、コミュニケーションに課題を持つ人々で、幼児2627282930、第二言語(L2)ユーザー8313233、自閉症スペクトラム障害(ASD)20212234、特定の子供を含む。言語障害 35,36,37、失語症12,38、脳損傷39、吃音40,41この研究により、これらの集団の多くがジェスチャーを利用してコミュニケーションを促進できる一方で、自閉症スペクトラム障害のある人などの一部は、ジェスチャーを活用して効果的にコミュニケーションをとるのが難しい場合があることが明らかになりました。この知見は、これらの集団が観客のデザインと環境の手がかりをどの程度考慮しているかによるものである可能性を示唆しており、ジェスチャーがコミュニケーションに与える影響について、これらの説明が実際的な意味を持つことが浮き彫りになっている。

ジェスチャーが対人コミュニケーションに与える影響についての洞察を提供する主要な機能は、対話者の可視性です。ジェスチャー研究の分野で非常に重要な問題は、参加者が自分の利益のためにジェスチャーをする程度であり、認知操作の身体への負荷の軽減を示すのに対し、対話者の利益は、コミュニケーションのためのジェスチャーの使用を示すものです。この問題は、不透明なパーティション26,42の使用による対面のコンテキスト、および電話のコンテキスト13および仮想コンテキスト43におけるジェスチャーの生成に対する対話者(非)可視性の影響を調べることによって調査された。全体として、この研究の結果は、話し手は自分自身の利益のためにジェスチャーをするが、見えない対話者よりも目に見える対話者とコミュニケーションをとるときにより多くの表象的なジェスチャーを生成するのに対し、ビートジェスチャーの生成は対話者の可視性に関係なく類似していることを示しています。したがって、彼らは、表象的ジェスチャーがさまざまな文脈にわたるコミュニケーションを促進することを示唆しており、話し手が対話者の視点を考慮に入れ、それに応じてジェスチャーの生成を変更することを示唆しています。対話者の可視性の影響を調べた先行研究は、ジェスチャーが対人コミュニケーションに寄与する洞察を提供するのに役立ってきたが、それは典型的に発達中の集団における第一言語としての英語(L1)に焦点を当ててきたため、この知見をコミュニケーションに課題のある集団に拡大できるかどうかは不明である。そのような集団は、目標言語での音声によるコミュニケーションに苦労する可能性のあるL2学習者と、言語的および非言語的コミュニケーションが異常なASDの子供です。さらに、対話者の可視性が仮想コンテキストでのジェスチャー生成に与える影響を調べた研究はほとんどなく、対話者の可視性が参加者に与える影響を参加者の可視性の影響から切り離すことができるため、これらのコンテキストからの調査結果の再現性は現在不明です。最後に、対話者の可視性が特定のタイプのジェスチャーの生成に与える影響に焦点を当てた研究もあるため、他のタイプのジェスチャーの生成が対話者の可視性によって同様に影響を受けるかどうかは不明です。

以下に説明するプロトコルは、対話者の可視性を操作して、困難な状況でのジェスチャーの生成を調査します:ASDの個人によるL2単語学習と物語の再話。L2単語学習プロトコルは、ジェスチャーの観察がL2単語学習に与える影響を調べる研究と、インタラクティブな単語学習パラダイムを介したジェスチャーのコミュニケーションへの貢献を調べる研究を橋渡しするものです。このパラダイムでは、ターゲット言語に不慣れな参加者がターゲット言語で単語を学び、ターゲット言語に不慣れな他の参加者にこれらの単語を教えることで、対話者の可視性がジェスチャー生成に与える影響を、会話の文脈におけるL2習得の最も早い段階で調査することができます。カートゥーン・リテリング・パラダイムは、対話者の可視性が新しい集団であるASDの青年で操作されたときにジェスチャーの生成に違いが観察される、広く使用されている物語のリテリング・タスクを採用しています。ジェスチャーの生成を含む言語発達は思春期までに成熟し、ASDはジェスチャーを含む言語的および非言語的なコミュニケーションの困難さを伴い、対話者のコミュニケーションニーズに対する感度の欠如を伴うため、この集団は興味深いものです。これらのプロトコルを組み合わせることで、対人コミュニケーションが困難な場合に、ジェスチャーの生成がどの程度スピーチに依存しているか、逆にスピーチを補うことができるかについての洞察が得られます。

聞き手の可視性がL1英語話13,26,42,43によるジェスチャーの生成にどのように影響するかを示す結果に基づいて、参加者は、目に見える対話者よりも目に見える対話者とL2単語を議論するときに、全体的なジェスチャーと表現的なジェスチャーをより多く生成するという仮説が立てられました。ASD20,44 のジェスチャー生成の異常を示す調査結果に基づいて、ASD の青年は、通常発達している (TD) 青年よりも全体的なジェスチャーが少なく、表象的および直観的なジェスチャーも少ないという仮説が立てられました。さらに、ASDが遠近法撮影困難さを伴うことを示す調査結果に基づいて、ASDの青年によるジェスチャーの生成は、目に見える対話者と見えない対話者の存在下で有意に変わらないという仮説が立てられました。最後に、診断と視認性との間の相互作用が予測され、ASDの青年ではジェスチャーの生成が視認性によって異なるのではなく、TDの青年では異なることが予測されました。

Protocol

すべての参加者は書面による同意を提供し、すべてのプロトコルは受入機関の治験審査委員会によって承認されました。L2単語学習と漫画の語り直しのプロトコルは、代表的な結果が基づいている研究で実施された21,33。これらのプロトコルは、これまで対面のコンテキストでのみ実施されてきましたが、ここで説明されていない対話者と参加者の可視性を操作する関連プロトコルが現在実施されており、このコンテキストでの再現性についての洞察を提供し、ASDの個人などのコミュニケーションに課題のある集団に拡大する計画があります。 1. 参加者 注:各研究の参加者の特性に必要な制約を尊重しながら、サンプルは可能な限りより大きな母集団を代表するものでなければなりません。 L2単語学習プロトコルの参加者募集18歳以上で、視力が正常または正常に矯正され、聴力が正常な方で、英語のL1スピーカーである参加者を募集します。この研究が初期段階のL2単語学習に対するジェスチャーの影響を確実に調べるために、ターゲット言語であるハンガリー語の知識がない参加者を募集します。 漫画の語り直しプロトコルの参加者募集ASD の診断を受けた、または通常発症している (TD) 実験課題 (Morett et al.21 では 10-20 歳) を完了できる年齢の参加者を募集します。参加者が実験課題を成功裏に完了できるように、英語のL1話者であり、正常または正常に矯正された視力と正常な聴力を持ち、標準化された評価46を通じて研究の前または時に測定されたフルスケールIQが85以上である参加者を募集します。 この研究がジェスチャー生成に対するASDの特定の影響を確実に調べるために、てんかん、髄膜炎、脳炎、糖尿病、小児崩壊性障害、または特に指定されていない広汎性発達障害(PDD-NOS)のないASDの参加者を募集します。 ASD のジェスチャー生成を一般的なジェスチャー生成と比較できるようにするには、併存する精神障害のない TD 参加者や、広汎性発達障害と診断された一親等近親者を募集します。 2. 可視性の操作の概要 L2単語学習プロトコルのように、自発的なジェスチャーの生成と観察の効果を調べる場合は、参加者をペアで募集します。参加者として行動する研究助手と連携して、参加者を個別に募集します。これは、漫画の再話プロトコルのように、自発的なジェスチャーを生成する効果のみが調査される場合です。 研究に関する情報を記載したインフォームドコンセントフォームを参加者に提供し、ジェスチャー生成に関する研究の焦点を明らかにしないように注意しながら、署名してそれに関する質問に答えます。参加者が署名した後、フォームを収集します。 ペアで募集された参加者の場合、コイントスなどの選択方法を使用して、どの参加者がスピーカーとして機能し、誰が実験タスクでほとんどの会話を行い、どの参加者が対話者として機能し、誰がほとんどのリスニングを行い、実験タスクでスピーカーと対話するかを決定します。研究助手が参加者として個別に募集された参加者の場合は、リギングコイントスなどの固定選択方法を使用して、参加者が常にスピーカーとして機能し、研究アシスタントが常に対話者として機能するようにします。 実験セッションの半分では、スピーカーと対話者の間に不透明な仕切りを配置して、お互いの顔や手が見えないようにします。 実験課題で何をするのかを参加者に説明し、それに関する質問に答えてください。参加者のスピーチが音声録音されることを伝え、この目的で使用されるマイクを指摘します。ビデオ録画の認識がジェスチャー制作に及ぼす影響を避けるために、参加者にビデオ録画されることを通知せず、この目的で使用されるビデオカメラが参加者に見えないようにします。 適切なボタンを押して、ビデオとオーディオの録音を開始します。実験タスクを実装して、スピーカーと参加者の対話者 (存在する場合) から音声とジェスチャーを引き出す。 参加者内デザインが採用されている場合、不透明な仕切りが最初の反復で使用されていた場合は削除し、最初の反復で使用されなかった場合はスピーカーと対話者の間に配置します。 すべての刺激が尽きるまで、必要に応じて実験課題を繰り返します。 適切なボタンを押して、ビデオとオーディオの録音を停止します。研究がジェスチャーに焦点を当てていること、およびビデオ録画されたことを参加者に伝え、必要に応じてデータ分析の前にビデオを削除することを提案します。 参加者からの質問に答え、参加してくれたことに感謝してから解散してください。 3. L2単語学習プロトコル ビデオとオーディオは、実験タスク中の音声とジェスチャーの生成を後で分析できるように、スピーカーと対話者を録音します。オーディオ録音のために、スピーカーと対話者の間にテーブルマイクを配置します。スピーカーと対話者の間の片側にビデオカメラを90°の角度で置き、参加者に見えないようにします。 さらに、スピーカーと対話者の両方がビデオカメラの視野内に含まれていること、およびコンピュータ画面がビデオカメラの視野内に見えないことを確認して、分析でL2ワードが提示される状態に対する盲目を維持します。 コンピューターを使用して、ターゲット言語のL2単語をイヤホンを介してスピーカーに聴覚的に提示し、対話者に聞こえないようにして、スピーカーが後で対話者にそれを教えることができるようにします。同時に、ターゲット言語のL1話者がL2単語を話し、その意味を伝える表現ジェスチャーを生成するビデオを画面下部にL2単語のテキストで表示するか、スピーカーにビデオなしで画面の中央にL2単語をテキストとして表示します。 500 ミリ秒の一時停止の後、L2 単語の L1 翻訳を画面の中央にテキストとしてスピーカーに 2000 ミリ秒提示します。 説明者に、L2単語とその意味を音声やジェスチャーで対話者に教えるように促します。 準備ができたら、ボタンを押して先に進むようにスピーカーに指示します。スピーカーがそうした後、別のL2単語を提示します。20個のL2ワードすべてがランダムな順序で表示されるまで、このプロセスを繰り返します。 実験課題で提示されたL2単語に関する話者と対話者の知識を個別にテストします。各L2単語をテキストとして提示し、L1翻訳を言うか、翻訳を覚えていない場合は単語をスキップするように促します。 4.漫画の再話プロトコル 参加者のIQが以前に標準化されたIQ評価によって測定されていない場合は、IQが85以上であることを確認するために1つを投与します。 参加者の音声とジェスチャーの生成を後で分析できるように、ビデオとオーディオを録音します。音声を録音するために、参加者の前にテーブルマイクを置きます。参加者の片側にカメラを90°の角度で置き、カメラが参加者に見えないようにします。 ルーニー・テューンズのアニメ「カナリア・ロウ」の前半を参加者にプレゼンします。この漫画の半分には、猫のシルベスターがトゥイーティーバードを捕まえようとして失敗するいくつかのビネットが含まれています。 参加者に、漫画の前半の出来事を対話者にできるだけ詳細に話すように指示します。対話者に参加者の再話を聞くように指示し、それが短い場合は参加者にもっと話すように促します。 手順4.1を繰り返します。および 4.2.カナリアロウのビデオの後半には、猫のシルベスターがトゥイーティーバードを捕まえようとして失敗するいくつかのビネットが含まれています。 5. トランスクリプションとコーディング 注:バイアスを最小限に抑えるために、可能であれば、どの参加者と試験がどの条件に割り当てられたかを知らずに、データを盲目的に転記してコード化します。理想的には、転記者とコーダーはデータ収集に関与しないでください。 参加者全員の音声を、CHAT47などの標準化されたスキームに従って適切なソフトウェアを使用して手書きで正書法で書き起こし、単語数を生成します。フィラーや修正など、すべての口頭情報を書き起こしますが、一時停止を書き起こさないでください。 すべての参加者ジェスチャを識別してコード化し、各ジェスチャの種類のカウントを生成します。休息から休息へのジェスチャーを特定し、マクニールの分類法 2,3 に基づいて、象徴的、比喩的、ビート、ダイクティックの 4 つのタイプに分類します。一部のジェスチャは、複数のタイプとして分類される場合があることに注意してください。 表現ジェスチャの数を単語数で割り、ビネットごとに 100 を掛けて、100 語あたりのジェスチャの割合を計算します。 独立したコーダーコード参加者に、データの25%に対してジェスチャーをしてもらいます。両方のコーダーによってコード化されたデータの一致率を計算し、評価者間の信頼性が十分を確保するために、少なくとも 80% であることを確認します。

Representative Results

L2単語学習実装: 以下に報告される結果は、上記のプロトコルに従って、52人の健康な参加者(男性21人、女性31人、年齢: M = 20.15、SD = 1.73、範囲= 18-28)から収集されたデータに基づいています。すべての音声とジェスチャーは、ステップ 3.4 で説明したように、話者と対話者の両方からのデータが 1 台のカメラを使用して記録されたた…

Discussion

現在のプロトコルは、話し手と対話者同士の可視性を操作し、ASDの青年によるL2単語学習と物語の再話という困難な状況下でのジェスチャー生成への影響についての洞察を提供します。このプロトコルは、対面または仮想的に実装できるため、参加者と対話者の可視性を連携して、または独立して操作できます。さまざまな実験タスク、ジェスチャー、および集団に?…

開示

The authors have nothing to disclose.

Acknowledgements

L2単語学習プロトコルの開発と検証は、米国国防総省空軍科学研究局が発行した国防科学工学大学院(NDSEG)フェローシップ(32 CFR 168a)によって支援されました。ASDの青年を対象とした漫画の語り直しプロトコルの開発と検証は、国立精神衛生研究所のRuth S. Kirschstein Institutional National Research Service Award(T32)によって支援されました。著者は、データ収集とコーディングの支援を提供してくれた Rachel Fader、Theo Haugen、Andrew Lynn、Ashlie Caputo、Marco Pilotta に感謝します。

Materials

Computer Apple Z131 24" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphone Tonor B07GVGMW59
ELAN The Language Archive Software application used to transcribe speech and gesture
Video Recorder Vjianger B07YBCMXJJ FHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of Intelligence Pearson 158981561 Used to verify full scale IQ ≥ 80 in Morett et al. (2016)

参考文献

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297 (2011).
  2. McNeill, D. . Hand and Mind. , (1992).
  3. McNeill, D. . Gesture and thought. , (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765 (2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you’re saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. . Gesture, Thought and Spatial Language. , (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults’ recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490 (2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O’Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -. M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children’s gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers’ comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children’s prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck’s garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture’s effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -. L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -. Y., Lam, W. -. Y., Cheng, C. -. H., So, W. -. C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212 (2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, &. #. 2. 1. 4. ;. E., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815 (2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. . Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -. C., Wong, M. K. -. Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. . Wechsler Abbreviated Scale of Intelligence. , (1999).
  47. Macwhinney, B. . The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Play Video

記事を引用
Morett, L. M. Examining Gesture Production in the Presence of Communication Challenges. J. Vis. Exp. (203), e66256, doi:10.3791/66256 (2024).

View Video