在存在沟通挑战的情况下检查手势的产生

共同语音手势（迄今为止的手势）——与语音同时产生的有意义的手部动作——通过传达补充口头内容的信息来促进人际交流¹.根据最广泛使用的分类法 ^2,3，手势可分为三类：表征手势，通过其形式和动作传达所指对象（例如，一起来回拍打手以传达飞行）;节拍手势，通过简单的标点符号动作传达强调（例如，结合短语“right now”中的每个单词，将惯用手略微向下移动）;以及指示性手势，通过指向来引起人们对实体存在与否的注意（例如，向后摆动拇指以指示自己身后有某物）。表征手势可以进一步分为两大类：标志性手势，传达具体的指称（例如，鸟），以及隐喻手势，传达隐喻指称（例如，狂喜）。因为手势和言语产生于相同的概念内容，所以它们在意义上密切相关 ^4,5。作为交流的标志性视觉媒介，手势可以帮助弥补口语理解方面的挑战⁶，无论是由于个人因素（如所说语言的熟练程度有限）^7,8 还是环境因素（如听语言困难 ^9,10）.因此，手势对于理解面对面和虚拟环境中的人际交流是不可或缺的，可以深入了解说话人和听众如何以多模式传达和理解信息。

已经开发了几个结构化的交互式任务来衡量手势如何影响人际交流。这些任务包括访谈，参与者通过描述他们的个人经历来回答问题^11,12;图像描述，其中向参与者展示静态图像以描述^13,14;解谜，参与者描述如何通过正确定位组件的空间来解谜^15,16;指示条款，其中指示参与者向听众不熟悉的地点提供方向 17,18,19;和叙事复述，参与者观看描绘一系列事件的漫画，然后复述它们 20,21,22。上面引用的研究中采用的许多任务都包含空间内容和动作，手势特别有效地传达了这些内容和动作 15,23,24,25。在上述研究的任务中，参与者通常结合语言产生手势，并评估通过手势传达的信息及其与并发产生的语言的关系。或者，参与者可以在完成其中一项任务时查看某人打手势（或不打手势）和产生语言的录音，然后评估参与者的理解能力。所有这些任务都可以虚拟和面对面进行，从而能够从广泛的参与者那里收集数据并进行跨模式的比较。

手势对人际交流的影响已经在广泛的参与者中实施。特别令人感兴趣的是有沟通障碍的人群，包括幼儿 26,27,28,29,30，第二语言 （L2） 用户 ^8,31,32,33，自闭症谱系障碍 （ASD） ^20,21,22,34，特定语言障碍 35,36,37，失语症患者 ^12,38，脑损伤患者³⁹，口吃者^40,41。这项工作表明，虽然这些人群中的许多人可以利用手势来促进交流，但有些人，例如自闭症谱系障碍患者，可能会遇到利用手势进行有效沟通的困难。研究结果表明，这可能是由于这些人群在多大程度上考虑了受众设计和环境线索，突出了这些解释对手势对沟通影响的实际意义。

洞察手势对人际沟通影响的一个关键特征是对话者的可见性。在手势研究领域中，一个非常重要的问题是参与者在多大程度上为了自己的利益而做手势，这表明将认知操作转移到身体上，而他们的对话者的好处则表明使用手势进行交流。通过使用不透明分区^26,42 以及电话环境¹³ 和虚拟环境⁴³，在面对面环境中检查对话者（非）可见性对手势产生的影响，对这个问题进行了研究。总体而言，这项工作的结果表明，尽管说话者做出手势是为了自己的利益，但在与可见的对话者交流时，他们产生的代表性手势比不可见的对话者多，而无论对话者的可见度如何，节拍手势的产生都是相似的。因此，他们认为具象手势促进了各种语境下的交流，建议说话者考虑到对话者的观点并相应地修改他们的手势生产。尽管之前检查对话者可见性影响的研究有助于深入了解手势对人际交往的贡献，但它侧重于英语作为典型发展人群的第一语言 （L1），因此尚不清楚这些发现是否可以扩展到有沟通困难的人群。两个这样的人群是 L2 学习者，他们可能难以通过目标语言的语音进行交流，以及患有 ASD 的儿童，他们的语言和非语言交流都异常。此外，很少有研究检查对话者可见性对虚拟环境中手势产生的影响，这使得对话者对参与者的可见性影响与参与者对对话者的可见性影响相分离，因此来自这些上下文的结果的可复制性目前尚不清楚。最后，一些研究集中在对话者可见性对特定类型手势产生的影响上，因此尚不清楚其他类型手势的产生是否同样受到对话者可见性的影响。

下面描述的协议操纵对话者的可见性来检查在具有挑战性的情况下的手势产生：ASD 患者的 L2 单词学习和叙述复述。L2 单词学习协议将观察手势对 L2 单词学习影响的研究与通过交互式单词学习范式检查手势对交流贡献的研究联系起来。在这种范式中，不熟悉目标语言的参与者学习其中的单词，然后将这些单词教给不熟悉目标语言的其他参与者，从而允许在对话环境中第二语言习得的最早阶段检查对话者可见性对手势产生的影响。卡通复述范式采用了一种广泛使用的叙事复述任务，其中当对话者的可见性被新的人群（患有 ASD 的青少年）操纵时，已经观察到手势产生的差异。这个人群之所以有趣，是因为语言发展（包括手势产生）在青春期已经成熟，而 ASD 导致语言和非语言交流（包括手势）困难，以及对对话者的交际需求缺乏敏感性。总之，这些协议提供了对手势产生在多大程度上依赖于语音的见解，反之，当人际交流具有挑战性时，可以补偿语音。

根据研究结果，证明听者能见度如何影响 L1 英语使用者的手势产生 13,26,42,43，假设参与者在与可见的对话者讨论 L2 单词时会产生更多的整体手势和更多的代表性手势。根据证明 ASD 手势产生异常的研究结果^20,44，假设患有 ASD 的青少年会产生更少的整体手势以及更少的表征和指示性手势比正常发育 （TD） 的青少年少。此外，根据研究结果显示 ASD 导致透视困难⁴⁵，假设 ASD 青少年的手势产生在可见和不可见对话者存在的情况下不会有显着差异。最后，预测了诊断和能见度之间的相互作用，因此 ASD 青少年的手势产生不会因能见度而异，但 TD 青少年会有所不同。