Изучение воспроизведения жестов в условиях проблем коммуникации

Жесты совместной речи (ранее жесты) – осмысленные движения рук, производимые одновременно с речью, – способствуют межличностному общению, передавая информацию, дополняющую вербальное содержание¹. Согласно наиболее широко используемой таксономии ^2,3, жесты можно разделить на три категории: репрезентативные жесты, которые передают референты через их форму и движение (например, взмахи руками вперед и назад для передачи полета); жесты бита, которые передают акцент с помощью простых точечных движений (например, перемещение доминирующей руки немного вниз в сочетании с каждым словом во фразе «прямо сейчас»); и дейктические жесты, которые привлекают внимание к присутствию или отсутствию объекта с помощью указания (например, поворот большого пальца назад, чтобы указать на что-то позади себя). Репрезентативные жесты можно разделить на две дополнительные категории: иконические жесты, которые передают конкретные референты (например, птицу), и метафорические жесты, которые передают метафорические референты (например, экстаз). Поскольку жест и речь возникают из одного и того же концептуального содержания, они тесно связаны по смыслу ^4,5. Выступая в качестве знакового визуального средства коммуникации, жесты могут помочь компенсировать возникающие проблемы с пониманием устной речи⁶, будь то из-за индивидуальных факторов, таких как ограниченное владение языком, на котором говорят ^7,8, или факторов окружающей среды, таких как трудности с восприятием речи ^9,10. Таким образом, жесты являются неотъемлемой частью понимания межличностного общения в личном и виртуальном контекстах, обеспечивая понимание того, как говорящие и слушатели передают и понимают информацию мультимодально.

Было разработано несколько структурированных интерактивных заданий для измерения того, как жест влияет на межличностное общение. Эти задания включают в себя интервью, в которых участники отвечают на вопросы, описывая свой личный опыт^11,12; описание изображения, в котором участникам представлено статическое изображение для описания^13,14; решение головоломок, в котором участники описывают, как решить головоломку путем правильной пространственной ориентации компонентов^15,16; предоставление указаний, в котором участникам дается указание указать направление в незнакомое для слушателей место 17,18,19; и повествовательный пересказ, в котором участники смотрят мультфильм, изображающий последовательность событий, а затем пересказывают их 20,21,22. Многие из задач, использованных в вышеупомянутых исследованиях, включают пространственное содержание и действие, которое с особой эффективностью передает жест 15,23,24,25. В заданиях для упомянутых выше исследований участники обычно произносят жесты в сочетании с языком, а также оценивается информация, передаваемая с помощью жестов, и ее связь с одновременно производимым языком. В качестве альтернативы участники могут просмотреть запись того, как кто-то жестикулирует (или не жестикулирует) и произносит речь при выполнении одного из этих заданий, после чего оценивается понимание участников. Все эти задачи могут выполняться как виртуально, так и лично, что позволяет собирать данные от широкого круга участников и сравнивать их между методами.

Влияние жестов на межличностное общение было реализовано с участием широкого круга участников. Особый интерес вызвали группы населения с коммуникативными проблемами, в том числе дети^{младшего возраста} 26,27,28,29,30, пользователи второго языка (L2) ^8,31,32,33, лица с расстройствами аутистического спектра (РАС)^20,21,22,34, лица со специфическими особенностями Нарушения речи 35,36,37, лица с афазией ^12,38, лица с черепно-мозговой травмой³⁹ и лица с заиканием^40,41. Эта работа показала, что, хотя многие из этих групп населения могут использовать жесты для облегчения общения, некоторые, такие как люди с расстройством аутистического спектра, могут столкнуться с трудностями при использовании жестов для эффективного общения. Полученные данные свидетельствуют о том, что это может быть связано с тем, в какой степени эти группы населения принимают во внимание дизайн аудитории и сигналы окружающей среды, подчеркивая практические последствия этих объяснений для влияния жестов на коммуникацию.

Ключевой особенностью, позволяющей получить представление о влиянии жестов на межличностное общение, является видимость собеседника. Вопрос, имеющий большое значение в области исследования жестов, заключается в том, в какой степени участники жестикулируют для собственной выгоды, указывая на разгрузку когнитивных операций на тело, по сравнению с пользой для своих собеседников, указывающей на использование жеста для общения. Этот вопрос был исследован путем изучения влияния (не)видимости собеседника на воспроизведение жестов в контекстах лицом к лицу посредством использования непрозрачной перегородки^26,42, а также в телефонных контекстах¹³ и виртуальных контекстах⁴³. В целом, результаты этой работы показывают, что, хотя говорящие жестикулируют в своих интересах, они производят больше репрезентативных жестов при общении с видимыми, чем с невидимыми собеседниками, в то время как производство жестов ритма одинаково независимо от видимости собеседника. Таким образом, они предполагают, что репрезентативный жест облегчает коммуникацию в различных контекстах, предполагая, что говорящие учитывают точку зрения своих собеседников и соответствующим образом модифицируют свои жесты. Несмотря на то, что предыдущее исследование, изучающее влияние видимости собеседника, сыграло важную роль в понимании вклада жестов в межличностную коммуникацию, оно было сосредоточено на английском как первом языке (L1) в типично развивающихся популяциях, поэтому неясно, можно ли распространить полученные результаты на группы населения с коммуникативными проблемами. Две такие группы — это учащиеся L2, которые могут испытывать трудности с общением с помощью речи на изучаемом языке, и дети с РАС, чьи вербальные и невербальные коммуникации являются ненормальными. Кроме того, в немногих исследованиях изучалось влияние видимости собеседника на производство жестов в виртуальных контекстах, которые позволяют отделить влияние видимости собеседника на участника от эффекта видимости участника для собеседника, поэтому воспроизводимость результатов из этих контекстов в настоящее время неясна. Наконец, некоторые исследования были сосредоточены на влиянии видимости собеседника на производство конкретных типов жестов, поэтому неясно, влияет ли видимость собеседника на производство других типов жестов аналогичным образом.

Описанные ниже протоколы манипулируют видимостью собеседника для изучения воспроизведения жестов в сложных обстоятельствах: заучивание слов L2 и пересказ повествования людьми с РАС. Протокол изучения слов L2 объединяет исследования, изучающие влияние наблюдения за жестами на обучение слову L2, с исследованиями, изучающими вклад жестов в коммуникацию через интерактивную парадигму изучения слов. В этой парадигме участники, незнакомые с целевым языком, изучают слова на нем, а затем обучают этим словам других участников, незнакомых с изучаемым языком, что позволяет изучить влияние видимости собеседника на производство жестов на самых ранних стадиях усвоения L2 в разговорном контексте. Парадигма пересказа мультфильмов использует широко используемую задачу нарративного пересказа, в которой наблюдаются различия в воспроизведении жестов при манипулировании видимостью собеседника с новой популяцией: подростками с РАС. Эта популяция представляет интерес, потому что языковое развитие, включая производство жестов, созревает к подростковому возрасту, а РАС влечет за собой трудности с вербальной и невербальной коммуникацией, включая жесты, а также с недостаточной чувствительностью к коммуникативным потребностям собеседников. Вместе эти протоколы дают представление о том, в какой степени производство жестов зависит от речи и, наоборот, может компенсировать ее, когда межличностное общение затруднено.

Основываясь на выводах, демонстрирующих, как видимость слушателя влияет на воспроизведение жестов носителями английского языка L1 13,26,42,43, было высказано предположение, что участники будут производить больше общих жестов и больше репрезентативных жестов при обсуждении слов L2 с видимым, чем невидимым собеседником. Основываясь на результатах, демонстрирующих аномалии в производстве жестов при РАС^20,44, была выдвинута гипотеза о том, что подростки с РАС будут производить меньше общих жестов, а также меньше репрезентативных и дейктических жестов, чем типично развивающиеся подростки. Более того, основываясь на результатах^, показывающих, что РАС влечет за собой трудности с восприятием перспективы, была выдвинута гипотеза о том, что производство жестов подростками с РАС не будет существенно отличаться в присутствии видимых и невидимых собеседников. Наконец, было предсказано взаимодействие между диагнозом и видимостью, таким образом, что производство жестов не будет отличаться по видимости у подростков с РАС, но будет отличаться от видимости у подростков с ТД.