Summary

בחינת ייצור מחוות בנוכחות אתגרי תקשורת

Published: January 26, 2024
doi:

Summary

כאן, אנו מציגים פרוטוקול המתמרן את נראות בן שיחו כדי לבחון את השפעתו על ייצור מחוות בתקשורת בין-אישית. פרוטוקול זה גמיש למשימות שבוצעו, למחוות שנבחנו ולאופן התקשורת. הוא אידיאלי לאוכלוסיות עם אתגרי תקשורת, כגון לומדי שפה שנייה ואנשים על הספקטרום האוטיסטי.

Abstract

ההבנה מדוע דוברים משנים את מחוות הידיים שלהם בדיבור משותף כאשר הם מדברים עם בני שיח מספקת תובנה רבת ערך לגבי האופן שבו מחוות אלה תורמות לתקשורת בין-אישית בהקשרים פנים אל פנים ובהקשרים וירטואליים. הפרוטוקולים הנוכחיים מתמרנים את הנראות של הדוברים ובני שיחם במקביל בהקשר פנים אל פנים כדי לבחון את השפעת הנראות על הפקת מחוות כאשר התקשורת מאתגרת. בפרוטוקולים אלה, הדוברים משלימים משימות כגון הוראת מילים משפה שנייה לא מוכרת או לספר את אירועי הקריקטורות לבן שיח שהוא משתתף אחר או קונפדרציה. בעת ביצוע משימות אלה, הדוברים גלויים או לא גלויים לבן שיחם, והדובר גלוי או לא גלוי למשתתף. במטלת למידת המילים, הדוברים ובני שיחו הגלויים זה לזה מייצרים יותר מחוות ייצוגיות, המעבירות משמעות באמצעות צורת יד ותנועה, ומחוות דיקטיות (הצבעה) מאשר דוברים ובני שיח שאינם גלויים זה לזה. בפרוטוקול הסיפור מחדש של הנרטיב, מתבגרים עם הפרעת הספקטרום האוטיסטי (ASD) הפיקו יותר מחוות כאשר דיברו עם בני שיח גלויים מאשר בני שיח שאינם נראים לעין. חוזקה מרכזית של הפרוטוקול הנוכחי היא גמישותו מבחינת המשימות, האוכלוסיות והמחוות שנבדקו, וניתן ליישם את הפרוטוקול הנוכחי בשיחות ועידה בווידאו כמו גם בהקשרים פנים אל פנים. לפיכך, לפרוטוקול הנוכחי יש פוטנציאל לקדם את ההבנה של ייצור מחוות על ידי הבהרת תפקידה בתקשורת בין-אישית באוכלוסיות עם אתגרי תקשורת.

Introduction

מחוות דיבור משותף (עד כה, מחוות) – תנועות ידיים משמעותיות המיוצרות במקביל לדיבור – תורמות לתקשורת בין אישית על ידי העברת מידע המשלים תוכן מילולי1. על פי הטקסונומיה הנפוצה ביותר 2,3, ניתן לחלק את המחוות לשלוש קטגוריות: מחוות ייצוגיות, המעבירות רפרנטים באמצעות צורתם ותנועתם (למשל, נפנוף הידיים קדימה ואחורה יחד כדי להעביר טיסה); מחוות פעימה, המעבירות הדגשה באמצעות תנועות ניקוב פשוטות (למשל, הזזת היד הדומיננטית מעט כלפי מטה בשילוב עם כל מילה בביטוי “ברגע זה”); ומחוות דיקטיות, אשר מושכות תשומת לב לנוכחות או היעדר ישות באמצעות הצבעה (למשל, הנפת האגודל לאחור כדי להצביע על משהו מאחורי עצמך). ניתן לחלק את המחוות הייצוגיות לשתי קטגוריות נוספות: מחוות איקוניות, המעבירות רפרנטים קונקרטיים (למשל, ציפור), ומחוות מטפוריות, המעבירות רפרנטים מטאפוריים (למשל, אקסטזי). מכיוון שמחווה ודיבור נובעים מאותו תוכן מושגי, הם קשורים זה לזה במשמעות 4,5. על ידי שימוש כמדיום חזותי איקוני לתקשורת, מחוות יכולות לעזור לפצות כאשר אתגרים בהבנת השפה המדוברת מתעוררים6, בין אם בשל גורמים בודדים כגון מיומנות מוגבלת בשפה המדוברת 7,8 או גורמים סביבתיים כגון קושי בשמיעת דיבור 9,10. לפיכך, מחוות הן חלק בלתי נפרד מהבנת תקשורת בין-אישית בהקשרים פנים אל פנים ווירטואליים, ומספקות תובנה לגבי האופן שבו דוברים ומאזינים מעבירים ומבינים מידע באופן רב-מודאלי.

מספר משימות אינטראקטיביות מובנות פותחו כדי למדוד כיצד מחווה משפיעה על תקשורת בין-אישית. משימות אלה כוללות ראיונות, שבהם המשתתפים מגיבים לשאלות על ידי תיאור חוויותיהם האישיות11,12; תיאור תמונה, שבו תמונה סטטית מוצגת למשתתפים כדי לתאר13,14; פתרון חידות, שבו המשתתפים מתארים כיצד לפתור חידה על ידי כיוון מרחבי נכוןשל רכיבים 15,16; מתן הנחיות, שבו המשתתפים מונחים לתת הנחיות למקום שאינו מוכר למאזינים 17,18,19; וסיפור נרטיבי, שבו המשתתפים צופים בקריקטורה המתארת רצף של אירועים ולאחר מכן מספרים אותם 20,21,22. רבות מהמשימות שהופעלו במחקרים שצוטטו לעיל משלבות תוכן מרחבי ופעולה, אשר מחווה משדרת ביעילות מיוחדת 15,23,24,25. במטלות עבור המחקרים שצוטטו לעיל, המשתתפים בדרך כלל מייצרים מחוות בשילוב עם שפה, ומידע המועבר באמצעות מחווה והקשר שלה לשפה המיוצרת בו זמנית מוערך. לחלופין, המשתתפים יכולים לצפות בהקלטה של מישהו מחווה (או לא מחוות) ומפיק שפה בעת השלמת אחת המשימות הללו, ולאחר מכן מוערכת הבנת המשתתפים. כל המשימות הללו יכולות להתבצע באופן וירטואלי כמו גם פנים אל פנים, מה שמאפשר איסוף נתונים ממגוון רחב של משתתפים והשוואה בין אופנים.

השפעת המחוות על התקשורת הבין-אישית יושמה עם מגוון רחב של משתתפים. מעניינות במיוחד אוכלוסיות עם אתגרי תקשורת, כולל ילדים צעירים 26,27,28,29,30, משתמשי שפה שנייה (L2) 8,31,32,33, אנשים עם הפרעת ספקטרום האוטיזם (ASD)20,21,22,34, אנשים עם ספציפי לקות שפה 35,36,37, אנשים עם אפזיה 12,38, אנשים עם פגיעה מוחית39, ואנשים מגמגמים40,41. עבודה זו גילתה כי בעוד שרבות מאוכלוסיות אלה יכולות להשתמש במחוות כדי להקל על התקשורת, חלקן, כגון אנשים עם הפרעת ספקטרום האוטיזם, עשויות להיתקל בקושי למנף מחוות כדי לתקשר ביעילות. הממצאים מצביעים על כך שייתכן שהדבר נובע מהמידה שבה אוכלוסיות אלה מתחשבות בעיצוב הקהל וברמזים סביבתיים, ומדגישים את ההשלכות המעשיות של הסברים אלה על השפעת המחוות על התקשורת.

תכונה מרכזית המספקת תובנה לגבי ההשפעה של מחוות על תקשורת בין-אישית היא נראות בן שיח. שאלה בעלת חשיבות רבה בתחום חקר המחוות היא המידה שבה המשתתפים מחוות לטובתם, המצביעים על פריקת פעולות קוגניטיביות על הגוף, לעומת התועלת של בני שיחם, המצביעים על השימוש במחווה כדי לתקשר. שאלה זו נחקרה על ידי בחינת ההשפעה של נראות (אי-) בן שיח על ייצור מחוות בהקשרים פנים אל פנים באמצעות שימוש במחיצה אטומה26,42, וכן בהקשרים טלפוניים13 ובהקשרים וירטואליים43. בסך הכל, התוצאות של עבודה זו מצביעות על כך שלמרות שהדוברים מחוות לטובתם, הם מייצרים מחוות ייצוגיות יותר בעת תקשורת עם בני שיח גלויים מאשר בלתי גלויים, ואילו ייצור מחוות פעימה דומה ללא קשר לנראות בן שיחו. לפיכך, הם מציעים כי מחווה ייצוגית מאפשרת תקשורת במגוון הקשרים, ומציעים כי הדוברים לוקחים בחשבון את נקודת המבט של בני שיחם ומשנים את הפקת המחוות שלהם בהתאם. למרות שמחקרים קודמים שבחנו את ההשפעה של נראות בני שיח סייעו לספק תובנה לגבי תרומת המחווה לתקשורת בין-אישית, הם התמקדו באנגלית כשפה ראשונה (L1) באוכלוסיות מתפתחות בדרך כלל, כך שלא ברור אם ניתן להרחיב את הממצאים לאוכלוסיות עם אתגרי תקשורת. שתי אוכלוסיות כאלה הן לומדי L2, שעלולים להתקשות לתקשר באמצעות דיבור בשפת היעד, וילדים עם ASD, שהתקשורת המילולית והלא מילולית שלהם אינה תקינה. יתר על כן, מחקרים מעטים בחנו את השפעת הנראות של בן שיחו על ייצור מחוות בהקשרים וירטואליים, המאפשרים לנתק את השפעת הנראות של בן שיחו על המשתתף מהשפעת הנראות של המשתתף על בן שיחו, כך שיכולת השכפול של ממצאים מהקשרים אלה אינה ברורה כיום. לבסוף, כמה מחקרים התמקדו בהשפעה של נראות בן שיחו על הייצור של סוגים ספציפיים של מחוות, ולכן לא ברור אם הייצור של סוגים אחרים של מחוות מושפע באופן דומה על ידי נראות בן שיחו.

הפרוטוקולים המתוארים להלן מתמרנים את נראות בני שיחו כדי לבחון את ייצור המחוות בנסיבות מאתגרות: למידת מילים L2 וסיפור מחדש נרטיבי על ידי אנשים עם ASD. פרוטוקול למידת מילים L2 מגשר בין מחקר הבוחן את ההשפעה של התבוננות במחוות על למידת מילים L2 לבין מחקר הבוחן את תרומתן של מחוות לתקשורת באמצעות פרדיגמת למידת מילים אינטראקטיבית. בפרדיגמה זו, משתתפים שאינם מכירים את שפת היעד לומדים בה מילים ולאחר מכן מלמדים מילים אלה למשתתפים אחרים שאינם מכירים את שפת היעד, מה שמאפשר לבחון את ההשפעה של נראות בן שיחו על ייצור המחוות בשלבים המוקדמים ביותר של רכישת L2 בהקשר שיחתי. פרדיגמת הסיפור מחדש של הקריקטורה משתמשת במשימת סיפור מחדש נראטיבית נפוצה שבה נצפו הבדלים בייצור המחוות כאשר נראות בן שיחו מתומרנת עם אוכלוסייה חדשה: מתבגרים עם ASD. אוכלוסייה זו מעניינת משום שהתפתחות השפה, כולל הפקת מחוות, בוגרת בגיל ההתבגרות, ואוטיזם כרוך בקושי בתקשורת מילולית ולא מילולית, כולל מחוות, כמו גם חוסר רגישות לצרכים התקשורתיים של בני שיחם. יחד, פרוטוקולים אלה מספקים תובנה לגבי המידה שבה ייצור מחוות תלוי – ולהיפך, יכול לפצות על – דיבור כאשר התקשורת הבין-אישית מאתגרת.

בהתבסס על ממצאים המדגימים כיצד נראות המאזין משפיעה על הפקת המחוות על ידי דוברי אנגלית L1 13,26,42,43, שוער כי המשתתפים יפיקו יותר מחוות כלליות ומחוות ייצוגיות יותר כאשר דנים במילים L2 עם בן שיח גלוי מאשר בן שיח שאינו נראה. בהתבסס על ממצאים המדגימים חריגות בייצור מחוות באוטיזם20,44, שוער כי מתבגרים עם ASD יפיקו פחות מחוות כלליות, כמו גם פחות מחוות ייצוגיות ודיקטיות מאשר מתבגרים מתפתחים בדרך כלל (TD). יתר על כן, בהתבסס על ממצאים המראים כי ASD כרוך בקושי עם לקיחת פרספקטיבה45, הועלתה השערה כי ייצור מחוות על ידי מתבגרים עם ASD לא יהיה שונה באופן משמעותי בנוכחות בני שיח גלויים ולא גלויים. לבסוף, נחזתה אינטראקציה בין אבחון לנראות, כך שייצור המחוות לא יהיה שונה בנראות עבור מתבגרים עם ASD אלא עבור מתבגרים עם TD.

Protocol

כל המשתתפים נתנו הסכמה בכתב, וכל הפרוטוקולים אושרו על ידי ועדות הביקורת המוסדיות במוסד המארח. הפרוטוקולים של למידת מילים L2 וקריקטורה מחדש יושמו במחקרים שעליהם מבוססות התוצאות המייצגות 21,33. למרות שפרוטוקולים אלה נערכו עד כה רק בהקשרים פני…

Representative Results

למידת מילים L2יישום: התוצאות המדווחות להלן מבוססות על נתונים שנאספו מ-52 משתתפים בריאים (21 גברים, 31 נשים; גיל: M = 20.15, SD = 1.73, טווח = 18-28) על פי הפרוטוקול המתואר לעיל. כל הדיבור והמחוות קודדו על ידי מתכנת ראשי, שלא יכול היה להיות עיוור למצב הראות מכיוון שנ…

Discussion

הפרוטוקול הנוכחי מתמרן את הנראות של הדובר ובן שיחו זה לזה, ומספק תובנה לגבי השפעתו על ייצור מחוות בנסיבות מאתגרות: למידת מילים L2 וסיפור מחדש נרטיבי על ידי מתבגרים עם ASD. פרוטוקול זה יכול להיות מיושם באופן אישי או וירטואלי, המאפשר לנראות המשתתף ובן שיחו להיות מניפולציה במק…

Disclosures

The authors have nothing to disclose.

Acknowledgements

פיתוח ותיקוף של פרוטוקול למידת המילים L2 נתמך על ידי מלגת NDSEG (National Defense Science and Engineering Graduate – NDSEG) (32 CFR 168a) שהונפקה על ידי משרד המחקר המדעי של חיל האוויר של משרד ההגנה האמריקאי. פיתוח ותיקוף של פרוטוקול הסיפור מחדש של קריקטורות עם מתבגרים עם ASD נתמך על ידי פרס שירות המחקר הלאומי המוסדי ע”ש רות ס. קירששטיין (T32) מהמכונים הלאומיים לבריאות הנפש. המחבר מודה לרייצ’ל פאדר, תיאו האוגן, אנדרו לין, אשלי קפוטו ומרקו פילוטה על הסיוע באיסוף נתונים וקידוד.

Materials

Computer Apple Z131 24" iMac, 8-core CPU & GPU, M3 chip
Conference USB microphone Tonor B07GVGMW59
ELAN The Language Archive Software application used to transcribe speech and gesture
Video Recorder Vjianger B07YBCMXJJ FHD 2.7K 30 FPS 24 MP 16X digital zoom 3" touch screen video recorder with renote control and tripod
Weschler Abbreviated Scale of Intelligence Pearson 158981561 Used to verify full scale IQ ≥ 80 in Morett et al. (2016)

References

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297 (2011).
  2. McNeill, D. . Hand and Mind. , (1992).
  3. McNeill, D. . Gesture and thought. , (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765 (2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you’re saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. . Gesture, Thought and Spatial Language. , (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults’ recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490 (2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O’Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -. M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children’s gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers’ comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children’s prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck’s garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture’s effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -. L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -. Y., Lam, W. -. Y., Cheng, C. -. H., So, W. -. C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212 (2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, &. #. 2. 1. 4. ;. E., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815 (2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. . Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -. C., Wong, M. K. -. Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. . Wechsler Abbreviated Scale of Intelligence. , (1999).
  47. Macwhinney, B. . The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

Play Video

Cite This Article
Morett, L. M. Examining Gesture Production in the Presence of Communication Challenges. J. Vis. Exp. (203), e66256, doi:10.3791/66256 (2024).

View Video