İletişim Zorluklarının Varlığında Hareket Üretiminin İncelenmesi

Birlikte konuşma jestleri (şimdiye kadar jestler) – konuşma ile eşzamanlı olarak üretilen anlamlı el hareketleri – sözlü içeriği tamamlayan bilgileri ileterek kişilerarası iletişime katkıda bulunur¹. En yaygın kullanılan taksonomi ^2,3’e göre, jestler üç kategoriye ayrılabilir: göndergeleri biçimleri ve hareketleri aracılığıyla ileten temsili jestler (örneğin, uçmayı iletmek için elleri ileri geri çırpmak); basit noktalama hareketleriyle vurguyu ileten vuruş hareketleri (örneğin, “şu anda” ifadesindeki her kelimeyle bağlantılı olarak baskın eli hafifçe aşağı doğru hareket ettirmek); ve işaret etme yoluyla bir varlığın varlığına veya yokluğuna dikkat çeken deiktik hareketler (örneğin, arkasındaki bir şeyi belirtmek için başparmağı geriye doğru sallamak). Temsili jestler ayrıca iki ek kategoriye ayrılabilir: somut referansları ileten ikonik jestler (örneğin, bir kuş) ve metaforik referansları ileten metaforik jestler (örneğin, ecstasy). Jest ve konuşma aynı kavramsal içerikten kaynaklandığından, anlam bakımından yakından ilişkilidirler ^4,5. Jestler, iletişim için ikonik bir görsel araç olarak hizmet ederek, konuşulan dilde sınırlı yeterlilik ^{7,8 veya konuşmayı} duymada zorluk gibi çevresel faktörler ^9,10 gibi bireysel faktörler nedeniyle konuşulan dili anlamada zorluklar ortaya çıktığında telafi etmeye yardımcı olabilir 6. Bu nedenle, jestler, yüz yüze ve sanal bağlamlarda kişilerarası iletişimi anlamanın ayrılmaz bir parçasıdır ve konuşmacıların ve dinleyicilerin bilgileri çok modlu olarak nasıl ilettikleri ve anladıkları konusunda fikir verir.

Jestlerin kişilerarası iletişimi nasıl etkilediğini ölçmek için çeşitli yapılandırılmış etkileşimli görevler geliştirilmiştir. Bu görevler arasında, katılımcıların kişisel deneyimlerini anlatarak sorulara yanıt verdikleri görüşmeler^{yer almaktadır 11,12}; ^13,14’ü tanımlamak için katılımcılara statik bir görüntünün sunulduğu görüntü açıklaması; katılımcıların bileşenleri uzamsal olarak doğru bir şekilde yönlendirerek bir bulmacayı nasıl çözeceklerini anlattıkları bulmaca çözme^15,16; katılımcılara, dinleyicilerin aşina olmadığı bir yere yön vermeleri talimatının verildiği yön hükmü 17,18,19; ve katılımcıların bir dizi olayı tasvir eden bir karikatürü izledikleri ve daha sonra bunları anlattıkları anlatı yeniden anlatımı^20,21,22. Yukarıda belirtilen çalışmalarda kullanılan görevlerin çoğu, jestin belirli bir etkinlikle ilettiği mekansal içerik ve eylemi içerir 15,23,24,25. Yukarıda belirtilen çalışmaların görevlerinde, katılımcılar tipik olarak dil ile bağlantılı olarak jestler üretirler ve jest yoluyla iletilen bilgiler ve bunun eşzamanlı olarak üretilen dil ile ilişkisi değerlendirilir. Alternatif olarak, katılımcılar, bu görevlerden birini tamamlarken el hareketi yapan (veya yapmayan) ve dil üreten birinin kaydını görüntüleyebilir ve ardından katılımcıların anlaması değerlendirilir. Bu görevlerin tümü hem sanal hem de yüz yüze gerçekleştirilebilir, bu da çok çeşitli katılımcılardan veri toplamaya ve modaliteler arasında karşılaştırma yapmaya olanak tanır.

Jestlerin kişilerarası iletişim üzerindeki etkisi geniş bir katılımcı yelpazesiyle uygulanmıştır. Küçük çocuklar 26,27,28,29,30, ikinci dil (L2) kullanıcıları ^8,31,32,33, otizm spektrum bozukluğu (ASD) olan bireyler 20,21,22,34, belirli dil bozukluğu olan bireyler 35,36,37, afazili bireyler ^12,38, beyin hasarı olan bireyler³⁹ ve kekeme olan bireyler^40,41’dir. Bu çalışma, bu popülasyonların birçoğunun iletişimi kolaylaştırmak için jestleri kullanabilmesine rağmen, otizm spektrum bozukluğu olan bireyler gibi bazılarının, etkili bir şekilde iletişim kurmak için jestlerden yararlanmada zorluklarla karşılaşabileceğini ortaya koymuştur. Bulgular, bunun, bu popülasyonların izleyici tasarımını ve çevresel ipuçlarını ne ölçüde dikkate aldığından kaynaklanabileceğini ve bu açıklamaların jestlerin iletişim üzerindeki etkisine ilişkin pratik sonuçlarını vurguladığını göstermektedir.

Hareketlerin kişilerarası iletişim üzerindeki etkisine dair fikir veren önemli bir özellik muhatap görünürlüğüdür. Jest araştırması alanında büyük önem taşıyan bir soru, katılımcıların kendi çıkarları için ne ölçüde jest yaptıkları, bilişsel işlemlerin vücuda boşaltıldığını ve muhataplarının yararına karşı, iletişim kurmak için jest kullanımını gösteren bir jest yaptıklarıdır. Bu soru, opak bir bölme^26,42 kullanımı yoluyla yüz yüze bağlamlarda ve ayrıca telefon bağlamlarında 13 ve sanal bağlamlarda⁴³ muhatap (olmayan) görünürlüğün jest üretimi üzerindeki etkisi incelenerek araştırılmıştır. Genel olarak, bu çalışmanın sonuçları, konuşmacıların kendi çıkarları için hareket etmelerine rağmen, görünür muhataplarla iletişim kurarken görünür olmayan muhataplara göre daha fazla temsili jest ürettiklerini, oysa vuruş hareketi üretiminin muhatap görünürlüğünden bağımsız olarak benzer olduğunu göstermektedir. Bu nedenle, temsili jestin çeşitli bağlamlarda iletişimi kolaylaştırdığını, konuşmacıların muhataplarının bakış açısını dikkate almalarını ve jest üretimlerini buna göre değiştirmelerini önermektedirler. Muhatap görünürlüğünün etkisini inceleyen önceki araştırmalar, jestlerin kişilerarası iletişime katkıları hakkında fikir vermede etkili olmuş olsa da, tipik olarak gelişmekte olan popülasyonlarda ilk dil olarak İngilizce’ye (L1) odaklanmıştır, bu nedenle bulguların iletişim güçlüğü çeken popülasyonlara genişletilip genişletilemeyeceği belirsizdir. Bu tür iki popülasyon, hedef dilde konuşma yoluyla iletişim kurmakta zorlanabilen L2 öğrencileri ve sözlü ve sözsüz iletişimi anormal olan ASD’li çocuklardır. Ayrıca, çok az araştırma, muhatap görünürlüğünün sanal bağlamlarda jest üretimi üzerindeki etkisini incelemiştir, bu da muhatabın görünürlüğünün katılımcı üzerindeki etkisinin, katılımcının muhatap üzerindeki görünürlüğünün etkisinden ayrılmasına izin verir, bu nedenle bu bağlamlardan elde edilen bulguların tekrarlanabilirliği şu anda belirsizdir. Son olarak, bazı araştırmalar muhatap görünürlüğünün belirli jest türlerinin üretimi üzerindeki etkisine odaklanmıştır, bu nedenle diğer jest türlerinin üretiminin muhatap görünürlüğünden benzer şekilde etkilenip etkilenmediği belirsizdir.

Aşağıda açıklanan protokoller, zorlu koşullarda jest üretimini incelemek için muhatap görünürlüğünü manipüle eder: ASD’li bireyler tarafından L2 kelime öğrenimi ve anlatı yeniden anlatımı. L2 kelime öğrenme protokolü, jestleri gözlemlemenin L2 kelime öğrenimi üzerindeki etkisini inceleyen araştırmalarla, etkileşimli bir kelime öğrenme paradigması aracılığıyla jestlerin iletişime katkısını inceleyen araştırmalar arasında köprü kurar. Bu paradigmada, hedef dile aşina olmayan katılımcılar, hedef dildeki kelimeleri öğrenir ve daha sonra bu kelimeleri hedef dile aşina olmayan diğer katılımcılara öğretir, bu da muhatap görünürlüğünün jest üretimi üzerindeki etkisinin, L2 ediniminin en erken aşamalarında bir konuşma bağlamında incelenmesine izin verir. Karikatür yeniden anlatım paradigması, muhatap görünürlüğü yeni bir popülasyonla manipüle edildiğinde jest üretimindeki farklılıkların gözlemlendiği, yaygın olarak kullanılan bir anlatı yeniden anlatma görevi kullanır: ASD’li ergenler. Bu popülasyon ilgi çekicidir, çünkü jest üretimi de dahil olmak üzere dil gelişimi ergenlik döneminde olgunlaşır ve ASD, jestler de dahil olmak üzere sözlü ve sözsüz iletişimde zorluk çekmenin yanı sıra muhatapların iletişimsel ihtiyaçlarına duyarlılık eksikliği gerektirir. Birlikte, bu protokoller, kişilerarası iletişim zor olduğunda jest üretiminin konuşmaya ne ölçüde bağımlı olduğu ve tersine, bunu telafi edebileceği – hakkında fikir verir.

Dinleyici görünürlüğünün L1 İngilizce konuşanlar 13,26,42,43 tarafından jest üretimini nasıl etkilediğini gösteren bulgulara dayanarak, katılımcıların L2 kelimelerini görünür olmayan bir muhataptan ziyade görünür bir muhatapla tartışırken daha genel jestler ve daha fazla temsili jest üretecekleri varsayılmıştır. OSB^20,44’te jest üretimindeki anormallikleri gösteren bulgulara dayanarak, OSB’li ergenlerin, tipik olarak gelişen (TD) ergenlere göre daha az genel jest ve daha az temsili ve deiktik jest üreteceği varsayılmıştır. Ayrıca, OSB’nin perspektif almada güçlük çektiğini gösteren bulgulara⁴⁵ dayanarak, OSB’li ergenlerin jest üretiminin, görünür ve görünür olmayan muhatapların varlığında anlamlı bir farklılık göstermeyeceği varsayılmıştır. Son olarak, tanı ve görünürlük arasında bir etkileşim öngörülmüştür, öyle ki jest üretimi OSB’li ergenler için görünürlüğe göre farklılık göstermeyecek, ancak TD ergenleri için farklılık gösterecektir.