Görsel Görüntülerin Ve Öğrenme Şekli-Ses Düzenliliklerinin Bouba ve Kiki Üzerindeki Etkisini Araştırma
Summary
Sunulan protokolün amacı, bouba/kiki-etkisinde görsel imgelerin rolünü araştırmak, bouba/kiki şekil-ses düzenliliklerini fark etme eğitiminin bouba/kiki-efektini etkileyip etkilemediğini ve tek tek bouba ve kiki şekillerinin tanınmasını, ve son olarak ne zihinsel görüntüler bu düzenlilikler üretmek.
Abstract
Bu makale, bouba/kiki-etkisinde görsel imgelerin rolünün araştırılması için bir protokol sunar, bouba/kiki şekil-ses düzenliliklerini fark etme eğitimi bouba/kiki-efektini etkileyip etkilemediğini ve tek tek bouba ve kiki şekillerinin tanınmasını, ve son olarak ne zihinsel görüntüler bu düzenlilikler üretmek. Bouba/kiki şekil-ses düzenlilikleri oluşturmak için iki tür şekil (doldurulmuş; ana hatlarıyla) ve iki tür ses (sözcük; sözcük dışı ses) vardı. Üç grup birey üç deneye katıldı: Kör, göz bağı ve görme. Deneyler katılımcılar arasında sabit bir sırada, aralarında hiçbir mola ile yapılmıştır. Deney 1’de (grup içi tekrarlanan üç test öncesi tasarım) katılımcılardan işitsel bouba/kiki ile ilişkili şekillerini seçmeleri istendi; Deney 2’de (özne içi tasarım), bir şekil ve bazı ses (bazen uyumlu; bazen uyumsuz) ‘bouba’ veya ‘kiki;’ ve Deney 3’te (test sonrası yalnızca tasarım) işitsel bouba/kiki ile ilişkili şekilleri çizmek için isim lendirilir. Sonuçlar, göz bağı grubunun yeni problemleri çözmek için görsel imgelerden yararlandığını, ancak uzun vadede değil; bouba/kiki şekil-ses düzenliliklerini fark etme eğitiminin bouba/kiki-etkisini ve tek tek bouba ve kiki şekillerinin tanınmasını etkilediğini, ancak her deney grubunda farklı olduğunu; ve tüm deneysel grupların bouba (eğri) ve kiki (açı) en karakteristik şekil özelliği zihinsel görüntüler oluşturmak. Aslında, görsel görüntülerin etkisi görevler arasında sağlam, ama uzun vadeli değil; şekil-ses düzenliliklerini öğrenmenin etkisi uzun vadeli dir, ancak görevler arasında değildir. Sunulan protokol, görsel görüntülerin ve öğrenme şekli-ses düzenliliklerinin, ne zaman meydana geldiğinin ve ne kadar sağlam olduklarının araştırılması için uygundur; belirli bireylerve bireylerin gruplarında. Bu protokol, eğitim ve test sırasında hem görsel görüntüleri hem de duyusal bilgileri kontrol altında tutması açısından benzersizdir.
Introduction
Dünya nüfusunun %95’i işitsel-görsel bir bouba/kiki-efekti gösterir, görsel olarak yuvarlak şekli konuşulan kelime ile ilişkilendirerek, ‘bouba;’ ve görsel olarak köşeli şekli ‘kiki;’ kelimesi ile yaparlar ve bunu herhangi bir deneyim yaşamadıkları nda bile yaparlar. ya şekil ya da kelime1ile . Bouba/kiki etkisi dil öğreniminden önce gelir; bu diller arasında oluşur1,2,3,4,5, hem bouba ve kiki (cf. görsel açıları üzerinde görsel eğrileri için insanların tercihi6,7 , 8.000 , 9), ve sesli harfler ve ünsüzlerin birleşimine bağlıdır (örneğin, ‘bibi’ ve ‘kuku’ ile oluşmaz.) 1.1.2 , 5.000 , 10.000 , 11.11.20 , 12. Bu şekil-kelime ilişkisi diğer şekil ve kelime çiftleri ile de oluşur, sürece onlar esas olarak eğri, bouba olarak, ve esas olarak açısal, kiki11olarak ,13; ve/veya ‘bouba’ ve ‘kiki’ ile aynı sesli harf ve ünsüz kombinasyonuna sahiptirler, örneğin: ‘Baluma’ ve ‘takete’, ‘maluma’ ve ‘takete’, ‘uloomo’ ve ‘takete,’ ‘maa-boo-maa’ ve ‘tuh-kee-tee’1,3, 4,10,11,12,14. Aslında insanlar yuvarlak görsel şekilleri sürekli ünsüzler (/l/ ve /m/) ve açık arka sesli harfler (örneğin///, ve /ţ:/) içeren konuşulan sözcüklerle ve görsel açısal şekilleri plosive ünsüzler içeren konuşulan sözcüklerle ilişkilendirirler (örneğin/ k/ ve /t/) ve yakın ön sesli harfler ((/ε/ ve /I/)11,12,15,16gibi . Özellikle sessiz olanlar (örneğin, / k / ve / t / )11,12,15,16. Gerçekten de, küresel şekillerin özellikleri gibi görünüyor – onların eğrileri ve açıları17 – ve konuşulan kelimelerin sesi – onların melodi17 – en önemli, küresel şekiller ve kelimelerin kendilerini aksine.
Bir çalışmada görsel bouba/kiki şekilleri yerine dokunsal bouba ve kiki ile bouba/kiki-etkisi araştırılmış ve görme engelli katılımcıların anlamlı derecede daha az sağlam bouba/kiki-etkisi (%~64) gösterdiği bulunmuştur. tam görüşlü (~90%)18daha . Bu çalışma, kör ve kısmen gören katılımcılar arasında önemli ölçüde daha az sağlam bouba/kiki-etkisinin görsel görüntü eksikliğinden kaynaklandığını savundu: Tam gören katılımcılar çevrelerindeki düzenlilikleri fark etmemişlerdi. görme18bozulduğunda kolayca erişilebiliyor. Ancak bu çalışmadan, bouba/kiki-etkisinin gerçekleşmesi için görsel görüntülerin gerekli olup olmadığı açık değildir: Görme bozukluğu olan 42 katılımcıdan sadece altısı doğuştan tamamen kör18idi, bu nedenle hiç görsel görüntü yoktu. Ayrıca, diğer katılımcılar, bunların hiçbiri gözleri bağlı, bouba / kiki kelime ilan ederken deneycinin dudak hareketleri gözlemlenmiş olabilir – ‘bouba’ ve açısal dudak hareketleri ilan ederken dudak hareketleri yuvarlak ‘kiki’1 ilan , 18 – herhangi bir görsel görüntü üzerine çizim yerine dokunsal-görsel-işitsel bouba / kiki-etkisi gösteren. Buna ek olarak, dokunsal-işitsel düzenlilikleri fark etme etkisi, örneğin, dört denemede de etkisini hesaplamak yerine, bir deneme deki bouba/kiki-etkisini karşılaştırarak araştırılmadı. Ayrıca, dokunsal bouba ve kiki denemeler arasında oldukça farklıydı: denemelerbir ve iki onlar 3D ve 2D şekiller (kavisli v açısal); denemelerde üç ve dört, şekil (daire) ve doku farklı (pürüzsüz v kaba; pürüzsüz v dikenli)18aynı . İlgili bir ven, bir çalışmada gözleri bağlı (tamamen görüşlü) bireylerde bir kinestetik-işitsel bouba / kiki-etkisi araştırılmış ve bulundu, bouba ve kiki yörüngeleri çizmek için programlanmış bir robot kalem tutan iki dakikalık bir eğitim süresi sonra şekiller, 82% bouba / kiki-etkisi19gösterdi. Ancak bu çalışmadan bouba/kiki-etkisinin eğitim dönemi nedeniyle oluşup oluşmadığı açık değildir: Çalışmada bir ön test veya bir kontrol grubu yer almadı.
Bu amaçla, dokunsal/görsel-işitsel bouba ve kiki düzenliliklerini fark etme eğitiminin bouba/kiki-efektini etkileyip etkilemediğini ve bireysel dokunsal/görsel bouba ve kiki şekiller, ve son olarak ne zihinsel görüntüler bu şekil-ses düzenlilikler17üretti . Bouba/kiki şekil-ses düzenlilikleri oluşturmak için – sadece, örneğin, kiki-şekil/kiki-kelime özellikleri1 – bu çalışma dokunsal / görsel bouba / kiki şekiller iki tür dahil (dolu; özetlenen) ve işitsel bouba / kiki iki tür [ses ( kelime; olmayan kelime ses)]17. Üç grup birey üç deneye katılmıştır: Kör (N = 12), göz bağı (N = 12) ve görme (N = 12). Deneyler katılımcılar arasında sabit bir sırada ve aralarında hiçbir mola olmadan, katılımcıların bouba ve kiki ile deneyim miktarını ve türünü kontrol altında tutmak için yapılmıştır. Deney 1’de (grup içi tekrarlanan üç test öncesi tasarım) katılımcılardan işitsel bouba/kiki ile ilişkili dokunsal/görsel şekli seçmeleri istendi; Deney 2’de (özne içi tasarım), bir dokunsal/görsel şekil ve bazı ses (bazen uyumlu; bazen uyumsuz) ‘bouba’ veya ‘kiki;’ ve Deney 3’te (test sonrası yalnızca tasarım) ile ilişkilendirdikleri dokunsal/görsel şekil işitsel bouba/kiki17. Genel olarak, bu çalışma, görsel görüntülerin etkisi görevler arasında sağlam olduğunu ileri sürdü, ancak her görev içinde uzun vadeli değil, öğrenme şekli-ses düzenliliklerinin etkisi her görev içinde sağlam uzun vadeli, ancak görevler arasında değil17. Bu makalede bu çalışmadan protokol sunar17. Sunulan protokol, görsel görüntülerin ve öğrenme şekli-ses düzenliliklerinin, ne zaman meydana geldiğinin ve ne kadar sağlam olduklarının araştırılması için uygundur; belirli bireylerve bireylerin gruplarında. Bu protokol, eğitim ve test sırasında hem görsel görüntüleri hem de duyusal bilgileri kontrol altında tutması açısından benzersizdir.
Protocol
Representative Results
Discussion
Sunulan protokol, görsel görüntülerin ve öğrenme şekli-ses düzenliliklerinin, ne zaman meydana geldiğinin ve ne kadar sağlam olduklarının araştırılması için uygundur; belirli bireylerve bireylerin gruplarında.
Bu protokol sadece doğruluğu değil, aynı zamanda keşif süresini de test etmek için uygun olacaktır: Deneyci sol elini katılımcının yumruklarından (kör ve göz bağı grubunda) çıkardığından itibaren / karton plaka veya köpük levha ( vizyon grubu) katılımcı ‘evet’ dediği zamana. İstatistiksel analizlerde, deney grubu başına deneme başına en uzun keşif süresi dörde bölünecek ve her deney grubundaki ‘hızlı’, ‘orta’ ve ‘yavaş’ katılımcıların sayısı sayılacak: ‘Hızlı’ bu arama süresinin ≤%25’ini kullanarak, ‘ orta’ %26-75, ‘yavaş’ %75’i kullanılarak.. Denemeler arasında katılımcılar Deney 2’de sayılacaktır: Yani, tüm çalışmaların ≥66,6’sında ‘hızlı’ olarak sayılırsa ‘hızlı’ olarak, tüm çalışmaların ≥66,6’sında ‘orta’ olarak sayılırsa ‘orta’ olarak sayılır, ve saire. (‘Sonuçsuz’ için, yani katılımcı ‘hızlı’, ‘orta’ veya ‘yavaş’ olarak sayılamaz, cf. Deney 3.) Araştırma süresini, örneklem büyüklüğüne ve/veya doğru ve yanlış cevap sayısına bağlı olarak, doğru ve yanlış yanıtlar için ayrı ayrı test etmek mümkündür. Test doğruluğu, keşif süresi veya her ikisi de, izlenmesi gereken kritik protokol adımları vardır: Üç deney sabit sırada yapılmalıdır ve denemeleri tüm katılımcılar için sabit sırayla sunulmalıdır. Katılımcılar, her üç deneyde de test materyallerinin bouba ve kiki içerdiğinin farkında olmamalıdır. Ayrıca, MP3 çalardan gelen işitsel bilgiler yalnızca bir kez oynanmalı ve katılımcılara (her üç deney) sözlü olarak tekrarlanmamalıdır. Deney 1 ve Deney 2’de dokunsal/görsel bouba ve kiki aynı konumda ve oryantasyonda sunulmalıdır. Görme grubu için (her üç deneyde de) test malzemeleri karton plaka/köpük levhanın arkasına kurulmalıdır. Son olarak, göz bağı grubunda, katılımcılar Deney 3 tamamlanana kadar göz bağlarını çıkarmamalıdır. Bu adımlar, dokunsal/görsel ve işitsel bouba ve kiki hakkındaki bilgilerin tüm deney gruplarında kontrol altında tutulmasını sağlamak içindir. Buna ek olarak, katılımcı dokunsal/görsel bouba/kiki’yi keşfetmeye başlar başlamaz işitsel bouba/kiki’yi sunmak Deney 2’de çok önemlidir. Bu, çok modal (uyumlu veya uyumsuz) bilgilerin sunulmasını sağlayacaktır. Ayrıca, bu protokol aynı zamanda bireylerin diğer grupları test etmek için uygun olacaktır. Bunları entegre etmek için, bu tür katılımcı grupları ayrı deneysel gruplar olarak eklenebilir: Örneğin, bir renk algı grubu ve şekil algı grubu; 22 ani görme kaybı grubu ve ilerleyici görme kaybı grubu; 20.000 , İşitme bozukluğu ve/veya Otizm Spektrum Bozukluğuolan bireylerin 21 ve/veya belirli grupları eklenebilir.
Bu protokol ile, her anlık ve uzun vadeli etki belirli gruplar için bir grup norm (doğruluk ve / veya keşif süresi için) kurmak mümkün olacaktır, her tekrarlanan grup içi tedbir de dahil olmak üzere, ve / veya görev; daha sonra bireyleri grup normlarına göre test etmek için: Herhangi bir bireyin veya tüm grubun şekil-ses düzenliliklerini fark etme konusunda daha fazla eğitime ihtiyacı olup olmadığı. Her anlık ve uzun vadeli etki için bir grup norm, her tekrarlanan dahil-grup ölçüsü, ve / veya görev de şekil-ses düzenlilikleri fark etmek için ne tür bir eğitim gerekli belirlemek için mümkün olacaktır: Örneğin, dokunsal ile daha fazla deneme / görsel-işitsel bouba/kiki-effect (Deney 1) ve/veya uyumlu ve uyumsuz dokunsal/görsel şekil li ve işitsel çalışmalar (Deney 2). Gerçekten de, hem deneme sayısını hem de her görevde tekrarlanan grup içi önlemlerin sayısını artırmak ve aralarındaki süreyi değiştirerek daha fazla bireyselleştirilmiş eğitim ve teste olanak sağlamak mümkün olacaktır.
Ancak, bu protokol, ne tür materyallerin (örneğin, bouba veya kiki, doldurulmuş veya özetlenen dokunsal/görsel şekil ve/veya işitsel ses veya sözcük) şekil-ses düzenliliklerinin öğrenilmesini en iyi şekilde test ederse değiştirilmesi gerekir. Bu protokolü değiştirmenin olası bir yolu, farklı malzemelerin bloklar halinde sunulmasını içerebilir: Örneğin, doldurulmuş dokunsal/görsel şekiller ve işitsel ses ve/veya ana hatlarıyla özetlenen dokunsal/görsel şekiller ve işitsel sözcük (Deneme 1). Bu bloklar bir deney grubundaki tüm katılımcılara rastgele sırayla sunulabilir; veya alternatif olarak, deney gruplarını birbirinden ayırmak için dört bloğun her biri (Deney 1). Bu protokol, görsel görüntülerin ve/veya öğrenilen şekil-ses düzenliliklerinin görevler içinde ve görevler arasında daha da sağlamlığını test ederse, bu protokolün değiştirilmesi gerekir. Değişiklik, eğitimde yer alanlardan farklı dokunsal/görsel şekil ve/veya ses ile grup içi tekrarlanan önlemlerin eklenmesini içerebilir; örneğin, dokunsal / görsel bouba ve kiki şekiller ve işitsel kelimeler (Deney 1)1,3,4,10 ile eğitim den sonra ‘maa-boo-maa’ ve ‘tuh-kee-tee’ için işitsel ses ile , 11.11.20 , 12.000.0 , 13.000 , 14.000 , 15.000 , 16. Başka bir seçenek deney 110,11,12 dokunsal / görsel bouba ve kiki şekilleri ile birlikte ağırlıklı olarak kavisli / açısal olmayan üçüncü bir dokunsal / görsel şekil sunulması içerebilir ,13,14,15,16. Bir işitsel saçma kelime ve bir ses üçüncü bir şekil-kelime çifti14, 15, 16ve üçüncü bir şekil-ses çifti17 (Deneme 1) üretmek için bu dokunsal / görsel şekil için oluşturulabilir. Şekil-ses çifti daha sonra deneme denemeolarak Deney 2’ye dahil edilebilir; ya da alternatif olarak düzenli uyumlu denemeler ve buna karşılık gelen uyumsuz denemeler ile. Son olarak, ses (Deney 2 ve Deney 1’den) ve/veya anlamsız sözcük (Deney 1’den) Deney 3’te sunulabilir. Üçüncü bir seçenek, Deneme 2 ve Deney 3’ün hiç yürütülmemesi değil, bunları deneme 1’de tekrarlanan grup içi ölçülerde rasgele sırayla yapılan görevler olarak da dahil olmak üzere içerebilir.
Sunulan protokol, eğitim ve test sırasında hem görsel görüntüleri hem de duyusal bilgileri kontrol altında tutması açısından benzersizdir. Esnektir: Büyük ve küçük numuneler ve belirli bireyler kendilerine (grup içi testler) ve/veya diğer grup gruplarına (grup içi testler) karşı test edilebilir. Hem doğruluğunu hem de keşif süresini test etmek, her deneyde ve aralarındaki sürede yapılan deneme lerin sayısını ve tekrarlanan grup içi önlemleri değiştirmek ve denemelerin ve/veya deneylerin sırasını değiştirmek veya daraltmak mümkündür.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Fon:
Bu çalışma, Marie Sklodowska-Curie Eylemleri (hibe anlaşması numarası 657440) ve Norveç Körler Birliği ve Kısmen Görüşlü ler Derneği kapsamında Avrupa Birliği’nin Horizon 2020 araştırma ve yenilik programı tarafından finanse edilmiştir.
Film makyajı:
Makyaj sanatçısı Rachael Parrey.
Materials
| Bouba/kiki filled | 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height | ||
| Bouba/kiki outlined | 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height | ||
| Bouba/kiki sound (sine wave) | |||
| Bouba/kiki word (human voice) | |||
| Carton plate/foam board for covering bouba/kiki (white) | Ryman | 230461860 | 297 mm horizontal x 210 vertical 0 mm vertical |
| Copy paper [white (80 g/m2 )] | Ryman | 250030000 | 210 mm horizontal x 148 mm vertical |
| Foam board for bouba/kiki picture cards [white (5 mm thick)] | Ryman | 230461860 | 50 mm horizontal x 50 mm vertical |
| MP3-player (smartphone with the VLC app for iOS installed) | Carphone Warehouse | ||
| Plastic embossing film | RNIB Shop | ZM04 | 210 mm horizontal x 148 mm vertical |
| Rollerball pen [black (1.0 mm tip)] | Ryman | 827134001 | |
| Rubber mat | RNIB Shop | LC177 | 230 mm horizontal x 150 mm vertical |
| Saddleback style | RNIB Shop | B511 | |
| Swell paper | Zychem Ltd | Zytex2 paper | 50 mm horizontal x 50 mm vertical |
References
- Ramachandran, V. S., Hubbard, E. M. Synaesthesia – A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
- Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
- Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
- Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
- Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
- Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
- Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity?. British Journal of Psychology. 107 (1), 154-178 (2016).
- Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
- Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
- Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
- D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
- Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
- Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
- Köhler, W. . Gestalt psychology. , (1929).
- Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
- Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
- Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
- Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
- Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
- Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
- Graven, T., Bello, F., Kajimoto, H., Visell, Y. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. , 380-393 (2016).
- Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
- Heller, M. A., Gentaz, E. . Psychology of Touch and Blindness. , (2014).
- Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).
