Studiare l'effetto delle immagini visive e imparare le regolarità Shape-Audio su Bouba e Kiki
Summary
L’obiettivo del protocollo presentato è quello di studiare il ruolo delle immagini visive nell’effetto bouba/kiki,, sia che l’addestramento nel notare le regolarità di forma-audio bouba/kiki influenzi l’effetto bouba/kiki e il riconoscimento delle singole forme bouba e kiki, e infine quali immagini mentali queste regolarità producono.
Abstract
Questo articolo presenta un protocollo per studiare il ruolo delle immagini visive nell’effetto bouba/kiki-, sia che l’addestramento nel notare le regolarità di forma-audio bouba/kiki influenzi l’effetto bouba/kiki e il riconoscimento delle singole forme bouba e kiki, e infine quali immagini mentali queste regolarità producono. Per generare regolarità di forma-audio bouba/kiki, c’erano due tipi di forme (riempite; delineate) e due tipi di audio (suono word; non-word). Tre gruppi di individui hanno partecipato a tre esperimenti: Cieco, benda e visione. Gli esperimenti sono stati condotti in ordine fisso tra i partecipanti, senza interruzioni tra di loro. Nell’esperimento 1 (progettazione pre-test-post-test con tre misure ripetute all’interno del gruppo) ai partecipanti è stato chiesto di scegliere la forma associata al bouba/kiki uditiva; nell’Esperimento 2 (design all’interno del soggetto), per nominare una forma e alcuni audio (a volte congrui; a volte incongrui) come ‘bouba’ o ‘kiki;’ e nell’Esperimento 3 (design solo post-test), per disegnare la forma associata al bouba/kiki uditiva. I risultati suggeriscono che il gruppo benda attinga a immagini visive per risolvere nuovi problemi, ma non a lungo termine; che la formazione nel notare le regolarità dell’audio a forma di bouba/kiki influisce sull’effetto bouba/kiki e sul riconoscimento delle singole forme bouba e kiki, ma in modo diverso in ogni gruppo sperimentale; e che tutti i gruppi sperimentali creano immagini mentali della caratteristica forma più caratteristica di bouba (curva) e kiki (angolo). Infatti, l’effetto delle immagini visive è robusto tra i compiti, ma non a lungo termine; l’effetto dell’apprendimento delle regolarità forma-audio è robusto a lungo termine, ma non tra le attività. Il protocollo presentato è appropriato per studiare l’effetto delle immagini visive e dell’apprendimento delle regolarità forma-audio, quando si verificano e quanto sono robuste; individui e gruppi di individui specifici. Questo protocollo è unico in quanto tiene sotto controllo sia l’immagine visiva che le informazioni sensoriali durante l’allenamento e il test.
Introduction
Il 95% della popolazione mondiale mostra un effetto bouba/kiki-visuale uditivo, associando la forma visivamente arrotondata alla parola parlata, “bouba;” e la forma visivamente angolare con la parola parlata “kiki”, e lo fanno anche quando non hanno avuto alcuna esperienza con la forma o la parola1. L’effetto bouba/kiki-precede l’apprendimento delle lingue; si verifica in tutte le lingue1,2,3,4,5, con entrambi bouba e kiki (cf. preferenza delle persone per le curve visive sopra angoli visivi6,7 , 8 (IN vio , 9), e dipende dalla combinazione di vocali e consonanti (ad esempio, non si verifica con ‘bibi’ e ‘kuku’.) 1 : il nome del , 5 Del numero 3( , 10 del sistema , 11 Del sistema di , 12. Questa associazione forma-parola si verifica anche con altre coppie forma e parola, purché siano principalmente curve, come bouba, e prevalentemente angolari, come kiki11,13; e/o hanno la stessa combinazione di vocali e consonanti di “bouba” e “kiki”, ad esempio: “Baluma” e “prendere”, ‘maluma’ e ‘prendere’, ‘uloomo’ e ‘takete’, ‘maa-boo-maa’ e ‘tuh-kee-tee’1,3, 4,10,11,12,14. In effetti, le persone associano le forme visive arrotondate alle parole pronunciate contenenti continue consonanti (come /l/ e /m/) e vocali posteriori aperte (come /: / e /:/) e le forme angolari visive con le parole pronunciate contenenti consonanti plosive (come / k/ e /t/) e chiudere le vocali anteriori (ad esempio (//e/ e /I/)11,12,15,16. Sono influenzati più dalle consonanti che dalle vocali, specialmente da quelle senza voce (ad esempio, /k/ e /t/)11,12,15,16. In effetti, sembra che le caratteristiche delle forme globali – le loro curve e angoli17 – e il suono delle parole pronunciate – la loro melodia17 – siano le più cruciali, in contrapposizione alle forme e alle parole globali stesse.
Uno studio ha studiato l’effetto bouba/kiki-con bouba tattile e kiki al posto delle forme visual bouba/kiki e ha scoperto che i partecipanti ipovedenti hanno mostrato un effetto bouba/kiki-significativamente meno robusto (-64%) rispetto al completamente avvistato (90%)18. Questo studio ha sostenuto che l’effetto bouba/kiki-significativamente meno robusto tra i partecipanti non vedenti e ipovedenti è stato causato da una mancanza di immagini visive: i partecipanti completamente ipovedenti avevano notato regolarità nel loro ambiente che non sono facilmente accessibili quando la vista è compromessa18. Non è chiaro da questo studio, tuttavia, se le immagini visive siano necessarie perché l’effetto bouba/kiki si verifichi: solo sei dei 42 partecipanti con disabilità visiva erano congenitamente completamente ciechi18, quindi non avevano immagini visive. Inoltre, gli altri partecipanti, nessuno dei quali bendato, può aver osservato i movimenti delle labbra dello sperimentatore quando annunciano la parola bouba/kiki – movimenti arrotondati delle labbra quando annunciano ‘bouba’ e movimenti delle labbra angolari quando annunciano ‘kiki’1 , 18 – mostrando un effetto bouba/kiki-efficace tattile-visivo-uditivo invece di attingere a immagini visive. Inoltre, qualsiasi effetto di notare le regolarità tattili-uditive non è stato studiato, ad esempio, confrontando l’effetto bouba/kiki sulla sperimentazione uno e la sperimentazione quattro invece di calcolare l’effetto in tutte e quattro le prove. Inoltre, il bouba tattile e il kiki erano piuttosto diversi tra le prove: nelle prove uno e due erano forme 3D e 2D (curve v angolari); nelle prove tre e quattro, identica in forma (cerchio) e dissimili nella texture (liscio v ruvido; liscio v appuntito)18. In una vena correlata, uno studio ha studiato un effetto bouba/kiki-cinetico-uditivo in individui bendati (completamente vedenti) e ha scoperto che, dopo un periodo di allenamento di due minuti di possesso di uno stilo robotico programmato per disegnare traiettorie del bouba e kiki l’82% ha mostrato l’effetto bouba/kiki19. Non è chiaro da questo studio, tuttavia, se l’effetto bouba/kiki si sia verificato a causa del periodo di formazione: lo studio non ha incluso un pre-test, né un gruppo di controllo.
A tal fine, abbiamo studiato il ruolo delle immagini visive nell’effetto bouba/kiki-effect, sia che l’addestramento nel notare le regolarità tattili/visive-uditive bouba e kiki abbia influenzato l’effetto bouba/kiki e il riconoscimento delle singole bouba tattili/visive e forme kiki, e infine quali immagini mentali queste regolarità forma-audio prodotto17. Per generare regolarità bouba/kiki con l’audio a forma di bouba/kiki – non solo, ad esempio, le particolarità della parola kiki/kiki– questo studio ha incluso due tipi di forme tattili/ visive di bouba/kiki (riempite; delineate) e due tipi di bouba/kiki uditiva 17. Tre gruppi di individui hanno partecipato a tre esperimenti: Blind (N – 12), benda (N ) e visione (N n . 12). Gli esperimenti sono stati condotti in ordine fisso tra i partecipanti e senza interruzioni tra di loro, per tenere sotto controllo la quantità e il tipo di esperienza dei partecipanti con bouba e kiki. Nell’esperimento 1 (progettazione pre-test-post-test con tre misure ripetute all’interno del gruppo) ai partecipanti è stato chiesto di individuare la forma tattile/visiva associata al bouba/kiki uditiva; nell’Esperimento 2 (disegno all’interno del soggetto), per citare una forma tattile/visiva e alcuni audio (a volte congrui; a volte incongrui) come “bouba” o “kiki;” e nell’Esperimento 3, (solo disegno post-test) per disegnare la forma tattile/visiva associata al uditiva bouba/kiki17. Nel complesso, questo studio ha suggerito che l’effetto delle immagini visive è robusto tra le attività, ma non a lungo termine all’interno di ogni attività, mentre l’effetto dell’apprendimento delle regolarità forma-audio è robusto a lungo termine all’interno di ogni attività, ma non nelle attività17. Questo articolo presenta il protocollo da questo studio17. Il protocollo presentato è appropriato per studiare l’effetto delle immagini visive e dell’apprendimento delle regolarità forma-audio, quando si verificano e quanto sono robuste; individui e gruppi di individui specifici. Questo protocollo è unico in quanto tiene sotto controllo sia l’immagine visiva che le informazioni sensoriali durante l’allenamento e il test.
Protocol
Representative Results
Discussion
Il protocollo presentato è appropriato per studiare l’effetto delle immagini visive e dell’apprendimento delle regolarità forma-audio, quando si verificano e quanto sono robuste; individui e gruppi di individui specifici.
Questo protocollo sarebbe adatto per testare non solo l’accuratezza ma anche il tempo di esplorazione: da quando lo sperimentatore rimuove la mano sinistra dai pugni del partecipante (nel gruppo cieco e benda) / la piastra di cartone o la scheda di schiuma (nel gruppo di visione) a quando il partecipante dice “sì”. Nelle analisi statistiche, il tempo di esplorazione più lungo per prova per gruppo sperimentale sarebbe diviso in quattro e il numero di partecipanti “veloci”, “medio” e “lento” in ogni gruppo sperimentale ha contato: “Veloce” utilizzando il 25% di questo tempo di esplorazione, ‘ 26-75% e ‘lento’ con .75%. Tra le prove, i partecipanti verrebbero conteggiati come nell’Esperimento 2: cioè come “veloce” se conteggiati come “veloci” nel 66,6% di tutte le prove, come “medie” se conteggiate come “medie” in .66,6% di tutte le prove, e così via. (Per ‘inconcludente’, cioè il partecipante non può essere conteggiato come ‘veloce’, ‘medio’ o ‘lento’, cf. Esperimento 3.) Sarebbe possibile testare separatamente i tempi di esplorazione per ottenere risposte corrette ed errate, a seconda delle dimensioni del campione e/o del numero di risposte corrette e errate. Che si tratti di precisione del test, tempo di esplorazione o entrambi, ci sono passaggi di protocollo critici che devono essere seguiti: I tre esperimenti devono essere condotti in ordine fisso, e le loro prove presentate in ordine fisso, per tutti i partecipanti. I partecipanti non devono essere informati che i materiali di prova in tutti e tre gli esperimenti includono bouba e kiki. Inoltre, le informazioni uditiche del lettore MP3 devono essere riprodotte una sola volta e non ripetute oralmente ai partecipanti (tutti e tre gli esperimenti). Nell’Esperimento 1 e nell’Esperimento 2, il bouba tattile/visivo e il kiki devono essere presentati nella stessa posizione e orientamento. Per il gruppo di visione (in tutti e tre gli esperimenti), i materiali di prova devono essere impostati dietro una scheda di piastra/schiuma di cartone. Infine, nel gruppo benda, i partecipanti non devono rimuovere la benda fino al completamento dell’Esperimento 3. Questi passaggi sono per garantire che la quantità e il tipo di informazioni sul tattile/visivo e il bouba uditiva e kiki siano tenuti sotto controllo in tutti i gruppi sperimentali. Inoltre, è fondamentale nell’Esperimento 2 presentare il bouba/kiki uditivo non appena il partecipante inizia ad esplorare il bouba/kiki tattile/visivo. Ciò garantirà la presentazione di informazioni multimodali (congrue o incongrue). Inoltre, questo protocollo sarebbe appropriato anche per testare altri gruppi di individui. Per integrarli, tali gruppi di partecipanti potrebbero essere aggiunti come gruppi sperimentali separati: ad esempio, un gruppo di percezione del colore e un gruppo di percezione della forma; 22 un improvviso gruppo di perdita della vista e un gruppo progressivo per la perdita della vista; 20 anni , 21 e/o gruppi specifici di individui con problemi di udito e/o un disturbo dello spettro autistico13 potrebbero essere aggiunti.
Con questo protocollo, sarebbe possibile stabilire una norma di gruppo (per l’accuratezza e/o il tempo di esplorazione) per gruppi specifici su ogni effetto istantaneo e a lungo termine, inclusa ogni misura ripetuta all’interno del gruppo e/o attività; poi per testare gli individui contro la loro norma di gruppo: Se un particolare individuo o l’intero gruppo ha bisogno di ulteriore formazione per notare le regolarità forma-audio. Una norma di gruppo per ogni effetto istantaneo e a lungo termine, che include ogni misura ripetuta all’interno del gruppo e/o attività consentirebbe inoltre di determinare il tipo di formazione necessaria per notare le regolarità forma-audio: Ad esempio, più prove con l’attinente/ visual-auditory bouba/kiki-effect (Esperimento 1) e/o più prove con forma tattile/visiva e audio congruo e incongruo (Esperimento 2). In effetti, sarebbe possibile aumentare sia il numero di prove che il numero di misure ripetute all’interno del gruppo in ogni compito, nonché alterare il tempo tra di esse, consentendo in tal modo una formazione e una sperimentazione più individualizzati.
Tuttavia, questo protocollo avrebbe bisogno di essere modificato se si verifica quale tipo di materiali (ad esempio, bouba o kiki, forma tattile/visiva riempita o delineata e/o suono o parola uditiva) assicura meglio l’apprendimento delle regolarità forma-audio. Un possibile modo di modificare questo protocollo potrebbe comportare la presentazione dei diversi materiali in blocchi: ad esempio, forme tattili/visive piene e suoni uditivi e/o forme tattili/visive delineate e parole uditive (Esperimento 1). Questi blocchi potrebbero essere presentati in ordine casuale a tutti i partecipanti in un gruppo sperimentale; o in alternativa, ciascuno dei quattro blocchi per separare i gruppi sperimentali (Esperimento 1). Questo protocollo avrebbe anche bisogno di modificare se testare ulteriormente la robustezza delle immagini visive e/o delle regolarità audio di forma apprese all’interno e tra le attività. La modifica potrebbe comportare l’aggiunta di ripetute misure all’interno del gruppo con forme tattili/visive e/o audio diverse da quelle incluse nella formazione; ad esempio, con il suono uditivo di ‘maa-boo-maa’ e ‘tuh-kee-tee’ dopo l’allenamento con forme tattili/visive bouba e kiki e parole uditive (Esperimento 1)1,3,4,10, 11 Del sistema di , 12 mila , 13 del sistema , 14 Del sistema , 15 Mi lasa del sistema , 16. Un’altra opzione potrebbe comportare la presentazione di una terza forma tattile/visiva che non sia prevalentemente curva/angolare insieme alle forme tattili/visive bouba e kiki nell’Esperimento10,11,12 ,13,14,15,16. Una parola assurda uditiva e un suono potrebbero essere creati per questa forma tattile/visiva per produrre una terza coppia parola-parola di forma14,15,16 e una terza coppia forma-suono17 (Esperimento 1). La coppia forma-suono potrebbe quindi essere inclusa nell’Esperimento 2 come prove catch-process; o in alternativa come prove congrue regolari e con le corrispondenti prove incongrue. Infine, il suono (dall’Esperimento 2 e dall’Esperimento 1) e/o la parola senza senso (dall’Esperimento 1) potrebbero essere presentati nell’Esperimento 3. Una terza opzione potrebbe non comportare lo svolgimento dell’Esperimento 2 e dell’Esperimento 3, ma piuttosto includerli come compiti nelle ripetute misure all’interno del gruppo nell’Esperimento 1, in ordine casuale.
Il protocollo presentato è unico in quanto tiene sotto controllo sia l’immagine visiva che le informazioni sensoriali durante l’allenamento e il test. È flessibile: campioni grandi e piccoli e individui specifici possono essere testati contro se stessi (cfr. il test all’interno del gruppo) e/o altri gruppi di individui (cfr. il test tra gruppi). È possibile testare sia l’accuratezza che il tempo di esplorazione, modificare il numero di prove e misure ripetute all’interno del gruppo in ogni esperimento e il tempo tra di loro, e cambiare o addirittura comprimere l’ordine delle prove e/o degli esperimenti.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Finanziatori:
Questo lavoro è stato finanziato dal programma di ricerca e innovazione Orizzonte 2020 dell’Unione europea nell’ambito delle azioni Marie Sklodowska-Curie (accordo di sovvenzione numero 657440) e dall’Associazione norvegese dei non vedenti e ipovedenti.
Trucco film:
Truccatore Rachael Parrey.
Materials
| Bouba/kiki filled | 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height | ||
| Bouba/kiki outlined | 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height | ||
| Bouba/kiki sound (sine wave) | |||
| Bouba/kiki word (human voice) | |||
| Carton plate/foam board for covering bouba/kiki (white) | Ryman | 230461860 | 297 mm horizontal x 210 vertical 0 mm vertical |
| Copy paper [white (80 g/m2 )] | Ryman | 250030000 | 210 mm horizontal x 148 mm vertical |
| Foam board for bouba/kiki picture cards [white (5 mm thick)] | Ryman | 230461860 | 50 mm horizontal x 50 mm vertical |
| MP3-player (smartphone with the VLC app for iOS installed) | Carphone Warehouse | ||
| Plastic embossing film | RNIB Shop | ZM04 | 210 mm horizontal x 148 mm vertical |
| Rollerball pen [black (1.0 mm tip)] | Ryman | 827134001 | |
| Rubber mat | RNIB Shop | LC177 | 230 mm horizontal x 150 mm vertical |
| Saddleback style | RNIB Shop | B511 | |
| Swell paper | Zychem Ltd | Zytex2 paper | 50 mm horizontal x 50 mm vertical |
References
- Ramachandran, V. S., Hubbard, E. M. Synaesthesia – A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
- Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
- Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
- Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
- Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
- Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
- Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity?. British Journal of Psychology. 107 (1), 154-178 (2016).
- Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
- Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
- Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
- D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
- Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
- Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
- Köhler, W. . Gestalt psychology. , (1929).
- Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
- Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
- Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
- Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
- Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
- Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
- Graven, T., Bello, F., Kajimoto, H., Visell, Y. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. , 380-393 (2016).
- Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
- Heller, M. A., Gentaz, E. . Psychology of Touch and Blindness. , (2014).
- Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).
