Onderzoek naar het effect van visuele beelden en leervorm-audio Reguliteiten op Bouba en Kiki
Summary
Het doel van het gepresenteerde protocol is om de rol van visuele beelden in het Bouba/Kiki-effect te onderzoeken, of het trainen van het opmerken van de Bouba/Kiki shape-audio reguliteiten invloed heeft op het Bouba/Kiki-effect en de herkenning van individuele Bouba-en Kiki-vormen, en tot slot wat mentale beelden die deze regulariteiten produceren.
Abstract
Dit artikel presenteert een protocol voor het onderzoeken van de rol van visuele beelden in het Bouba/Kiki-effect, of het trainen van het opmerken van de Bouba/Kiki vorm-audio regulariteiten invloed heeft op het Bouba/Kiki-effect en de herkenning van individuele Bouba-en Kiki-vormen, en tot slot wat mentale beelden die deze regulariteiten produceren. Om Bouba/Kiki shape-audio reguliteiten te genereren, waren er twee soorten vormen (opgevuld; omlijnd) en twee soorten audio (Word; niet-woord geluid). Drie groepen individuen namen deel aan drie experimenten: blind, blinddoek en Vision. De experimenten werden uitgevoerd in vaste volgorde tussen deelnemers, zonder onderbreking tussen hen. In experiment 1 (pre-test-post-test ontwerp met drie herhaalde binnen-groep maatregelen) werden de deelnemers gevraagd om de vorm te kiezen die ze in verband met de auditieve Bouba/Kiki; in experiment 2 (binnen het onderwerp ontwerp), om een vorm en sommige audio te noemen (soms congruous; soms incongruous) als ‘ Bouba ‘ of ‘ Kiki; ‘ en in experiment 3 (post-test alleen ontwerp), om de vorm te tekenen die ze geassocieerd met de auditieve Bouba/kiki. De resultaten suggereren dat de blinddoek-groep op visuele beelden tekent om nieuwe problemen op te lossen, maar niet op lange termijn; die training in het merken van Bouba/Kiki shape-audio regulariteiten beïnvloedt het Bouba/Kiki-effect en de herkenning van individuele Bouba-en Kiki-vormen, maar anders in elke experimentele groep; en dat alle experimentele groepen mentale beelden van de meest karakteristieke vorm functie van Bouba (curve) en Kiki (hoek) creëren. Het effect van visuele beelden is in feite robuust voor verschillende taken, maar niet op lange termijn; het effect van het leren van shape-audio reguliteiten is robuust, maar niet voor verschillende taken. Het gepresenteerde protocol is geschikt voor het onderzoeken van het effect van visuele beelden en het leren van vorm-audio reguliteiten, wanneer ze zich voordoen en hoe robuust ze zijn; in specifieke individuen en groepen van individuen. Dit protocol is uniek omdat het zowel de visuele beelden als de zintuiglijke informatie onder controle houdt tijdens het trainen en testen.
Introduction
95% van de wereldbevolking toont een auditief-visueel Bouba/Kiki-effect, waarbij de visueel afgeronde vorm wordt gekoppeld aan het gesproken woord, ‘ Bouba; ‘ en de visueel hoekige vorm met het gesproken woord ‘ Kiki; ‘ en ze doen dit zelfs als ze geen ervaring hebben gehad met de vorm of het woord1. Het Bouba/Kiki-effect voorafgaat aan het leren van talen; het komt voor in de talen1,2,3,4,5, met zowel Bouba als Kiki (cf. voorkeur van mensen voor visuele curven over visuele hoeken6,7 , 8 , 9), en het hangt af van de combinatie van klinkers en medeklinkers (bijvoorbeeld, het gebeurt niet met ‘ Bibi ‘ en ‘ kuku ‘.) 1 , 5 , 10 , 11 , 12. deze vorm-woord associatie vindt ook plaats met andere vorm-en woordparen, zolang ze voornamelijk gebogen zijn, als Bouba, en voornamelijk hoekig, als Kiki11,13; en/of ze hebben dezelfde combinatie van klinkers en medeklinkers als ‘ Bouba ‘ en ‘ Kiki ‘, bijvoorbeeld: “baluma” en “takete”, “maluma” en “takete”, “uloomo” en “takete”, “maa-Boo-maa” en “tuh-Kee-Tee”1,3, 4,10,11,12,14. In feite associëren mensen de afgeronde visuele vormen met de gesproken woorden die continuerende medeklinkers bevatten (zoals/l/en/m/) en open rugklinkers (zoals/ɑ:/, en/ɔ:/), en de visuele hoekige vormen met de gesproken woorden die plosief medeklinkers bevatten (zoals/ k/en/t/) en sluit voor klinkers (zoals (/ε/en/i/)11,12,15,16. Ze worden meer beïnvloed door de medeklinkers dan de klinkers, vooral door de stemloze (bijv./k/en/t/)11,12,15,16. Sterker nog, het lijkt erop dat de kenmerken van de wereldwijde vormen – hun bochten en hoeken17 – en het geluid van de gesproken woorden – hun melodie17 – het meest cruciaal zijn, in tegenstelling tot de wereldwijde vormen en woorden zelf.
Een studie heeft het Bouba/Kiki-effect onderzocht met tactiele Bouba en Kiki in plaats van de visuele Bouba/Kiki-vormen en ontdekte dat deelnemers die visueel gehandicapt waren een significant minder robuust Bouba/Kiki-effect vertoonden (~ 64%) dan de volledig ziende (~ 90%)18. Deze studie voerde aan dat het significant minder robuuste Bouba/Kiki-effect onder de blinde en slechtziende deelnemers werd veroorzaakt door een gebrek aan visuele beelden: de volledig ziende deelnemers hadden in hun omgeving de regulariteiten opgemerkt die niet gemakkelijk toegankelijk wanneer het zicht slecht is18. Uit deze studie blijkt echter niet of visuele beelden nodig zijn voor het Bouba/Kiki-effect: slechts zes van de 42 deelnemers met een visuele handicap waren congenitaal volledig blind18, dus hadden helemaal geen visuele beelden. Bovendien hebben de andere deelnemers, geen van hen geblinddoekt, de lipbewegingen van de experimenteerder kunnen volgen bij het aankondigen van de Bouba/Kiki Word-afgeronde lipbewegingen bij het aankondigen van ‘ Kiba ‘ en hoekige lipbewegingen bij het aankondigen van ‘ Kiki ‘1 , 18 – het tonen van een tactiel-visueel-auditief Bouba/Kiki-effect in plaats van het tekenen op een visuele afbeelding. Bovendien werd elk effect van het opmerken van tactiele-auditieve regulariteiten niet onderzocht, bijvoorbeeld door het Bouba/Kiki-effect op trial One en trial Four te vergelijken in plaats van het effect voor alle vier proeven te berekenen. Bovendien waren de tactiele Bouba en Kiki nogal verschillend over proeven: in proeven een en twee ze waren 3D en 2D vormen (gebogen v hoekig); in proeven drie en vier, identiek in vorm (cirkel) en onvergelijkbaar in textuur (gladde v ruw; gladde v stekelige)18. In een verwante ader heeft een studie een kinesthetisch-auditief Bouba/Kiki-effect onderzocht in geblinddoekte (volledig ziende) individuen en ontdekte dat, na een twee minuten trainingsperiode van het vasthouden van een robotische Stylus geprogrammeerd om trajecten van de Bouba en Kiki te trekken vormen, toonde 82% het Bouba/Kiki-effect19. Uit deze studie blijkt echter niet of het Bouba/Kiki-effect heeft plaatsgevonden vanwege de opleidingsperiode: het onderzoek bevat geen voor test, noch een controlegroep.
Daarom hebben we de rol van visuele beelden in het Bouba/Kiki-effect onderzocht, of training in het opmerken van tactiele/visuele auditieve Bouba en Kiki reguliteiten het Bouba/Kiki-effect beïnvloede en de herkenning van individuele tactiele/visuele Bouba en Kiki shapes, en tot slot wat mentale beelden deze vorm-audio regulariteiten geproduceerd17. Om Bouba/Kiki vorm-audio reguliteiten te genereren – niet alleen, bijvoorbeeld, Kiki-shape/Kiki-Word bijzonderheden1 – deze studie omvatte twee soorten tactiele/visuele Bouba/Kiki vormen (opgevuld; geschetst) en twee soorten auditieve Bouba/Kiki [Audio ( Word niet-woord geluid)]17. Drie groepen individuen namen deel aan drie experimenten: blind (N = 12), blinddoek (N = 12) en Vision (N = 12). De experimenten werden uitgevoerd in vaste volgorde tussen deelnemers en zonder onderbreking tussen hen, te houden onder controle van de deelnemers ‘ hoeveelheid en het type van de ervaring met Bouba en Kiki. In experiment 1 (pre-test-post-test ontwerp met drie herhaalde binnen-groep maatregelen) werden de deelnemers gevraagd om de tactiele/visuele vorm te kiezen die ze in verband met de auditieve Bouba/Kiki; in experiment 2 (binnen het onderwerp ontwerp), om de naam van een tactiele/visuele vorm en sommige audio (soms congruous; soms incongruous) als ‘ Bouba ‘ of ‘ Kiki; ‘ en in experiment 3, (post-test alleen ontwerp) om te tekenen van de tactiele/visuele vorm die ze in verband met de auditieve Bouba/Kiki17. Over het algemeen suggereerde deze studie dat het effect van visuele beelden robuust is voor verschillende taken, maar niet op lange termijn binnen elke taak, terwijl het effect van het leren van vorm-audio reguliteiten robuust is op lange termijn binnen elke taak, maar niet tussen taken17. Dit artikel presenteert het Protocol van deze studie17. Het gepresenteerde protocol is geschikt voor het onderzoeken van het effect van visuele beelden en het leren van vorm-audio reguliteiten, wanneer ze zich voordoen en hoe robuust ze zijn; in specifieke individuen en groepen van individuen. Dit protocol is uniek omdat het zowel de visuele beelden als de zintuiglijke informatie onder controle houdt tijdens het trainen en testen.
Protocol
Representative Results
Discussion
Het gepresenteerde protocol is geschikt voor het onderzoeken van het effect van visuele beelden en het leren van vorm-audio reguliteiten, wanneer ze zich voordoen en hoe robuust ze zijn; in specifieke individuen en groepen van individuen.
Dit protocol zou geschikt zijn voor het testen van niet alleen de nauwkeurigheid, maar ook de exploratie tijd: vanaf het moment dat de experimenteerder zijn linkerhand verwijdert van de vuisten van de deelnemer (in de blinde en blinddoek groep)/de kartonnen of schuim plaat (in de Vision-Group) wanneer de deelnemer zegt ‘ ja ‘. In de statistische analyses zou de langste exploratie tijd per proef groep worden onderverdeeld in vier en het aantal ‘ snelle ‘, ‘ medium ‘ en ‘ langzame ‘ deelnemers in elke experimentele groep geteld: ‘ Fast ‘ met ≤ 25% van deze exploratie tijd, ‘ gemiddeld ‘ met 26-75% en ‘ traag ‘ met ≥ 75%. In verschillende Trials worden de deelnemers geteld als in experiment 2: dat is, als ‘ snel ‘ als geteld als ‘ snel ‘ in ≥ 66,6% van alle proeven, als ‘ medium ‘ als ‘ medium ‘ in ≥ 66,6% van alle proeven, enzovoort. (Voor ‘ onduidelijk ‘, d.w.z. de deelnemer kan niet worden geteld als ‘ snel ‘, ‘ medium ‘ of ‘ traag ‘, CF. experiment 3.) Het is mogelijk om de verkennings tijd voor correcte en onjuiste antwoorden afzonderlijk te testen, afhankelijk van de steekproefgrootte en/of het aantal juiste en onjuiste antwoorden. Of het nu gaat om het testen van de nauwkeurigheid, de exploratie tijd of beide, er zijn kritieke protocol stappen die moeten worden gevolgd: de drie experimenten moeten worden uitgevoerd in vaste volgorde, en hun proeven gepresenteerd in vaste volgorde, voor alle deelnemers. De deelnemers moeten niet worden bewust gemaakt dat de testmaterialen in alle drie experimenten omvatten Bouba en Kiki. Verder moet de auditieve informatie van de MP3-speler slechts één keer worden afgespeeld en niet mondeling worden herhaald aan de deelnemers (alle drie experimenten). In experiment 1 en experiment 2 moeten de tactiele/visuele Bouba en Kiki in dezelfde positie en oriëntatie worden gepresenteerd. Voor de Vision-Group (in alle drie de experimenten), moeten de testmaterialen worden opgezet achter een kartonnen plaat/schuim karton. Tot slot moeten de deelnemers in de blinddoek-groep hun blinddoek niet verwijderen totdat experiment 3 is voltooid. Deze stappen zijn om ervoor te zorgen dat de hoeveelheid en het type informatie over de tactiele/visuele en de auditieve Bouba en Kiki wordt gehouden onder controle over alle experimentele groepen. Daarnaast is het cruciaal in experiment 2 om de auditieve Bouba/Kiki te presenteren zodra de deelnemer begint met het verkennen van de tactiele/visuele Bouba/kiki. Dit zal ervoor zorgen dat multimodale (congruous of onopvallende) informatie wordt gepresenteerd. Bovendien zou dit protocol ook geschikt zijn om andere groepen van personen te testen. Om deze te integreren, kunnen dergelijke deelnemers groepen worden toegevoegd als afzonderlijke experimentele groepen: bijvoorbeeld een kleurperceptie-groep en een vorm perceptie-groep; 22 een plotselinge visie verlies-groep en een progressieve visie verlies-groep; 20 , 21 en/of specifieke groepen van personen met een gehoorstoornis en/of een Autisme spectrum stoornis13 kunnen worden toegevoegd.
Met dit protocol zou het mogelijk zijn om een groeps norm (voor nauwkeurigheid en/of exploratie tijd) vast te stellen voor specifieke groepen op elk moment en op lange termijn, met inbegrip van elke herhaalde binnen-groeps maat en/of taak; vervolgens om individuen te testen tegen hun groeps norm: of een bepaald individu of de hele groep behoefte heeft aan verdere training bij het opmerken van de vorm-audio regulariteiten. Een groeps norm voor elk effect op de onmiddellijke en lange termijn, inclusief elke herhaalde binnen-groeps maat, en/of taak zou het ook mogelijk maken om te bepalen wat voor soort training nodig is om de vorm-audio reguliteiten te merken: bijvoorbeeld, meer proeven met de tactiele/ Visual-auditieve Bouba/Kiki-effect (experiment 1) en/of meer proeven met congruous en onopvallende tactiele/visuele vorm en audio (experiment 2). Het zou immers mogelijk zijn om zowel het aantal proeven als het aantal herhaalde maatregelen binnen de groep in elke taak te verhogen en de tijd daartussen te veranderen, waardoor meer geïndividualiseerde opleidingen en tests kunnen worden uitgevoerd.
Dit protocol zou echter moeten worden gewijzigd als het testen van wat voor soort materialen (bijv. Bouba of Kiki, gevulde of omlijnde tactiele/visuele vorm, en/of auditief geluid of woord) het beste zorgt voor het leren van vorm-audio reguliteiten. Een mogelijke manier om dit protocol te wijzigen kan inhouden dat de verschillende materialen in blokken worden gepresenteerd: bijvoorbeeld gevulde tactiele/visuele vormen en auditief geluid en/of omlijnde tactiele/visuele vormen en auditief woord (experiment 1). Deze blokken kunnen in willekeurige volgorde worden gepresenteerd aan alle deelnemers in een experimentele groep; of als alternatief, elk van de vier blokken om experimentele groepen te scheiden (experiment 1). Dit protocol zou ook moeten worden gewijzigd als het testen van de robuustheid van de visuele beelden en/of het geleerde vorm-audio-reguliteiten binnen en tussen taken nog verder moet worden getest. De modificatie kan gepaard gaan met het toevoegen van herhaalde maatregelen binnen de groep met verschillende tactiele/visuele vorm en/of audio dan die welke in de training zijn opgenomen; bijvoorbeeld, met de auditieve klank voor ‘ Maa-Boo-maa ‘ en ‘ tuh-Kee-Tee ‘ na het trainen met tactiele/visuele Bouba en Kiki vormen en auditieve woorden (experiment 1)1,3,4,10, 11 , 12 , 13 , 14 , 15 , 16. een andere optie kan gepaard gaan met het presenteren van een derde tactiele/visuele vorm die niet hoofdzakelijk gebogen/hoekig is, samen met de tactiele/visuele Bouba en Kiki shapes in experiment 110,11,12 ,13,14,15,16. Een auditief nonsens woord en een geluid kunnen worden gemaakt voor deze tactiele/visuele vorm om een derde vorm-woord paar14,15,16 en een derde vorm-Sound pair17 (experiment 1) te produceren. Het vorm-klank paar kan dan worden opgenomen in experiment 2 als Vang proeven; of als alternatief als regelmatige congruous proeven en met bijbehorende ongerijde proeven. Tot slot kan het geluid (van experiment 2 en experiment 1) en/of het nonsens woord (uit experiment 1) worden gepresenteerd in experiment 3. Een derde optie zou kunnen inhouden dat experiment 2 en experiment 3 niet worden uitgevoerd, maar dat deze in willekeurige volgorde worden uitgevoerd als taken in de herhaalde binnen-groeps maatregelen in experiment 1.
Het gepresenteerde protocol is uniek omdat het zowel de visuele beelden als de zintuiglijke informatie onder controle houdt tijdens het trainen en testen. Het is flexibel: grote en kleine monsters en specifieke individuen kunnen worden getest tegen zichzelf (cf. de binnen-groep testen) en/of andere groepen van individuen (cf. de tussen-groep testen). Het is mogelijk om zowel de nauwkeurigheid als de exploratie tijd te testen, het aantal proeven te wijzigen en binnen de groep herhaalde maatregelen te nemen in elk experiment en de tijd ertussen, en de volgorde van proeven en/of experimenten te wijzigen of zelfs samen te vouwen.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Financiers:
Dit werk werd gefinancierd door het Horizon 2020 onderzoeks-en innovatieprogramma van de Europese Unie in het kader van de Marie Sklodowska-Curie-acties (subsidieovereenkomst nummer 657440) en de Noorse Vereniging van blinden en slechtzienden.
Film make-up:
Make-up artiest Rachael Parrey.
Materials
| Bouba/kiki filled | 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height | ||
| Bouba/kiki outlined | 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height | ||
| Bouba/kiki sound (sine wave) | |||
| Bouba/kiki word (human voice) | |||
| Carton plate/foam board for covering bouba/kiki (white) | Ryman | 230461860 | 297 mm horizontal x 210 vertical 0 mm vertical |
| Copy paper [white (80 g/m2 )] | Ryman | 250030000 | 210 mm horizontal x 148 mm vertical |
| Foam board for bouba/kiki picture cards [white (5 mm thick)] | Ryman | 230461860 | 50 mm horizontal x 50 mm vertical |
| MP3-player (smartphone with the VLC app for iOS installed) | Carphone Warehouse | ||
| Plastic embossing film | RNIB Shop | ZM04 | 210 mm horizontal x 148 mm vertical |
| Rollerball pen [black (1.0 mm tip)] | Ryman | 827134001 | |
| Rubber mat | RNIB Shop | LC177 | 230 mm horizontal x 150 mm vertical |
| Saddleback style | RNIB Shop | B511 | |
| Swell paper | Zychem Ltd | Zytex2 paper | 50 mm horizontal x 50 mm vertical |
References
- Ramachandran, V. S., Hubbard, E. M. Synaesthesia – A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
- Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
- Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
- Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
- Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
- Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
- Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity?. British Journal of Psychology. 107 (1), 154-178 (2016).
- Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
- Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
- Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
- D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
- Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
- Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
- Köhler, W. . Gestalt psychology. , (1929).
- Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
- Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
- Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
- Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
- Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
- Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
- Graven, T., Bello, F., Kajimoto, H., Visell, Y. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. , 380-393 (2016).
- Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
- Heller, M. A., Gentaz, E. . Psychology of Touch and Blindness. , (2014).
- Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).
