Étudier l'effet de l'imagerie visuelle et de l'apprentissage des régularités formel-audio sur Bouba et Kiki
Summary
L’objectif du protocole présenté est d’étudier le rôle de l’imagerie visuelle dans l’effet bouba/kiki, que la formation à l’observation des régularités forme-audio bouba/kiki affecte l’effet bouba/kiki et la reconnaissance des formes individuelles de bouba et de kiki, et enfin quelles images mentales ces régularités produisent.
Abstract
Cet article présente un protocole pour étudier le rôle de l’imagerie visuelle dans l’effet bouba/kiki, si la formation à l’observation des régularités forme/kiki de forme-audio affecte le bouba/kiki-effet et la reconnaissance des formes individuelles de bouba et de kiki, et enfin quelles images mentales ces régularités produisent. Pour générer des régularités forme-audio de bouba/kiki, il y avait deux types de formes (remplies ; décrites) et deux types d’audio (mot ; son non-mot). Trois groupes d’individus ont participé à trois expériences : Blind, bandeau et vision. Les expériences ont été menées en ordre fixe entre les participants, sans interruption entre eux. Dans l’expérience 1 (conception pré-test-post-test avec trois mesures répétées au sein du groupe), on a demandé aux participants de choisir la forme qu’ils associaient au bouba/kiki auditif; dans l’expérience 2 (conception interne du sujet), pour nommer une forme et un peu d’audio (parfois congrues, parfois incongrues) comme «bouba» ou «kiki»; et dans l’expérience 3 (conception post-test seulement), pour dessiner la forme qu’ils associait à la bouba auditive / kiki. Les résultats suggèrent que le groupe des yeux bandés s’appuie sur l’imagerie visuelle pour résoudre de nouveaux problèmes, mais pas à long terme; que la formation à l’observation des régularités forme/kiki-audio affecte l’effet bouba/kiki et la reconnaissance des formes individuelles de bouba et de kiki, mais différemment dans chaque groupe expérimental; et que tous les groupes expérimentaux créent des images mentales de la forme la plus caractéristique de bouba (courbe) et de kiki (angle). En fait, l’effet de l’imagerie visuelle est robuste entre les tâches, mais pas à long terme; l’effet de l’apprentissage des régularités forme-audio est robuste à long terme, mais pas entre les tâches. Le protocole présenté est approprié pour étudier l’effet de l’imagerie visuelle et l’apprentissage des régularités forme-audio, quand ils se produisent et comment ils sont robustes; individus et groupes d’individus spécifiques. Ce protocole est unique en ce qu’il garde sous contrôle à la fois l’imagerie visuelle et l’information sensorielle pendant la formation et les tests.
Introduction
95% de la population mondiale montre un effet bouba/kiki auditif-visuel, associant la forme visuellement arrondie avec la parole, ‘bouba;’ et la forme visuellement angulaire avec le mot parlé ‘kiki;’ et ils le font même quand ils n’ont pas eu d’expérience avec la forme ou le mot1. L’effet bouba/kiki précède l’apprentissage des langues; il se produit à travers les langues1,2,3,4,5, avec à la fois bouba et kiki (cf. préférence des gens pour les courbes visuelles sur les angles visuels6,7 , 8 Annonces , 9), et cela dépend de la combinaison de voyelles et de consonnes (par exemple, il ne se produit pas avec «bibi» et «kuku».) 1 Fois , 5 Annonces , 10 Ans et plus , 11 Ans, états-unis ( , 12. Cette association de mot-forme se produit aussi bien avec d’autres paires de forme et de mot, tant qu’elles sont principalement courbées, comme bouba, et principalement angulaire, comme kiki11,13; et/ou ils ont la même combinaison de voyelles et de consonnes que ‘bouba’ et ‘kiki’, par exemple: ‘Baluma’ et ‘takete’, ‘maluma’ et ‘takete’, ‘uloomo’ et ‘takete’, ‘maa-boo-maa’ et ‘tuh-kee-tee’1,3 ,3, 4,10,11,12,14. En fait, les gens associent les formes visuelles arrondies avec les mots parlés contenant des consonnes continues (comme /l/ et /m/) et ouvrent des voyelles arrière (telles que / ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ ‘ k/ et /t/) et les voyelles avant rapprochées (telles que (/ et /I/)11,12,15,16. Ils sont plus influencés par les consonnes que par les voyelles, en particulier par les sans-voix (par exemple, /k/ et /t/)11,12,15,16. En effet, il semble que les caractéristiques des formes globales – leurs courbes et angles17 – et le son des mots parlés – leur mélodie17 – sont les plus cruciales, par opposition aux formes globales et les mots eux-mêmes.
Une étude a étudié l’effet bouba/kiki avec bouba tactile et kiki au lieu des formes visuelles bouba/kiki et a constaté que les participants ayant une déficience visuelle présentaient un effet bouba/kiki beaucoup moins robuste (64 %) que la pleine voyante (90 %)18. Cette étude a soutenu que l’effet bouba/kiki beaucoup moins robuste chez les participants aveugles et malvoyants était dû à un manque d’imagerie visuelle : les participants pleinement voyants avaient remarqué des régularités dans leur environnement qui ne sont pas facilement accessible lorsque la vision est altérée18. Il n’est pas clair de cette étude, cependant, si l’imagerie visuelle est nécessaire pour le bouba / kiki-effet de se produire: Seulement six des 42 participants ayant une déficience visuelle ont été congénitalement totalement aveugle18, n’avait donc aucune imagerie visuelle à tous. En outre, les autres participants, aucun d’entre eux les yeux bandés, peuvent avoir observé les mouvements des lèvres de l’expérimentateur lors de l’annonce du mot bouba/kiki – mouvements arrondis des lèvres lors de l’annonce de «bouba» et des mouvements des lèvres angulaires lors de l’annonce de «kiki»1 , 18 – montrant un effet bouba/kiki tactile-visuel-auditif au lieu de s’appuyer sur n’importe quelle imagerie visuelle. De plus, aucun effet de remarquant des régularités tactiles n’a été étudié, par exemple, en comparant l’effet bouba/kiki à l’essai un et au quatrième essai au lieu de calculer l’effet dans les quatre essais. De plus, le bouba tactile et le kiki étaient assez différents d’un essai à l’autre : dans les essais un et deux, ils étaient des formes 3D et 2D (courbes v angulaires); dans les essais trois et quatre, de forme identique (cercle) et dissemblable dans la texture (lisse v rugueux; lisse v piquant)18. Dans une veine connexe, une étude a étudié un effet bouba/kiki kinesthésique-auditif chez des personnes les yeux bandés (pleinement voyantes) et a constaté qu’après une période d’entraînement de deux minutes de tenue d’un stylet robotique programmé pour dessiner des trajectoires de la bouba et du kiki formes, 82% ont montré le bouba/kiki-effet19. Toutefois, il n’est pas clair, d’après cette étude, si l’effet bouba/kiki s’est produit en raison de la période d’entraînement : l’étude n’a pas inclus de pré-test, ni de groupe témoin.
À cette fin, nous avons étudié le rôle de l’imagerie visuelle dans l’effet bouba/kiki, si la formation à l’observation des régularités tactiles/visuelles-auditives de bouba et de kiki a affecté l’effet bouba/kiki et la reconnaissance de la bouba tactile/visuelle individuelle et formes kiki, et enfin quelles images mentales ces régularités forme-audio produit17. Pour générer des régularités forme-audio de bouba/kiki – pas seulement, par exemple, des particularités de kiki-forme/kiki-mot1 – cette étude a inclus deux types de formes tactiles/visuelles de bouba/kiki (remplies ; décrites) et deux types de bouba/kiki auditif 17. Trois groupes d’individus ont participé à trois expériences : Blind (N – 12), bandeau (N – 12) et vision (N – 12). Les expériences ont été menées en ordre fixe entre les participants et sans rupture entre eux, pour garder sous contrôle la quantité et le type d’expérience des participants avec le bouba et le kiki. Dans l’expérience 1 (conception pré-test-post-test avec trois mesures répétées au sein du groupe), on a demandé aux participants de choisir la forme tactile/visuelle qu’ils associaient au bouba/kiki auditif; dans l’expérience 2 (conception à l’intérieur du sujet), pour nommer une forme tactile/visuelle et une partie audio (parfois congrues, parfois incongrues) comme «bouba» ou «kiki»; et dans l’expérience 3, (conception post-test seulement) pour dessiner la forme tactile/visuelle qu’ils associaient à la bouba/kiki auditif17. Dans l’ensemble, cette étude a suggéré que l’effet de l’imagerie visuelle est robuste entre les tâches, mais pas à long terme dans chaque tâche, tandis que l’effet de l’apprentissage des régularités forme-audio est robuste à long terme dans chaque tâche, mais pas à travers les tâches17. Cet article présente le protocole de cette étude17. Le protocole présenté est approprié pour étudier l’effet de l’imagerie visuelle et l’apprentissage des régularités forme-audio, quand ils se produisent et comment ils sont robustes; individus et groupes d’individus spécifiques. Ce protocole est unique en ce qu’il garde sous contrôle à la fois l’imagerie visuelle et l’information sensorielle pendant la formation et les tests.
Protocol
Representative Results
Discussion
Le protocole présenté est approprié pour étudier l’effet de l’imagerie visuelle et l’apprentissage des régularités forme-audio, quand ils se produisent et comment ils sont robustes; individus et groupes d’individus spécifiques.
Ce protocole serait approprié pour tester non seulement la précision, mais aussi le temps d’exploration: À partir du moment où l’expérimentateur enlève sa main gauche des poings du participant (dans le blind et bandeaux) / la plaque cartonou planche en mousse (dans le vision-groupe) au moment où le participant dit «oui». Dans les analyses statistiques, le temps d’exploration le plus long par essai par groupe expérimental serait divisé en quatre et le nombre de participants « rapides », « moyens » et « lents » dans chaque groupe expérimental compté : « Rapide » utilisant 25 % de ce temps d’exploration, » moyenne » de 26 à 75 % et « lente » à l’aide de 75 %. Dans l’ensemble des essais, les participants seraient comptés comme dans l’expérience 2 : C’est-à-dire comme « rapide » s’il était compté comme « rapide » dans 66,6 % de tous les essais, comme « moyen » s’il était compté comme « moyen » dans 66,6 % de tous les essais, et ainsi de suite. (Pour les participants « non concluants », c’est-à-dire que le participant ne peut pas être considéré comme « rapide », « moyen » ou « lent », cf. Expérience 3.) Il serait possible de tester séparément le temps d’exploration pour les réponses correctes et incorrectes, selon la taille de l’échantillon et/ou le nombre de réponses correctes et incorrectes. Qu’il s’agisse de l’exactitude des essais, du temps d’exploration ou des deux, il y a des étapes critiques du protocole qui doivent être suivies : les trois expériences doivent être menées en ordre fixe, et leurs essais présentés en ordre fixe, pour tous les participants. Les participants ne doivent pas être informés que le matériel d’essai dans les trois expériences comprennent bouba et kiki. En outre, les informations auditives du lecteur MP3 ne doivent être jouées qu’une seule fois et non répétées oralement aux participants (les trois expériences). Dans l’expérience 1 et l’expérience 2, le bouba tactile/visuel et le kiki doivent être présentés dans la même position et la même orientation. Pour le groupe de vision (dans les trois expériences), les matériaux d’essai doivent être mis en place derrière une plaque cartonnale/planche de mousse. Enfin, dans le groupe des yeux bandés, les participants ne doivent pas retirer leur bandeau tant que l’expérience 3 n’est pas terminée. Ces étapes visent à s’assurer que la quantité et le type d’informations sur le tactile/visuel et le bouba et le kiki auditifs sont gardés sous contrôle dans tous les groupes expérimentaux. En outre, il est crucial dans l’expérience 2 de présenter le bouba/kiki auditif dès que le participant commence à explorer le bouba/visuel tactile/kiki. Cela permettra de s’assurer que des informations multimodales (congrues ou incongrues) sont présentées. De plus, ce protocole serait également approprié pour tester d’autres groupes d’individus. Pour les intégrer, ces groupes participants pourraient être ajoutés en tant que groupes expérimentaux distincts : par exemple, un groupe de perception des couleurs et un groupe de perception de forme; 22 un groupe de perte de vision soudaine et un groupe progressif de perte de vision ; 20 Ans, états-unis , 21 et/ou des groupes spécifiques de personnes ayant une déficience auditive et/ou un trouble du spectre autistique13 pourraient être ajoutés.
Avec ce protocole, il serait possible d’établir une norme de groupe (pour l’exactitude et/ou le temps d’exploration) pour des groupes spécifiques sur chaque effet instantané et à long terme, y compris chaque mesure répétée au sein du groupe, et/ou tâche; puis pour tester les individus par rapport à la norme de leur groupe : Qu’un individu ou l’ensemble du groupe ait besoin d’une formation supplémentaire pour remarquer les régularités forme-audio. Une norme de groupe pour chaque effet instantané et à long terme, y compris chaque mesure répétée à l’intérieur du groupe, et/ou une tâche permettrait également de déterminer quel type de formation est nécessaire pour remarquer les régularités forme-audio : par exemple, plus d’essais avec le tactile/ bouba/kiki-effet visuel-auditif (expérience 1) et/ou plus d’essais avec une forme tactile/visuelle et audio congrues et incongrues (Expérience 2). En effet, il serait possible d’augmenter à la fois le nombre d’essais et le nombre de mesures répétées au sein du groupe dans chaque tâche ainsi que de modifier le temps entre eux, permettant ainsi une formation et des tests plus individualisés.
Toutefois, ce protocole devrait être modifié si l’essai du type de matériaux (p. ex., bouba ou kiki, forme tactile/visuelle remplie ou décrite, et/ou son ou mot auditif) assure le mieux l’apprentissage des régularités forme-audio. Une façon possible de modifier ce protocole pourrait consister à présenter les différents matériaux en blocs : par exemple, les formes tactiles/visuelles remplies et le son auditif et/ou les formes tactiles/visuelles et les mots auditifs décrits (Expérience 1). Ces blocs pourraient être présentés au hasard à tous les participants d’un groupe expérimental; ou, subsidiairement, chacun des quatre blocs pour séparer les groupes expérimentaux (expérience 1). Ce protocole devrait également être modifié si l’on teste encore plus la robustesse de l’imagerie visuelle et/ou des régularités forme-audio apprises à l’intérieur et à travers les tâches. La modification pourrait impliquer l’ajout de mesures répétées au sein du groupe avec une forme tactile/visuelle et/ou audio différentes de celles incluses dans la formation; par exemple, avec le son auditif pour ‘maa-boo-maa’ et ‘tuh-kee-tee’ après l’entraînement avec des formes tactiles/visuelles de bouba et de kiki et des mots auditifs (Expérience 1)1,3,4,10, 11 Ans, états-unis ( , 12 Ans, états-unis , 13 (en) , 14 (en) , 15 Annonces , 16. Une autre option pourrait consister à présenter une troisième forme tactile/visuelle qui n’est pas principalement courbée/angulaire avec les formes tactiles/visuelles de bouba et de kiki dans l’expérience 110,11,12 ,13,14,15,16. Un mot non-sens auditif et un son pourraient être créés pour cette forme tactile/visuelle pour produire une troisième paire de mots-formes14,15,16 et une troisième paire forme-son17 (Expérience 1). La paire forme-son pourrait alors être incluse dans l’expérience 2 comme catch-trials; ou alternativement comme des essais congrues réguliers et avec des essais incongrus correspondants. Enfin, le son (de l’expérience 2 et de l’expérience 1) et/ou le mot non-sens (de l’expérience 1) pourraient être présentés dans l’expérience 3. Une troisième option pourrait consister à ne pas mener l’expérience 2 et l’expérience 3 du tout, mais plutôt les inclure comme tâches dans les mesures répétées au sein du groupe dans l’expérience 1, dans l’ordre aléatoire.
Le protocole présenté est unique en ce qu’il garde sous contrôle à la fois l’imagerie visuelle et l’information sensorielle pendant la formation et les tests. Il est flexible : les échantillons de grande et de petite taille et les individus spécifiques peuvent être testés contre eux-mêmes (cf. les tests à l’intérieur du groupe) et/ou d’autres groupes d’individus (cf. les tests entre les groupes). Il est possible de tester à la fois la précision et le temps d’exploration, de modifier le nombre d’essais et de mesures répétées au sein du groupe dans chaque expérience et le temps qui les entoure, et de modifier ou même d’effondrer l’ordre des essais et/ou des expériences.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Bailleurs:
Ces travaux ont été financés par le programme de recherche et d’innovation Horizon 2020 de l’Union européenne dans le cadre des Actions Marie Sklodowska-Curie (accord de subvention numéro 657440) et de l’Association norvégienne des aveugles et des malvoyants.
Maquillage de film:
Maquilleur Rachael Parrey.
Materials
| Bouba/kiki filled | 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height | ||
| Bouba/kiki outlined | 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height | ||
| Bouba/kiki sound (sine wave) | |||
| Bouba/kiki word (human voice) | |||
| Carton plate/foam board for covering bouba/kiki (white) | Ryman | 230461860 | 297 mm horizontal x 210 vertical 0 mm vertical |
| Copy paper [white (80 g/m2 )] | Ryman | 250030000 | 210 mm horizontal x 148 mm vertical |
| Foam board for bouba/kiki picture cards [white (5 mm thick)] | Ryman | 230461860 | 50 mm horizontal x 50 mm vertical |
| MP3-player (smartphone with the VLC app for iOS installed) | Carphone Warehouse | ||
| Plastic embossing film | RNIB Shop | ZM04 | 210 mm horizontal x 148 mm vertical |
| Rollerball pen [black (1.0 mm tip)] | Ryman | 827134001 | |
| Rubber mat | RNIB Shop | LC177 | 230 mm horizontal x 150 mm vertical |
| Saddleback style | RNIB Shop | B511 | |
| Swell paper | Zychem Ltd | Zytex2 paper | 50 mm horizontal x 50 mm vertical |
References
- Ramachandran, V. S., Hubbard, E. M. Synaesthesia – A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
- Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
- Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
- Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
- Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
- Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
- Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity?. British Journal of Psychology. 107 (1), 154-178 (2016).
- Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
- Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
- Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
- D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
- Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
- Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
- Köhler, W. . Gestalt psychology. , (1929).
- Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
- Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
- Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
- Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
- Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
- Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
- Graven, T., Bello, F., Kajimoto, H., Visell, Y. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. , 380-393 (2016).
- Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
- Heller, M. A., Gentaz, E. . Psychology of Touch and Blindness. , (2014).
- Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).
