Investigación del efecto de las imágenes visuales y el aprendizaje de las regularidades de audio de forma en Bouba y Kiki
Summary
El objetivo del protocolo presentado es investigar el papel de las imágenes visuales en el efecto bouba/kiki, si el entrenamiento para notar las regularidades de audio de forma bouba/kiki afecta al efecto bouba/kiki y al reconocimiento de formas individuales de bouba y kiki, y finalmente qué imágenes mentales producen estas regularidades.
Abstract
Este artículo presenta un protocolo para investigar el papel de las imágenes visuales en el efecto bouba/kiki, ya sea que el entrenamiento en la atención de las regularidades de audio de forma bouba/kiki afecta al efecto bouba/kiki y al reconocimiento de formas individuales de bouba y kiki, y finalmente qué imágenes mentales producen estas regularidades. Para generar regularidades de audio de forma bouba/kiki, había dos tipos de formas (rellenadas; esbozadas) y dos tipos de audio (palabra; sonido sin palabras). Tres grupos de individuos participaron en tres experimentos: ciego, vendado y visionado. Los experimentos se llevaron a cabo en orden fijo entre los participantes, sin descanso entre ellos. En el Experimento 1 (diseño previo a la prueba con tres medidas repetidas dentro del grupo), se pidió a los participantes que eligieran la forma que asociaban con el bouba/kiki auditivo; en el Experimento 2 (diseño dentro del sujeto), para nombrar una forma y algo de audio (a veces congruente; a veces incongruente) como ‘bouba’ o ‘kiki;’ y en el Experimento 3 (diseño post-prueba solamente), para dibujar la forma que asociaban con el bouba/kiki auditivo. Los resultados sugieren que el grupo con los ojos vendados se basa en imágenes visuales para resolver nuevos problemas, pero no a largo plazo; que el entrenamiento en la atención de las regularidades de audio en forma de bouba/kiki afecta al efecto bouba/kiki y al reconocimiento de formas individuales de bouba y kiki, pero de manera diferente en cada grupo experimental; y que todos los grupos experimentales crean imágenes mentales de la característica de forma más característica de bouba (curva) y kiki (ángulo). De hecho, el efecto de las imágenes visuales es sólido en todas las tareas, pero no a largo plazo; el efecto del aprendizaje de las regularidades de audio de forma es robusto a largo plazo, pero no a través de las tareas. El protocolo presentado es apropiado para investigar el efecto de las imágenes visuales y el aprendizaje de las regularidades de audio de forma, cuando se producen y lo robustos que son; en individuos y grupos específicos de individuos. Este protocolo es único en el sentido de que mantiene bajo control tanto las imágenes visuales como la información sensorial durante el entrenamiento y las pruebas.
Introduction
El 95% de la población mundial muestra un efecto bouba/kiki-visual auditivo, asociando la forma visualmente redondeada con la palabra hablada, ‘bouba;’ y la forma visualmente angular con la palabra hablada ‘kiki;’ y lo hacen incluso cuando no han tenido ninguna experiencia con la forma o la palabra1. El efecto bouba/kiki precede al aprendizaje de idiomas; ocurre en todos los idiomas1,2,3,4,5, con bouba y kiki (cf. preferencia de las personas por las curvas visuales sobre los ángulos visuales6,7 , 8 , 9), y depende de la combinación de vocales y consonantes (por ejemplo, no ocurre con ‘bibi’ y ‘kuku’.) 1 , 5 , 10 , 11 , 12. Esta asociación forma-palabra se produce con otros pares de formas y palabras también, siempre y cuando sean principalmente curvos, como bouba, y principalmente angulares, como kiki11,13; y/o tienen la misma combinación de vocales y consonantes que ‘bouba’ y ‘kiki’, por ejemplo: ‘Baluma’ y ‘takete’, ‘maluma’ y ‘takete’, ‘uloomo’ y ‘takete’, ‘maa-boo-maa’ y ‘tuh-kee-tee’1,3, 4,10,11,12,14. De hecho, las personas asocian las formas visuales redondeadas con las palabras habladas que contienen consonantes continuantes (como /l/ y /m/) y vocales de espalda abiertas (como por ejemplo /-:/, y /-:/), y las formas angulares visuales con las palabras habladas que contienen consonantes plosivos (como / k/ y /t/) y las vocales delanteras de cierre (como (/o/ y /I/)11,12,15,16. Están influenciados más por las consonantes que por las vocales, especialmente por las sin voz (por ejemplo, /k/ y /t/)11,12,15,16. De hecho, parece que las características de las formas globales – sus curvas y ángulos17 – y el sonido de las palabras habladas – su melodía17 – son las más cruciales, a diferencia de las formas y palabras globales en sí.
Un estudio ha investigado el efecto bouba/kiki con bouba táctil y kiki en lugar de las formas visuales de bouba/kiki y encontró que los participantes con discapacidad visual mostraron un efecto bouba/kiki significativamente menos robusto (64%) que el completamente avistado (90%)18. Este estudio argumentó que el efecto de bouba/kiki significativamente menos robusto entre los participantes ciegos y parcialmente avistados fue causado por la falta de imágenes visuales: Los participantes completamente avistados habían notado regularidades en su entorno que no son fácil acceso cuando la visión se deteriora18. Sin embargo, no se desprende claramente de este estudio si las imágenes visuales son necesarias para que se produzca el efecto bouba/kiki: Sólo seis de los 42 participantes con discapacidad visual eran congénitos totalmente ciegos18, por lo tanto, no tenían imágenes visuales en absoluto. Además, los otros participantes, ninguno de ellos con los ojos vendados, pueden haber observado los movimientos de los labios del experimentador al anunciar la palabra bouba/kiki – movimientos de labios redondeados al anunciar ‘bouba’ y movimientos angulares de los labios al anunciar ‘kiki’1 , 18 – mostrar un efecto bouba/kiki táctil-visual-auditivo en lugar de dibujar sobre cualquier imagen visual. Además, no se investigó ningún efecto de notar regularidades táctiles-auditivas, por ejemplo, comparando el efecto bouba/kiki en el ensayo uno y el ensayo cuatro en lugar de calcular el efecto en los cuatro ensayos. Además, el bouba táctil y el kiki eran bastante diferentes en todos los ensayos: en los ensayos uno y dos eran formas 3D y 2D (curvado v angular); en ensayos tres y cuatro, idénticos en forma (círculo) y disímiles en textura (suave v áspero; suave v puntiagudo)18. En una línea relacionada, un estudio ha investigado un efecto binótico-auditivo-cinético en individuos con los ojos vendados (completamente avistados) y ha encontrado que, después de un período de entrenamiento de dos minutos de la celebración de un estilete robótico programado para dibujar trayectorias de la bouba y el kiki formas, el 82% mostró el efecto bouba/kiki19. Sin embargo, no se desprende claramente de si el efecto bouba/kiki se produjo debido al período de entrenamiento: El estudio no incluyó una prueba previa, ni un grupo de control.
Con este fin, hemos investigado el papel de las imágenes visuales en el efecto bouba/kiki, si el entrenamiento en la atención de las regularidades táctiles/visuales-auditivas de bouba y kiki afectó al efecto bouba/kiki y al reconocimiento de las bouba táctiles/visuales individuales y kiki formas, y finalmente lo que las imágenes mentales estas regularidades de audio de forma produjo17. Para generar regularidades de audio de forma de bouba/kiki – no sólo, por ejemplo, las particularidades kiki-shape/kiki-word1 – este estudio incluyó dos tipos de formas táctiles/visuales de bouba/kiki (rellenadas; esbozadas) y dos tipos de bouba/kiki auditivos 17. Tres grupos de individuos participaron en tres experimentos: Ciego (N-12), venda en los ojos (N-12) y visión (N-12). Los experimentos se llevaron a cabo en orden fijo entre los participantes y sin descanso entre ellos, para mantener bajo control la cantidad de los participantes y el tipo de experiencia con bouba y kiki. En el Experimento 1 (diseño previo a la prueba con tres medidas repetidas dentro del grupo), se pidió a los participantes que eligieran la forma táctil/visual que asociaban con el bouba/kiki auditivo; en el Experimento 2 (dentro del diseño del sujeto), por nombrar una forma táctil/visual y un poco de audio (a veces congruente; a veces incongruente) como ‘bouba’ o ‘kiki;’ y en el Experimento 3, (diseño post-prueba solamente) para dibujar la forma táctil/visual que asociaban con la auditor bouba/kiki17. En general, este estudio sugirió que el efecto de las imágenes visuales es sólido en todas las tareas, pero no a largo plazo dentro de cada tarea, mientras que el efecto de aprender regularidades de audio de forma es robusto a largo plazo dentro de cada tarea, pero no en las tareas17. Este artículo presenta el protocolo de este estudio17. El protocolo presentado es apropiado para investigar el efecto de las imágenes visuales y el aprendizaje de las regularidades de audio de forma, cuando se producen y lo robustos que son; en individuos y grupos específicos de individuos. Este protocolo es único en el sentido de que mantiene bajo control tanto las imágenes visuales como la información sensorial durante el entrenamiento y las pruebas.
Protocol
Representative Results
Discussion
El protocolo presentado es apropiado para investigar el efecto de las imágenes visuales y el aprendizaje de las regularidades de audio de forma, cuando se producen y lo robustos que son; en individuos y grupos específicos de individuos.
Este protocolo sería apropiado para probar no sólo la precisión, sino también el tiempo de exploración: Desde cuando el experimentador retira su mano izquierda de los puños del participante (en el grupo ciego y con los ojos vendados) / la placa de cartón o tablero de espuma (en el grupo de visión) a cuando el participante dice “sí”. En los análisis estadísticos, el tiempo de exploración más largo por ensayo por grupo experimental se dividiría en cuatro y el número de participantes “rápidos”, “medios” y “lentos” en cada grupo experimental contado: “Rápido” usando el 25 % de este tiempo de exploración, ‘ medio’ usando 26-75%, y ‘lento’ usando 75%. Durante los ensayos, los participantes se contarían como en el Experimento 2: Es decir, como “rápido” si se cuenta como “rápido” en el 66,6 % de todos los ensayos, como “medio” si se cuenta como “medio” en el 66,6 % de todos los ensayos, y así sucesivamente. (Para ‘inconcluso’, es decir, el participante no puede ser contado como ‘rápido’, ‘medio’ o ‘lento’, cf. Experimento 3.) Sería posible probar el tiempo de exploración para obtener respuestas correctas e incorrectas por separado, dependiendo del tamaño de la muestra y/o del número de respuestas correctas e incorrectas. Ya sea la precisión de las pruebas, el tiempo de exploración o ambos, hay pasos críticos del protocolo que deben seguirse: los tres experimentos deben llevarse a cabo en orden fijo, y sus ensayos presentados en orden fijo, para todos los participantes. Los participantes no deben ser conscientes de que los materiales de prueba en los tres experimentos incluyen bouba y kiki. Además, la información auditiva del reproductor de MP3 debe reproducirse una sola vez y no repetirse por vía oral a los participantes (los tres experimentos). En el Experimento 1 y el Experimento 2, el bouba táctil/visual y el kiki deben presentarse en la misma posición y orientación. Para el grupo de visión (en los tres experimentos), los materiales de prueba deben establecerse detrás de una placa de cartón / placa de espuma. Finalmente, en el grupo con los ojos vendados, los participantes no deben quitarse la venda hasta que se haya completado el Experimento 3. Estos pasos son para garantizar que la cantidad y el tipo de información sobre el táctil/visual y el bouba auditivo y el kiki se mantengan bajo control en todos los grupos experimentales. Además, es crucial en el Experimento 2 presentar el bouba/kiki auditivo tan pronto como el participante comience a explorar el bouba/kiki táctil/visual. Esto garantizará que se presente información multimodal (congruente o incongruente). Además, este protocolo también sería apropiado para probar otros grupos de individuos. Para integrarlos, estos grupos participantes podrían añadirse como grupos experimentales independientes: por ejemplo, un grupo de percepción de color y un grupo de percepción de forma; 22 un grupo de pérdida de visión repentina y un grupo de pérdida de visión progresiva; 20 , Se podrían añadir 21 y/o grupos específicos de personas con discapacidad auditiva y/o un Trastorno del Espectro Autista13.
Con este protocolo, sería posible establecer una norma de grupo (para la precisión y/o el tiempo de exploración) para grupos específicos en cada efecto instantáneo y a largo plazo, incluyendo cada medida repetida dentro del grupo, y / o tarea; a continuación, para probar a las personas en contra de su norma de grupo: Si cualquier individuo en particular o todo el grupo está en necesidad de más entrenamiento en la atención de las regularidades de audio de forma. Una norma de grupo para cada efecto instantáneo y a largo plazo, incluyendo cada medida repetida dentro del grupo, y / o tarea también permitiría determinar qué tipo de entrenamiento es necesario para notar las regularidades de audio de forma: Por ejemplo, más ensayos con el táctil / efecto bouba/kiki visual (Experimento 1) y/o más ensayos con forma táctil/visual congruente e incongruente y audio (Experimento 2). De hecho, sería posible aumentar tanto el número de ensayos como el número de medidas repetidas dentro del grupo en cada tarea, así como alterar el tiempo entre ellos, permitiendo así una formación y pruebas más individualizadas.
Sin embargo, este protocolo tendría que modificarse si probar qué tipo de materiales (por ejemplo, bouba o kiki, forma táctil/visual rellena o esbozada, y/o sonido o palabra auditiva) garantiza mejor el aprendizaje de las regularidades de audio de forma. Una posible forma de modificar este protocolo podría consistir en presentar los diferentes materiales en bloques: Por ejemplo, formas táctiles/visuales llenas y sonido auditivo y/o formas táctiles/visuales esbozadas y palabra sorcelante (Experimento 1). Estos bloques podrían presentarse en orden aleatorio a todos los participantes en un grupo experimental; o alternativamente, cada uno de los cuatro bloques para separar los grupos experimentales (Experimento 1). Este protocolo también necesitaría modificarsi se prueba aún más la robustez de las imágenes visuales y/o las regularidades de audio de forma aprendidas dentro y entre las tareas. La modificación podría implicar la adición de medidas repetidas dentro del grupo con diferentes formas táctiles/visuales y/o audio que las incluidas en la capacitación; por ejemplo, con el sonido auditivo de ‘maa-boo-maa’ y ‘tuh-kee-tee’ después de entrenar con formas táctiles/visuales de bouba y kiki y palabras auditivas (Experimento 1)1,3,4,10, 11 , 12 , 13 , 14 , 15 , 16. Otra opción podría implicar la presentación de una tercera forma táctil/visual que no sea principalmente curvada/angular junto con las formas táctiles/visuales de bouba y kiki en el Experimento 110,11,12 ,13,14,15,16. Se podría crear una palabra sin sentido auditiva y un sonido para esta forma táctil/visual para producir un tercer par de palabras de forma14,15,16 y un tercer par de sonido de forma17 (Experimento 1). El par de sonido de forma podría incluirse en el Experimento 2 como ensayos de captura; o alternativamente como ensayos congruentes regulares y con los ensayos incongruentes correspondientes. Por último, el sonido (del Experimento 2 y el Experimento 1) y/o la palabra sin sentido (del Experimento 1) podrían presentarse en el Experimento 3. Una tercera opción podría implicar no llevar a cabo el Experimento 2 y el Experimento 3 en absoluto, sino incluirlos como tareas en las medidas repetidas dentro del grupo en el Experimento 1, en orden aleatorio.
El protocolo presentado es único en el sentido de que mantiene bajo control tanto las imágenes visuales como la información sensorial durante el entrenamiento y las pruebas. Es flexible: Se pueden probar muestras grandes y pequeñas e individuos específicos contra sí mismos (cf. las pruebas dentro del grupo) y/u otros grupos de individuos (cf. las pruebas entre grupos). Es posible probar la precisión y el tiempo de exploración, cambiar el número de ensayos y las medidas repetidas dentro del grupo en cada experimento y el tiempo entre ellos, y cambiar o incluso colapsar el orden de los ensayos y / o experimentos.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Financiadores:
Este trabajo fue financiado por el programa de investigación e innovación Horizonte 2020 de la Unión Europea en el marco de las Acciones Marie Sklodowska-Curie (número de acuerdo de concesión 657440) y la Asociación Noruega de Ciegos y Ojos Parcialmente.
Maquillaje de película:
Maquillador Rachael Parrey.
Materials
| Bouba/kiki filled | 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height | ||
| Bouba/kiki outlined | 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height | ||
| Bouba/kiki sound (sine wave) | |||
| Bouba/kiki word (human voice) | |||
| Carton plate/foam board for covering bouba/kiki (white) | Ryman | 230461860 | 297 mm horizontal x 210 vertical 0 mm vertical |
| Copy paper [white (80 g/m2 )] | Ryman | 250030000 | 210 mm horizontal x 148 mm vertical |
| Foam board for bouba/kiki picture cards [white (5 mm thick)] | Ryman | 230461860 | 50 mm horizontal x 50 mm vertical |
| MP3-player (smartphone with the VLC app for iOS installed) | Carphone Warehouse | ||
| Plastic embossing film | RNIB Shop | ZM04 | 210 mm horizontal x 148 mm vertical |
| Rollerball pen [black (1.0 mm tip)] | Ryman | 827134001 | |
| Rubber mat | RNIB Shop | LC177 | 230 mm horizontal x 150 mm vertical |
| Saddleback style | RNIB Shop | B511 | |
| Swell paper | Zychem Ltd | Zytex2 paper | 50 mm horizontal x 50 mm vertical |
References
- Ramachandran, V. S., Hubbard, E. M. Synaesthesia – A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
- Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
- Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
- Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
- Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
- Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
- Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity?. British Journal of Psychology. 107 (1), 154-178 (2016).
- Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
- Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
- Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
- D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
- Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
- Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
- Köhler, W. . Gestalt psychology. , (1929).
- Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
- Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
- Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
- Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
- Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
- Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
- Graven, T., Bello, F., Kajimoto, H., Visell, Y. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. , 380-393 (2016).
- Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
- Heller, M. A., Gentaz, E. . Psychology of Touch and Blindness. , (2014).
- Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).
