Исследование влияния визуальных изображений и обучения формы-аудио регулярности на Буба и Кики
Summary
Целью представленного протокола является изучение роли визуальных изображений в бубе/кики-эффекте, независимо от того, влияет ли обучение на замечание бубы/кики формы-аудио регулярности на бубу/кики-эффект и признание отдельных форм бубы и кики, и, наконец, то, что психические образы эти закономерности производить.
Abstract
В этой статье представлен протокол для изучения роли визуальных изображений в бубе / кики-эффект, будь то обучение в заметив буба / кики формы-аудио регулярности влияет на буба / кики-эффект и признание отдельных форм бубы и кики, и, наконец, то, что психические образы эти закономерности производить. Для генерации бубы/кики формы-аудио регулярности, было два типа форм (заполненные; изложенные) и два типа звука (слово; не-слово звука). Три группы людей участвовали в трех экспериментах: слепые, с завязанными глазами и зрение. Эксперименты проводились в фиксированном порядке между участниками, без перерыва между ними. В эксперименте 1 (предтест-пост-тест дизайн с тремя повторными в рамках группы меры) участникам было предложено выбрать форму они связаны со слуховой буба / кики; в Эксперименте 2 (в рамках предмета дизайна), чтобы назвать одну форму и некоторые аудио (иногда congruous, иногда нелепо) как “буба” или “кики”, и в эксперименте 3 (после испытания только дизайн), чтобы нарисовать форму, они связаны со слуховой буба / кики. Полученные результаты свидетельствуют о том, что группа с завязанными глазами опирается на визуальные образы для решения новых проблем, но не в долгосрочной перспективе; что обучение замечанию бубы/кики формы-аудио регулярности влияет на бубу/кики-эффект и признание отдельных форм бубы и кики, но по-разному в каждой экспериментальной группе; и что все экспериментальные группы создают умственные образы наиболее характерной черты формы бубы (кривой) и кики (угол). В самом деле, эффект визуальных изображений является надежным для всех задач, но не в долгосрочной перспективе; эффект обучения формы-аудио регулярности является надежным долгосрочной перспективе, но не между задачами. Представленный протокол подходит для изучения влияния визуальных изображений и изучения формы-аудио закономерностей, когда они происходят и насколько они надежны; у конкретных лиц и групп лиц. Этот протокол уникален тем, что он держит под контролем как визуальные изображения, так и сенсорную информацию во время обучения и тестирования.
Introduction
95% населения мира показывает слухово-визуальный буба/кики-эффект, связывая визуально округлую форму с произнесенное слово «буба»; и визуально угловатую форму с произнесенное слово «кики»; либо с формой или словом1. Эффект бубы/кики предшествует изучению языка; это происходит через языки1,2,3,4,5, с обеих буба и кики (ср. люди предпочтение визуальных кривых над визуальными углами6,7 , 8 , 9),и это зависит от сочетания гласных и согласных (например, это не происходит с “биби” и “куку”). 1 , 5 , 10 Лет , 11 Год , 12. Эта ассоциация форм-слова происходит с другими парами формы и слова также, по тех пор пока они главным образом изогнуты, как bouba, и главным образом угловатый, как kiki11,13; и / или они имеют такое же сочетание гласных и согласных, как “буба” и “кики”, например: “Балума” и “takete”, “малума” и “takete”, “uloomo” и “takete”, “маа-бу-маа” и “тух-ки-ти”1, 3 4,10,11,12,14. В самом деле, люди связывают округлые визуальные формы с произнесенные слова, содержащие континуантные согласные (такие как /l/ и /м/) и открытыми гласными (такими как /:’, и /:/), и визуальные угловые формы с произнесенные слова, содержащие плосивые согласные (такие как / к/ и /т/) и закрыть передние гласные (например, (/я/ и /I/)11,12,15,16. Они находятся под влиянием больше согласных, чем гласных, особенно безголосых (например, /k/ и /t/)11,12,15,16. Действительно, кажется, особенности глобальных форм – их кривые и углы17 – и звук произнесенных слов – их мелодия17 – являются наиболее важными, в отличие от глобальных форм и слов себя.
Одно исследование исследовало буба / кики-эффект с тактильной бубы и кики вместо визуальной формы буба / кики и обнаружили, что участники, которые были слабовидящими показали значительно менее надежный буба / кики-эффект (64%) чем полностью зрячие (90%)18. Это исследование утверждало, что значительно менее надежный буба / кики-эффект среди участников, которые были слепы и частично зрячих было вызвано отсутствием визуальных изображений: Полностью зрячие участники заметили закономерности в их среде, которые не являются легко доступны, когда зрение нарушается18. Это не ясно из этого исследования, однако, является ли визуальные изображения необходимы для буба / кики-эффект происходит: Только шесть из 42 участников с нарушениями зрения были врожденно полностьюслепых 18, таким образом, не было визуальных изображений на всех. Кроме того, другие участники, ни один из них с завязанными глазами, возможно, наблюдали движения губ экспериментатора, объявляя буба / кики слово – округлые движения губ при объявлении “буба” и угловые движения губ при объявлении “кики”1 , 18 – показ тактильной-визуальной бубы/кики-эффектвместо рисования на каких-либо визуальных образах. Кроме того, не было исследовано любое влияние замечания тактильно-слуховых закономерностей, например, путем сравнения бубы/кики-эффекта с пробной первой и пробной четверки вместо расчета эффекта во всех четырех исследованиях. Кроме того, тактильные бубы и кики были довольно разными в ходе испытаний: в испытаниях один и два они были 3D и 2D-формами (изогнутые v угловой); в испытаниях три и четыре, идентичные по форме (круг) и непохожие по текстуре (гладкий v грубый; гладкий V колючий)18. В родственном вене, одно исследование исследовало кинестетик-слуховой буба / кики-эффект в с завязанными глазами (полностью зрячих) лиц и обнаружили, что после двухминутного периода обучения проведения робота стилус запрограммирован рисовать траектории буба и кики формы, 82% показали буба / кики-эффект19. Однако из этого исследования не ясно, произошел ли эффект бубы/кики из-за периода обучения: исследование не включало ни предварительного теста, ни контрольную группу.
С этой целью мы исследовали роль визуальных изображений в бубе/кики-эффекте, независимо от того, повлияла ли подготовка к тактильной/визуально-слуховой бубе и кики-эффекту и признанию индивидуальной тактильной/визуальной бубы и Кики формы, и, наконец, какие психические образы этих форм-аудио регулярности производится17. Для генерации бубы / кики формы-аудио регулярности – не только, например, кики-формы / кики-слово особенности1 – это исследование включало два типа тактильных / визуальные формы буба / кики (заполнены; изложены) и два типа слуховых буба / кики слово; не-слово звук)»17. Три группы людей участвовали в трех экспериментах: слепой (N No 12), с завязанными глазами (N No 12) и зрением (N No 12). Эксперименты проводились в фиксированном порядке между участниками и без перерыва между ними, чтобы держать под контролем количество участников и тип опыта с бубой и кики. В эксперименте 1 (предтест-пост-тест дизайн с тремя повторными в рамках группы меры) участникам было предложено выбрать тактильные / визуальные формы они связаны со слуховой буба / кики; в эксперименте 2 (в рамках предмета дизайна), чтобы назвать одну тактильную/визуальную форму и некоторые аудио (иногда congruous, иногда нелепо) как “буба” или “кики”, и в эксперименте 3, (после тестирования только дизайн), чтобы нарисовать тактильную / визуальную форму они связаны с слуховой буба/кики17. В целом, это исследование показало, что эффект визуальных изображений является надежным по всем задачам, но не долгосрочный в рамках каждой задачи, в то время как эффект обучения формы-аудио регулярности является надежным долгосрочной перспективе в рамках каждой задачи, но не через задачи17. В этой статье представлен протокол из этого исследования17. Представленный протокол подходит для изучения влияния визуальных изображений и изучения формы-аудио закономерностей, когда они происходят и насколько они надежны; у конкретных лиц и групп лиц. Этот протокол уникален тем, что он держит под контролем как визуальные изображения, так и сенсорную информацию во время обучения и тестирования.
Protocol
Representative Results
Discussion
Представленный протокол подходит для изучения влияния визуальных изображений и изучения формы-аудио закономерностей, когда они происходят и насколько они надежны; у конкретных лиц и групп лиц.
Этот протокол был бы уместным для проверки не только точности, но и времени исследования: С момента, когда экспериментатор удаляет левую руку из кулаков участника (в группе с завязанными глазами) / картонной пластины или пенопластовой доски (в видение-группы), когда участник говорит “да”. В статистическом анализе самое длинное время исследования на каждую экспериментальную группу будет разделено на четыре, а число «быстрых», «средних» и «медленных» участников в каждой экспериментальной группе подсчитано: «Быстрый» с использованием 25% этого времени исследования, ‘ средний’ с использованием 26-75%, и “медленный” с использованием 75%. В ходе испытаний участники будут учитываться как в Эксперименте 2: То есть, как «быстрые», если считать «быстрыми», если считать «быстрыми» в 66,6% всех испытаний, как «средние», если считать «средним» в 66,6% всех испытаний и так далее. (Для “неубедительно”, т.е. участник не может считаться “быстрым”, “средним” или “медленным”, cf. Эксперимент 3.) Можно было бы проверить время исследования на правильные и неправильные ответы отдельно, в зависимости от размера выборки и/или количества правильных и неправильных ответов. Независимо от точности тестирования, времени исследования или обоих, необходимо следовать критическиважным шагам протокола: три эксперимента должны проводиться в установленном порядке, а их испытания представлены в фиксированном порядке для всех участников. Участники не должны быть осведомлены о том, что тестовые материалы во всех трех экспериментах включают бубу и кики. Кроме того, слуховая информация от MP3-плеера должна быть воспроизведена только один раз и не повторяется обратно устно участникам (все три эксперимента). В эксперименте 1 и Эксперимент е2 тактильные/визуальные бубы и кики должны быть представлены в том же положении и ориентации. Для группы зрения (во всех трех экспериментах) испытательные материалы должны быть установлены за картонной пластиной/пенопластовой доской. Наконец, в группе с завязанными глазами участники не должны снимать повязку до завершения эксперимента 3. Эти шаги должны обеспечить, чтобы количество и тип информации о тактильной / визуальной и слуховой бубы и кики находится под контролем во всех экспериментальных группах. Кроме того, в эксперименте 2 крайне важно представить слуховую бубу/кики, как только участник начнет исследовать тактильные/визуальные бубы/кики. Это обеспечит представление мультимодальной (коннесной или нелепой) информации. Кроме того, этот протокол будет также уместным для проверки других групп лиц. Для их интеграции такие группы участников можно было бы добавить в качестве отдельных экспериментальных групп: например, группу восприятия цвета и группу восприятия формы; 22 внезапная потеря зрения группы и прогрессивной потери зрения группы; 20 , 21 и / или конкретных групп лиц с нарушениями слуха и / или расстройство аутистического спектра13 могут быть добавлены.
С помощью этого протокола можно было бы установить групповую норму (для точности и/или времени исследования) для конкретных групп по каждому мгновенному и долгосрочному эффекту, включая каждую повторяющуюся внутригрупповую меру и/или задачу; затем, чтобы проверить лиц против их групповой нормы: ли какой-либо конкретный человек или вся группа нуждается в дальнейшей подготовке в заметив форму-аудио регулярностей. Групповая норма для каждого мгновенного и долгосрочного эффекта, включая каждое повторение внутригрупповой меры и/или задачи, также позволит определить, какая подготовка необходима для того, чтобы заметить закономерности формы-аудио: например, больше испытаний с тактильными/ визуально-аудиторная буба/кики-эффект (Эксперимент 1) и/или другие испытания с конлеобразной и нелепой тактильной/визуальной формой и аудио (Эксперимент 2). Действительно, можно было бы увеличить как число испытаний, так и число повторяющихся внутригрупповых мер в каждой задаче, а также изменить время между ними, что позволило бы проводить более индивидуальную подготовку и тестирование.
Тем не менее, этот протокол потребуетизменения, если тестирование того, какой тип материалов (например, буба или кики, заполненные или изложенные тактильные / визуальные формы, и / или слуховой звук или слово) лучше всего обеспечивает изучение формы аудио регулярностей. Возможный способ изменения этого протокола может включать представление различных материалов в блоках: Например, заполненные тактильные/визуальные формы и слуховой звук и/или изложенные тактильные/визуальные формы и слуховое слово (Эксперимент 1). Эти блоки могут быть представлены в случайном порядке всем участникам одной экспериментальной группы; или же каждый из четырех блоков для разделения экспериментальных групп (Эксперимент 1). Этот протокол также потребует изменения, если тестирование еще больше надежность визуальных изображений и / или узнал формы аудио регулярности внутри и между задачами. Эта модификация может включать добавление повторяющихся внутригрупповых мер с различной тактильной/визуальной формой и/или аудио, чем те, которые включены в обучение; например, со слуховым звуком для ‘maa-boo-maa’ и ‘tuh-kee-tee’ после тренировки с тактильными/визуальными формами бубы и кики и слуховыми словами (Эксперимент 1)1,3,4,10, 11 Год , 12 Лет , 13 Год , 14 Год , 15 лет , 16. Другой вариант может включать представление третьей тактильной / визуальной формы, которая не в основном изогнутые / угловые вместе с тактильной / визуальной бубы и кики формы в эксперименте 110,11,12 ,13,14,15,16. Слуховой нонсенс слово и звук может быть создан для этой тактильной / визуальной формы для получения третьей формы слова пара14,15,16 и третья форма звука пара17 (Эксперимент 1). Пара звуков формы может быть включена в Эксперимент 2 в качестве улова-испытания; или же в качестве регулярных конгрузных испытаний и с соответствующими нелепыми испытаниями. Наконец, звук (от эксперимента 2 и эксперимент 1) и / или нонсенс слово (от эксперимента 1) может быть представлен в эксперименте 3. Третий вариант может включать в себя не проведение Эксперимента 2 и Эксперимента 3 вообще, а включение их в качестве задач в повторяющихся внутригрупповых мерах в Эксперименте 1, в случайном порядке.
Представленный протокол уникален тем, что он держит под контролем как визуальные изображения, так и сенсорную информацию во время обучения и тестирования. Она гибкая: большие и малые образцы и конкретные лица могут быть проверены против себя (ср. внутригрупповое тестирование) и/или других групп лиц (ср. тестирование между группами). Можно проверить как точность, так и время исследования, изменить количество испытаний и повторяющиеся внутригрупповые измерения в каждом эксперименте и время между ними, а также изменить или даже свернуть порядок испытаний и/или экспериментов.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Спонсоров:
Эта работа финансировалась исследовательской и инновационной программой Европейского союза «Горизонт 2020» в рамках программы «Действия Марии Склодовской-Кюри» (грантовое соглашение No 657440) и Норвежской ассоциацией слепых и частично видячих.
Киновиза:
Визажист Рэйчел Парри.
Materials
| Bouba/kiki filled | 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height | ||
| Bouba/kiki outlined | 30 mm horizontal, 23 mm Vertical and 0.5 mm thickness m vertical, and 0.5 mm line height, and 0.5 mm embossed embossed height | ||
| Bouba/kiki sound (sine wave) | |||
| Bouba/kiki word (human voice) | |||
| Carton plate/foam board for covering bouba/kiki (white) | Ryman | 230461860 | 297 mm horizontal x 210 vertical 0 mm vertical |
| Copy paper [white (80 g/m2 )] | Ryman | 250030000 | 210 mm horizontal x 148 mm vertical |
| Foam board for bouba/kiki picture cards [white (5 mm thick)] | Ryman | 230461860 | 50 mm horizontal x 50 mm vertical |
| MP3-player (smartphone with the VLC app for iOS installed) | Carphone Warehouse | ||
| Plastic embossing film | RNIB Shop | ZM04 | 210 mm horizontal x 148 mm vertical |
| Rollerball pen [black (1.0 mm tip)] | Ryman | 827134001 | |
| Rubber mat | RNIB Shop | LC177 | 230 mm horizontal x 150 mm vertical |
| Saddleback style | RNIB Shop | B511 | |
| Swell paper | Zychem Ltd | Zytex2 paper | 50 mm horizontal x 50 mm vertical |
References
- Ramachandran, V. S., Hubbard, E. M. Synaesthesia – A Window Into Perception, Thought and Language. Journal of Consciousness Studies. 8 (12), 3-34 (2001).
- Bremner, A. J., Caparos, S., Davidoff, J., de Fockert, J., Linnell, K. J., Spence, C. Bouba’’and ‘‘Kiki’’ in Namibia? A remote culture make similar sound-shape matches, but different taste-shape matches to Westerners. Cognition. 126 (2), 165-172 (2013).
- Davis, R. The fitness of names to drawings. A cross-cultural study in Tanganyika. British Journal of Psychology. 52 (3), 259-268 (1961).
- Maurer, D., Pathman, T., Mondloch, C. J. The shape of boubas: sound-shape correspondences in toddlers and adults. Developmental Science. 9 (3), 316-322 (2006).
- Ozturk, O., Krehm, M., Vouloumanos, A. Sound-symbolism in infancy: Evidence for sound-Shape cross-modal correspondences in 4-months-olds. Journal of Experimental Child Psychology. 114 (2), 173-186 (2013).
- Bar, M., Neta, M. Humans Prefer Curved Visual Objects. Psychological Science. 17 (8), 645-648 (2006).
- Bertamini, M., Palumbo, L., Gheorghes, T. N., Galatsidas, M. Do observers like curvature or do they dislike angularity?. British Journal of Psychology. 107 (1), 154-178 (2016).
- Quinn, P. C., Brown, C. R., Streppa, M. L. Perceptual Organization of Complex Visual Configurations by Young Infants. Infant Behavior and Development. 20 (1), 35-46 (1997).
- Silvia, P. J., Barona, C. M. Do people prefer curved objects? Angularity, expertise, and aesthetic preference. Empirical Studies of the Arts. 27 (1), 25-42 (2009).
- Nielsen, A., Rendall, D. The Sound of Round: Evaluating the Sound-Symbolic Role of Consonants in the Classic Takete-Maluma Phenomenon. Canadian Journal of Experimental Psychology. 65 (2), 115-124 (2011).
- D’Onofrio, A. Phonetic Detail and Dimensionality in Sound-shape Correspondences: Refining the Bouba-Kiki Paradigm. Language and Speech. 57 (3), 367-393 (2014).
- Westbury, C., Hollis, G., Sidhu, D. M., Pexman, P. M. Weighing up the evidence for sound symbolism: Distributional properties predict cue strength. Journal of Memory and Language. 99, 122-150 (2018).
- Oberman, L. M., Ramachandran, V. S. Preliminary evidence for deficits in multisensory integration in autism spectrum disorders: The mirror neuron hypothesis. Social Neuroscience. 3 (3-4), 348-355 (2008).
- Köhler, W. . Gestalt psychology. , (1929).
- Monaghan, P., Mattock, K., Walker, P. The Role of Sound Symbolism in Language Learning. Journal of Experimental Psychology: Learning, Memory, and Cognition. 38 (5), 1152-1164 (2012).
- Fort, M., Martin, A., Peperkamp, S. Consonants are More Important than Vowels in the Bouba-kiki Effect. Language and Speech. 58 (2), 247-266 (2015).
- Graven, T., Desebrock, C. Bouba or kiki with and without vision: Shape-audio regularities and mental images. Acta Psychologica. 188, 200-212 (2018).
- Fryer, L., Freeman, J., Pring, L. Touching words is not enough: How visual experience influences haptic-auditory associations in the “Bouba-Kiki” effect. Cognition. 132 (2), 164-173 (2014).
- Fontana, F. Association of Haptic Trajectories to Takete and Maluma. Lecture Notes in Computer Science. 7989, 60-68 (2013).
- Graven, T. How blind individuals discriminate braille characters: An identification and comparison of three discrimination strategies. British Journal of Visual Impairment. 33 (2), 80-95 (2015).
- Graven, T., Bello, F., Kajimoto, H., Visell, Y. How attention is allocated when using haptic touch: Shape feature distinction and discrimination strategy. EuroHaptics 2016, Part 1. , 380-393 (2016).
- Heller, M. A., Calcaterra, J. A., Burson, L. L., Tyler, L. A. Tactual picture identification by blind and sighted people: Effects of providing categorical information. Perception & Psychophysics. 58 (2), 310-323 (1996).
- Heller, M. A., Gentaz, E. . Psychology of Touch and Blindness. , (2014).
- Pathak, K., Pring, L. Tactual picture recognition in congenitally blind and sighted children. Applied Cognitive Psychology. 3 (4), 337-350 (1989).
