Summary

Взаимодействие фонологических и семантических процессов в визуальном распознавании слов с помощью электрофизиологии

Published: June 29, 2021
doi:

Summary

Представлен протокол для исследования относительной последовательности активации фонологии и семантики в визуальном распознавании слов. Результаты показывают, что в соответствии с интерактивными учетными записями семантические и фонологические представления могут обрабатываться интерактивно, а лингвистические представления более высокого уровня могут влиять на раннюю обработку.

Abstract

Противоречия всегда существовали в исследованиях, связанных со способностями к чтению; о том, воспринимаются ли печатные слова в прямом виде на основе орфографической информации, после чего активируются другие представления, такие как фонология и семантика, или же они полностью интерактивны и высокоуровневая семантическая информация влияет на раннюю обработку. В представленном протоколе фонологических и семантических задач суждения реализована интерференционная парадигма, в которой для исследования относительного порядка фонологической и семантической активации использовались одни и те же предшествующие целевые пары. Высоко- и низкочастотным целевым словам предшествовали три условия: семантически связанные, фонологические (омофоны) или несвязанные. Результаты показали, что индуцированная составляющая P200 низкочастотных пар слов была значительно больше высокочастотных слов как в семантических, так и в фонологических задачах. Кроме того, как омофоны в семантической задаче, так и семантически связанные пары в фонологической задаче вызвали снижение N400 по сравнению с контрольным условием, частотой слова независимо. Стоит отметить, что для низкочастотных пар в задаче фонологического суждения P200, высвобождаемый семантически связанными парами слов, был значительно больше, чем в контрольном состоянии. В целом, семантическая обработка в фонологических задачах и фонологическая обработка в семантических задачах были обнаружены как в высоко-, так и в низкочастотных словах, предполагая, что взаимодействие между семантикой и фонологией может действовать независимо от задачи. Однако конкретное время, в течение которого происходило это взаимодействие, могло зависеть от задачи и частоты.

Introduction

Критическим вопросом в любой модели распознавания слов является понимание роли фонологии в процессе семантического доступа1. Для алфавитных языков многие исследования последовательно рассматривают фонологию как играющую важную роль в семантическом доступе, включая английский2,3,4,иврит5,французский6и испанский7. Другими словами, распознавание письменного слова предполагает не только орфографическую, но и фонологическую и семантическую обработку. Это наблюдение в интерактивной коннекционистской модели объясняется расширениями, активированными по всей сети, где орфография связана с фонологическими и семантическими представлениями через взвешенные связи8. Это распространение активации обеспечивает основной механизм для модели визуального распознавания слов, которая предполагает, что фонологические и семантические представления автоматически активируются в ответ на орфографический ввод9.

Однако современные эмпирические данные, подтверждающие гипотезу интерактивной автоматизации, остаются спорными. Некоторые исследования утверждают, что активация фонологических и семантических представлений может быть скорректирована или предотвращена требованиями задачи или внимания, что подразумевает определенное нисходящее влияние на процессы высокого уровня, участвующие в восприятии слова10,11. Тем не менее, вышеупомянутое описание было поставлено под сомнение многими выводами, которые сообщают о фонологических и семантических эффектах в визуальном распознавании слов, даже если эти представления совершенно не имеют отношения к задаче или не могут быть напрямую доступны12,тем самым поддерживая мнение о том, что семантика и фонология могут быть доступны автоматически и принудительно во время процесса чтения13. . Поэтому существует неопределенность в отношении того, зависит ли фонологическая и семантическая активация в визуальном распознавании слов от конкретной задачи или же она происходит принудительно и автоматически независимо от задачи.

Ответ на вышеупомянутый вопрос сложен для китайских читателей. По сравнению с английским, китайский язык представляет собой логографическое письмо, символы которого представляют морфемы вместо фонем14. В настоящее время роль фонологии для семантического доступа к китайским словам остается спорной. Некоторые исследования утверждают, что фонология играет важную роль в семантическом доступе к китайским словам15,16,17. Другие, однако, придерживаются противоположнойточки зрения 18,19. Оценив вышеупомянутые исследования для китайской фонологической обработки, мы обнаружили, что экспериментальная парадигма и конкретные методы исследования различаются. В целом она была в основном разделена на две парадигмы: слово прайминг15,18,19 и парадигма нарушения в предложении17,20,21. Целевое слово обычно встраивается в конце предложения в парадигму нарушения22. С точки зрения языкового механизма, короткая фраза из двух слов является более управляемой единицей, чем полное предложение, которое трудно обработать23. Кроме того, переменные, которые трудно контролировать в предложении, такие как синтаксис, контекст или другие факторы, могут привести к различным выводам24. Парадигма прайминга — это метод, обычно используемый для изучения моделей распознавания слов, будь то в алфавитных языках или китайском. Задача этой парадигмы состоит в том, чтобы судить, является ли целевое слово, которому предшествуют простые числа, реальным словом или псевдословом; то есть эта парадигма обычно содержит только одну лексическую задачу. Однако одно лексическое решение задачи может быть не лучшим выбором для решения проблемы того, зависит ли активация фонологии и семантики от поставленной задачи. Поэтому две разные задачи могут быть более подходящими для изучения этого вопроса.

Поэтому это исследование было направлено на изучение роли фонологии в распознавании китайских слов и одновременно попытку определить, является ли активация фонологии и семантики независимой от задачи. Наше исследование включает в себя две задачи с использованием интерференционной парадигмы: семантическое суждение и фонологическое суждение. Насколько нам известно, это первое исследование потенциала, связанного с событиями (ERP) китайского двухсимвольного комплексного распознавания с использованием этой парадигмы интерференции, и этот метод редко появляется в исследованиях алфавитных языков. В частности, в задаче семантического суждения участники должны судить, является ли целевое слово и его прецедент семантически связанными, в то время как в фонологической задаче они должны судить, имеют ли парные слова одинаковое произношение.

Первая представляет собой задачу семантического сопоставления, не требующую априорной фонологической обработки, а вторая — фонологическую задачу суждения, не требующую априорной семантической обработки. Поэтому мы сравнили гомофонные пары и несвязанные контрольные группы в задаче семантического суждения, чтобы выявить, влияет ли фонология на семантическую обработку и как она влияет. Аналогичным образом, мы сравнили семантически связанные пары слов с несвязанными контрольными условиями в задаче фонологического суждения, чтобы выявить, влияет ли семантика на фонологическую обработку и как она влияет. Кроме того, вышеупомянутая проблема была проверена в высоко- и низкочастотных словах. Таким образом, эта взаимодополняющая семантическая и фонологическая задача суждения может не только выявить важность фонологической обработки в распознавании китайских слов, но и выявить, взаимодействуют ли фонология и семантика.

Если фонология и семантические процессы являются ранними, автоматическими и интерактивными, эффект фонологической и семантической активации должен наблюдаться во время отклика двух задач. Для ERP фонологические и семантические процессы запускают два разных электрофизиологических маркера2,7. Кроме того, их временные курсы и их пространственное распределение должны быть разными. Ранний положительный компонент (P200) должен отражать фонологическую обработку, а типичный маркер семантической обработки N400 также должен быть идентифицирован20,21. Мы предположили, что как фонологически связанные пары в семантической задаче, так и семантические пары в фонологической задаче вызовут значительное снижение N400, что указывает на то, что фонологическая обработка может привести к некоторой степени активации на лексико-семантических уровнях. Кроме того, мы отслеживали, появился ли P200, который характеризует фонологическую обработку, в задаче семантического суждения или в задаче фонологического суждения. В задаче фонологического суждения семантические условия вызывают P200, что можно рассматривать как свидетельство раннего влияния семантики на фонологическую обработку.

Protocol

Протокол, использованный для этого исследования, был одобрен Институциональным наблюдательным советом Университета Цинхуа. 1. Построение и презентация стимулов Построение стимулов Подготовка стимулов: Подготовьте целевые слова, содержащие примерно 140 китайс?…

Representative Results

Этот протокол был использован в недавнем исследовании для изучения роли фонологии в китайском двухсимвольном распознавании соединений и для вывода модели распознавания слов26. Все стимулы, использованные в этом исследовании, были полностью раскрыты26. На осно…

Discussion

Экспериментальные результаты и значимость:
Цель этого протокола состояла в том, чтобы сделать следующий вывод: 1) является ли модель распознавания слов моделью прямой передачи или интерактивной моделью и 2) взаимодействием между фонологическими и семантическими паттернами ?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Эта работа была поддержана Главной программой Национального фонда естественных наук Китая (62036001).

Materials

BrainAmp DC amplifier system (Brain Products GmbH) Brain Products, Gilching, Germany BrainAmp S/N AMP13061964DC Input 5.6DC=150mA Operation 7mA Standby
Easycap (Brain Products GmbH) Brain Products, Gilching, Germany 62 Ag/AgCl electrodes with a configuration of the international 10–20 system of electrode

References

  1. Carreiras, M., Armstrong, B. C., Perea, M., Frost, R. The what, when, where, and how of visual word recognition. Trends in Cognitive Sciences. 18 (2), 90-98 (2014).
  2. Grainger, J., Kiyonaga, K., Holcomb, P. J. The time course of orthographic and phonological code activation. Psychological Science. 17 (12), 1021-1026 (2006).
  3. Ashby, J. Phonology is fundamental in skilled reading: Evidence from ERPs. Psychonomic Bulletin Review. 17 (1), 95-100 (2010).
  4. Wilson, L. B., Tregellas, J. R., Slason, E., Pasko, B. E., Rojas, D. C. Implicit phonological priming during visual word recognition. Neuroimage. 55 (2), 724-731 (2011).
  5. Frost, R., Ahissar, M., Gotesman, R., Tayeb, S. Are phonological effects fragile? The effect of luminance and exposure duration on form priming and phonological priming. Journal of Memory and Language. 48 (2), 346-378 (2003).
  6. Ferrand, L., Grainger, J. Effects of orthography are independent of phonology in masked form priming. The Quarterly Journal of Experimental Psychology. 47 (2), 365-382 (1994).
  7. Carreiras, M., Perea, M., Vergara, M., Pollatsek, A. The time course of orthography and phonology: ERP correlates of masked priming effects in Spanish. Psychophysiology. 46 (5), 1113-1122 (2009).
  8. Pattamadilok, C., et al. Automaticity of phonological and semantic processing during visual word recognition. Neuroimage. 149, 244-255 (2017).
  9. Harm, M. W., Seidenberg, M. S. Computing the meanings of words in reading: Cooperative division of labor between visual and phonological processes. Psychological Review. 111 (3), 662-720 (2004).
  10. Brown, M. S., Roberts, M. A., Besner, D. Semantic processing in visual word recognition: Activation blocking and domain specificity. Psychonomic Bulletin & Review. 8 (4), 778-784 (2001).
  11. Devlin, J. T., Matthews, P. M., Rushworth, M. F. S. Semantic processing in the left inferior prefrontal cortex: A combined functional magnetic resonance imaging and transcranial magnetic stimulation study. Journal of Cognitive Neuroscience. 15 (1), 71-84 (2003).
  12. Rodd, J. M. When do leotards get their spots? Semantic activation of lexical neighbors in visual word recognition. Psychonomic Bulletin & Review. 11 (3), 434-439 (2004).
  13. Frost, R. Toward a strong phonological theory of visual word recognition: True issues and false trails. Psychological Bulletin. 123 (1), 71-99 (1998).
  14. Yu, L., Reichle, E. D. Chinese versus English: Insights on cognition during reading. Trends in Cognitive Sciences. 21 (10), 721-724 (2017).
  15. Tan, L. H., Perfetti, C. A. Phonological activation in visual identification of Chinese two-character words. Journal of Experimental Psychology: Learning, Memory, and Cognition. 25 (2), 382 (1999).
  16. Liu, Y., Perfetti, C. A., Hart, L. ERP evidence for the time course of graphic, phonological, and semantic information in Chinese meaning and pronunciation decisions. Journal of Experimental Psychology: Learning, Memory, and Cognition. 29 (6), 1231 (2003).
  17. Ren, G. -. Q., Liu, Y., Han, Y. -. C. Phonological activation in chinese reading: an event-related potential study using low-resolution electromagnetic tomography. Neuroscience. 164 (4), 1623-1631 (2009).
  18. Wang, K., Mecklinger, A., Hofmann, J., Weng, X. From orthography to meaning: an electrophysiological investigation of the role of phonology in accessing meaning of Chinese single-character words. Neuroscience. 165 (1), 101-106 (2010).
  19. Wong, A. -. K., Wu, Y., Chen, H. -. C. Limited role of phonology in reading Chinese two-character compounds: Evidence from an ERP study. Neuroscience. 256, 342-351 (2014).
  20. Meng, X., Jian, J., Shu, H., Tian, X., Zhou, X. ERP correlates of the development of orthographical and phonological processing during Chinese sentence reading. Brain research. 1219, 91-102 (2008).
  21. Liu, B., Jin, Z., Qing, Z., Wang, Z. The processing of phonological, orthographical, and lexical information of Chinese characters in sentence contexts: an ERP study. Brain research. 1372, 81-91 (2011).
  22. Leminen, A., Smolka, E., Dunabeitia, J. A., Pliatsikas, C. Morphological processing in the brain: The good (inflection), the bad (derivation) and the ugly (compounding). Cortex. 116, 4-44 (2019).
  23. Pylkkänen, L. The neural basis of combinatory syntax and semantics. Science. 366 (6461), 62-66 (2019).
  24. Halgren, E., et al. N400-like magnetoencephalography responses modulated by semantic context, word frequency, and lexical class in sentences. Neuroimage. 17 (3), 1101-1116 (2002).
  25. Huang, Y., Jiang, M., Guo, Q., Wang, Y., Yang, F. -. P. G. Dissociation of the confounding influences of expectancy and integrative difficulty residing in anomalous sentences in event-related potential studies. Journal of Visualized Experiments. (147), e59436 (2019).
  26. Wang, Y., Jiang, M., Huang, Y., Qiu, P. An ERP study on the role of phonological processing in reading two-character compound chinese words of high and low frequency. Frontiers in Psychology. 12, 637238 (2021).
  27. Carreiras, M., Vergara, M., Barber, H. Early event-related potential effects of syllabic processing during visual word recognition. Journal of Cognitive Neuroscience. 17 (11), 1803-1817 (2005).
  28. Hauk, O., Davis, M. H., Ford, M., Pulvermuller, F., Marslen-Wilson, W. D. The time course of visual word recognition as revealed by linear regression analysis of ERP data. Neuroimage. 30 (4), 1383-1400 (2006).

Play Video

Cite This Article
Wang, Y., Jiang, M., Xu, X., Huang, Y. Interaction between Phonological and Semantic Processes in Visual Word Recognition using Electrophysiology. J. Vis. Exp. (172), e62673, doi:10.3791/62673 (2021).

View Video