Движения глаз в зрительном восприятии длительности: отделение стимула от времени в процессах принятия решения
Summary
Мы представляем протокол, который использует айтрекинг для отслеживания движений глаз во время задачи сравнения интервалов (восприятия длительности) на основе визуальных событий. Цель состоит в том, чтобы дать предварительное руководство по отделению глазодвигательных реакций на задачи восприятия длительности (сравнение или различение временных интервалов) от реакций на сам стимул.
Abstract
Методы айтрекинга могут позволить онлайн-мониторинг когнитивной обработки во время заданий на восприятие визуальной длительности, где участников просят оценить, различить или сравнить временные интервалы, определяемые визуальными событиями, такими как мигающие круги. Однако, насколько нам известно, попытки подтвердить эту возможность до сих пор остаются безрезультатными, и результаты по-прежнему сосредоточены на поведенческих решениях, принятых в автономном режиме после появления стимула. В данной статье представлен протокол айтрекинга для изучения когнитивных процессов, предшествующих поведенческим реакциям, в задаче на сравнение интервалов, где участники просматривали два последовательных интервала и должны были решить, ускоряется ли он (первый интервал длиннее второго) или замедляется (второй интервал длиннее).
Наша главная задача состояла в том, чтобы отделить глазодвигательные реакции на сам зрительный стимул от коррелятов длительности, связанных с суждениями. Для этого мы определили три последовательных временных окна, основанных на критических событиях: начало исходного уровня, начало первого интервала, начало второго интервала и окончание стимула. Затем мы извлекли традиционные глазодвигательные показатели для каждого из них (количество фиксаций, размер зрачка) и сосредоточились на изменениях, связанных с временным окном, чтобы отделить реакцию на визуальный стимул от реакции, связанной со сравнением интервалов как таковым. Как мы показываем в иллюстративных результатах, данные айтрекинга показали значительные различия, которые согласуются с поведенческими результатами, что выдвигает гипотезы о задействованных механизмах. Этот протокол находится в зачаточном состоянии и потребует многих улучшений, но он представляет собой важный шаг вперед в современном состоянии техники.
Introduction
Способности к восприятию времени привлекают все большее внимание исследователей в последние годы, отчасти из-за накопления доказательств того, что они могут быть связаны с навыками чтения или патологическими состояниями 1,2,3,4,5. Зрительное восприятие длительности — способность оценивать, различать или сравнивать временные интервалы, определяемые визуальными событиями — является одной изобластей интереса, в которуюмогут внести свой вклад методы отслеживания взгляда. Тем не менее, результаты по-прежнему сосредоточены на постстимульных поведенческих решениях, таких как нажатие кнопки, чтобы указать, сколько времени прошло (оценка), одинаковы ли временные интервалы или различны (дискриминация), или какой из ряда временных интервалов является самым длинным или коротким. В нескольких исследованиях предпринимались попытки соотнести поведенческие результаты с данными отслеживания движений глаз 8,9, но они не смогли найти корреляции между ними, предполагая, что прямая связь отсутствует.
В настоящей работе представлен протокол регистрации и анализа глазодвигательных реакций при предъявлении стимула в задаче восприятия зрительной длительности. В частности, описание относится к задаче на сравнение интервалов, в которой участники видели последовательности из трех событий, определяющих два временных интервала, и их просили оценить, ускорились ли они (первый интервал длиннее второго) или замедлились (первый интервал короче второго). Временные интервалы, использованные в исследовании, охватывали от 133 до 733 мс, в соответствии с принципами временной выборки (TSF)10. TSF предполагает, что колебательная активность мозга, особенно в частотных диапазонах, таких как дельта-колебания (1-4 Гц), синхронизируется с входящими речевыми единицами, такими как последовательности ударных ударений. Эта синхронизация улучшает кодирование речи, улучшает внимание к речевым единицам и помогает извлекать последовательные закономерности, которые могут иметь значение для понимания таких состояний, как дислексия, которые демонстрируют нетипичные низкочастотные колебания. Цель исследования, в котором мы разработали представленный здесь метод, состояла в том, чтобы определить, отражают ли трудности дислексиков в восприятии зрительной длительности (групповые эффекты в задаче интервального сравнения) проблемы в обработке самого визуального объекта, а именно движения и контрастов яркости11. Если бы это было так, мы ожидали, что дислектики были бы в невыгодном положении по отношению к контрольной группе для стимулов с движением и низкой контрастностью яркости (взаимодействие между группой и типом стимула).
Основной результат оригинального исследования был обусловлен постстимульными поведенческими суждениями. Данные айтрекинга (размер зрачка и количество фиксаций), записанные во время предъявления стимула, были использованы для изучения процессов, предшествующих принятию поведенческих решений. Тем не менее, мы считаем, что текущий протокол может быть использован независимо от сбора поведенческих данных, при условии, что цели будут поставлены соответствующим образом. Также можно настроить его для задач интервального различения. Использовать его в задачах оценки времени не так быстро, но мы не исключаем такой возможности. Мы использовали размер зрачка, потому что он отражает когнитивную нагрузку 12,13,14, среди других состояний и, таким образом, может предоставить информацию о навыках участников (чем выше нагрузка, тем меньше навыков). Что касается количества фиксаций, то большее количество фиксаций может отражать более сильную вовлеченность участников в задание15,16. В первоначальном исследовании использовались пять типов стимулов. Для упрощения мы использовали только два в текущем протоколе (Ball vs. Flash, представляющий собой контраст, связанный с движением).
Основная проблема, которую мы пытались решить, заключалась в том, чтобы отделить реакцию на сам визуальный стимул от реакции, связанной с интервальным сравнением, поскольку известно, что глазодвигательные реакции изменяются в зависимости от таких характеристик, как движение иликонтрастность яркости. Исходя из предпосылки, что визуальный стимул обрабатывается, как только он появляется на экране (первый интервал), а сравнение интервалов становится возможным только после начала второго временного интервала, мы выделили три временных окна: окно до стимула, первый интервал, второй интервал (поведенческая реакция не включена). Анализируя изменения в предстимульном окне в течение первого интервала, мы получаем индексы ответов участников на сам стимул. Сравнение первого и второго интервалов позволило бы выявить возможные глазодвигательные сигнатуры интервального сравнения — задачи, которую участников попросили выполнить.
Protocol
Representative Results
Discussion
Текущий протокол содержит новый компонент, который может иметь решающее значение для преодоления существующих препятствий на пути внедрения отслеживания взгляда в задачи визуального восприятия длительности. Критическим шагом здесь является определение временных окон, основанное на когнитивных процессах, которые предположительно имеют место в каждом из этих временных окон. В системе, которую мы использовали, временные окна могут быть определены только как области интереса (концепция, связанная с пространством, которая связана со временем в этих системах), но в других системах это можно сделать, экспортируя различные сегменты испытания. В дополнение к этой временной сегментации исследования, важно сосредоточиться на анализе изменений во временных окнах, а не на параметрах для каждого временного окна.
Что касается поправок к протоколу, которые необходимо было внести, то они в основном касались размеров интересующего нас района. Мы предприняли первую попытку, используя динамические АОИ, определяя пространственный выбор вокруг стимула, который следовал за ним, а не по всему экрану. Однако вскоре мы поняли, что можем пропустить важные события за пределами этой области. Учитывая, что наши измерения не были связаны с фокусировкой на стимуле (ожидалось, что размер зрачка будет изменяться в зависимости от когнитивной нагрузки, а не от внимания к вспышке или мячу; ожидалось, что количество фиксаций будет отражать пространственный поиск), мы решили использовать полноэкранный режим в качестве области интереса.
Нынешний протокол находится в зачаточном состоянии, и в него все еще вносятся многочисленные уточнения. Мы выделим только два из них, хотя есть еще много возможностей для улучшения. Первый касается различий в длине трех временных окон, которые не позволяют нам интерпретировать влияние временного окна на количество фиксаций (например, более длительное временное окно влечет за собой большее количество фиксаций, отсюда и уменьшение от TW0 до TW1, см. рис. 3). Одним из способов решения этой проблемы может быть рассмотрение количества фиксаций в единицу времени.
Второй связан с соответствием между временными окнами и предполагаемыми текущими процессами, которые включают в себя различные вопросы. Одна из них заключается в том, что TW1 представляет собой не только появление стимула, но и, вероятно, явную форму интервальной оценки (первый интервал), вспомогательную по отношению к интервальному сравнению и, вероятно, отсутствующую в TW0. Аналогичным образом, изменения во временных окнах могут также отражать изменения в общих процессах, таких как устойчивое внимание и рабочая память, даже если некоторые из этих изменений можно было бы ожидать в задаче сравнения интервалов (ожидается, что нагрузка на рабочую память увеличится с TW1 по сравнению с TW2). Одним из способов ослабления этих потенциальных искажений было бы введение контрольных задач, связанных с чистой оценкой длительности, устойчивым вниманием и рабочей памятью, а затем основание анализа данных айтрекинга на сравнении экспериментальных (интервальное сравнение) и контрольных задач. Другая проблема заключается в том, что длительность TW0 не имеет отношения к задаче, а известно, что длительности, не относящиеся к задаче, могут быть вредны для производительности19. Будущая работа может быть сосредоточена на улучшении этой ситуации, а именно на создании разницы в 300 мс между TW0 (нерелевантный интервал) и TW1 для лучшего разграничения реакций визуальной обработки, поскольку короткое событие может быть смещено и восприниматься раньше или позже, чем его представление, просто добавив другое событие в непосредственной временной близости20,21.
Наконец, спонтанные моргания глаз могут влиять на восприятие времени, искажая его (увеличивая время, если моргание глаз предшествует интервалу, и сокращаясь, если оно происходит одновременно), потенциально внося вариативность во внутрииндивидуальныевременные показатели. Одним из способов минимизации этой проблемы было бы применение корректирующего фактора, основанного на моргании глаз, в поведенческих суждениях участников (например, присвоение степени надежности каждому суждению в зависимости от наличия морганий до или во время стимулов). Кроме того, использование статистического подхода, предполагающего рассмотрение испытаний как случайных величин, также может помочь в решении этой проблемы.
Что касается будущих исследований, важной темой для рассмотрения будет связь между частотой спонтанного моргания глаз (EBR) и восприятием времени. Известно, что EBR является неинвазивным косвенным маркером центральной дофаминовой функции (DA)23, а в последнее время высокий уровень ERB был связан с ухудшением временного восприятия. Исследование предполагает влияние дофамина на интервальное время и указывает на использование ERB в качестве прокси дофаминового показателя24. Другой важной темой является функциональное значение анализируемых нами мер (связанных с изменениями), которое еще предстоит определить в контексте нашей парадигмы. В первоначальном исследовании, а также в нынешнем упрощенном наборе данных, увеличение размера зрачка с TW0 до TW1 согласовывалось с идеей увеличения когнитивной нагрузки, но отсутствие групповых эффектов на этот показатель исключает дальнейшие рассмотрения. Одна из закономерностей, которая, по-видимому, присутствует, заключается в том, что небольшие изменения во временных окнах коррелируют с лучшими поведенческими показателями (вспышки лучше, чем мячи, и d-prime у дислексиков связаны с меньшими изменениями), но необходимы дальнейшие исследования.
Несмотря на свои ограничения, текущий протокол, насколько нам известно, является первым, который показал параллельные результаты в отслеживании движений глаз и поведенческих данных (один и тот же профиль эффектов), а также некоторые доказательства корреляции между ними.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Эта работа была поддержана Португальским фондом науки и технологий в рамках грантов UIDB/00050/2020; и PTDC/PSI-GER/5845/2020. APC был полностью профинансирован Португальским фондом науки и технологий в рамках гранта PTDC/PSI-GER/5845/2020 (http://doi.org/10.54499/PTDC/PSI-GER/5845/2020).
Materials
| Adobe Animate | Adobe | It is a tool for designing flash animation films, GIFs, and cartoons. | |
| EyeLink Data Viewer | It is robust software that provides a comprehensive solution for visualizing and analyzing gaze data captured by EyeLink eye trackers. It is accessible on Windows, macOS, and Linux platforms. Equipped with advanced capabilities, Data Viewer enables effortless visualization, grouping, processing, and reporting of EyeLink gaze data. | ||
| Eye-tracking system | SR Research | EyeLink 1000 Portable Duo | It has a portable duo camera, a Laptop PC Host, and a response device. The EyeLink integrates with SR Research Experiment Builder, Data Viewer, and WebLink as well as many third-party stimulus presentation software and tools. |
| Monitor | Samsung Syncmaster | 957DF | It is a 19" flat monitor |
| SR Research Experiment Builder | SR Research | It is an advanced and user-friendly drag-and-drop graphical programming platform designed for developing computer-based experiments in psychology and neuroscience. Utilizing Python as its foundation, this platform is compatible with both Windows and macOS, facilitating the creation of experiments that involve both EyeLink eye-tracking and non-eye-tracking functionalities. |
References
- Bellinger, D., Altenmüller, E., Volkmann, J. Perception of time in music in patients with parkinson’s disease – The processing of musical syntax compensates for rhythmic deficits. Frontiers in Neuroscience. 11, 68 (2017).
- Plourde, M., Gamache, P. L., Laflamme, V., Grondin, S. Using time-processing skills to predict reading abilities in elementary school children. Timing & Time Perception. 5 (1), 35-60 (2017).
- Saloranta, A., Alku, P., Peltola, M. S. Listen-and-repeat training improves perception of second language vowel duration: evidence from mismatch negativity (MMN) and N1 responses and behavioral discrimination. International Journal of Psychophysiology. 147, 72-82 (2020).
- Soares, A. J. C., Sassi, F. C., Fortunato-Tavares, T., Andrade, C. R. F., Befi-Lopes, D. M. How word/non-word length influence reading acquisition in a transparent language: Implications for children’s literacy and development. Children (Basel). 10 (1), 49 (2022).
- Sousa, J., Martins, M., Torres, N., Castro, S. L., Silva, S. Rhythm but not melody processing helps reading via phonological awareness and phonological memory. Scientific Reports. 12 (1), 13224 (2022).
- Torres, N. L., Luiz, C., Castro, S. L., Silva, S. The effects of visual movement on beat-based vs. duration-based temporal perception. Timing & Time Perception. 7 (2), 168-187 (2019).
- Torres, N. L., Castro, S. L., Silva, S. Visual movement impairs duration discrimination at short intervals. Quarterly Journal of Experimental Psychology. 77 (1), 57-69 (2024).
- Attard, J., Bindemann, M. Establishing the duration of crimes: an individual differences and eye-tracking investigation into time estimation. Applied Cognitive Psychology. 28 (2), 215-225 (2014).
- Warda, S., Simola, J., Terhune, D. B. Pupillometry tracks errors in interval timing. Behavioral Neuroscience. 136 (5), 495-502 (2022).
- Goswami, U. A neural basis for phonological awareness? An oscillatory temporal-sampling perspective. Current Directions in Psychological Science. 27 (1), 56-63 (2018).
- Catronas, D., et al. Time perception for visual stimuli is impaired in dyslexia but deficits in visual processing may not be the culprits. Scientific Reports. 13, 12873 (2023).
- Zagermann, J., Pfeil, U., Reiterer, H. Studying eye movements as a basis for measuring cognitive load. Extended Abstracts of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-6 (2018).
- Rafiqi, S., et al. PupilWare: Towards pervasive cognitive load measurement using commodity devices. Proceedings of the 8th ACM International Conference on PETRA. , 1-8 (2015).
- Klingner, J., Kumar, R., Hanrahan, P. Measuring the task-evoked pupillary response with a remote eye tracker. Proceedings of the 2008 Symposium on ETRA. , 69-72 (2008).
- Mahanama, B., et al. Eye movement and pupil measures: a review. Frontiers in Computer Science. 3, 733531 (2022).
- Pfleging, B., Fekety, D. K., Schmidt, A., Kun, A. L. A model relating pupil diameter to mental workload and lighting conditions. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. , 5776-5788 (2016).
- Cicchini, G. M. Perception of duration in the parvocellular system. Frontiers in Integrative Neuroscience. 6, 14 (2012).
- EyeLink Data Viewer 3.2.1. SR Research Ltd Available from: https://www.sr-research.com/data-viewer/ (2018)
- Spencer, R., Karmarkar, U., Ivry, R. Evaluating dedicated and intrinsic models of temporal encoding by varying contex. Philosophical Transactions of the Royal Society B. 364 (1525), 1853-1863 (2009).
- Coull, J. T. Getting the timing right: experimental protocols for investigating time with functional neuroimaging and psychopharmacology. Advances in Experimental Medicine and Biology. 829, 237-264 (2014).
- Burr, D., Rocca, E. D., Morrone, M. C. Contextual effects in interval-duration judgements in vision, audition and touch. Experimental Brain Research. 230 (1), 87-98 (2013).
- Grossman, S., Gueta, C., Pesin, S., Malach, R., Landau, A. N. Where does time go when you blink. Psychological Science. 30 (6), 907-916 (2019).
- Jongkees, B. J., Colzato, L. S. Spontaneous eye blink rate as predictor of dopamine-related cognitive function-a review. Neuroscience & Biobehavioral Reviews. 71, 58-82 (2016).
- Sadibolova, R., Monaldi, L., Terhune, D. B. A proxy measure of striatal dopamine predicts individual differences in temporal precision. Psychonomic Bulletin & Review. 29 (4), 1307-1316 (2022).
