시각 지속 시간 지각에서의 안구 운동: 사전 결정 과정에서 시간으로부터의 자극 해소
Summary
시각적 이벤트를 기반으로 하는 간격 비교(지속 시간 인식) 작업 중에 눈의 움직임을 모니터링하기 위해 시선 추적을 사용하는 프로토콜을 제시합니다. 목표는 지속 시간 인식 작업에 대한 안구 운동 반응(시간 간격의 비교 또는 구별)을 자극 자체에 대한 반응과 분리하기 위한 예비 가이드를 제공하는 것입니다.
Abstract
시선 추적 방법을 사용하면 참가자가 깜박이는 원과 같은 시각적 이벤트에 의해 정의된 시간 간격을 추정, 구별 또는 비교하도록 요청받는 시각적 지속 시간 인식 작업 중에 인지 처리의 온라인 모니터링이 가능할 수 있습니다. 그러나 우리가 아는 한, 이 가능성을 검증하려는 시도는 지금까지 결론을 내리지 못했으며, 결과는 자극 출현 후 내려진 오프라인 행동 결정에 초점을 맞추고 있습니다. 이 논문은 참가자들이 두 개의 연속된 간격을 보고 속도가 빨라지는지(첫 번째 간격이 두 번째 간격보다 길음) 느려지는지(두 번째 간격이 더 길어짐)를 결정해야 하는 간격 비교 작업에서 행동 반응에 선행하는 인지 과정을 탐색하기 위한 시선 추적 프로토콜을 제시합니다.
우리의 주요 관심사는 시각적 자극 자체에 대한 안구 운동 반응을 판단과 관련된 지속 시간의 상관 관계에서 분리하는 것이었습니다. 이를 달성하기 위해 우리는 중요한 사건을 기반으로 세 개의 연속적인 시간 창, 즉 기준선 시작, 첫 번째 간격의 시작, 두 번째 간격의 시작, 자극의 끝을 정의했습니다. 그런 다음 각각(고정 횟수, 동공 크기)에 대한 전통적인 안구 운동 측정을 추출하고 시간 창 관련 변화에 중점을 두어 시각적 자극에 대한 반응을 간격 비교 자체와 관련된 반응과 분리했습니다. 예시 결과에서 볼 수 있듯이 시선 추적 데이터는 행동 결과와 일치하는 유의미한 차이를 보여 관여 메커니즘에 대한 가설을 제기했습니다. 이 프로토콜은 초기 단계이며 많은 개선이 필요하지만 현재 기술 상태에서 중요한 진전을 나타냅니다.
Introduction
시간 지각 능력은 지난 몇 년 동안 점점 더 많은 연구의 관심을 끌었는데, 부분적으로는 이것이 읽기 능력이나 병리학적 상태와 관련이 있을 수 있다는 증거가 축적되었기 때문이다 1,2,3,4,5. 시각적 지속 시간 지각(시각적 이벤트에 의해 정의된 시간 간격을 추정, 구별 또는 비교하는 능력)은 시선 추적 방법이 기여할 수 있는 관심 분야 6,7 중 하나입니다. 그러나 결과는 버튼을 눌러 얼마나 많은 시간이 지났는지(추정치), 시간 간격이 같은지 다른지(구별), 일련의 시간 간격 중 어느 것이 가장 길거나 가장 짧은지를 나타내는 것과 같은 자극 후 행동 결정에 초점을 맞추고 있습니다. 몇몇 연구에서는 행동 결과와 시선추적 데이터8,9의 상관관계를 시도했으나 둘 사이의 상관관계를 찾지 못했으며, 이는 직접적인 관계가 없음을 시사한다.
본 논문에서는 시각적 지속 시간 인식 과제에서 자극 제시 중 안구 운동 반응을 등록하고 분석하기 위한 프로토콜을 제시합니다. 구체적으로, 설명은 참가자들이 두 개의 시간 간격을 정의하는 세 가지 이벤트의 시퀀스를 보고 속도가 빨라졌는지(첫 번째 간격이 두 번째보다 길음) 또는 느려졌는지(첫 번째 간격이 두 번째보다 짧음)를 판단하도록 요청받은 간격 비교 작업을 나타냅니다. 연구에 사용된 시간 간격은 133ms에서 733ms에 이르렀으며 TSF(Temporal Sampling Framework)10의 원칙을 준수했습니다. TSF는 특히 델타 진동(1-4Hz)과 같은 주파수 대역에서 뇌의 진동 활동이 일련의 스트레스 악센트와 같은 들어오는 음성 단위와 동기화됨을 시사합니다. 이 동기화는 음성 인코딩을 향상시키고, 음성 단위에 대한 주의력을 향상시키며, 비정형 저주파 진동을 나타내는 난독증과 같은 상태를 이해하는 데 관련될 수 있는 순차적 규칙성을 추출하는 데 도움이 됩니다. 본 연구에서 제시된 방법을 개발한 목적은 난독증 환자의 시각 시간 지각의 어려움(간격 비교 과제에 대한 집단 효과)이 시각 대상 자체의 처리 문제, 즉 움직임과 휘도 대비를 반영하는지 여부를 확인하는 것이었다11. 만약 그렇다면, 우리는 난독증 환자들이 움직임과 낮은 휘도 대비(집단과 자극 유형 간의 상호작용)를 가진 자극에 대해 대조군에 대한 불리함이 더 클 것으로 예상했다.
원래 연구의 주요 결과는 자극 후 행동 판단에 의해 주도되었습니다. 자극 제시 중에 기록된 시선 추적 데이터(동공 크기 및 고정 횟수)는 행동 결정에 앞선 과정을 탐색하는 데 사용되었습니다. 그러나 현재 프로토콜은 그에 따라 목표가 설정되는 경우 행동 데이터 수집과 독립적으로 사용될 수 있다고 생각합니다. 간격 구분 작업을 위해 조정할 수도 있습니다. 시간 추정 작업에 사용하는 것이 그렇게 즉각적이지는 않지만 그 가능성을 배제하지는 않습니다. 동공 크기를 사용한 이유는 인지 부하12, 13, 14 등을 반영하여 참가자의 기술에 대한 정보를 제공할 수 있기 때문입니다(부하가 높을수록 기술이 적다는 의미). 고정의 횟수와 관련하여, 더 많은 고정은 참가자들이 과제에 더 강하게 관여하는 것을 반영할 수 있다15,16. 원래 연구에서는 5가지 자극 유형을 사용했다. 단순화를 위해 현재 프로토콜에서는 두 개만 사용했습니다(움직임과 관련된 대비를 나타내는 Ball vs. Flash).
우리가 해결하려고 시도한 주요 과제는 시각 자극 자체에 대한 반응을 간격 비교와 관련된 반응과 분리하는 것인데, 이는 눈 운동 반응이 움직임이나 휘도 대비와 같은 특성에 따라 변하는 것으로 알려져 있기 때문이다17. 시각적 자극이 화면에 나타나자마자 처리되고(첫 번째 간격), 간격 비교는 두 번째 시간 간격이 시작되어야 가능하다는 전제에 따라 사전 자극 창, 첫 번째 간격, 두 번째 간격(행동 반응은 포함되지 않음)의 세 가지 시간 창을 정의했습니다. 첫 번째 간격 동안 사전 자극 창의 변화를 분석함으로써 자극 자체에 대한 참가자의 반응 지수를 얻을 수 있습니다. 첫 번째 간격과 두 번째 간격을 비교하면 간격 비교의 가능한 안구 운동 신호를 활용할 수 있습니다.
Protocol
Representative Results
Discussion
현재 프로토콜에는 시각적 지속 시간 인식 작업에 시선 추적을 통합하는 데 대한 현재 장애물을 해결하는 데 중요할 수 있는 새로운 구성 요소가 포함되어 있습니다. 여기서 중요한 단계는 이러한 각 시간대에서 발생하는 것으로 추정되는 인지 과정을 기반으로 하는 시간대를 정의하는 것입니다. 우리가 사용한 시스템에서는 시간 창을 관심 영역(이러한 시스템에서 시간과 결합된 공간 관련 개념)으로만 정의할 수 있지만 다른 시스템에서는 시험의 다른 세그먼트를 내보내 이를 수행할 수 있습니다. 이러한 시험의 시간적 세분화 외에도 기간별 매개 변수보다는 시간 창에 걸친 변화를 분석하는 데 집중하는 것이 중요합니다.
수정해야 할 프로토콜과 관련하여 대부분 관심 영역의 차원과 관련이 있었습니다. 우리는 동적 AOI를 사용하여 전체 화면이 아닌 그 뒤에 오는 자극 주변의 공간 선택을 정의하는 첫 번째 시도를 했습니다. 그러나 우리는 곧 그 지역 밖에서 관련 이벤트를 놓칠 수 있다는 것을 깨달았습니다. 우리의 측정이 자극에 초점을 맞추는 것과 관련이 없다는 점을 감안할 때(동공 크기는 플래시나 공에 대한 주의가 아니라 인지 부하에 따라 변할 것으로 예상됨, 고정 횟수는 공간 검색을 반영할 것으로 예상됨) 전체 화면을 관심 영역으로 사용하기로 결정했습니다.
현재 프로토콜은 여전히 많은 개선이 필요한 초기 제안입니다. 개선의 여지가 훨씬 더 많음에도 불구하고 이 중 두 가지만 강조할 것입니다. 첫 번째는 고정 횟수에 대한 시간 창 효과를 해석할 수 없는 세 시간 창의 길이 차이에 관한 것입니다(예: 더 긴 시간 창은 더 많은 고정을 수반하므로 TW0에서 TW1로 감소, 그림 3 참조). 이 문제를 해결하는 한 가지 방법은 시간 단위당 고정 횟수를 고려하는 것입니다.
두 번째는 다양한 문제를 포함하는 시간 창과 추정 진행 프로세스 간의 대응과 관련이 있습니다. 하나는 TW1이 단순한 자극 외관을 나타내는 것이 아니라 간격 비교에 부수적이고 TW0에는 없을 가능성이 있는 간격 추정(첫 번째 간격)의 명시적인 형태일 수 있다는 것입니다. 유사한 방식으로, 시간 윈도우에 걸친 변화는 또한 지속적인 주의력 및 작업 기억(18)과 같은 일반적인 과정의 변화를 반영할 수 있지만, 이러한 변화들 중 일부는 간격 비교 작업에서 예상될 수 있다(작업 메모리 부하가 TW1에서 TW2에 비해 증가할 것으로 예상됨). 이러한 잠재적 혼란을 완화하는 한 가지 방법은 순수 지속 시간 추정, 지속적인 주의 및 작업 기억과 관련된 제어 작업을 도입한 다음 실험(간격 비교)과 제어 작업 간의 비교를 기반으로 시선 추적 데이터 분석을 수행하는 것입니다. 또 다른 문제는 TW0의 기간이 작업과 관련이 없다는 것이며, 작업과 관련이 없는 기간이 성능19에 해로울 수 있는 것으로 알려져 있습니다. 향후 연구는 이를 개선하는 데 초점을 맞출 수 있는데, 이는 짧은 이벤트가 단순히 시간적 근접성(20,21)에 다른 이벤트를 추가함으로써 프레젠테이션보다 빠르거나 늦게 인식되도록 편향될 수 있기 때문에 시각 처리 응답을 더 잘 구분하기 위해 TW0(관련 없는 간격)과 TW1 사이에 300ms의 차이를 만드는 것입니다.
마지막으로, 자발적인 눈 깜빡임은 시간 지각을 왜곡시킴으로써 시간 지각에 영향을 미칠 수 있으며(눈 깜빡임이 간격에 선행하면 시간이 확장되고, 동시에 발생하면 수축), 잠재적으로 개인 내 시간 수행에 변동성이 발생할 수 있다22. 이 문제를 최소화하는 한 가지 방법은 참가자의 행동 판단에 눈 깜빡임 기반 교정 인자를 적용하는 것입니다(예: 자극 전 또는 자극 중 눈 깜빡임의 존재 여부에 따라 각 판단에 신뢰도를 할당). 또한 시행을 확률 변수로 처리하는 통계적 접근 방식을 통합하는 것도 이 문제를 해결하는 데 도움이 될 수 있습니다.
향후 연구와 관련하여 다루어야 할 중요한 주제는 자발적 눈 깜박임 속도(EBR)와 시간 지각 사이의 연관성입니다. EBR은 중심 도파민 기능(DA)23의 비침습적 간접 마커로 알려져 있으며, 최근에는 높은 ERB가 시간적 지각이 좋지 않은 것과 관련이 있습니다. 이 연구는 인터벌 타이밍에서 도파민의 의미를 시사하고 도파민 측정24의 프록시로 ERB의 사용을 지적합니다. 또 다른 중요한 주제는 우리가 분석한 (변화 관련) 측정의 기능적 의미인데, 이는 우리 패러다임의 맥락에서 아직 결정되지 않았습니다. 기존 연구와 현재의 단순화된 데이터 세트에서 TW0에서 TW1로의 동공 크기 증가는 인지 부하 증가의 아이디어와 일치했지만 이 측정에 대한 그룹 효과가 없기 때문에 추가 고려 사항이 없습니다. 제시되는 것으로 보이는 한 가지 패턴은 시간 창에 따른 작은 변화가 더 나은 행동 수행과 상관 관계가 있다는 것입니다(Balls보다 Flashes가 더 좋고, 난독증 환자의 경우 d-prime은 더 작은 변화와 관련이 있음), 추가 연구가 필요합니다.
그 한계에도 불구하고, 우리가 아는 한, 현재 프로토콜은 시선 추적 및 행동 데이터(동일한 효과 프로필)에서 유사한 결과와 둘 사이의 상관관계에 대한 몇 가지 증거를 보여주는 최초의 프로토콜입니다.
Disclosures
The authors have nothing to disclose.
Acknowledgements
이 작업은 보조금 UIDB/00050/2020에 따라 포르투갈 과학 기술 재단의 지원을 받았습니다. 및 PTDC/PSI-GER/5845/2020. APC는 보조금 PTDC/PSI-GER/5845/2020(http://doi.org/10.54499/PTDC/PSI-GER/5845/2020)에 따라 포르투갈 과학 기술 재단(Portuguese Foundation for Science and Technology)에서 전액 자금을 지원했습니다.
Materials
| Adobe Animate | Adobe | It is a tool for designing flash animation films, GIFs, and cartoons. | |
| EyeLink Data Viewer | It is robust software that provides a comprehensive solution for visualizing and analyzing gaze data captured by EyeLink eye trackers. It is accessible on Windows, macOS, and Linux platforms. Equipped with advanced capabilities, Data Viewer enables effortless visualization, grouping, processing, and reporting of EyeLink gaze data. | ||
| Eye-tracking system | SR Research | EyeLink 1000 Portable Duo | It has a portable duo camera, a Laptop PC Host, and a response device. The EyeLink integrates with SR Research Experiment Builder, Data Viewer, and WebLink as well as many third-party stimulus presentation software and tools. |
| Monitor | Samsung Syncmaster | 957DF | It is a 19" flat monitor |
| SR Research Experiment Builder | SR Research | It is an advanced and user-friendly drag-and-drop graphical programming platform designed for developing computer-based experiments in psychology and neuroscience. Utilizing Python as its foundation, this platform is compatible with both Windows and macOS, facilitating the creation of experiments that involve both EyeLink eye-tracking and non-eye-tracking functionalities. |
References
- Bellinger, D., Altenmüller, E., Volkmann, J. Perception of time in music in patients with parkinson’s disease – The processing of musical syntax compensates for rhythmic deficits. Frontiers in Neuroscience. 11, 68 (2017).
- Plourde, M., Gamache, P. L., Laflamme, V., Grondin, S. Using time-processing skills to predict reading abilities in elementary school children. Timing & Time Perception. 5 (1), 35-60 (2017).
- Saloranta, A., Alku, P., Peltola, M. S. Listen-and-repeat training improves perception of second language vowel duration: evidence from mismatch negativity (MMN) and N1 responses and behavioral discrimination. International Journal of Psychophysiology. 147, 72-82 (2020).
- Soares, A. J. C., Sassi, F. C., Fortunato-Tavares, T., Andrade, C. R. F., Befi-Lopes, D. M. How word/non-word length influence reading acquisition in a transparent language: Implications for children’s literacy and development. Children (Basel). 10 (1), 49 (2022).
- Sousa, J., Martins, M., Torres, N., Castro, S. L., Silva, S. Rhythm but not melody processing helps reading via phonological awareness and phonological memory. Scientific Reports. 12 (1), 13224 (2022).
- Torres, N. L., Luiz, C., Castro, S. L., Silva, S. The effects of visual movement on beat-based vs. duration-based temporal perception. Timing & Time Perception. 7 (2), 168-187 (2019).
- Torres, N. L., Castro, S. L., Silva, S. Visual movement impairs duration discrimination at short intervals. Quarterly Journal of Experimental Psychology. 77 (1), 57-69 (2024).
- Attard, J., Bindemann, M. Establishing the duration of crimes: an individual differences and eye-tracking investigation into time estimation. Applied Cognitive Psychology. 28 (2), 215-225 (2014).
- Warda, S., Simola, J., Terhune, D. B. Pupillometry tracks errors in interval timing. Behavioral Neuroscience. 136 (5), 495-502 (2022).
- Goswami, U. A neural basis for phonological awareness? An oscillatory temporal-sampling perspective. Current Directions in Psychological Science. 27 (1), 56-63 (2018).
- Catronas, D., et al. Time perception for visual stimuli is impaired in dyslexia but deficits in visual processing may not be the culprits. Scientific Reports. 13, 12873 (2023).
- Zagermann, J., Pfeil, U., Reiterer, H. Studying eye movements as a basis for measuring cognitive load. Extended Abstracts of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-6 (2018).
- Rafiqi, S., et al. PupilWare: Towards pervasive cognitive load measurement using commodity devices. Proceedings of the 8th ACM International Conference on PETRA. , 1-8 (2015).
- Klingner, J., Kumar, R., Hanrahan, P. Measuring the task-evoked pupillary response with a remote eye tracker. Proceedings of the 2008 Symposium on ETRA. , 69-72 (2008).
- Mahanama, B., et al. Eye movement and pupil measures: a review. Frontiers in Computer Science. 3, 733531 (2022).
- Pfleging, B., Fekety, D. K., Schmidt, A., Kun, A. L. A model relating pupil diameter to mental workload and lighting conditions. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. , 5776-5788 (2016).
- Cicchini, G. M. Perception of duration in the parvocellular system. Frontiers in Integrative Neuroscience. 6, 14 (2012).
- EyeLink Data Viewer 3.2.1. SR Research Ltd Available from: https://www.sr-research.com/data-viewer/ (2018)
- Spencer, R., Karmarkar, U., Ivry, R. Evaluating dedicated and intrinsic models of temporal encoding by varying contex. Philosophical Transactions of the Royal Society B. 364 (1525), 1853-1863 (2009).
- Coull, J. T. Getting the timing right: experimental protocols for investigating time with functional neuroimaging and psychopharmacology. Advances in Experimental Medicine and Biology. 829, 237-264 (2014).
- Burr, D., Rocca, E. D., Morrone, M. C. Contextual effects in interval-duration judgements in vision, audition and touch. Experimental Brain Research. 230 (1), 87-98 (2013).
- Grossman, S., Gueta, C., Pesin, S., Malach, R., Landau, A. N. Where does time go when you blink. Psychological Science. 30 (6), 907-916 (2019).
- Jongkees, B. J., Colzato, L. S. Spontaneous eye blink rate as predictor of dopamine-related cognitive function-a review. Neuroscience & Biobehavioral Reviews. 71, 58-82 (2016).
- Sadibolova, R., Monaldi, L., Terhune, D. B. A proxy measure of striatal dopamine predicts individual differences in temporal precision. Psychonomic Bulletin & Review. 29 (4), 1307-1316 (2022).
