Oogbewegingen in visuele duurperceptie: ontwarring van stimulus uit tijd in predecisionele processen
Summary
We presenteren een protocol dat gebruik maakt van eye-tracking om oogbewegingen te volgen tijdens een intervalvergelijkingstaak (duurperceptie) op basis van visuele gebeurtenissen. Het doel is om een voorlopige gids te bieden om oculomotorische reacties op duurperceptietaken (vergelijking of discriminatie van tijdsintervallen) te scheiden van reacties op de stimulus zelf.
Abstract
Eye-tracking-methoden kunnen de online monitoring van cognitieve verwerking mogelijk maken tijdens visuele duurwaarnemingstaken, waarbij deelnemers wordt gevraagd om tijdsintervallen te schatten, te onderscheiden of te vergelijken die worden gedefinieerd door visuele gebeurtenissen zoals knipperende cirkels. Voor zover wij weten, zijn pogingen om deze mogelijkheid te valideren tot nu toe echter niet doorslaggevend gebleven en blijven de resultaten gericht op offline gedragsbeslissingen die zijn genomen na het verschijnen van de stimulus. Dit artikel presenteert een eye-tracking-protocol voor het onderzoeken van de cognitieve processen die voorafgaan aan gedragsreacties in een intervalvergelijkingstaak, waarbij deelnemers twee opeenvolgende intervallen bekeken en moesten beslissen of deze versnelden (eerste interval langer dan tweede) of vertraagden (tweede interval langer).
Onze grootste zorg was het ontwarren van oculomotorische reacties op de visuele stimulus zelf van correlaten van duur gerelateerd aan oordelen. Om dit te bereiken, hebben we drie opeenvolgende tijdvensters gedefinieerd op basis van kritieke gebeurtenissen: het begin van de basislijn, het begin van het eerste interval, het begin van het tweede interval en het einde van de stimulus. Vervolgens extraheerden we traditionele oculomotorische metingen voor elk (aantal fixaties, pupilgrootte) en concentreerden we ons op tijdvenstergerelateerde veranderingen om de reacties op de visuele stimulus te scheiden van die met betrekking tot intervalvergelijking op zich. Zoals we in de illustratieve resultaten laten zien, toonden eye-trackinggegevens significante verschillen die consistent waren met gedragsresultaten, waardoor hypothesen over de betrokken mechanismen werden opgeworpen. Dit protocol is embryonaal en zal nog veel verbeterd moeten worden, maar het is een belangrijke stap voorwaarts in de huidige stand van de techniek.
Introduction
Tijdsperceptie heeft de afgelopen jaren steeds meer onderzoeksaandacht getrokken, deels als gevolg van het toenemende bewijs dat deze verband kunnen houden met leesvaardigheid of pathologische aandoeningen 1,2,3,4,5. Visuele duurperceptie – het vermogen om tijdsintervallen te schatten, te onderscheiden of te vergelijken die worden gedefinieerd door visuele gebeurtenissen – is een deelgebied van belang 6,7 waarin eye-tracking-methoden een bijdrage kunnen leveren. De resultaten blijven echter gericht op gedragsbeslissingen na de stimulus, zoals het indrukken van een knop om aan te geven hoeveel tijd er is verstreken (schatting), of tijdsintervallen hetzelfde of verschillend zijn (discriminatie), of welke van een reeks tijdsintervallen de langste of kortste is. Een paar studies hebben geprobeerd gedragsresultaten te correleren met eye-tracking-gegevens 8,9, maar ze slaagden er niet in om correlaties tussen de twee te vinden, wat suggereert dat er geen directe relatie is.
In het huidige artikel presenteren we een protocol voor het registreren en analyseren van oculomotorische reacties tijdens stimuluspresentatie in een visuele duurperceptietaak. In het bijzonder verwijst de beschrijving naar een intervalvergelijkingstaak waarbij deelnemers sequenties van drie gebeurtenissen zagen die twee tijdsintervallen definieerden en werd gevraagd om te beoordelen of ze versnelden (eerste interval langer dan tweede) of vertraagden (eerste korter dan tweede). De tijdsintervallen die in het onderzoek werden gebruikt, varieerden van 133 tot 733 ms, in overeenstemming met de principes van het Temporal Sampling Framework (TSF)10. TSF suggereert dat de oscillerende activiteit van de hersenen, met name in frequentiebanden zoals delta-oscillaties (1-4 Hz), synchroniseert met inkomende spraakeenheden zoals sequenties van stressaccenten. Deze synchronisatie verbetert de codering van spraak, verbetert de aandacht voor spraakeenheden en helpt bij het extraheren van sequentiële regelmatigheden die relevant kunnen zijn bij het begrijpen van aandoeningen zoals dyslexie, die atypische laagfrequente oscillaties vertonen. Het doel van de studie waarin we de hier gepresenteerde methode ontwikkelden, was om te bepalen of de problemen van dyslectici bij het waarnemen van visuele duur (groepseffecten op de intervalvergelijkingstaak) problemen weerspiegelen bij het verwerken van het visuele object zelf, namelijk bewegings- en luminantiecontrasten11. Als dit het geval was, verwachtten we dat het nadeel van dyslectici ten opzichte van controles groter zou zijn voor stimuli met beweging en lage luminantiecontrasten (interactie tussen groep en stimulustype).
Het belangrijkste resultaat van de oorspronkelijke studie werd gedreven door gedragsoordelen na de stimulus. Eye-tracking-gegevens – pupilgrootte en aantal fixaties – geregistreerd tijdens stimuluspresentatie werden gebruikt om processen te onderzoeken die voorafgingen aan de gedragsbeslissingen. Wij zijn echter van mening dat het huidige protocol onafhankelijk van het verzamelen van gedragsgegevens kan worden gebruikt, op voorwaarde dat de doelen dienovereenkomstig worden gesteld. Het kan ook mogelijk zijn om het aan te passen voor intervaldiscriminatietaken. Het gebruik ervan bij tijdschattingstaken is niet zo onmiddellijk, maar we sluiten die mogelijkheid niet uit. We gebruikten de pupilgrootte omdat deze onder andere de cognitieve belasting 12,13,14 weerspiegelt en dus informatie kan geven over de vaardigheden van de deelnemers (hogere belasting betekent minder vaardigheden). Wat het aantal fixaties betreft, kunnen meer fixaties een weerspiegeling zijn van de sterkere betrokkenheid van de deelnemers bij de taak15,16. De oorspronkelijke studie gebruikte vijf soorten stimulus. Ter vereenvoudiging hebben we er in het huidige protocol slechts twee gebruikt (Ball vs. Flash, die een bewegingsgerelateerd contrast vertegenwoordigen).
De belangrijkste uitdaging die we probeerden aan te pakken, was het ontwarren van reacties op de visuele stimulus zelf van die met betrekking tot intervalvergelijking, aangezien bekend is dat oculomotorische reacties veranderen afhankelijk van kenmerken zoals beweging of luminantiecontrasten17. Op basis van het uitgangspunt dat de visuele stimulus wordt verwerkt zodra deze op het scherm verschijnt (eerste interval), en intervalvergelijking pas mogelijk wordt gemaakt zodra het tweede tijdsinterval begint, hebben we drie tijdvensters gedefinieerd: prestimulusvenster, eerste interval, tweede interval (gedragsrespons niet inbegrepen). Door veranderingen van het prestimulusvenster gedurende het eerste interval te analyseren, zouden we indices krijgen van de reacties van deelnemers op de stimulus zelf. Het vergelijken van het eerste met het tweede interval zou gebruik maken van mogelijke oculomotorische handtekeningen van intervalvergelijking – de taak die deelnemers werd gevraagd uit te voeren.
Protocol
Representative Results
Discussion
Het huidige protocol bevat een nieuwe component die van cruciaal belang kan zijn voor het aanpakken van de huidige obstakels voor het opnemen van eye-tracking in visuele duurwaarnemingstaken. De cruciale stap hier is de definitie van tijdvensters op basis van cognitieve processen die vermoedelijk plaatsvinden in elk van deze tijdvensters. In het systeem dat we hebben gebruikt, kunnen tijdvensters alleen worden gedefinieerd als interessegebieden (een ruimtegerelateerd concept dat in deze systemen aan tijd is gekoppeld), maar in andere systemen is het mogelijk om dit te doen door verschillende segmenten van de proef te exporteren. Naast deze temporele segmentatie van de studie is het belangrijk om je te concentreren op het analyseren van veranderingen in tijdvensters in plaats van op de parameters per tijdvenster.
De wijzigingen die in het protocol moesten worden aangebracht, hadden vooral betrekking op de afmetingen van het interessegebied. We hebben een eerste poging gedaan met behulp van dynamische AOI’s – het definiëren van een ruimtelijke selectie rond de stimulus die erop volgde, in plaats van het hele scherm. We realiseerden ons echter al snel dat we relevante evenementen buiten dat gebied zouden kunnen missen. Aangezien onze metingen geen verband hielden met de focus op de stimulus (de pupilgrootte zou naar verwachting veranderen volgens de cognitieve belasting en niet volgens de aandacht voor de flits of bal; het aantal fixaties zou naar verwachting ruimtelijk zoeken weerspiegelen), kozen we ervoor om het volledige scherm te gebruiken als het interessegebied.
Het huidige protocol is een embryonaal voorstel dat nog veel verfijningen ondergaat. We lichten er slechts twee uit, ook al is er nog veel meer ruimte voor verbetering. De eerste betreft de verschillen in de lengte van de drie tijdvensters, waardoor we tijdvenstereffecten op het aantal fixaties niet kunnen interpreteren (bijv. een langer tijdvenster brengt meer fixaties met zich mee, vandaar de afname van TW0 naar TW1, zie figuur 3). Een manier om dit probleem aan te pakken zou zijn om het aantal fixaties per tijdseenheid in overweging te nemen.
De tweede heeft betrekking op de overeenkomst tussen tijdvensters en vermeende lopende processen, die verschillende kwesties omvat. Een daarvan is dat TW1 niet alleen het uiterlijk van de stimulus vertegenwoordigt, maar waarschijnlijk ook een expliciete vorm van intervalschatting (eerste interval) die ondergeschikt is aan intervalvergelijking en waarschijnlijk afwezig is in TW0. Op een vergelijkbare manier kunnen veranderingen in tijdvensters ook veranderingen weerspiegelen in algemene processen zoals volgehouden aandacht en werkgeheugen18, ook al kunnen sommige van deze veranderingen worden verwacht in een intervalvergelijkingstaak (de werkgeheugenbelasting zal naar verwachting toenemen van TW1 over TW2). Een manier om deze potentiële verstoringen te verzachten zou zijn om controletaken te introduceren die verband houden met pure duurschatting, volgehouden aandacht en werkgeheugen, en vervolgens de eye-tracking data-analyse te baseren op de vergelijking tussen experimentele (intervalvergelijking) en controletaken. Een ander probleem is dat de duur van TW0 niet relevant was voor de taak, en het is bekend dat taak-irrelevante duur schadelijk kan zijn voor prestatie19. Toekomstig werk zou zich kunnen richten op het verbeteren hiervan, namelijk door een verschil van 300 ms te creëren tussen TW0 (irrelevant interval) en TW1 om visuele verwerkingsreacties beter af te bakenen, aangezien een korte gebeurtenis kan worden vertekend om eerder of later te worden waargenomen dan de presentatie ervan door simpelweg een andere gebeurtenis toe te voegen in bijna temporele nabijheid20,21.
Ten slotte kan spontaan knipperen met de ogen de tijdperceptie beïnvloeden door deze te vervormen (de tijd verwijden als een oogknippering voorafgaat aan het interval, samentrekken als het tegelijkertijd gebeurt), waardoor mogelijk variabiliteit in de intra-individuele timingprestaties wordt geïntroduceerd22. Een manier om dit probleem te minimaliseren zou zijn om een op oogknipperen gebaseerde correctiefactor toe te passen in de gedragsoordelen van de deelnemers (bijv. een betrouwbaarheidspercentage toekennen aan elk oordeel, afhankelijk van de aanwezigheid van knipperen voor of tijdens de stimuli. Bovendien kan het opnemen van de statistische benadering van het behandelen van onderzoeken als willekeurige variabelen ook helpen bij het aanpakken van dit probleem.
Met betrekking tot toekomstig onderzoek zou een belangrijk onderwerp om aan te pakken het verband zijn tussen spontane oogknipperfrequentie (EBR) en tijdsperceptie. Van EBR is bekend dat het een niet-invasieve indirecte marker is van de centrale dopaminefunctie (DA)23, en meer recentelijk werd een hoge ERB geassocieerd met een slechtere temporele perceptie. De studie suggereert een implicatie van dopamine in intervaltiming en wijst op het gebruik van ERB als een proxy van dopamine-maatregel24. Een ander belangrijk onderwerp is de functionele betekenis van de (veranderingsgerelateerde) maatregelen die we hebben geanalyseerd, die nog moet worden bepaald in de context van ons paradigma. In de oorspronkelijke studie, evenals in de huidige vereenvoudigde dataset, waren de toename van de pupilgrootte van TW0 naar TW1 consistent met het idee van verhoogde cognitieve belasting, maar de afwezigheid van groepseffecten op deze maatstaf sluit verdere overwegingen uit. Een patroon dat zich lijkt voor te doen, is dat kleinere veranderingen in tijdvensters correleerden met betere gedragsprestaties (flitsen beter dan ballen, en d-prime bij dyslectici gerelateerd aan kleinere veranderingen), maar verder onderzoek is nodig.
Ondanks zijn beperkingen is het huidige protocol, voor zover wij weten, het eerste dat parallelle resultaten laat zien in eye-tracking en gedragsgegevens (hetzelfde profiel van effecten), evenals enig bewijs van de correlatie tussen de twee.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Dit werk werd ondersteund door de Portugese Stichting voor Wetenschap en Technologie in het kader van subsidies UIDB/00050/2020; en PTDC/PSI-GER/5845/2020. De APC werd volledig gefinancierd door de Portugese Stichting voor Wetenschap en Technologie in het kader van subsidie PTDC/PSI-GER/5845/2020 (http://doi.org/10.54499/PTDC/PSI-GER/5845/2020).
Materials
| Adobe Animate | Adobe | It is a tool for designing flash animation films, GIFs, and cartoons. | |
| EyeLink Data Viewer | It is robust software that provides a comprehensive solution for visualizing and analyzing gaze data captured by EyeLink eye trackers. It is accessible on Windows, macOS, and Linux platforms. Equipped with advanced capabilities, Data Viewer enables effortless visualization, grouping, processing, and reporting of EyeLink gaze data. | ||
| Eye-tracking system | SR Research | EyeLink 1000 Portable Duo | It has a portable duo camera, a Laptop PC Host, and a response device. The EyeLink integrates with SR Research Experiment Builder, Data Viewer, and WebLink as well as many third-party stimulus presentation software and tools. |
| Monitor | Samsung Syncmaster | 957DF | It is a 19" flat monitor |
| SR Research Experiment Builder | SR Research | It is an advanced and user-friendly drag-and-drop graphical programming platform designed for developing computer-based experiments in psychology and neuroscience. Utilizing Python as its foundation, this platform is compatible with both Windows and macOS, facilitating the creation of experiments that involve both EyeLink eye-tracking and non-eye-tracking functionalities. |
References
- Bellinger, D., Altenmüller, E., Volkmann, J. Perception of time in music in patients with parkinson’s disease – The processing of musical syntax compensates for rhythmic deficits. Frontiers in Neuroscience. 11, 68 (2017).
- Plourde, M., Gamache, P. L., Laflamme, V., Grondin, S. Using time-processing skills to predict reading abilities in elementary school children. Timing & Time Perception. 5 (1), 35-60 (2017).
- Saloranta, A., Alku, P., Peltola, M. S. Listen-and-repeat training improves perception of second language vowel duration: evidence from mismatch negativity (MMN) and N1 responses and behavioral discrimination. International Journal of Psychophysiology. 147, 72-82 (2020).
- Soares, A. J. C., Sassi, F. C., Fortunato-Tavares, T., Andrade, C. R. F., Befi-Lopes, D. M. How word/non-word length influence reading acquisition in a transparent language: Implications for children’s literacy and development. Children (Basel). 10 (1), 49 (2022).
- Sousa, J., Martins, M., Torres, N., Castro, S. L., Silva, S. Rhythm but not melody processing helps reading via phonological awareness and phonological memory. Scientific Reports. 12 (1), 13224 (2022).
- Torres, N. L., Luiz, C., Castro, S. L., Silva, S. The effects of visual movement on beat-based vs. duration-based temporal perception. Timing & Time Perception. 7 (2), 168-187 (2019).
- Torres, N. L., Castro, S. L., Silva, S. Visual movement impairs duration discrimination at short intervals. Quarterly Journal of Experimental Psychology. 77 (1), 57-69 (2024).
- Attard, J., Bindemann, M. Establishing the duration of crimes: an individual differences and eye-tracking investigation into time estimation. Applied Cognitive Psychology. 28 (2), 215-225 (2014).
- Warda, S., Simola, J., Terhune, D. B. Pupillometry tracks errors in interval timing. Behavioral Neuroscience. 136 (5), 495-502 (2022).
- Goswami, U. A neural basis for phonological awareness? An oscillatory temporal-sampling perspective. Current Directions in Psychological Science. 27 (1), 56-63 (2018).
- Catronas, D., et al. Time perception for visual stimuli is impaired in dyslexia but deficits in visual processing may not be the culprits. Scientific Reports. 13, 12873 (2023).
- Zagermann, J., Pfeil, U., Reiterer, H. Studying eye movements as a basis for measuring cognitive load. Extended Abstracts of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-6 (2018).
- Rafiqi, S., et al. PupilWare: Towards pervasive cognitive load measurement using commodity devices. Proceedings of the 8th ACM International Conference on PETRA. , 1-8 (2015).
- Klingner, J., Kumar, R., Hanrahan, P. Measuring the task-evoked pupillary response with a remote eye tracker. Proceedings of the 2008 Symposium on ETRA. , 69-72 (2008).
- Mahanama, B., et al. Eye movement and pupil measures: a review. Frontiers in Computer Science. 3, 733531 (2022).
- Pfleging, B., Fekety, D. K., Schmidt, A., Kun, A. L. A model relating pupil diameter to mental workload and lighting conditions. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. , 5776-5788 (2016).
- Cicchini, G. M. Perception of duration in the parvocellular system. Frontiers in Integrative Neuroscience. 6, 14 (2012).
- EyeLink Data Viewer 3.2.1. SR Research Ltd Available from: https://www.sr-research.com/data-viewer/ (2018)
- Spencer, R., Karmarkar, U., Ivry, R. Evaluating dedicated and intrinsic models of temporal encoding by varying contex. Philosophical Transactions of the Royal Society B. 364 (1525), 1853-1863 (2009).
- Coull, J. T. Getting the timing right: experimental protocols for investigating time with functional neuroimaging and psychopharmacology. Advances in Experimental Medicine and Biology. 829, 237-264 (2014).
- Burr, D., Rocca, E. D., Morrone, M. C. Contextual effects in interval-duration judgements in vision, audition and touch. Experimental Brain Research. 230 (1), 87-98 (2013).
- Grossman, S., Gueta, C., Pesin, S., Malach, R., Landau, A. N. Where does time go when you blink. Psychological Science. 30 (6), 907-916 (2019).
- Jongkees, B. J., Colzato, L. S. Spontaneous eye blink rate as predictor of dopamine-related cognitive function-a review. Neuroscience & Biobehavioral Reviews. 71, 58-82 (2016).
- Sadibolova, R., Monaldi, L., Terhune, D. B. A proxy measure of striatal dopamine predicts individual differences in temporal precision. Psychonomic Bulletin & Review. 29 (4), 1307-1316 (2022).
