Augenbewegungen in der visuellen Dauerwahrnehmung: Entwirrung von Reizen aus der Zeit in vorentscheidenden Prozessen
Summary
Wir stellen ein Protokoll vor, das Eye-Tracking verwendet, um Augenbewegungen während einer Intervallvergleichsaufgabe (Dauerwahrnehmung) basierend auf visuellen Ereignissen zu überwachen. Ziel ist es, einen vorläufigen Leitfaden zu geben, um okulomotorische Reaktionen auf Dauerwahrnehmungsaufgaben (Vergleich oder Unterscheidung von Zeitintervallen) von Reaktionen auf den Reiz selbst zu trennen.
Abstract
Eye-Tracking-Methoden können die Online-Überwachung der kognitiven Verarbeitung während visueller Wahrnehmungsaufgaben ermöglichen, bei denen die Teilnehmer gebeten werden, Zeitintervalle zu schätzen, zu unterscheiden oder zu vergleichen, die durch visuelle Ereignisse wie blinkende Kreise definiert sind. Unseres Wissens blieben die Versuche, diese Möglichkeit zu validieren, bisher jedoch ergebnislos, und die Ergebnisse konzentrieren sich weiterhin auf Offline-Verhaltensentscheidungen, die nach dem Auftreten von Reizen getroffen werden. In diesem Artikel wird ein Eye-Tracking-Protokoll zur Untersuchung der kognitiven Prozesse vorgestellt, die Verhaltensreaktionen in einer Intervallvergleichsaufgabe vorausgehen, bei der die Teilnehmer zwei aufeinanderfolgende Intervalle betrachteten und entscheiden mussten, ob sie beschleunigt (erstes Intervall länger als das zweite) oder verlangsamt (zweites Intervall länger).
Unser Hauptanliegen war es, die okulomotorischen Reaktionen auf den visuellen Reiz selbst von Korrelaten der Dauer im Zusammenhang mit Urteilen zu trennen. Um dies zu erreichen, definierten wir drei aufeinanderfolgende Zeitfenster basierend auf kritischen Ereignissen: Beginn der Baseline, Beginn des ersten Intervalls, Beginn des zweiten Intervalls und Ende des Stimulus. Wir extrahierten dann traditionelle okulomotorische Maße für jedes (Anzahl der Fixationen, Pupillengröße) und konzentrierten uns auf zeitfensterbezogene Veränderungen, um die Reaktionen auf den visuellen Reiz von denen zu trennen, die sich auf den Intervallvergleich an sich beziehen. Wie wir in den illustrativen Ergebnissen zeigen, zeigten Eye-Tracking-Daten signifikante Unterschiede, die mit den Verhaltensergebnissen übereinstimmten, was Hypothesen über die beteiligten Mechanismen aufwarf. Dieses Protokoll ist noch in den Kinderschuhen und bedarf noch vieler Verbesserungen, aber es stellt einen wichtigen Fortschritt gegenüber dem derzeitigen Stand der Technik dar.
Introduction
Die Zeitwahrnehmungsfähigkeiten haben in den letzten Jahren zunehmend die Aufmerksamkeit der Forschung auf sich gezogen, was zum Teil darauf zurückzuführen ist, dass sich die Beweise häufen, dass diese mit Lesefähigkeiten oder pathologischen Zuständen zusammenhängenkönnen 1,2,3,4,5. Die Wahrnehmung der visuellen Dauer – die Fähigkeit, Zeitintervalle, die durch visuelle Ereignisse definiert sind, zu schätzen, zu unterscheiden oder zu vergleichen – ist ein Teilgebiet von Interesse 6,7, in dem Eye-Tracking-Methoden einen Beitrag leisten könnten. Die Ergebnisse konzentrieren sich jedoch weiterhin auf Verhaltensentscheidungen nach dem Stimulus, wie z. B. das Drücken eines Knopfes, um anzuzeigen, wie viel Zeit vergangen ist (Schätzung), ob die Zeitintervalle gleich oder unterschiedlich sind (Diskriminierung) oder welches von einer Reihe von Zeitintervallen das längste oder kürzeste ist. Einige Studien haben versucht, Verhaltensergebnisse mit Eye-Tracking-Daten zu korrelieren 8,9, aber sie konnten keine Korrelationen zwischen den beiden finden, was darauf hindeutet, dass ein direkter Zusammenhang fehlt.
In der vorliegenden Arbeit stellen wir ein Protokoll zur Registrierung und Analyse okulomotorischer Reaktionen während der Reizpräsentation in einer visuellen Dauerwahrnehmungsaufgabe vor. Konkret bezieht sich die Beschreibung auf eine Intervallvergleichsaufgabe, bei der die Teilnehmer Sequenzen von drei Ereignissen sahen, die zwei Zeitintervalle definierten, und gebeten wurden, zu beurteilen, ob sie schneller (erstes Intervall länger als zweites) oder langsamer (erstes kürzer als zweites) wurden. Die in der Studie verwendeten Zeitintervalle reichten von 133 bis 733 ms und entsprachen den Prinzipien des Temporal Sampling Framework (TSF)10. TSF deutet darauf hin, dass die oszillatorische Aktivität des Gehirns, insbesondere in Frequenzbändern wie Delta-Oszillationen (1-4 Hz), mit eingehenden Spracheinheiten wie Sequenzen von Betonungsakzenten synchronisiert wird. Diese Synchronisation verbessert die Kodierung von Sprache, verbessert die Aufmerksamkeit für Spracheinheiten und hilft, sequentielle Regelmäßigkeiten zu extrahieren, die für das Verständnis von Erkrankungen wie Legasthenie relevant sein können, die atypische niederfrequente Oszillationen aufweisen. Das Ziel der Studie, in der wir die hier vorgestellte Methode entwickelt haben, war es festzustellen, ob die Schwierigkeiten von Legasthenikern bei der Wahrnehmung der visuellen Dauer (Gruppeneffekte auf die Intervallvergleichsaufgabe) Probleme bei der Verarbeitung des visuellen Objekts selbst widerspiegeln, nämlich Bewegungs- und Luminanzkontraste11. Wenn dies der Fall wäre, erwarteten wir, dass der Nachteil von Legasthenikern gegenüber Kontrollen bei Reizen mit Bewegung und geringen Luminanzkontrasten (Interaktion zwischen Gruppe und Reiztyp) größer sein würde.
Das Hauptergebnis der ursprünglichen Studie wurde durch Verhaltensurteile nach dem Stimulus bestimmt. Eye-Tracking-Daten – Pupillengröße und Anzahl der Fixationen -, die während der Stimuluspräsentation aufgezeichnet wurden, wurden verwendet, um Prozesse zu untersuchen, die den Verhaltensentscheidungen vorausgingen. Wir glauben jedoch, dass das aktuelle Protokoll unabhängig von der Erhebung von Verhaltensdaten verwendet werden kann, sofern die Ziele entsprechend festgelegt werden. Möglicherweise ist es auch möglich, es für Intervallunterscheidungsaufgaben anzupassen. Die Verwendung in Zeitschätzungsaufgaben ist nicht so unmittelbar, aber wir würden diese Möglichkeit nicht ausschließen. Wir haben die Pupillengröße verwendet, weil sie unter anderem die kognitive Belastung 12,13,14 widerspiegelt und somit Informationen über die Fähigkeiten der Teilnehmer liefern kann (höhere Belastung bedeutet weniger Fähigkeiten). In Bezug auf die Anzahl der Fixierungen können mehr Fixationen die stärkere Auseinandersetzung der Teilnehmer mit der Aufgabe widerspiegeln15,16. Die ursprüngliche Studie verwendete fünf Stimulustypen. Zur Vereinfachung haben wir im aktuellen Protokoll nur zwei verwendet (Ball vs. Flash, was einen bewegungsbezogenen Kontrast darstellt).
Die größte Herausforderung, die wir zu lösen versuchten, bestand darin, die Reaktionen auf den visuellen Reiz selbst von denen zu trennen, die sich auf den Intervallvergleich beziehen, da bekannt ist, dass sich die okulomotorischen Reaktionen je nach Merkmalen wie Bewegung oder Leuchtdichtekontrasten ändern17. Ausgehend von der Prämisse, dass der visuelle Reiz verarbeitet wird, sobald er auf dem Bildschirm erscheint (erstes Intervall), und der Intervallvergleich erst möglich ist, wenn das zweite Zeitintervall beginnt, haben wir drei Zeitfenster definiert: Prästimulusfenster, erstes Intervall, zweites Intervall (Verhaltensreaktion nicht enthalten). Durch die Analyse der Veränderungen des Prestimulus-Fensters über das erste Intervall erhielten wir Indizes der Reaktionen der Teilnehmer auf den Stimulus selbst. Der Vergleich des ersten mit dem zweiten Intervall würde mögliche okulomotorische Signaturen des Intervallvergleichs erschließen – die Aufgabe, die die Teilnehmer ausführen sollten.
Protocol
Representative Results
Discussion
Das aktuelle Protokoll enthält eine neuartige Komponente, die entscheidend sein könnte, um aktuelle Hindernisse für die Integration von Eye-Tracking in visuelle Wahrnehmungsaufgaben zu überwinden. Der entscheidende Schritt ist hier die Definition von Zeitfenstern auf der Grundlage kognitiver Prozesse, die vermutlich in jedem dieser Zeitfenster stattfinden. In dem von uns verwendeten System können Zeitfenster nur als Interessengebiete definiert werden (ein raumbezogenes Konzept, das in diesen Systemen an die Zeit gekoppelt ist), aber in anderen Systemen ist es möglich, dies durch den Export verschiedener Segmente des Versuchs zu tun. Zusätzlich zu dieser zeitlichen Segmentierung der Studie ist es wichtig, sich auf die Analyse von Änderungen über Zeitfenster hinweg zu konzentrieren und nicht auf die Parameter pro Zeitfenster.
Die Änderungen am Protokoll, die vorgenommen werden mussten, bezogen sich hauptsächlich auf die Dimensionen des Interessengebiets. Wir haben einen ersten Versuch mit dynamischen AOIs unternommen – wir haben eine räumliche Auswahl um den folgenden Stimulus herum definiert, anstatt den gesamten Bildschirm. Wir merkten jedoch bald, dass wir relevante Ereignisse außerhalb dieses Gebiets verpassen könnten. Da unsere Messungen nichts mit der Konzentration auf den Stimulus zu tun hatten (es wurde erwartet, dass sich die Pupillengröße je nach kognitiver Belastung und nicht nach der Aufmerksamkeit für den Blitz oder den Ball ändert; die Anzahl der Fixationen sollte die räumliche Suche widerspiegeln), entschieden wir uns, den Vollbildmodus als interessierende Region zu verwenden.
Das derzeitige Protokoll ist ein embryonaler Vorschlag, der noch vielen Verfeinerungen unterliegt. Wir werden nur zwei davon hervorheben, auch wenn es noch viel Raum für Verbesserungen gibt. Die erste betrifft die Unterschiede in der Länge der drei Zeitfenster, die es uns unmöglich machen, Zeitfenstereffekte auf die Anzahl der Fixationen zu interpretieren (z. B. bringt ein längeres Zeitfenster mehr Fixationen mit sich, daher die Abnahme von TW0 auf TW1, siehe Abbildung 3). Eine Möglichkeit, dieses Problem anzugehen, wäre die Berücksichtigung der Anzahl der Fixationen pro Zeiteinheit.
Die zweite bezieht sich auf die Entsprechung zwischen Zeitfenstern und vermeintlich laufenden Prozessen, die verschiedene Fragen umfasst. Einer ist, dass TW1 nicht nur das Auftreten von Reizen darstellt, sondern wahrscheinlich auch eine explizite Form der Intervallschätzung (erstes Intervall), die dem Intervallvergleich untergeordnet ist und in TW0 wahrscheinlich nicht vorhanden ist. In ähnlicher Weise können Änderungen über Zeitfenster hinweg auch Veränderungen in allgemeinen Prozessen wie anhaltender Aufmerksamkeit und Arbeitsgedächtniswiderspiegeln 18, obwohl einige dieser Änderungen in einer Intervallvergleichsaufgabe zu erwarten wären (die Arbeitsgedächtnisbelastung wird voraussichtlich von TW1 gegenüber TW2 zunehmen). Eine Möglichkeit, diese potenziellen Störfaktoren abzuschwächen, wäre die Einführung von Kontrollaufgaben, die sich auf die reine Dauerschätzung, die anhaltende Aufmerksamkeit und das Arbeitsgedächtnis beziehen, und dann die Eye-Tracking-Datenanalyse auf den Vergleich zwischen experimentellen (Intervallvergleich) und Kontrollaufgaben zu stützen. Ein weiteres Problem ist, dass die Dauer von TW0 für die Aufgabe irrelevant war, und es ist bekannt, dass aufgabenirrelevante Dauern für die Leistung schädlich sein können19. Zukünftige Arbeiten könnten sich darauf konzentrieren, dies zu verbessern, nämlich durch die Erzeugung einer Differenz von 300 ms zwischen TW0 (irrelevantes Intervall) und TW1, um die Reaktionen der visuellen Verarbeitung besser abzugrenzen, da ein kurzes Ereignis so verzerrt werden kann, dass es früher oder später als seine Präsentation wahrgenommen wird, indem einfach ein weiteres Ereignis in nahezu zeitlicher Nähehinzugefügt wird 20,21.
Schließlich kann spontanes Augenblinzeln die Zeitwahrnehmung beeinflussen, indem es sie verzerrt (Dilatation der Zeit, wenn ein Augenblinzeln dem Intervall vorausgeht, Kontraktion, wenn es gleichzeitig auftritt), was möglicherweise zu Variabilität in der intraindividuellen Zeitleistung führt22. Eine Möglichkeit, dieses Problem zu minimieren, wäre die Anwendung eines auf Augenblinzeln basierenden Korrekturfaktors in den Verhaltensurteilen der Teilnehmer (z. B. Zuweisung einer Zuverlässigkeitsrate für jedes Urteil in Abhängigkeit vom Vorhandensein von Blinzeln vor oder während der Reize). Darüber hinaus kann die Einbeziehung des statistischen Ansatzes, Studien als Zufallsvariablen zu behandeln, auch bei der Lösung dieses Problems helfen.
In Bezug auf zukünftige Forschung wäre ein wichtiges Thema, das es zu behandeln gilt, der Zusammenhang zwischen spontaner Augenblinzelrate (EBR) und Zeitwahrnehmung. Es ist bekannt, dass EBR ein nicht-invasiver indirekter Marker für die zentrale Dopaminfunktion (DA)23 ist, und in jüngerer Zeit war ein hoher ERB mit einer schlechteren zeitlichen Wahrnehmung verbunden. Die Studie deutet auf eine Implikation von Dopamin beim Intervall-Timing hin und weist auf die Verwendung von ERB als Proxy für den Dopaminwert24 hin. Ein weiteres wichtiges Thema ist die funktionale Bedeutung der von uns analysierten (veränderungsbezogenen) Maßnahmen, die im Kontext unseres Paradigmas noch zu bestimmen ist. Sowohl in der ursprünglichen Studie als auch im aktuellen vereinfachten Datensatz stimmten die Erhöhungen der Pupillengröße von TW0 auf TW1 mit der Idee einer erhöhten kognitiven Belastung überein, aber das Fehlen von Gruppeneffekten auf dieses Maß schließt weitere Überlegungen aus. Ein Muster, das sich zu zeigen scheint, ist, dass kleinere Veränderungen über Zeitfenster hinweg mit einer besseren Verhaltensleistung korrelierten (Blitze besser als Bälle und d-prime bei Legasthenikern im Zusammenhang mit kleineren Veränderungen), aber weitere Forschung ist erforderlich.
Trotz seiner Einschränkungen ist das aktuelle Protokoll unseres Wissens das erste, das parallele Ergebnisse bei Eye-Tracking- und Verhaltensdaten (gleiches Wirkungsprofil) sowie einige Hinweise auf die Korrelation zwischen den beiden zeigt.
Divulgations
The authors have nothing to disclose.
Acknowledgements
Diese Arbeit wurde von der portugiesischen Stiftung für Wissenschaft und Technologie im Rahmen von Zuschüssen UIDB/00050/2020 unterstützt; und PTDC/PSI-GER/5845/2020. Das APC wurde vollständig von der portugiesischen Stiftung für Wissenschaft und Technologie im Rahmen des Zuschusses PTDC/PSI-GER/5845/2020 (http://doi.org/10.54499/PTDC/PSI-GER/5845/2020) finanziert.
Materials
| Adobe Animate | Adobe | It is a tool for designing flash animation films, GIFs, and cartoons. | |
| EyeLink Data Viewer | It is robust software that provides a comprehensive solution for visualizing and analyzing gaze data captured by EyeLink eye trackers. It is accessible on Windows, macOS, and Linux platforms. Equipped with advanced capabilities, Data Viewer enables effortless visualization, grouping, processing, and reporting of EyeLink gaze data. | ||
| Eye-tracking system | SR Research | EyeLink 1000 Portable Duo | It has a portable duo camera, a Laptop PC Host, and a response device. The EyeLink integrates with SR Research Experiment Builder, Data Viewer, and WebLink as well as many third-party stimulus presentation software and tools. |
| Monitor | Samsung Syncmaster | 957DF | It is a 19" flat monitor |
| SR Research Experiment Builder | SR Research | It is an advanced and user-friendly drag-and-drop graphical programming platform designed for developing computer-based experiments in psychology and neuroscience. Utilizing Python as its foundation, this platform is compatible with both Windows and macOS, facilitating the creation of experiments that involve both EyeLink eye-tracking and non-eye-tracking functionalities. |
References
- Bellinger, D., Altenmüller, E., Volkmann, J. Perception of time in music in patients with parkinson’s disease – The processing of musical syntax compensates for rhythmic deficits. Frontiers in Neuroscience. 11, 68 (2017).
- Plourde, M., Gamache, P. L., Laflamme, V., Grondin, S. Using time-processing skills to predict reading abilities in elementary school children. Timing & Time Perception. 5 (1), 35-60 (2017).
- Saloranta, A., Alku, P., Peltola, M. S. Listen-and-repeat training improves perception of second language vowel duration: evidence from mismatch negativity (MMN) and N1 responses and behavioral discrimination. International Journal of Psychophysiology. 147, 72-82 (2020).
- Soares, A. J. C., Sassi, F. C., Fortunato-Tavares, T., Andrade, C. R. F., Befi-Lopes, D. M. How word/non-word length influence reading acquisition in a transparent language: Implications for children’s literacy and development. Children (Basel). 10 (1), 49 (2022).
- Sousa, J., Martins, M., Torres, N., Castro, S. L., Silva, S. Rhythm but not melody processing helps reading via phonological awareness and phonological memory. Scientific Reports. 12 (1), 13224 (2022).
- Torres, N. L., Luiz, C., Castro, S. L., Silva, S. The effects of visual movement on beat-based vs. duration-based temporal perception. Timing & Time Perception. 7 (2), 168-187 (2019).
- Torres, N. L., Castro, S. L., Silva, S. Visual movement impairs duration discrimination at short intervals. Quarterly Journal of Experimental Psychology. 77 (1), 57-69 (2024).
- Attard, J., Bindemann, M. Establishing the duration of crimes: an individual differences and eye-tracking investigation into time estimation. Applied Cognitive Psychology. 28 (2), 215-225 (2014).
- Warda, S., Simola, J., Terhune, D. B. Pupillometry tracks errors in interval timing. Behavioral Neuroscience. 136 (5), 495-502 (2022).
- Goswami, U. A neural basis for phonological awareness? An oscillatory temporal-sampling perspective. Current Directions in Psychological Science. 27 (1), 56-63 (2018).
- Catronas, D., et al. Time perception for visual stimuli is impaired in dyslexia but deficits in visual processing may not be the culprits. Scientific Reports. 13, 12873 (2023).
- Zagermann, J., Pfeil, U., Reiterer, H. Studying eye movements as a basis for measuring cognitive load. Extended Abstracts of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-6 (2018).
- Rafiqi, S., et al. PupilWare: Towards pervasive cognitive load measurement using commodity devices. Proceedings of the 8th ACM International Conference on PETRA. , 1-8 (2015).
- Klingner, J., Kumar, R., Hanrahan, P. Measuring the task-evoked pupillary response with a remote eye tracker. Proceedings of the 2008 Symposium on ETRA. , 69-72 (2008).
- Mahanama, B., et al. Eye movement and pupil measures: a review. Frontiers in Computer Science. 3, 733531 (2022).
- Pfleging, B., Fekety, D. K., Schmidt, A., Kun, A. L. A model relating pupil diameter to mental workload and lighting conditions. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. , 5776-5788 (2016).
- Cicchini, G. M. Perception of duration in the parvocellular system. Frontiers in Integrative Neuroscience. 6, 14 (2012).
- EyeLink Data Viewer 3.2.1. SR Research Ltd Available from: https://www.sr-research.com/data-viewer/ (2018)
- Spencer, R., Karmarkar, U., Ivry, R. Evaluating dedicated and intrinsic models of temporal encoding by varying contex. Philosophical Transactions of the Royal Society B. 364 (1525), 1853-1863 (2009).
- Coull, J. T. Getting the timing right: experimental protocols for investigating time with functional neuroimaging and psychopharmacology. Advances in Experimental Medicine and Biology. 829, 237-264 (2014).
- Burr, D., Rocca, E. D., Morrone, M. C. Contextual effects in interval-duration judgements in vision, audition and touch. Experimental Brain Research. 230 (1), 87-98 (2013).
- Grossman, S., Gueta, C., Pesin, S., Malach, R., Landau, A. N. Where does time go when you blink. Psychological Science. 30 (6), 907-916 (2019).
- Jongkees, B. J., Colzato, L. S. Spontaneous eye blink rate as predictor of dopamine-related cognitive function-a review. Neuroscience & Biobehavioral Reviews. 71, 58-82 (2016).
- Sadibolova, R., Monaldi, L., Terhune, D. B. A proxy measure of striatal dopamine predicts individual differences in temporal precision. Psychonomic Bulletin & Review. 29 (4), 1307-1316 (2022).
