Summary

Eine Methodik zur Erfassung der gemeinsamen visuellen Aufmerksamkeit mit mobilen Eye-Trackern

Published: January 18, 2020
doi:

Summary

Die Verwendung multimodaler Sensoren ist ein vielversprechender Weg, um die Rolle sozialer Interaktionen in Bildungseinrichtungen zu verstehen. Dieses Papier beschreibt eine Methode zur Erfassung der visuellen Aufmerksamkeit von colocated Dyads mit mobilen Eye-Trackern.

Abstract

Mit dem Aufkommen neuer technologischer Fortschritte ist es möglich, soziale Interaktionen auf Mikroebene mit beispielloser Genauigkeit zu untersuchen. Hochfrequenzsensoren wie Eyetracker, elektrodermittlere Aktivitätsarmbänder, EEG-Bänder und Bewegungssensoren liefern Beobachtungen auf Millisekundenebene. Diese Präzision ermöglicht es Forschern, große Datensätze über soziale Interaktionen zu sammeln. In diesem Beitrag bespreche ich, wie mehrere Eyetracker ein grundlegendes Konstrukt in sozialen Interaktionen, der gemeinsamen visuellen Aufmerksamkeit (JVA) erfassen können. Die JVA wurde von Entwicklungspsychologen untersucht, um zu verstehen, wie Kinder Sprache erwerben, Wissenschaftler lernen, wie kleine Gruppen von Lernenden zusammenarbeiten, und Sozialwissenschaftler, um Interaktionen in kleinen Teams zu verstehen. In diesem Artikel wird eine Methode zum Erfassen der JVA in kolokalisierten Einstellungen mit mobilen Eyetrackern beschrieben. Es präsentiert einige empirische Ergebnisse und diskutiert imponationiert die Erfassung von Mikrobeobachtungen, um soziale Interaktionen zu verstehen.

Introduction

Die JVA wurde im letzten Jahrhundert umfassend untersucht, insbesondere von Entwicklungspsychologen, die den Spracherwerb studierten. Es wurde schnell festgestellt, dass gemeinsame Aufmerksamkeit mehr ist als nur eine Möglichkeit, Worte zu lernen, sondern eher ein Vorläufer der Theorien des Geistes der Kinder1. So spielt es eine wichtige Rolle in vielen gesellschaftlichen Prozessen, wie z. B. kommunikation mit anderen, Zusammenarbeit und Entwicklung von Empathie. Autistische Kinder zum Beispiel haben nicht die Möglichkeit, ihre visuelle Aufmerksamkeit mit ihren Betreuern zu koordinieren, was mit erheblichen sozialen Beeinträchtigungen verbunden ist2. Menschen brauchen gemeinsame Aufmerksamkeit, um funktionale Mitglieder der Gesellschaft zu werden, ihr Handeln zu koordinieren und von anderen zu lernen. Von Kindern, die ihre ersten Worte lernen, Teenagern, die von Lehrern lernen, Schülern, die an Projekten mitarbeiten, bis hin zu Gruppen von Erwachsenen, die auf gemeinsame Ziele hinarbeiten, ist die gemeinsame Aufmerksamkeit ein grundlegender Mechanismus, um eine gemeinsame Basis zwischen Individuen zu schaffen3. In diesem Beitrag konzentriere ich mich auf das Studium der JVA in der Bildungsforschung. Das Verständnis, wie sich die gemeinsame Aufmerksamkeit im Laufe der Zeit entwickelt, ist für das Studium kollaborativer Lernprozesse von größter Bedeutung. Als solches spielt es eine vorherrschende Rolle in soziokonstruktivistischen Umgebungen.

Die genaue Definition der gemeinsamen Aufmerksamkeit wird noch diskutiert4. In diesem Papier geht es um ein Unterbau der gemeinsamen Aufmerksamkeit (JA), nämlich die JVA. JvA geschieht, wenn zwei Probanden an der gleichen Stelle zur gleichen Zeit suchen. Es sei darauf hingewiesen, dass die JVA keine Informationen über andere wichtige Konstrukte liefert, die für die Untersuchung von JA von Interesse sind, wie die Überwachung gemeinsamer, gegenseitiger und geteilter Aufmerksamkeit oder ganz allgemein des Bewusstseins für die Erkenntnis eines anderen Gruppenmitglieds. Dieses Papier operationalisiert und vereinfacht die JVA, indem es die Eye-Tracking-Daten von zwei Teilnehmern kombiniert und die Häufigkeit analysiert, in der sie ihre Blicke ausrichten. Für eine umfassendere Diskussion kann der interessierte Leser mehr über die Studie des JA-Konstrukts in Siposovaetal. 4erfahren.

In den letzten zehn Jahren haben technologische Fortschritte die FORSCHUNG zur JVA radikal verändert. Der wichtigste Paradigmenwechsel bestand darin, mehrere Eyetracker zu verwenden, um quantitative Messgrößen für Aufmerksamkeitsausrichtungen zu erhalten, im Gegensatz zur qualitativen Analyse von Videoaufzeichnungen in einem Labor oder einer ökologischen Umgebung. Diese Entwicklung hat es den Forschern ermöglicht, präzise, detaillierte Informationen über die visuelle Koordination von Dyaden zu sammeln. Darüber hinaus werden Eye-Tracker erschwinglicher: Bis vor kurzem war ihre Verwendung akademischen Umgebungen oder großen Unternehmen vorbehalten. Es ist jetzt möglich, preiswerte Eyetracker zu kaufen, die zuverlässige Datensätze generieren. Schließlich deutet die fortschreitende Einbeziehung von Gaze-Tracking-Funktionen in bestehende Geräte wie High-End-Laptops und Virtual-Reality- und Augmented-Reality-Headsets darauf hin, dass Eye-Tracking bald allgegenwärtig sein wird.

Aufgrund der Popularisierung von Eye-Tracking-Geräten ist es wichtig zu verstehen, was sie uns über soziale Interaktionen erzählen können und was nicht. Die in diesem Papier vorgestellte Methodik stellt einen ersten Schritt in diese Richtung dar. Ich beschäften mich mit zwei Herausforderungen bei der Erfassung der JVA von mehreren Eyetrackern: die Synchronisierung der Daten auf 1) der zeitlichen Skala und 2) auf der räumlichen Skala. Genauer gesagt nutzt dieses Protokoll treue Marker, die in realen Umgebungen platziert werden, um Computer-Vision-Algorithmen zu informieren, bei denen die Teilnehmer ihren Blick richten. Diese neue Methode ebnet den Weg für eine rigorose Analyse menschlichen Verhaltens in kleinen Gruppen.

Dieses Forschungsprotokoll entspricht den Richtlinien der Ethikkommission für Humanforschung der Harvard University.

Protocol

1. Teilnehmer-Screening Stellen Sie sicher, dass Teilnehmer mit normalem oder korrigiertem Sehvermögen rekrutiert werden. Da die Teilnehmer aufgefordert werden, einen mobilen Eyetracker zu tragen, können sie Kontaktlinsen tragen, aber keine normale Brille. 2. Vorbereitung auf das Experiment Eye-Tracking-Geräte Verwenden Sie jeden mobilen Eyetracker, der in der Lage ist, Augenbewegungen in realen Umgebungen zu erfassen.HINWEIS: Die mobilen Eyetracker, di…

Representative Results

Die oben vorgestellte Methodik wurde verwendet, um Studenten zu studieren, die eine Berufsausbildung in Logistik (n = 54)12absolvierten. In diesem Experiment interagierten Studentenpaare mit einer Tangible User Interface (TUI), die ein kleines Lager simulierte. Die auf der TUI platzierten Treuhandmarkierungen ermöglichten es dem Forschungsteam, die Blicke der Schüler auf eine gemeinsame Ebene umzubilden und die JVA-Ebene zu berechnen. Die Ergebnisse zeigten, dass Gruppen mit höheren JVA-Niveaus…

Discussion

Die in diesem Papier beschriebene Methodik bietet eine strenge Möglichkeit, die JVA in kozessorkten Dyaden zu erfassen. Mit der Entstehung erschwinglicher Sensortechnologie und verbesserter Computer-Vision-Algorithmen ist es nun möglich, kollaborative Interaktionen mit einer Genauigkeit zu untersuchen, die zuvor nicht verfügbar war. Diese Methode nutzt die in der Umwelt verbreiteten Fiducial-Marker und nutzt Homographien, um den Blick der Teilnehmer auf eine gemeinsame Ebene neu zu zuordnen. Dies ermöglicht es den Fo…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Die Entwicklung dieser Methodik wurde von der National Science Foundation (NSF #0835854), dem Leading House Technologies for Vocation Education, das vom Schweizerischen Staatssekretariat für Bildung, Forschung und Innovation und dem Dean Venture Fund der Harvard School of Education finanziert wurde, unterstützt.

Materials

Tobii Glasses 2 Tobii N/A https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Fiducial markers Chili lab – EPFL, Switzerland N/A https://github.com/chili-epfl/chilitags

References

  1. Tomasello, M., Moore, C., Dunham, P. J. Joint attention as social cognition. Joint attention: Its origins and role in development. , 103-130 (1995).
  2. Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
  3. Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. Grounding in communication. Perspectives on socially shared cognition. , 127-149 (1991).
  4. Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
  5. Gergle, D., Clark, A. T. See What I’m Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).
  6. Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. , 121-136 (2014).
  7. Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
  8. . Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: https://github.com/chili-epfl/qml-chilitags (2013)
  9. Jermann, P., Mullins, D., Nüssli, M. -. A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I – Long Papers. , 184-191 (2011).
  10. Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers’ and Listeners’ Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
  11. Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
  12. Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
  13. Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
  14. Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).

Play Video

Cite This Article
Schneider, B. A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers. J. Vis. Exp. (155), e60670, doi:10.3791/60670 (2020).

View Video