Une méthodologie pour capturer l'attention visuelle conjointe à l'aide de eye-trackers mobiles
Summary
L’utilisation de capteurs multimodaux est un moyen prometteur de comprendre le rôle des interactions sociales dans les milieux éducatifs. Cet article décrit une méthodologie pour capturer l’attention visuelle commune des dyades colocated es utilisant les eye-trackers mobiles.
Abstract
Avec l’avènement de nouvelles avancées technologiques, il est possible d’étudier les interactions sociales à un niveau microavec une précision sans précédent. Les capteurs à haute fréquence, tels que les eye-trackers, les bracelets d’activité électrodermique, les bandes D’EEG et les capteurs de mouvement fournissent des observations au niveau de la milliseconde. Ce niveau de précision permet aux chercheurs de collecter de grands ensembles de données sur les interactions sociales. Dans cet article, je discute de la façon dont plusieurs eye-trackers peuvent capturer une construction fondamentale dans les interactions sociales, l’attention visuelle conjointe (JVA). JVA a été étudié par des psychologues du développement pour comprendre comment les enfants acquièrent la langue, les scientifiques d’apprentissage pour comprendre comment de petits groupes d’apprenants travaillent ensemble, et les chercheurs en sciences sociales pour comprendre les interactions dans de petites équipes. Cet article décrit une méthodologie pour capturer JVA dans des paramètres colocated à l’aide de eye-trackers mobiles. Il présente quelques résultats empiriques et discute des implications de la capture des microobservations pour comprendre les interactions sociales.
Introduction
JVA a fait l’objet d’études approfondies au cours du siècle dernier, en particulier par des psychologues du développement qui étudient l’acquisition du langage. Il a été rapidement établi que l’attention commune est plus qu’un simple moyen d’apprendre les mots, mais plutôt un précurseur des théories de l’esprit des enfants1. Ainsi, il joue un rôle important dans de nombreux processus sociaux, tels que la communication avec les autres, la collaboration et le développement de l’empathie. Les enfants autistes, par exemple, n’ont pas la capacité de coordonner leur attention visuelle avec leurs soignants, ce qui est associé à des déficiences sociales importantes2. Les humains ont besoin d’une attention commune pour devenir des membres fonctionnels de la société, pour coordonner leurs actions et pour apprendre des autres. Des enfants qui acquièrent leurs premiers mots, des adolescents qui apprennent des enseignants, des élèves qui collaborent à des projets et des groupes d’adultes qui travaillent à la recherche d’objectifs communs, l’attention commune est un mécanisme fondamental pour établir un terrain d’entente entre les individus3. Dans cet article, je me concentre sur l’étude de jAV dans la recherche éducative. Comprendre comment l’attention commune se déroule au fil du temps est d’une importance primordiale pour l’étude des processus d’apprentissage collaboratif. En tant que tel, il joue un rôle prédominant dans les milieux socioconstructivistes.
La définition exacte de l’attention commune est encore débattue4. Ce document concerne une sous-construction de l’attention conjointe (JA), à savoir JVA. JVA se produit lorsque deux sujets regardent au même endroit en même temps. Il convient de noter que JVA ne fournit aucune information sur d’autres constructions importantes d’intérêt dans l’étude de la JA, telles que le suivi de l’attention commune, mutuelle et partagée, ou plus généralement, la conscience de la cognition d’un autre membre du groupe. Cet article opérationnalise et simplifie JVA en combinant les données de suivi oculaire de deux participants et en analysant la fréquence dans laquelle ils alignent leurs regards. Pour une discussion plus complète, le lecteur intéressé peut en apprendre davantage sur l’étude de la construction JA dans Siposovaetal. 4.
Au cours de la dernière décennie, les progrès technologiques ont radicalement transformé la recherche sur la JVA. Le changement de paradigme principal était d’utiliser de multiples eye-trackers pour obtenir des mesures quantitatives des alignements attentionnels, par opposition à l’analyse qualitative des enregistrements vidéo en laboratoire ou en milieu écologique. Ce développement a permis aux chercheurs de recueillir des informations précises et détaillées sur la coordination visuelle des dyades. De plus, les eye-trackers sont de plus en plus abordables : jusqu’à récemment, leur utilisation était réservée aux milieux académiques ou aux grandes entreprises. Il est maintenant possible d’acheter des eye-trackers bon marché qui génèrent des jeux de données fiables. Enfin, l’inclusion progressive des capacités de suivi du regard dans les appareils existants comme les ordinateurs portables haut de gamme et les casques de réalité virtuelle et augmentée suggère que le suivi des yeux deviendra bientôt omniprésent.
En raison de la popularisation des dispositifs de suivi oculaire, il est important de comprendre ce qu’ils peuvent et ne peuvent pas nous dire sur les interactions sociales. La méthodologie présentée dans ce document marque un premier pas dans cette direction. Je réponds à deux défis dans la capture de JVA à partir de multiples eye-trackers: synchroniser les données sur 1) l’échelle temporelle, et 2) sur l’échelle spatiale. Plus précisément, ce protocole utilise des marqueurs fiduciaux placés dans des environnements réels pour éclairer les algorithmes de vision par ordinateur où les participants orientent leur regard. Ce nouveau type de méthodologie ouvre la voie à une analyse rigoureuse du comportement humain en petits groupes.
Ce protocole de recherche est conforme aux lignes directrices du comité d’éthique de la recherche humaine de l’Université Harvard.
Protocol
Representative Results
Discussion
La méthodologie décrite dans ce document fournit un moyen rigoureux de capturer JVA dans les dyades colocalisées. Avec l’émergence d’une technologie de détection abordable et d’algorithmes de vision par ordinateur améliorés, il est maintenant possible d’étudier les interactions collaboratives avec une précision qui n’était pas disponible auparavant. Cette méthodologie tire parti des marqueurs fiducial diffusés dans l’environnement et utilise les homographies comme un moyen de remap les regards des participant…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Le développement de cette méthodologie a été soutenu par la National Science Foundation (NSF #0835854), le Leading House Technologies for Vocation Education, financé par le Secrétariat d’État suisse pour l’éducation, la recherche et l’innovation, et le Fonds de capital-risque de doyen de la Harvard School of Education.
Materials
| Tobii Glasses 2 | Tobii | N/A | https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/ |
| Fiducial markers | Chili lab – EPFL, Switzerland | N/A | https://github.com/chili-epfl/chilitags |
References
- Tomasello, M., Moore, C., Dunham, P. J. Joint attention as social cognition. Joint attention: Its origins and role in development. , 103-130 (1995).
- Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
- Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. Grounding in communication. Perspectives on socially shared cognition. , 127-149 (1991).
- Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
- Gergle, D., Clark, A. T. See What I’m Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).
- Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. , 121-136 (2014).
- Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
- . Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: https://github.com/chili-epfl/qml-chilitags (2013)
- Jermann, P., Mullins, D., Nüssli, M. -. A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I – Long Papers. , 184-191 (2011).
- Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers’ and Listeners’ Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
- Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
- Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
- Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
- Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).
