Summary

En metode til at opfange fælles visuel opmærksomhed ved hjælp af mobile Eye-trackers

Published: January 18, 2020
doi:

Summary

Brug af multimodale sensorer er en lovende måde at forstå rollen som social interaktion i uddannelsesmiljøer. Dette papir beskriver en metode til at opfange fælles visuel opmærksomhed fra sammen dyads ved hjælp af mobile Eye-trackers.

Abstract

Med fremkomsten af nye teknologiske fremskridt, er det muligt at studere sociale interaktioner på et mikroniveau med hidtil uset nøjagtighed. Højfrekvente sensorer, såsom eye-trackers, elektro dermal aktivitet armbånd, EEG bånd, og bevægelsessensorer giver observationer på millisekund niveau. Dette præcisionsniveau gør det muligt for forskerne at indsamle store datasæt om sociale interaktioner. I dette papir, jeg diskuterer, hvordan flere Eye-trackers kan fange en fundamental konstruktion i sociale interaktioner, fælles visuel opmærksomhed (JVA). JVA er blevet undersøgt af udviklingsmæssige psykologer for at forstå, hvordan børn tilegner sig sprog, lærer videnskabsfolk at forstå, hvordan små grupper af elever arbejder sammen, og sociale videnskabsfolk til at forstå interaktioner i små teams. Dette papir beskriver en metode til hentning af JVA i sammen-indstillinger ved hjælp af mobile Eye-trackers. Det præsenterer nogle empiriske resultater og diskuterer konsekvenserne af at opfange mikroobservationer til at forstå sociale interaktioner.

Introduction

JVA er blevet grundigt undersøgt i løbet af det sidste århundrede, især ved udviklingsmæssige psykologer studere sprog erhvervelse. Det blev hurtigt fastslået, at fælles opmærksomhed er mere end blot en måde at lære ord, men snarere en forløber for børns teorier i sindet1. Det spiller således en vigtig rolle i mange sociale processer, såsom kommunikation med andre, samarbejde og udvikling af empati. Autistiske børn, for eksempel, mangler evnen til at koordinere deres visuelle opmærksomhed med deres omsorgsgivere, som er forbundet med betydelige sociale handicap2. Mennesker har brug for fælles opmærksomhed for at blive funktionelle medlemmer af samfundet, for at koordinere deres handlinger og for at lære af andre. Fra børn at erhverve deres første ord, teenagere læring fra skolelærere, studerende, der samarbejder om projekter, og til grupper af voksne, der arbejder hen imod fælles mål, fælles opmærksomhed er en grundlæggende mekanisme til at etablere fælles fodslag mellem individer3. I dette dokument fokuserer jeg på studiet af JVA i pædagogisk forskning. Forståelse af, hvordan fælles opmærksomhed udfolder sig over tid, er af største vigtighed for studiet af samarbejdende læringsprocesser. Som sådan, det spiller en fremtrædende rolle i sociokonstruktivistiske indstillinger.

Den nøjagtige definition af fælles opmærksomhed diskuteres stadig4. Dette dokument omhandler en under bygning af fælles opmærksomhed (JA), nemlig JVA. JVA sker, når to kigger på samme sted på samme tid. Det skal bemærkes, at JVA ikke giver nogen oplysninger om andre vigtige konstruktioner af interesse i studiet af JA, såsom overvågning fælles, gensidig og fælles opmærksomhed, eller mere generelt, bevidsthed om kognition af en anden gruppe medlem. Dette papir operationaliserer og forenkler JVA ved at kombinere Eye-tracking data fra to deltagere og analysere frekvensen, hvor de tilpasser deres Gazes. For en mere omfattende diskussion, kan den interesserede læser lære mere om studiet af JA konstruere i Siposovaet al.4.

I løbet af det seneste årti har de teknologiske fremskridt radikalt ændret forskningen i JVA. Det vigtigste paradigmeskift var at bruge flere Eye-trackere til at opnå kvantitative målinger af attentional justeringer, i modsætning til kvalitativt analysere videooptagelser i et laboratorium eller økologiske omgivelser. Denne udvikling har gjort det muligt for forskerne at indsamle præcise, detaljerede oplysninger om dyads ‘ visuelle koordination. Desuden er Eye-trackers bliver mere overkommelige: indtil for nylig, deres anvendelse var forbeholdt akademiske indstillinger eller store selskaber. Det er nu muligt at købe billige Eye-trackers, der genererer pålidelige datasæt. Endelig antyder den progressive medtagelse af Gaze-Tracking kapaciteter i eksisterende enheder som high-end laptops og Virtual og Augmented Reality headsets, at Eye-tracking snart vil blive allestedsnærværende.

På grund af populariseringen af Eye-tracking-enheder, er det vigtigt at forstå, hvad de kan og ikke kan fortælle os om sociale interaktioner. Den metode, der præsenteres i dette dokument, markerer et første skridt i denne retning. Jeg adresserer to udfordringer i at erobre JVA fra flere Eye-Trackers: synkronisering af data på 1) den tidsmæssige skala, og 2) på den rumlige skala. Mere specifikt, denne protokol gør brug af fiducial markører placeret i den virkelige verden miljøer til at informere computer vision algoritmer, hvor deltagerne er orientering deres blik. Denne nye form for metodik baner vejen for en grundig analyse af menneskelig adfærd i små grupper.

Denne forskningsprotokol er i overensstemmelse med retningslinjerne fra Harvard Universitetets etiske komité for human forskning.

Protocol

1. deltager screening Sikre, at deltagere med normal eller korrigeret-til-normal vision rekrutteres. Fordi deltagerne vil blive bedt om at bære en mobil Eye-tracker, kan de bære kontaktlinser, men ikke almindelige briller. 2. forberedelse af eksperimentet Eye-tracking enheder Brug enhver mobil Eye-tracker i stand til at fange øjenbevægelser i den virkelige verden miljøer.Bemærk: de mobile Eye-trackers, der anvendes her, var to Tobii Pro briller 2 (Se…

Representative Results

Ovennævnte metode blev anvendt til at studere studerende, der følger et erhvervsuddannelsesprogram i logistik (n = 54)12. I dette eksperiment interagerede par af elever med en håndgribelig brugergrænseflade (TUI), hvor et mindre lager blev simuleret. De fiducial markører placeret på TUI tillod forskerholdet at omkort elevernes stirrer på et fælles plan og beregne niveauer af JVA. Resultaterne viste, at grupper, der havde højere niveauer af JVA tendens til at gøre bedre på den opgave, de…

Discussion

Den metode, der er beskrevet i dette papir, giver en stringent måde at fange JVA i sammen dyads. Med fremkomsten af overkommelige sensing teknologi og forbedrede computer vision algoritmer, er det nu muligt at studere samarbejde interaktioner med en nøjagtighed, der var tidligere utilgængelig. Denne metode udnytter de fiducial markører, der formidles i miljøet, og bruger homografier som en måde til at omkort deltagernes stirrer på et fælles plan. Dette giver forskerne mulighed for nøje at studere JVA i sammen gr…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Udviklingen af denne metode blev støttet af National Science Foundation (NSF #0835854), den førende House Technologies for Vocation Education, finansieret af det schweiziske statssekretariat for uddannelse, forskning og innovation, og Harvard School of Education ‘s Dean venture fund.

Materials

Tobii Glasses 2 Tobii N/A https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Fiducial markers Chili lab – EPFL, Switzerland N/A https://github.com/chili-epfl/chilitags

References

  1. Tomasello, M., Moore, C., Dunham, P. J. Joint attention as social cognition. Joint attention: Its origins and role in development. , 103-130 (1995).
  2. Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
  3. Clark, H. H., Brennan, S. E., Resnick, L. B., Levine, J. M., Teasley, S. D. Grounding in communication. Perspectives on socially shared cognition. , 127-149 (1991).
  4. Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
  5. Gergle, D., Clark, A. T. See What I’m Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , 435-444 (2011).
  6. Renner, P., Pfeiffer, T., Wachsmuth, I., Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. , 121-136 (2014).
  7. Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
  8. . Chilitags: Robust Fiducial Markers for Augmented Reality [software] Available from: https://github.com/chili-epfl/qml-chilitags (2013)
  9. Jermann, P., Mullins, D., Nüssli, M. -. A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I – Long Papers. , 184-191 (2011).
  10. Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers’ and Listeners’ Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
  11. Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
  12. Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
  13. Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
  14. Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).

Play Video

Cite This Article
Schneider, B. A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers. J. Vis. Exp. (155), e60670, doi:10.3791/60670 (2020).

View Video