Summary

Kombination af Eye-tracking data med en analyse af videoindhold fra Free-visning af en video af en tur i et Urban Park miljø

Published: May 07, 2019
doi:

Summary

Formålet med protokollen er at præcisere, hvordan man indsamler video data til brug i laboratoriet. hvordan man registrerer Eye-tracking data af deltagerne kigger på data, og hvordan man effektivt analysere indholdet af de videoer, de var på udkig på ved hjælp af en maskine indlæringsteknik.

Abstract

Som individer i stigende grad bor i byerne, metoder til at studere deres daglige bevægelser og de data, der kan indsamles bliver vigtige og værdifulde. Eye-tracking informatik er kendt for at forbinde til en række følelser, sundhedsmæssige betingelser, mentale tilstande og handlinger. Men fordi vision er resultatet af konstante øjenbevægelser, drilleri ud af, hvad der er vigtigt fra, hvad der er støj er kompleks og dataintensive. Desuden er en betydelig udfordring at kontrollere, hvad folk ser på i forhold til, hvad der præsenteres for dem.

Følgende præsenterer en metode til at kombinere og analysere Eye-tracking på en video af en naturlig og kompleks scene med en maskine indlæringsteknik til at analysere indholdet af videoen. I protokollen fokuserer vi på at analysere data fra filmede videoer, hvordan en video bedst kan bruges til at registrere deltagernes Eye-tracking data, og vigtigere, hvordan indholdet af videoen kan analyseres og kombineres med Eye-tracking data. Vi præsenterer et kort resumé af resultaterne og en diskussion af potentialet i metoden til yderligere undersøgelser i komplekse miljøer.

Introduction

Vores daglige levede oplevelser af bymiljøer har stor indflydelse på vores sundhed og velvære. Vores velbefindende kan afhænge af mængden af grønne områder, som vi ser og oplever1,2,3, og disse synspunkter kan kvantificeres ved hjælp Eye-tracking udstyr til at guide beslutningsprocessen om Park design. Der opstår dog et problem med mængden af øjesporings data, der genereres, og som giver mening for disse data. Da udstyret til registrering af blik data i et laboratorium eller en naturlig indstilling bliver lettere at bruge og mere kraftfuld, skal forskerne overveje, hvordan vi kan indsamle og analysere data gyldigt for at hjælpe med beslutningstagende spørgsmål.

Hidtil har en stor del af øjet tracking forskning brugt fotografier i en undersøgelse eller laboratorium indstilling4. Mens denne metode giver mulighed for en stor reproducerbarhed og kontrol over resultater, er det ikke i stand til at drage fordel af de seneste fremskridt inden for Eye-tracking-teknologi, som omfatter brugen af video og bærbare mobile Eye-trackers. Desuden vil vi hævde, at den handling at gå og slappe af, er nødvendigvis dynamisk, især når de er orienteret mod en opgave som Wayfinding5. Derfor bør en fuldstændig videnskabelig forståelse af disse indstillinger finde sted uden for laboratoriet. Men i øjeblikket, Eye-tracking i en Real-Life naturalistiske indstilling gør at sammenligne erfaringer mellem meget vanskeligt. For eksempel, hvis vi ønskede at sammenligne, om en respondent ser på træer mere end en anden, hvordan kunne vi kontrollere for det faktum, at deres synspunkt ville være i konstant forandring i forhold til andre, eller at deres hoved kunne have vendt. Detaljeret analyse i disse betingelser er næsten umulig med aktuelle analyseteknikker. Vi vil hævde, at det er vigtigt at kontrollere de visningsområder til rådighed for den enkelte, der undersøges, og i analysen for at kunne tage højde for den samlede scene bliver set på et tidspunkt.

Der er et sæt af teorier forbinder stress niveauer og opfattelser af sikkerhed til landskabet synspunkter og veludviklede målinger af stress6,7. Der har også været en hurtig stigning i den sofistikerede Eye-tracking udstyr til at måle blik8. Eye-tracking er vigtigt, fordi ufrivillige øjenbevægelser kan være mere pålideligt forbundet til præference, stress og andre traditionelle foranstaltninger end undersøgelser og påtrængende, fysiologiske tests såsom spyt kortisolniveauer. Formålet med denne forskning er at udvikle værktøjer, der muliggør en mere præcis måling af Eye-tracking data anvendes til mere naturalistiske indstillinger, for at give yderligere dokumentation for eller gendelte langvarige landskab teorier, der har informeret Park design for Årtier.

Formålet med dette projekt er at udvikle og afprøve en ny analyseteknik, der kan generere relevante Eye-tracking data for forskellige videoer af Park Walk simuleringer. Vores arbejde rapporteret her og andre steder9 repræsenterer en halvvejs punkt mellem den naturalistiske indstilling af et fuldt mobilt Eye-tracking system og lab-baserede foto undersøgelser nævnt ovenfor. Især koncentrerer vi os om at bruge videoer som stimulus materiale, undersøge, hvordan dette materiale kan bruges til at teste mængden af fascination, at forskellige parker generere i byen Melbourne. Vores arbejde er baseret på den antagelse, at detaljeret analyse af videoer er et nødvendigt skridt til at bryde, før der gennemfører en fyldigere og mere naturalistisk vurdering af potentialet i parker til at give restaurering fra stress.

I denne undersøgelse, vi ansat en desktop Eye-tracker med videoer af gåture gennem byparker og spurgte deltagerne til at forestille sig, at de tog en afslappende gåtur gennem en Park. Vi beskriver en metode til at tillade den tid, som deltagerne brugte på at se på forskellige objekter, at være sammenlignelige mellem parkerne. Desktop undersøgelser er generelt lettere at kontrollere i forhold til mobile ET undersøgelser og tillade sammenlignende analyse af hvert emne.

Standard Eye-tracking software bruger et manuelt område af interesse værktøj, hvor en operatør kan manuelt trække grænser omkring objekter af interesse i hver scene. Dette gør det muligt at tælle den tid, som deltagerne har brugt på at se på forskellige objekter, automatisk. For video data er denne proces arbejdskraftintensiv og underlagt operatørens subjektivitet og fejl. I senere versioner af Eye-tracking analyse software, kan AOIs automatisk spore objekter på tværs af frames, når de har samme størrelse i videoen. Dette er en forbedring, men dette er kun beregnet til at blive brugt til et lille antal stimuli i hvert billede, og hvert billede skal kontrolleres og bekræftes.

Manuel mærkning af objekter i et billede er almindeligt og understøttes af billedredigeringssoftware som GNU Image manipulation program (GIMP). I betragtning af at 1 s producerer 30 billeder eller billeder, er den manuelle mærkning af videoer upraktisk. Desuden er AOI mærkning ved at tegne vektor polygoner omkring kanten af komplekse objekter såsom træ baldakiner er meget tidskrævende. Endelig, selv om det er tænkes muligt at beregne størrelsen af objekter i et synsfelt ved hjælp af vektor mærkning, denne funktion er ikke i øjeblikket tilgængelig.

Den metode, som vi rapporterer om nedenfor beskæftiger sig med disse begrænsninger. I denne undersøgelse blev der anvendt automatisk mærkning af genstande. Dette er muligt ved hjælp af en billedbehandling teknik kendt som semantisk mærkning, hvor hver pixel i hvert billede af videoen er tildelt en etiket, der angiver en objektklasse. Maskinel indlæring bruges til at udlede pixel klassifikatorer for hver enkelt objektklasse af interesse. Disse klassificeringer giver en probabilistisk etiket for hver pixel (kendt som unære potentialer), som derefter raffineres i en efterfølgende optimeringsproces for at opnå det endelige mærkede output. Disse klassificeringer lærer statistiske beslutnings grænser mellem hver objektklasse i løbet af de funktioner, der udvindes fra billedet, herunder tekstur, histogrammet af kant retninger, RGB-farveværdier og de normaliserede billed koordinater. En passende teknik til dette er implementeret i DARWIN Machine Learning værktøjskasse10 og er beskrevet nedenfor.

Protocol

Den etiske godkendelse af dette projekt blev givet af den australske katolske Universitets etiske komité-godkendelsesnummer #201500036E. Dette sikrede, at der blev indhentet informeret samtykke fra alle deltagere, og at alle deltagere deltog frivilligt, og at deltagernes data forblev anonyme og fortrolige. Derudover blev godkendelsen givet på grund af den metode og udstyr, der opfylder australske standarder sikkerhedsregler. 1. filme Urban scenes, der kan bruges i en Eye-tracking undersøgelse…

Representative Results

Figur 1 og figur 2 viser resultatet af at tage alle Eye-tracking data for hele videoen på tværs af alle deltagere og producere et varmekort; Dette er den standardtilgang, der findes i Eye-tracking softwarepakker. Ved at sammenligne figur 1 og figur 2 er det muligt at identificere, at gennemsnitlige deltagere scannet til venstre og højre på x koordinaten af videoen i <strong class…

Discussion

Generelt, i standardsoftwarepakker til analyse af Eye-tracking data, en vektor AOI anvendes. Selv for et enkelt stillbillede kan vektorens størrelse ikke let måles. Desuden, herunder alle AOIs i et billede og beregning af de relative mængder af AOIs er møjt. Det er næsten umuligt at gøre dette manuelt på en video uden en maskine indlæringsteknik som den beskrevne. Dette var en forholdsvis simpel erklæring, der udleder en gratis visning situation. En meget mere præcis scenario kan bruges og forskellige scenario …

Divulgaciones

The authors have nothing to disclose.

Acknowledgements

Dette arbejde blev økonomisk støttet af City of Melbourne og delvist af ARC DP 150103135. Vi vil gerne takke Eamonn Fennessy for hans råd og samarbejdsorienterede tilgang. Med særlig tak til forsker assistenter Isabelle janecki og Ethan Chen som også hjalp indsamle og analysere disse data. Alle fejl forbliver forfatterne.

Materials

12 mm lens Olympus Lens
Panasonic GH4  Panasonic Video Camera
Tobii Studio version (2.1.14)   Tobii Software
Tobii x120 desktop eye-tracker Tobii Eye-tracker

Referencias

  1. Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
  2. Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
  3. Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
  4. Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
  5. Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
  6. Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
  7. Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
  8. Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
  9. Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
  10. Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
  11. Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
  12. Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).

Play Video

Citar este artículo
Amati, M., McCarthy, C., Parmehr, E. G., Sita, J. Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment. J. Vis. Exp. (147), e58459, doi:10.3791/58459 (2019).

View Video