Summary

Kombinera Eye-tracking data med en analys av video innehåll från Free-Visa en video av en promenad i en urban Park miljö

Published: May 07, 2019
doi:

Summary

Syftet med protokollet är att specificera hur man samlar in video data för användning i laboratoriet; Hur man spelar in öga-tracking data för deltagare tittar på data och hur man effektivt analysera innehållet i de videor som de tittade på med hjälp av en maskin inlärnings teknik.

Abstract

Som individer alltmer bor i städer, metoder för att studera deras vardagliga rörelser och de uppgifter som kan samlas in blir viktiga och värdefulla. Eye-tracking informatik är kända för att ansluta till en rad känslor, hälso tillstånd, mentala tillstånd och åtgärder. Men eftersom synen är resultatet av ständiga ögonrörelser, retas ut vad som är viktigt från vad som är buller är komplicerat och data intensiva. Dessutom är en betydande utmaning att kontrol lera vad människor ser på jämfört med vad som presenteras för dem.

Följande presenterar en metod för att kombinera och analysera öga-Tracking på en video av en naturlig och komplex scen med en maskin inlärnings teknik för att analysera innehållet i videon. I protokollet fokuserar vi på att analysera data från filmade videor, hur en video bäst kan användas för att spela in deltagarnas ögon spårnings data, och viktigast av allt hur videons innehåll kan analyseras och kombineras med ögon spårnings data. Vi presenterar en kort sammanfattning av resultaten och en diskussion om metodens potential för fortsatta studier i komplexa miljöer.

Introduction

Våra dagliga levda upplevelser av urbana miljöer påverkar i hög grad vår hälsa och vårt välbefinnande. Vårt välbefinnande kan bero på hur mycket grön områden som vi ser och upplever1,2,3, och dessa vyer kan kvantifieras med hjälp av Eye-tracking utrustning för att vägleda besluts fattande om Park design. Ett problem uppstår dock med den volym av ögon spårnings data som genereras och är meningsfulla för dessa data. Eftersom utrustningen för att registrera blick data i ett labb eller en naturlig miljö blir lättare att använda och kraftfullare, behöver forskarna fundera över hur vi kan samla in och analysera data på ett giltigt sätt för att hjälpa till med besluts fattande frågor.

Hittills har en stor del av ögat spårning forskning använt fotografier i en undersökning eller laboratorie miljö4. Även om denna metod möjliggör en hel del reproducerbarhet och kontroll över resultat, är det inte att dra nytta av de senaste framstegen i Eye-tracking teknik som inkluderar användning av video och bärbara mobila Eye-trackers. Dessutom skulle vi hävda att handlingen att gå och koppla är nödvändigt vis dynamiskt, särskilt när orienterade mot en uppgift som vägvisning5. Därför bör en helt vetenskaplig förståelse av dessa inställningar äga rum utanför laboratoriet. Men just nu, öga-tracking i en verklig naturalistisk inställning gör att jämföra erfarenheten mellan ämnen mycket svårt. Till exempel, om vi ville jämföra om en svarande tittar på träd mer än en annan, hur skulle vi kunna kontrol lera att deras synpunkt skulle vara ständigt förändras jämfört med andra eller att deras huvud kan ha vänt. Detaljerad analys i dessa förhållanden är nära omöjligt med nuvarande analys tekniker. Vi skulle hävda att det är viktigt att kontrol lera de visnings områden som är tillgängliga för den individ som studeras och i analysen för att kunna redogöra för den totala scenen som ses vid en och samma tidpunkt.

Det finns en uppsättning teorier som förbinder stress nivåer och uppfattningar om säkerhet till liggande vyer och väl utvecklade åtgärder av stress6,7. Det har också skett en snabb ökning av den sofistikerade ögonspårnings utrustning för att mäta blicken8. Ögonspårning är viktigt eftersom ofrivilliga ögonrörelser kan vara mer tillförlitligt ansluten till preferens, stress och andra traditionella åtgärder än undersökningar och påträngande, fysiologiska tester såsom saliv-kortisolnivåer. Syftet med denna forskning är att utveckla verktyg som möjliggör en mer exakt mätning av ögat-tracking data som tillämpas på mer naturalistiska inställningar, för att ge ytterligare bevis för eller vederlägga långvariga landskaps teorier som har informerat Park design för Årtionden.

Syftet med detta projekt är att utveckla och testa en ny analys teknik som kan generera relevanta ögon spårnings data för olika videor av Park promenad simuleringar. Vårt arbete rapporteras här och på andra ställen9 representerar en halvvägs mellan naturalistisk inställning av ett helt mobilt öga-tracking system och Lab-baserade foto studier som avses ovan. I synnerhet koncentrerar vi oss på att använda videor som stimulans material, utforska hur detta material kan användas för att testa den mängd fascination som olika parker genererar i staden Melbourne. Vårt arbete bygger på antagandet att detaljerad analys av videor är ett nödvändigt steg för att bryta innan man genomför en fylligare, mer naturalistisk bedömning av potentialen i parker för att ge restaurering från stress.

I denna studie använde vi en stationär Eye-tracker med videor av promenader genom urbana parker och frågade deltagarna att föreställa sig att de tog en avkopplande promenad genom en Park. Vi beskriver en metod för att tillåta den tid som deltagarna tillbringade med att titta på olika objekt för att vara jämförbara mellan parkerna. Skriv bords studier är i allmänhet lättare att kontrol lera jämfört med mobila ET-studier och möjliggör jämför ande analys av varje ämne.

Standard program vara för öga-spårning använder ett manuellt område av intresse verktyg där en operatör kan manuellt rita gränser runt objekt av intresse i varje scen. Detta gör att den tid som deltagarna tillbringade när de tittade på olika objekt automatiskt räknades. För video data är denna process arbets intensiv och underkastad operatörens subjektivitet och fel. I senare versioner av Eye-tracking analys program, kan AOIs automatiskt spåra objekt över ramar när de är av samma storlek i videon. Detta är en förbättring, men detta är endast avsedd att användas för ett litet antal stimuli i varje bild och varje bild måste kontrol leras och bekräftas.

Manuell märkning av objekt i en bild är vanligt och stöds av bild redigerings program som GNU Image Manipulation program (GIMP). Med tanke på att 1 s producerar 30 bilder eller bilder, manuell märkning av videor är opraktiskt. Dessutom är AOI-märkningen genom att rita vektor polygoner runt kanten av komplexa objekt som träd Skärmtak mycket tids krävande. Slutligen, även om det är tänkbart möjligt att beräkna storleken på objekt i ett synfält med hjälp av vektor märkning, är denna funktion för närvarande inte tillgänglig.

Den metod som vi rapporterar om nedan handlar om dessa begränsningar. Denna studie använde automatisk märkning av objekt. Detta är möjligt med hjälp av en bild behandlings teknik som kallas semantisk märkning, där varje pixel i varje bild ruta i videon tilldelas en etikett som anger en objekt klass. Maskin inlärning används för att härleda pixelklassificerare för varje objekt klass av intresse. Dessa klassificerare ger en probabilistisk etikett för varje pixel (kallas unära Potentials), som sedan förfinas i en efterföljande optimerings processen för att uppnå den slutliga märkta utdata. Dessa klassificerare lär sig statistiska besluts gränser mellan varje objekt klasser i utrymmet för funktioner som extraherats från bilden, inklusive textur, histogram över kant orientering, RGB-färgvärden och normaliserade bildkoordinater. En lämplig teknik för detta implementeras i DARWIN maskin inlärning verktygs lådan10 och beskrivs nedan.

Protocol

Etiskt godkännande av detta projekt gavs av den australiska katolska universitetets etik kommitté-godkännande nummer #201500036E. Detta säkerställde att informerat samtycke vunnits från alla deltagare och alla deltagare deltog frivilligt, och att deltagarnas uppgifter förblev anonyma och konfidentiella. Dessutom gavs godkännandet på grund av den metod och utrustning som uppfyller de australiska standarderna säkerhets föreskrifter. 1. Filmning Urban scener som kan användas i en Eye-tr…

Representative Results

Figur 1 och figur 2 visar resultatet av att ta alla ögon spårnings data för hela videon över alla deltagare och producera en värme karta; Detta är standard metoden som finns i program varu paket för ögonspårning. Genom att jämföra figur 1 och figur 2 är det möjligt att identifiera att i genomsnitt deltagarna skannade vänster och höger på x-koordinaten för videon i <s…

Discussion

Vanligt vis används en vektor AOI i standard program varu paket för att analysera ögon spårnings data. Även för en enda stillbild, kan storleken på vektorn inte lätt mätas. Dessutom, inklusive alla AOIs i en bild och beräkna de relativa mängderna av AOIs är mödosam. Det är nästan omöjligt att göra detta manuellt på en video utan en maskin inlärnings teknik som den som beskrivs. Detta var ett relativt enkelt uttalande som härleder en fri tittarsituation. En mycket mer exakt scenario kan användas och o…

Declarações

The authors have nothing to disclose.

Acknowledgements

Detta arbete stöddes ekonomiskt av staden Melbourne och delvis av ARC DP 150103135. Vi tackar Eamonn Fennessy för hans råd och samarbets strategi. Med särskilt tack till forskaren assistenter Isabelle janecki och Ethan Chen som också hjälpt samla in och analysera dessa data. Alla fel återstår författarna.

Materials

12 mm lens Olympus Lens
Panasonic GH4  Panasonic Video Camera
Tobii Studio version (2.1.14)   Tobii Software
Tobii x120 desktop eye-tracker Tobii Eye-tracker

Referências

  1. Patrik, P., Stigsdotter, U. K. The relation between perceived sensory dimensions of urban green space and stress restoration. Landscape and Urban Planning. 94 (3-4), 264-275 (2010).
  2. Bjørn, G., Patil, G. G. Biophilia: does visual contact with nature impact on health and well-being?. International Journal of Environmental Research and Public Health. 6 (9), 2332-2343 (2009).
  3. Velarde, M. a. D., Fry, G., Tveit, M. Health effects of viewing landscapes-Landscape types in environmental psychology. Urban Forestry & Urban Greening. 6 (4), 199-212 (2007).
  4. Polat, A. T., Ahmet, A. Relationships between the visual preferences of urban recreation area users and various landscape design elements. Urban Forestry & Urban Greening. 14 (3), 573-582 (2015).
  5. Peter, P., Giannopoulos, I., Raubal, M. Where am I? Investigating map matching during self-localization with mobile eye tracking in an urban environment. Transactions in GIS. 18 (5), 660-686 (2014).
  6. Berto, R., Massaccesi, S., Pasini, M. Do Eye Movements Measured across High and Low Fascination Photographs Differ? Addressing Kaplan’s Fascination Hypothesis. Journal of Environmental Psychology. 28 (2), 185-191 (2008).
  7. Kaplan, S. The restorative benefits of nature: Towards an integrative framework. Journal of Environmental Psychology. 15, 169-182 (1995).
  8. Duchowski, A. T. . Eye Tracking Methodology: Theory and Practice. , (2017).
  9. Amati, M., Ghanbari Parmehr, E., McCarthy, C., Sita, J. How eye-catching are natural features when walking through a park? Eye- tracking responses to videos of walks?. Urban Forestry and Urban Greening. 31, 67-78 (2018).
  10. Gould, S. D. A. R. W. I. N. A Framework for Machine Learning and Computer Vision Research and Development. Journal of Machine Learning Research. (Dec), 3533-3537 (2012).
  11. Richardson, D., Matlock, T. The integration of figurative language and static depictions: an eye movement study of fictive motion. Cognition. 102 (1), 129-138 (2007).
  12. Bojko, A. . Eye Tracking the User Experience: A Practical Guide to Research. , (2013).

Play Video

Citar este artigo
Amati, M., McCarthy, C., Parmehr, E. G., Sita, J. Combining Eye-tracking Data with an Analysis of Video Content from Free-viewing a Video of a Walk in an Urban Park Environment. J. Vis. Exp. (147), e58459, doi:10.3791/58459 (2019).

View Video