Usability Evaluation of Augmented Reality: een neuro-informatie-systemen studie

Zes grensverleggende technologieën die interactie hebben met consumenten, meestal vertegenwoordigd door augmented reality, virtual reality, kunstmatige intelligentie, draagbare technologie, robotica en big data, hervormen veel theoretische modellen van consumentengedrag¹. Augmented Reality (AR) is een nieuwe technologie die de consumentenervaring kan verbeteren en de klanttevredenheid kan verbeteren. Het plaatst tekstuele informatie, afbeeldingen, video’s en andere virtuele items op echte scenario’s om virtualiteit en realiteit samen te smelten, waardoor informatie in de echte wereld wordt verbeterd door uitleg, begeleiding, evaluatie en voorspelling². AR biedt een nieuw soort mens-computerinteractie, creëert een meeslepende winkelervaring voor consumenten en heeft geleid tot de ontwikkeling van veel applicaties ^3,4. De acceptatie van AR-diensten door de consument is echter nog steeds minimaal en veel bedrijven zijn daarom voorzichtig met het adopteren van AR-technologie ^5,6. Het technology acceptance model (TAM) is op grote schaal gebruikt om het adoptiegedrag van nieuwe informatietechnologieën te verklaren en te voorspellen ^7,8. Volgens de TAM hangt de adoptieintentie voor een nieuwe technologie grotendeels af van de bruikbaarheid⁹. Daarom kan een mogelijke verklaring voor de trage acceptatie door de consument van AR-diensten vanuit het TAM-perspectief betrekking hebben op de bruikbaarheid van de nieuwe technieken, wat de noodzaak benadrukt om de bruikbaarheid van AR tijdens het winkelen^{te evalueren 10,11}.

Bruikbaarheid wordt gedefinieerd als de effectiviteit, efficiëntie en tevredenheid van het bereiken van gespecificeerde doelen in een gespecificeerde context door gespecificeerde gebruikers¹². Momenteel zijn er twee hoofdmethoden voor het evalueren van bruikbaarheid: subjectieve en objectieve evaluaties¹³. Subjectieve evaluaties zijn voornamelijk gebaseerd op zelfrapportagemethoden met behulp van vragenlijsten en schalen. In navolging van deze onderzoekslijn omvatte de vragenlijst die in deze studie werd gebruikt vijf kenmerken die verband houden met de informatiezoekmodus om een doel te bereiken: (1) efficiëntie, (2) gebruiksgemak, (3) memorabiliteit (gemakkelijk te onthouden), (4) tevredenheid (de informatiezoekmodus is comfortabel en aangenaam) en (5) generaliseerbaarheid naar andere objecten^14,15,16. Bovendien is cognitieve belasting, die de belasting vertegenwoordigt tijdens het uitvoeren van een bepaalde taak op het cognitieve systeem van een leerling¹⁷, een andere kernindicator van bruikbaarheid^18,19. Deze studie gebruikte dus ook de NASA Task Load Index (NASA-TLX)^13,20 als een subjectieve metriek om de cognitieve belasting te meten tijdens het winkelen met behulp van AR versus winkelen met behulp van websiteservices. Het is opmerkelijk dat zelfrapportagemethoden afhankelijk zijn van het vermogen en de bereidheid van individuen om hun attitudes en / of eerder gedrag nauwkeurig te rapporteren²¹, waardoor de mogelijkheid openblijft voor verkeerde rapportage, onderrapportage of vooringenomenheid. Objectieve metingen zouden dus een waardevolle aanvulling kunnen zijn op traditionele subjectieve methoden²².

Neuro-Information-Systems (NeuroIS) methoden worden gebruikt voor objectieve evaluatie van AR bruikbaarheid. NeuroIS, bedacht door Dimoka et al. op de ICIS-conferentie van 2007, trekt steeds meer aandacht op het gebied van informatiesystemen (IS)²³. NeuroIS maakt gebruik van theorieën en hulpmiddelen van de cognitieve neurowetenschappen om de ontwikkeling, adoptie en impact van IS-technologieën beter te begrijpen^24,25. Tot op heden worden cognitieve neurowetenschappelijke hulpmiddelen, zoals functionele magnetische resonantie beeldvorming (fMRI), elektro-encefalogram (EEG), positronemissie computertomografie, magneto-encefalografie (MEG) en functionele nabij-infraroodspectroscopie (fNIRS), vaak gebruikt in NeuroIS-studies^26,27. Dimoka en Davis gebruikten bijvoorbeeld fMRI om de activeringen van de proefpersonen te meten wanneer ze interactie hadden met de website, en onthulden dat waargenomen gebruiksgemak de activering in de prefrontale cortex (PFC) ^{beïnvloedde28}. Evenzo vonden Moridis et al. met behulp van EEG dat frontale asymmetrie nauw samenhing met bruikbaarheid²⁹. Deze resultaten geven aan dat de PFC een sleutelrol kan spelen in bruikbaarheid.

Hoewel er prestaties zijn geboekt in eerdere NeuroIS-studies, hadden de paradigma’s die in deze studies werden gebruikt beperkte lichaamsbewegingen van proefpersonen met een lage ecologische validiteit, waardoor hun theoretische en praktische bijdragen werden beperkt. Interactie met technologieën zoals AR tijdens het winkelen vereist vrije lichaamsbewegingen en onderwerpbeperkingen schaden de consumentenervaring grotendeels, zoals besproken in He et ^al.22. Daarom zijn hersenbeeldvormingstools met een hoge ecologische validiteit nodig voor een bruikbaarheidstest van informatiesystemen. In dit opzicht heeft fNIRS unieke technische voordelen: tijdens fNIRS-experimenten kunnen proefpersonen^{tot op zekere hoogte 30} vrij bewegen. Eerdere studies hebben bijvoorbeeld de hersenactivaties van proefpersonen gemeten tijdens verschillende buitenactiviteiten, zoals fietsen met draagbare fNIRS³¹. Bovendien is fNIRS goedkoop en maakt het de meting van hersenactivaties gedurende lange tijd^{mogelijk 32}. In deze studie werd fNIRS gebruikt om objectief het niveau van cognitieve belasting van proefpersonen te meten tijdens het gebruik van de winkeldiensten van AR versus een website.

Eye tracking is de afgelopen jaren een waardevolle psychofysiologische techniek geweest voor het detecteren van de visuele aandacht van gebruikers tijdens een bruikbaarheidstest³³ en is ook veel gebruikt in NeuroIS-studies³⁴. De techniek is gebaseerd op de oog-geesthypothese, die ervan uitgaat dat de focus van de waarnemer gaat waar de aandacht op gericht is, dat visuele aandacht het mentale proces vertegenwoordigt en dat patronen van visuele aandacht menselijke cognitieve strategieën weerspiegelen^35,36,37. Op het gebied van AR-onderzoek gebruikten Yang et al. eye tracking om te ontdekken dat AR-advertenties de houding van consumenten ten opzichte van de advertentie verbeterden door hun nieuwsgierigheid en aandacht te vergroten³⁸. In de huidige studie werd eye tracking gebruikt om de aandacht van proefpersonen te meten, inclusief parameters zoals totale fixatieduur, gemiddelde fixatieduur, fixatiefrequentie, saccadefrequentie, gemiddelde saccadeduur en gemiddelde scanpadlengte.

Samenvattend stelt deze studie een usability testmethode voor die subjectieve en objectieve evaluaties combineert met AR-toepassingen als voorbeeld. Een bruikbaarheidsvragenlijst en een NASA-TLX-schaal werden gebruikt voor subjectieve evaluatie, en multimodale metingen die fNIRS en eye tracking combineren, werden gebruikt voor objectieve evaluatie^39,40.

Experimenteel ontwerp
Experimentele materialen: Om een echte winkelcontext te simuleren, werd een productschap gebouwd in een laboratorium en werden twee verschillende merken mineraalwater als experimenteel materiaal op het schap geplaatst. Als essentiële goederen werd mineraalwater geselecteerd omdat deelnemers geen vooringenomenheid zouden hebben in subjectieve evaluaties op basis van hun beroepsachtergrond, geslacht en koopvermogen. De prijs, capaciteit en bekendheid van de merken werden gecontroleerd (zie Tabel met materialen) om de interferentie van irrelevante variabelen te elimineren.

De bruikbaarheidstest omvatte twee voorwaarden: een op smartphones gebaseerde AR-applicatie (aanvullende figuur 1) en een website (aanvullende figuur 2). De AR-applicatie is geprogrammeerd op basis van een AR-engine. De website is ontwikkeld met behulp van Python, gebaseerd op Bootstrap voor de front-end en Flask voor de back-end. De AR-applicatie en website werden uitgevoerd en bekeken op een smartphone. Van de twee verschillende merken mineraalwater werd er één gebruikt als experimenteel materiaal in de AR-conditie en de andere werd gebruikt in de websiteconditie.

Experimentele taken: Deelnemers werd gevraagd om vier informatiezoektaken uit te voeren die zijn afgeleid van IoT-toepassingscontexten: de kwaliteit van het water, de opslagtemperatuur, het bijbehorende dieet en de prijs per liter. Deze vier informatie-items zijn waar consumenten normaal gesproken op letten wanneer ze mineraalwater kopen. Er was geen tijdslimiet voor deelnemers om de taken te voltooien.

Kwaliteit van water: De kwaliteit van mineraalwater omvat gewoonlijk twee indicatoren: de totale opgeloste vaste stoffen (TDS) en de pH-waarde. De TDS geeft het mineraalgehalte weer en de pH-waarde beschrijft de zuurgraad/alkaliteit van het water. Deze twee indicatoren zijn gerelateerd aan sporenelementen in het mineraalwater en beïnvloeden de smaak. Bruvold en Ongerth verdeelden bijvoorbeeld de sensorische kwaliteit van water in vijf graden volgens het TDS-gehalte⁴¹. Marcussen et al. vonden dat water goede sensorische eigenschappen heeft in het bereik van 100-400 mg / L TDS⁴². De TDS- en pH-waarde van de twee merken mineraalwater die in deze studie werden gebruikt, werden gemeten met respectievelijk TDS- en pH-meters en vervolgens gemarkeerd op de AR-applicatie en de website. Tijdens het uitvoeren van de taak moesten de deelnemers de TDS- en pH-waarden van het mineraalwater rapporteren en bevestigen of deze waarden binnen het nominale bereik lagen. In de AR-conditie konden deelnemers deze informatie verkrijgen door de fles water te scannen. In de websiteconditie moesten deelnemers vier stappen uitvoeren: (1) het vinden van een numerieke code op de achterkant van de fles mineraalwater, (2) het invoeren van de numerieke code in een queryvak om de TDS- en pH-waarden voor mineraalwater te verkrijgen, (3) het zoeken naar het nominale bereik voor mineraalwater op de website, en (4) mondeling rapporteren of de TDS- en pH-waarde binnen het nominale bereik voor het product liggen.

Opslagtemperatuur: De kwaliteit van mineraalwater kan afnemen tijdens transport en opslag als gevolg van temperatuurveranderingen. Uit experimenten is gebleken dat de juiste temperatuur voor mineraalwater tijdens transport en opslag tussen 5 °C en 25 °C ligt. In dit temperatuurbereik heeft water geen slechte geur⁴³. In het huidige experiment werd de opslagtemperatuur van de twee soorten mineraalwater op verschillende plaatsen gemarkeerd op de AR-applicatie en de website. Tijdens het uitvoeren van de taak moesten de deelnemers de opslaglocatie en de bijbehorende temperatuur van het water melden. In de AR-conditie konden deelnemers deze informatie verkrijgen door de fles water te scannen. In de websiteconditie konden deelnemers deze informatie verkrijgen door de numerieke code in een queryvak in te voeren.

Bijpassend dieet: Verschillende merken mineraalwater zijn geschikt voor verschillende menu’s vanwege hun unieke minerale samenstelling en bubbelgehalte⁴⁴. In het huidige experiment werden voedingsaanbevelingen voor de twee mineraalwaters gemarkeerd op de AR-applicatie en website. Tijdens het uitvoeren van de taak moesten de deelnemers rapporteren hoe het mineraalwater overeenkomt met het voedsel in het menu. In de AR-toestand konden deelnemers deze informatie verkrijgen door de waterfles te scannen. In de websiteconditie konden deelnemers op de website naar deze informatie zoeken.

Prijs per liter: Momenteel geven de etiketten op de mineraalwaterflessen in China geen informatie over de prijs per liter weer. Dit maakt het voor de consument moeilijk om het verschil in eenheidsprijzen van verschillende soorten mineraalwater te onderscheiden. Daarom moesten deelnemers aan het huidige experiment de prijs per liter rapporteren. In de AR-applicatie konden deelnemers de prijs per liter direct verkrijgen door de fles water te scannen. In de staat van de website kon de informatie worden berekend op basis van de eenheidsprijs en het volume op het etiket.

Deze studie gebruikte een ontwerp binnen de deelnemer, met inclusie- en exclusiecriteria voor deelnemers zoals beschreven in tabel 1. In totaal voltooiden 40 deelnemers het experiment (20 mannen en 20 vrouwen, gemiddelde leeftijd = 21,31 ± 1,16 jaar). Alle deelnemers waren studenten van de Jiangsu University of Science and Technology en werden willekeurig gerangschikt in twee groepen (A en B). Om het orde-effect te vermijden, werd de experimentele orde gecompenseerd over de twee groepen (A/B). In het bijzonder voerde de ene groep eerst de AR-voorwaarde en vervolgens de websitevoorwaarde uit, terwijl de andere groep eerst de website en vervolgens de AR-voorwaarde uitvoerde. De deelnemers moesten de voorbereiding op het experiment voltooien, de instrumenten dragen en de experimentele taken uitvoeren. Het inter-experimentinterval werd ingesteld op 10 s om corticale activering terug te laten keren naar het basisniveau, waardoor kruisbeïnvloeding in de volgende taak werd vermeden. Aan het einde van het AR / website-experiment moesten deelnemers de bruikbaarheidsvragenlijst en de NASA-TLX-schaal invullen. Het experimentele stroomdiagram is weergegeven in figuur 1. Een foto van de experimentele opstelling is weergegeven in figuur 2.

Tabel 1: Inclusie- en exclusiecriteria voor het onderzoek. Klik hier om deze tabel te downloaden.

Figuur 1: Experimenteel stroomdiagram. Elk experiment duurde ~ 45 minuten, met een rustperiode van 10 s tussen de taken. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Voorbeeldopstelling van de experimentele scène. Het experimentele materiaal, de deelnemer en de apparatuur worden getoond. Klik hier om een grotere versie van deze figuur te bekijken.