We stellen een methodologie voor die het mogelijk maakt om de betrokkenheid van toeschouwers in een sociaal digitaal spel te meten door fysiologische en zelfgerapporteerde gegevens te combineren. Omdat dit digitale spel een groep vrij bewegende mensen omvat, wordt de ervaring gefilmd met behulp van een synchronisatietechniek die fysiologische gegevens koppelt aan gebeurtenissen in het spel.
Het doel van deze methodologie is om expliciete en impliciete metingen van betrokkenheid van toeschouwers tijdens sociale digitale games in een groep deelnemers met bewegingsvolgsystemen te beoordelen. In de context van games die niet binnen een scherm zijn opgesloten, kan het meten van de verschillende dimensies van betrokkenheid, zoals fysiologische opwinding, een uitdaging zijn. De focus van het onderzoek ligt op de toeschouwers van het spel en de verschillen in hun betrokkenheid volgens interactiviteit. Engagement wordt gemeten met fysiologische en zelfgerapporteerde opwinding, evenals een engagementvragenlijst aan het einde van het experiment. Fysiologische opwinding wordt gemeten met EDA-sensoren (Electrodermal Activity) die de gegevens registreren op een draagbaar apparaat (EDA-box). Draagbaarheid was essentieel vanwege de aard van het spel, dat lijkt op een levensgrote pong en veel deelnemers omvat die bewegen. Om een overzicht te krijgen van de gebeurtenissen van het spel, worden drie camera’s gebruikt om drie hoeken van het speelveld te filmen. Om de EDA-gegevens te synchroniseren met gebeurtenissen in het spel, worden vakken met digitale nummers gebruikt en in de frames van camera’s geplaatst. Signalen worden gelijktijdig vanuit een synchronisatiebox naar de EDA-boxen en naar lichtbakken gestuurd. De lichtbakken tonen de synchronisatienummers naar de camera’s en dezelfde nummers worden ook geregistreerd in het EDA-gegevensbestand. Op die manier is het mogelijk om EDA op te nemen van veel mensen die zich vrij bewegen in een grote ruimte en deze gegevens te synchroniseren met gebeurtenissen in het spel. In onze specifieke studie konden we de verschillen in opwinding voor de verschillende omstandigheden van interactiviteit beoordelen. Een van de beperkingen van deze methode is dat de signalen niet verder dan 20 meter verder weg kunnen worden verzonden. Deze methode is daarom geschikt voor het registreren van fysiologische gegevens in games met een onbeperkt aantal spelers, maar is beperkt tot een beperkte ruimte.
Het bestuderen van de ervaring van game-toeschouwers helpt om de positieve en negatieve aspecten van het spel beter te begrijpen en kan op zijn beurt helpen om het ontwerp te verbeteren1. Recente innovaties in de game-industrie hebben nieuwe soorten ervaringen mogelijk maken die verder gaan dan traditionele consolegebaseerde gaming2. Bij digitale games die gebruik maken van motion tracking systemen die niet binnen een scherm zijn opgesloten, hoeft het publiek niet meer op een vaste plek geplaatst te worden. Deze nieuwe realiteit creëert uitdagingen bij het beoordelen van de ervaring van toeschouwers. Het experiment werd uitgevoerd in de studio van de makers van het spel, maar kon worden gerepliceerd in een laboratoriumomgeving of een andere omgeving die voldoende ruimte heeft om in het spel te passen.
Het doel van deze methodiek is om toeschouwersbetrokkenheid te meten tijdens een sociaal digitaal spel. Meer precies, opwinding, die leidt tot betrokkenheid, zal worden gemeten wanneer de toeschouwer toegang heeft tot een webapplicatie die de gameplay beïnvloedt. Deze methode combineert fysiologische en zelfgerapporteerde gegevens. Omdat dit spel sociaal is en een groep mensen betrekt die bewegen, wordt het experiment gefilmd. Met behulp van camera’s en draagbare fysiologische apparaten konden we fysiologische gegevens synchroniseren met gebeurtenissen in het spel. De draagbare apparaten (EDA-boxen) zijn 3D-geprinte dozen die zijn aangesloten op elektroden die fysiologische activiteit registreren. De boxen hebben een AAN/UIT schakelaar, visuele indicatoren, een microSD kaartsleuf en laadsleuven. De visuele indicatoren helpen bij het oplossen van problemen. Deze geven bijvoorbeeld aan of de microSD functioneel is, tonen de status van de Bluetooth- en Wi-Fi-verbindingen en geven aan of fysiologische gegevens worden geregistreerd.
Het gebruik van fysiologische maatregelen is een gemeenschappelijke en gevalideerde benadering voor het meten van spelbetrokkenheid3. Fysiologische valentie is gemeten in de context van videogames4. Het is ook gebruikt in andere onderzoeksdomeinen zoals onderwijs5. Omdat emotionele betrokkenheid niet waarneembaar is en zelfrapportage bevooroordeeld kan zijn, hebben Charland et al. fysiologische opwinding gebruikt om emotionele betrokkenheid te beoordelen bij leerlingen die problemen oplosten5. Ze gebruikten electrodermal activity (EDA) om fysiologische opwinding te meten, wat een veelgebruikte methode is6. EDA is de meting van de geleidbaarheid van de huid, die varieert afhankelijk van de verschillen in zweetklieractiviteit3. Deze meting is een belangrijke correlatie met real-time emotionele variaties. EDA wordt geassocieerd met veel constructies zoals stress, opwinding, frustratie en betrokkenheid7. Het wordt daarom aanbevolen om EDA-gegevens aan te vullen met zelfrapportageresponsen om de gegevens aan de juiste constructie te koppelen3. De Self-Assessment Manikin (SAM) is een zelfgerapporteerde pictografische schaal die drie dimensies van emotie beoordeelt: valentie, opwinding en dominantie8. Het huidige werk gebruikte de opwindingsdimensie, beoordeeld met behulp van een visuele 9-punts Likert-schaal, variërend van kalm tot opgewonden. Waargenomen opwinding is gebruikt in combinatie met fysiologische opwinding7.
In traditionele videogames-contexten zitten toeschouwers in een stoel en blijven ze min of meer in dezelfde positie voor de duur van het experiment. Er wordt van hen verwacht dat ze naar een scherm kijken waar de acties plaatsvinden. Deze instelling is gezien in eerdere games studies met behulp van fysiologische gegevens9. In dit geval is het eenvoudig om de registratie van het spel tegelijkertijd met de registratie van de fysiologische gegevens te starten10.
In de context van nieuwe digitale games die buiten het scherm worden gespeeld en waarin deelnemers staan en vrij zijn om te bewegen, is traditionele EDA-opname mogelijk niet geschikt. Het spel dat in deze studie wordt gebruikt, is vergelijkbaar met een levensgrote Pong11. Dit spel bestaat uit een bal en twee peddels, elk op een uiteinde van het speelveld. Spelers verplaatsen hun peddel om de bal van het ene uiteinde van het veld naar het andere te duwen. In de versie die voor dit onderzoek wordt gebruikt, wordt het spel op de grond geprojecteerd en gebruiken spelers hun lichaam als controllers voor de peddels. Bewegingsdetectietechnologie stelt de peddel in staat om de twee spelers te volgen die zich aan weerszijden van de speeltuin bevinden. Een voorbeeld van hoe de spelers voorkomen dat de bal de virtuele muur achter hen raakt, wordt weergegeven in figuur 1. Het spel omvat ook toeschouwers die aan de zijkanten van de speeltuin staan, die hun smartphones kunnen gebruiken om de gameplay te beïnvloeden. Met behulp van een mobiele webapplicatie kunnen toeschouwers stemmen op bepaalde power-ups of obstakels die de spelers kunnen helpen of schaden (bijv. minder muren versus meer ballen of het moduleren van de snelheid van de bal). De optie met de meeste stemmen wint.
In deze studie onderzoeken we de invloed van interactiviteit op toeschouwers. De voorwaarden voor interactiviteit zijn met of zonder smartphone. We vergeleken de betrokkenheid van de toeschouwers in deze twee omstandigheden. Een binnen-subject ontwerp werd gebruikt voor de interactiviteitsvoorwaarde, om het verschil in opwinding, en dus in opdracht te beoordelen. In de huidige studie waren groepen van 12 mensen ideaal om de ecologische geldigheid van het spel te bevorderen12. twee mensen als spelers en 10 als toeschouwers. Er waren slechts twee EDA-boxen beschikbaar voor ons onderzoek, dus we hadden in totaal acht groepen die in totaal 16 EDA-datasets hadden (twee deelnemers met EDA-opname per groep van 12). Elk lid van het publiek werd willekeurig toegewezen aan twee games met toegang tot hun smartphone om de gameplay te beïnvloeden en één spel zonder toegang tot hun smartphone. Game engagement literatuur suggereert dat het geven van veel interactieve opties kan leiden tot een hogere betrokkenheid13. Onderzoek in het onderwijs heeft aangetoond dat fysiologische opwinding een correlaat is van emotionele betrokkenheid5. Voortbouwend op literatuur over spelbetrokkenheid en onderzoek in het onderwijs, veronderstelden we dat het geven van toegang aan de toeschouwers tot interactiviteit de opwinding zal vergroten, wat op zijn beurt hun betrokkenheid zal vergroten.
In tegenstelling tot studies over spelerservaring, gebruiken studies over toeschouwers van een digitaal spel zelden psychofysiologische maatregelen. Zij worden meestal gedaan met vragenlijsten14, observatie15en interviews16. Een moeilijkheid om psychofysiologische maatregelen met toeschouwers te gebruiken is dat ze vaak een groep zijn en dat hun bewegingen minder voorspelbaar zijn dan die van de spelers. Deze methodologie maakt gebruik van meerdere camera’s om de deelnemers en lichtbakken vast te leggen, waardoor video- en fysiologische gegevens van deelnemers kunnen worden gekoppeld.
Omdat we een ontwerp binnen het onderwerp gebruikten voor de toestand van de smartphone, nam elk onderwerp deel aan twee games met de interactiviteitsconditie, met behulp van hun smartphone en één spel in de besturingstoestand, zonder het gebruik van hun smartphone. Synchronisatie van EDA-gegevens met het begin en het einde van elk spel was daarom cruciaal om de verschillen in elke voorwaarde van interactiviteit te kunnen beoordelen. Het zou onmogelijk zijn om de opname van alle drie de camera’s tegelijkertijd met de opname van de EDA op de toeschouwers te starten vanwege de afmetingen van de kamer. Om dat probleem op te lossen, hebben we een nieuwe synchronisatietechniek gebruikt, het zogenaamde draadloze synchronisatieprotocol, voor het verkrijgen van multimodale gebruikersgegevens17. Bluetooth Low Energy (BLE)-signalen worden gelijktijdig vanuit een synchronisatiebox naar de EDA-boxen en naar lichtbakken gestuurd (zie figuur 2). De sync box is een 3D geprinte box met AAN/UIT en auto/manual schakelaars en een knop. De handmatige functie wordt gebruikt voor het testen van de signalen met behulp van de knop. De signalen zijn het verhogen van getallen die bij één beginnen en die worden weergegeven op de 3D-geprinte lichtbakken. Er worden nummers getoond aan de camera’s en dezelfde nummers worden ook geregistreerd in het EDA-gegevensbestand (zie figuur 3). Dit maakt synchronisatie van gebeurtenissen in het spel met variaties in de EDA-opnamen mogelijk. In ons geval waren de geïdentificeerde gebeurtenissen het begin en het einde van de drie wedstrijden. Dan kunnen we het spel koppelen aan de conditie en het deelnemersnummer. Op deze manier hebben we vastgesteld welke gegevensset aan elke voorwaarde voldeed.
In het volgende gedeelte wordt het protocol beschreven dat het gebruik van de door Courtemanche et al.17ontwikkelde techniek mogelijk maakt . We hebben de techniek aangepast om onze onderzoeksvraag te beantwoorden. Dit protocol ontving een ethisch certificaat van de ethische commissie van onze instelling. In dit protocol gebruiken we fysiologische apparaten18,gemonteerd in een 3D-geprinte behuizing. We zullen het apparaat de EDA-boxen noemen (dozen die worden gebruikt om de EDA van de deelnemer op te nemen), de lichtbak (de doos met een digitaal licht) en de synchronisatiebox (doos die signalen naar de EDA-boxen en de lichtbakken stuurt om gegevens te synchroniseren). De synchronisatiesoftware die het draadloze synchronisatieprotocol voor de verwerving van multimodale gebruikersgegevens17 mogelijk maakt, is in de dozen geïntegreerd.
Houd er rekening mee dat de stappen zijn uitgevoerd in de studio van de makers van het spel, maar kunnen worden gerepliceerd in een laboratoriumomgeving of een andere omgeving die voldoende ruimte heeft om in het spel te passen. Het is belangrijk op te merken dat de synchronisatiebox alleen een puls kan verzenden naar de lichten en EDA-boxen die zich binnen 20 meter bevinden. Daarom mag de speelkamer of het speelveld niet groter zijn.
Bestaande laboratoriummethoden hebben software gebruikt om …
The authors have nothing to disclose.
We willen MITACS bedanken in samenwerking met het bedrijf dat het spel heeft gemaakt om dit onderzoeksproject te hebben gefinancierd.
BITalino (r)evolution Freestyle Kit (PLUX Wireless biosignals S.A.) | BITalino | 810121006 | |
Devices (1 syncbox, 3 light boxes, 2 EDA boxes) | Developed by Tech3Lab researchers1 | n/a | |
CubeHX2 | n/a | n/a | |
Charging station | Prime 60W 12A 6-Port Desktop Charger | RP-PC028 | |
6 USB3 wires for charging | Insignia 3m (10 ft.) Charge-and-Play USB A/ Micro USB Cable | NS-GPS4CC101-C2 | |
3D scanner | Velodyne LiDAR | VLP-16 | |
Projectors | Barco | F90-W13 | |
Jerseys* (fabric, tape, string) | Any | Any | |
2 low light cameras | Sony | A7S | |
2 tripods for the A7S | Manfrotto | MVK500190XV | |
2 light stands for the go pro and the syncbox | Impact | LS-8AI | |
1 plier for the light stand of the syncbox | Neewer | Super Clamp Plier Clip | |
1 magic arm for the light box of the go pro | Magic Arm | 143A | |
1 Go Pro | Go Pro | 5 | |
1 Microphone | Rode | VideoMic Rycote | |
2 armbands | Amyzor | Moisture Wicking Sweatband | |
*Make them yourself by taping the number on the fabric and perforating two holes to enter the string | |||
Sources: 1.Courtemanche, F. et al. Method of and System for Processing Signals Sensed From a User. US 15/552,788 (2018). 2. Léger, P.M., Courtemanche, F., Fredette, M., Sénécal, S. A cloud-based lab management and analytics software for triangulated human-centered research. In Lecture Notes in information Systems and Neuroscience. Edited by Thomas Fischer, 93-99, Springer. Cham (2019). |