Nous proposons une méthodologie qui permet de mesurer l’engagement des spectateurs dans un jeu numérique social combinant des données physiologiques et autodéclarées. Comme ce jeu numérique implique un groupe de personnes en mouvement libre, l’expérience est filmée à l’aide d’une technique de synchronisation qui relie les données physiologiques aux événements du jeu.
L’objectif de cette méthodologie est d’évaluer les mesures explicites et implicites de l’engagement des spectateurs pendant les jeux numériques sociaux dans un groupe de participants avec des systèmes de suivi de mouvement. Dans le contexte de jeux qui ne sont pas confinés dans un écran, mesurer les différentes dimensions de l’engagement telles que l’excitation physiologique peut être difficile. L’étude se concentre sur les spectateurs du jeu et les différences dans leur engagement en fonction de l’interactivité. L’engagement est mesuré à l’autise à l’autisation physiologique et autodéclarée, ainsi qu’à l’issue d’un questionnaire d’engagement à la fin de l’expérience. L’excitation physiologique est mesurée à l’avec des capteurs d’activité électrodermique (EDA) qui enregistrent les données sur un appareil portable (boîte EDA). La portabilité était essentielle en raison de la nature du jeu, qui s’apparente à un pong grandeur nature et comprend de nombreux participants qui bougent. Pour avoir une vue d’ensemble des événements du jeu, trois caméras sont utilisées pour filmer trois angles du terrain de jeu. Pour synchroniser les données EDA avec les événements qui se produisent dans le jeu, des boîtes avec des numéros numériques sont utilisées et mises dans les cadres des caméras. Les signaux sont envoyés d’une boîte de synchronisation simultanément aux boîtes EDA et aux boîtes lumineuses. Les boîtes lumineuses affichent les numéros de synchronisation des caméras, et les mêmes numéros sont également enregistrés dans le fichier de données EDA. De cette façon, il est possible d’enregistrer l’EDA de nombreuses personnes qui se déplacent librement dans un grand espace et de synchroniser ces données avec les événements du jeu. Dans notre étude particulière, nous avons pu évaluer les différences d’excitation pour les différentes conditions d’interactivité. L’une des limites de cette méthode est que les signaux ne peuvent pas être envoyés plus loin que 20 mètres. Cette méthode est donc appropriée pour enregistrer des données physiologiques dans des jeux avec un nombre illimité de joueurs, mais est limitée à un espace limité.
L’étude de l’expérience des spectateurs du jeu aide à mieux comprendre les aspects positifs et négatifs du jeu, et à son tour, peut aider à améliorer sa conception1. Les innovations récentes dans l’industrie du jeu ont permis de nouveaux types d’expériences qui vont de l’avant à partir du jeu traditionnel basé sur console2. Avec les jeux numériques qui utilisent des systèmes de suivi de mouvement qui ne sont pas confinés dans un écran, le public n’a plus besoin d’être positionné dans un endroit fixe. Cette nouvelle réalité crée des défis dans l’évaluation de l’expérience des spectateurs. L’expérience a été réalisée dans le studio des créateurs du jeu mais pourrait être reproduite dans un cadre de laboratoire ou un autre environnement qui a suffisamment d’espace pour s’adapter au jeu.
Le but de cette méthodologie est de mesurer l’engagement des spectateurs lors d’un jeu numérique social. Plus précisément, l’excitation, qui conduit à l’engagement, sera mesurée lorsque le spectateur aura accès à une application web qui influence le gameplay. Cette méthode combine des données physiologiques et autodéclarées. Comme ce jeu est social et implique un groupe de personnes qui bougent, l’expérience est filmée. Avec l’utilisation de caméras et d’appareils physiologiques portables, nous avons pu synchroniser les données physiologiques avec les événements du jeu. Les appareils portables (boîtes EDA) sont des boîtes imprimées en 3D qui sont connectées à des électrodes qui enregistrent l’activité physiologique. Les boîtiers disposent d’un interrupteur ON/OFF, d’indicateurs visuels, d’un emplacement pour carte microSD et d’emplacements de chargement. Les indicateurs visuels aident en cas de dépannage. Par exemple, ceux-ci indiquent si le microSD est fonctionnel, montrent l’état des connexions Bluetooth et Wi-Fi et signalent si des données physiologiques sont enregistrées.
L’utilisation de mesures physiologiques est une approche courante et validée pour mesurer l’engagement du jeu3. La valence physiologique a été mesurée dans le contexte des jeux vidéo4. Il a également été utilisé dans d’autres domaines de recherche tels que l’éducation5. Parce que l’engagement émotionnel n’est pas observable et que l’auto-évaluation peut être biaisée, Charland et coll. ont utilisé l’excitation physiologique pour évaluer l’engagement émotionnel chez les apprenants qui résolvaient des problèmes5. Ils ont utilisé l’activité électrodermique (EDA) pour mesurer l’excitation physiologique, qui est une méthode largement utilisée6. L’EDA est la mesure de la conductivité de la peau, qui varie en fonction des différences d’activité des glandes sudoripares3. Cette mesure est une corrélation importante avec les variations émotionnelles en temps réel. L’EDA est associée à de nombreuses constructions telles que le stress, l’excitation, la frustration et l’engagement7. Il est donc recommandé de compléter les données de l’AED par des réponses autodéclarées afin d’associer les données à la bonne construction3. Le mannequin d’auto-évaluation (SAM) est une échelle pictographique auto-rapportée qui évalue trois dimensions de l’émotion: valence, excitation et dominance8. Le travail actuel a utilisé la dimension de l’excitation, évaluée à l’aide d’une échelle visuelle de Likert à 9 points, allant du calme à l’excitation. L’excitation perçue a été utilisée en combinaison avec l’excitation physiologique7.
Dans les contextes de jeux vidéo traditionnels, les spectateurs sont assis sur une chaise et restent plus ou moins dans la même position pendant toute la durée de l’expérience. On s’attend à ce qu’ils regardent un écran où les actions ont lieu. Ce paramètre a été vu dans des études de jeux précédentes utilisant des données physiologiques9. Dans ce cas, il est simple de commencer l’enregistrement du jeu en même temps que l’enregistrement des données physiologiques10.
Dans le contexte des nouveaux jeux numériques qui sont joués à l’extérieur de l’écran, et dans lesquels les participants se tiennent debout et sont libres de se déplacer, l’enregistrement EDA traditionnel pourrait ne pas être approprié. Le jeu utilisé dans cette étude s’apparente à un Pong11grandeur nature . Ce jeu est composé d’une balle et de deux pagaies, chacune à une extrémité du terrain de jeu. Les joueurs déplacent leur pagaie afin de pousser la balle d’un bout à l’autre du terrain. Dans la version utilisée pour cette recherche, le jeu est projeté sur le terrain et les joueurs utilisent leur corps comme contrôleurs pour les pagaies. La technologie de détection de mouvement permet à la pagaie de suivre les deux joueurs qui sont situés de part et d’autre du terrain de jeu. Un exemple de la façon dont les joueurs empêchent la balle de frapper le mur virtuel derrière eux est présenté dans Figure 1. Le jeu implique également des spectateurs debout sur les côtés du terrain de jeu, qui peuvent utiliser leurs smartphones pour influencer le gameplay. À l’aide d’une application Web mobile, les spectateurs peuvent voter pour certains power-ups ou obstacles qui peuvent aider ou nuire aux joueurs (par exemple, moins de murs contre plus de balles, ou moduler la vitesse de la balle). L’option avec le plus de votes gagne.
Dans cette étude, nous étudions l’influence de l’interactivité sur les spectateurs. Les conditions d’interactivité sont avec ou sans smartphone. Nous avons comparé l’engagement des spectateurs dans ces deux conditions. Un plan à l’intérieur du sujet a été utilisé pour la condition d’interactivité, afin d’évaluer la différence dans l’excitation, et donc dans l’engagement. Dans la présente étude, des groupes de 12 personnes étaient idéaux pour promouvoir la validité écologique du jeu12. deux personnes en tant que joueurs et 10 en tant que spectateurs. Seulement deux boîtes EDA étaient disponibles pour notre étude, de sorte que nous avions un total de huit groupes qui totalisaient 16 ensembles de données EDA (deux participants avec enregistrement EDA par groupe de 12). Chaque membre du public a été assigné au hasard à deux jeux avec accès à son smartphone pour influencer le gameplay et à un jeu sans accès à son smartphone. La littérature sur l’engagement dans les jeux suggère que donner de nombreuses options interactives peut conduire à un engagement plus élevé13. La recherche en éducation a révélé que l’excitation physiologique est un corrélat de l’engagement émotionnel5. En nous appuyant sur la littérature sur l’engagement dans le jeu et la recherche en éducation, nous avons émis l’hypothèse que donner aux spectateurs l’accès à l’interactivité augmentera l’excitation, ce qui augmentera leur engagement.
Contrairement aux études sur l’expérience des joueurs, les études sur les spectateurs d’un jeu numérique utilisent rarement des mesures psychophysiologiques. Ils sont principalement réalisés avec les questionnaires14,l’observation15et les entretiens16. L’une des difficultés de l’utilisation de mesures psychophysiologiques avec les spectateurs est qu’ils sont souvent un groupe et que leurs mouvements sont moins prévisibles que ceux des joueurs. Cette méthodologie utilise plusieurs caméras pour capturer les participants et les boîtes lumineuses, ce qui permet de relier les données vidéo et physiologiques des participants.
Comme nous avons utilisé une conception dans le sujet pour la condition du smartphone, chaque sujet a participé à deux jeux avec la condition d’interactivité, en utilisant son smartphone, et à un jeu dans la condition de contrôle, sans l’utilisation de son smartphone. La synchronisation des données EDA avec les débuts et les fins de chaque partie était donc cruciale pour permettre l’évaluation des différences dans chaque condition d’interactivité. Il serait impossible de commencer l’enregistrement des trois caméras en même temps que l’enregistrement de l’EDA sur les spectateurs en raison des dimensions de la salle. Pour surmonter ce problème, nous avons utilisé une nouvelle technique de synchronisation appelée protocole de synchronisation sans fil pour l’acquisition de données utilisateur multimodales17. Les signaux Bluetooth Low Energy (BLE) sont envoyés simultanément d’une boîte de synchronisation aux boîtiers EDA et aux boîtiers lumineux (voir figure 2). La boîte de synchronisation est une boîte imprimée en 3D avec des interrupteurs ON/OFF et auto/manuel et un bouton. La fonction manuelle est utilisée pour tester les signaux à l’aide du bouton. Les signaux sont des nombres incrémentés qui commencent à un et qui sont affichés sur les boîtes lumineuses imprimées en 3D. Les numéros sont affichés aux caméras, et les mêmes numéros sont également enregistrés dans le fichier de données EDA (voir Figure 3). Cela permet de synchronisation des événements qui se produisent dans le jeu avec les variations des enregistrements EDA. Dans notre cas, les événements identifiés étaient les débuts et les fins des trois matchs. Ensuite, nous pourrions lier le jeu à la condition et au numéro de participant. De cette façon, nous avons identifié quel ensemble de données correspondait à chaque condition.
La section suivante décrit le protocole qui permet l’utilisation de la technique développée par Courtemanche et al.17. Nous avons adapté la technique pour répondre à notre question de recherche. Ce protocole a reçu un certificat d’éthique du comité d’éthique de notre établissement. Dans ce protocole, nous utilisons des dispositifs physiologiques18, montés dans un boîtier imprimé en 3D. Nous désignerons l’appareil comme les boîtes EDA (boîtes utilisées pour enregistrer l’EDA du participant), la boîte lumineuse (la boîte avec une lumière numérique) et la boîte de synchronisation (boîte qui envoie des signaux aux boîtes EDA et les boîtes lumineuses pour synchroniser les données). Le logiciel de synchronisation permettant le protocole de synchronisation sans fil pour l’acquisition de données utilisateur multimodales17 a été intégré sur les boîtiers.
Veuillez noter que les étapes ont été effectuées dans le studio des créateurs du jeu mais pourraient être reproduites dans un cadre de laboratoire ou dans un autre environnement disposant de suffisamment d’espace pour s’adapter au jeu. Il est important de noter que la boîte de synchronisation ne peut transmettre une impulsion qu’aux lumières et aux boîtes EDA qui se trouvent à moins de 20 mètres. Par conséquent, la salle de jeu ou le terrain de jeu ne doit pas être plus grand.
<p class="jove_conten…The authors have nothing to disclose.
Nous tenons à remercier MITACS, en partenariat avec l’entreprise qui a créé le jeu, d’avoir financé ce projet de recherche.
BITalino (r)evolution Freestyle Kit (PLUX Wireless biosignals S.A.) | BITalino | 810121006 | |
Devices (1 syncbox, 3 light boxes, 2 EDA boxes) | Developed by Tech3Lab researchers1 | n/a | |
CubeHX2 | n/a | n/a | |
Charging station | Prime 60W 12A 6-Port Desktop Charger | RP-PC028 | |
6 USB3 wires for charging | Insignia 3m (10 ft.) Charge-and-Play USB A/ Micro USB Cable | NS-GPS4CC101-C2 | |
3D scanner | Velodyne LiDAR | VLP-16 | |
Projectors | Barco | F90-W13 | |
Jerseys* (fabric, tape, string) | Any | Any | |
2 low light cameras | Sony | A7S | |
2 tripods for the A7S | Manfrotto | MVK500190XV | |
2 light stands for the go pro and the syncbox | Impact | LS-8AI | |
1 plier for the light stand of the syncbox | Neewer | Super Clamp Plier Clip | |
1 magic arm for the light box of the go pro | Magic Arm | 143A | |
1 Go Pro | Go Pro | 5 | |
1 Microphone | Rode | VideoMic Rycote | |
2 armbands | Amyzor | Moisture Wicking Sweatband | |
*Make them yourself by taping the number on the fabric and perforating two holes to enter the string | |||
Sources: 1.Courtemanche, F. et al. Method of and System for Processing Signals Sensed From a User. US 15/552,788 (2018). 2. Léger, P.M., Courtemanche, F., Fredette, M., Sénécal, S. A cloud-based lab management and analytics software for triangulated human-centered research. In Lecture Notes in information Systems and Neuroscience. Edited by Thomas Fischer, 93-99, Springer. Cham (2019). |