Summary

Expériences de réalité virtuelle avec mesures physiologiques

Published: August 29, 2018
doi:

Summary

Expériences de réalité virtuelle (VR) peuvent être difficiles à mettre en œuvre et nécessitent une planification méticuleuse. Ce protocole décrit une méthode pour la conception et la mise en oeuvre d’expériences VR qui recueillent des données physiologiques des participants humains. Les expériences dans le cadre d’environnements virtuels (EVE) est utilisée pour accélérer ce processus.

Abstract

Expériences de réalité virtuelle (VR) sont plus en plus employés en raison de leur validité interne et externe par rapport à l’observation du monde réel et des expériences en laboratoire, respectivement. VR est particulièrement utile pour les enquêtes de comportement spatial et visualisations géographiques. Dans la recherche sur le comportement spatial, VR fournit une plate-forme pour l’étude de la relation entre la navigation et des mesures physiologiques (p. ex.., fréquence cardiaque, la conductance de la peau, la tension artérielle). Plus précisément, mesures physiologiques permettent aux chercheurs de traiter les questions nouvelles et contraindre les théories précédentes des aptitudes spatiales, les stratégies et les performances. Par exemple, les différences individuelles dans les performances de navigation peuvent s’expliquer par le degré auquel les changements dans l’excitation médient les effets de la difficulté de la tâche. Cependant, la complexité de la conception et la mise en oeuvre d’expériences VR peut distraire les expérimentateurs de leurs objectifs de recherche primaire et introduire des irrégularités dans la collecte de données et d’analyse. Pour relever ces défis, les expériences dans des environnements virtuels (EVE), framework inclut des modules standardisés comme participant de formation avec le contrôle de l’interface, collecte de données à l’aide de questionnaires, la synchronisation des physiologiques les mesures et stockage de données. EVE fournit également l’infrastructure nécessaire pour l’évaluation, la visualisation et la gestion des données. Le présent document décrit un protocole qui utilise le cadre de la veille à mener des expériences de navigation en VR avec capteurs physiologiques. Le protocole répertorie les étapes nécessaires pour les participants recrutement, fixation des capteurs physiologiques, administrer l’expérience à l’aide de la veille et évaluer les données collectées avec les outils d’évaluation de EVE. Dans l’ensemble, ce protocole facilitera les recherches futures en simplifiant la conception et la mise en oeuvre d’expériences VR avec capteurs physiologiques.

Introduction

Comprendre comment les individus accédez a des implications importantes pour plusieurs domaines, notamment les sciences cognitives1,2,3, neuroscience4,5et computer science6 , 7. navigation a été étudiée dans des environnements réels et virtuels. Un avantage des expériences du monde réel est que la navigation ne nécessite pas la médiation d’une interface de contrôle et donc risque de produire des comportement spatial plus réaliste. En revanche, expériences de réalité virtuelle (VR) permettant de mesurer les plus précis du comportement (par exemple., marche des trajectoires) et physiologiques (e.g., fréquence cardiaque) données, ainsi que contrôle plus expérimentale (i.e. interne validité). À son tour, cette approche peut entraîner des interprétations plus simples des données et théories ainsi plus robustes de la navigation. En outre, neurosciences peuvent bénéficier de VR parce que les chercheurs peuvent étudier les corrélats neurones de la navigation, alors que les participants sont engagés dans l’environnement virtuel mais ne peut pas se déplacer physiquement. Pour informaticiens, navigation en VR nécessite des développements uniques dans la puissance de traitement, mémoire et infographie afin d’assurer une expérience immersive. Résultats d’expériences VR peuvent également être appliquées en architecture et en cartographie, en informant la conception du bâtiment mises en page8 et carte de fonctionnalités9 pour faciliter la navigation du monde réel. Récemment, les avancées en technologie VR combinée à une baisse spectaculaire dans son coût ont conduit à une augmentation du nombre de laboratoires qui emploient les VR pour leurs conceptions expérimentales. En raison de cette popularité croissante, les chercheurs doivent examiner les moyens de rationaliser la mise en œuvre d’applications de VR et de normaliser le flux de travail expérience. Cette approche aidera les ressources de mise en œuvre au développement de la théorie et étend les capacités existantes de VR.

Configurations VR peuvent varier de plus au moins réaliste en termes d’affichage et commande. Configurations VR plus réalistes tendent à exiger des infrastructures supplémentaires comme le suivi des grands espaces et à haute résolution affiche10. Ces systèmes emploient souvent redirigés à quelques algorithmes afin d’injecter des rotations imperceptibles et traductions dans la rétroaction visuelle fournie aux utilisateurs et agrandir efficacement l’environnement virtuel par l’intermédiaire de laquelle les participants peuvent se déplacer11 , 12. ces algorithmes peuvent être généralisés dans qu’ils ne nécessitent pas la connaissance de l’environnement structure13 ou prédictive en ce qu’ils supposent des chemins particuliers pour l’ utilisateur14. Bien que la plupart des recherches sur la redirection marche a utilisé affichage tête-monté (HMDs), certains chercheurs emploient une version de cette technique avec marche en place dans le cadre d’un système de projection grand (e.g., grottes)15. Tandis que HMDs peuvent être transporté sur la tête du participant, grotte écrans ont tendance à offrir un plus large champ de vision horizontal16,17. Cependant, moins infrastructure est nécessaire pour les systèmes VR à l’aide d’écrans de bureau18,19. Recherches neuroscientifiques a également employé en combinaison avec l’imagerie de résonance magnétique fonctionnelle (IRMf) lors de la numérisation de20, en combinaison avec l’IRMf après la numérisation21,22et en combinaison avec des systèmes VR électroencéphalographie (EEG) pendant l’enregistrement,23,24. Cadres de logiciel sont nécessaires afin de coordonner la variété des affichages et des contrôles qui sont utilisés pour la recherche de navigation.

Recherche qui intègre les données physiologiques et VR pose des défis supplémentaires telles que l’acquisition de données et de synchronisation. Cependant, les données physiologiques permettant pour les enquêtes sur les processus implicites qui pourraient véhiculer la relation entre le comportement de navigation spatiale et potentiels. En effet, la relation entre le stress et de la navigation a été étudiée en utilisant desktop VR et une combinaison de différents capteurs physiologiques (i.e., fréquence cardiaque, pression artérielle, la conductance de la peau, cortisol salivaire et alpha-amylase)25 , 26 , 27 , 28. par exemple, van Gerven et collègues29 a étudié l’impact du stress sur la stratégie de navigation et performance en utilisant une version de la réalité virtuelle d’une tâche de labyrinthe de l’eau de Morris et plusieurs mesures physiologiques (p. ex.., la peau conductance, fréquence cardiaque, pression artérielle). Leurs résultats ont révélé que les stress prédit stratégie de navigation en ce qui concerne l’utilisation de point de repère (i.e., égocentrique et allocentrique) mais n’était pas liée à la performance de navigation. En général, les conclusions d’études antérieures sont quelque peu contradictoire au sujet de l’effet du stress sur les performances de navigation et de la mémoire spatiale. Ce modèle peut être attribuable à la séparation de l’agent stressant (par exemple., la procédure pressive froid26, la tâche de suivi Star miroir25) de la tâche réelle de navigation, l’utilisation de simples labyrinthique des environnements virtuels ( par exemple., virtual Morris water maze26,28de labyrinthe virtuel bras radial) et des différences de détails méthodologiques (e.g., type de facteurs de stress, type de données physiologiques). Différences dans le format de données physiologiques recueillies peuvent également être problématiques pour la mise en œuvre et l’analyse de ces études.

Les expériences dans le cadre des expériences virtuelles (EVE) facilite la conception, la réalisation et l’analyse des expériences VR, surtout ceux avec des périphériques supplémentaires (p. ex.., traqueurs de le œil, les appareils physiologiques)30. Le cadre de la veille est librement disponible comme un projet open-source sur GitHub (https://cog-ethz.github.io/EVE/). Ce cadre repose sur le moteur de jeu 3D (https://unity3d.com/) l’unité populaire et le système de gestion de base de données MySQL (https://www.mysql.com/). Chercheurs peuvent utiliser le cadre de la veille afin de préparer les différentes étapes d’une expérience VR, y compris les questionnaires avant et après l’étude, des mesures de base pour toutes les données physiologiques, avec l’interface de contrôle, la tâche principale de navigation, de formation et essais de mémoire spatiale de l’environnement de navigation (p. ex.., jugements de la direction relative). Expérimentateurs peuvent également contrôler la synchronisation des données provenant de différentes sources et à différents niveaux d’agrégation (par exemple., à travers des essais, des blocs ou des séances). Les sources de données peuvent être physiques (i.e., connecté à l’utilisateur ; voir Table des matières) ou virtuel (c’est à dire., dépend des interactions entre avatar du participant et de l’environnement virtuel). Par exemple, une expérience peut exiger l’enregistrement de la fréquence cardiaque et position/orientation du participant lorsque avatar de ce participant se déplace dans une zone particulière de l’environnement virtuel. Toutes ces données est automatiquement stocké dans une base de données MySQL et évaluées avec les fonctions de relecture et de la R paquet evertools (https://github.com/cog-ethz/evertools/). Evertools fournit des fonctions-exportateurs, les statistiques descriptives élémentaires, et outils de diagnostic pour les distributions des données.

Le cadre de la veille peut être déployé avec une variété de systèmes de VR et infrastructures matérielles. Dans le présent protocole, les auteurs décrivent une implémentation particulière à la mission NeuroLab au ETH Zürich (Figure 1). La mission NeuroLab est un 12 m par 6 m pièce contenant une chambre isolée pour la réalisation d’expériences de l’EEG, une armoire contenant le système VR (2,6 m x 2,0 m) et une zone de rideaux pour la fixation des capteurs physiologiques. Le système VR comprend un écran de télévision 55″ ultra haute définition, un ordinateur de jeu haut de gamme, une interface joystick de contrôle et plusieurs capteurs physiologiques (voir Table des matières). Dans les sections qui suivent, nous décrivons le protocole pour la conduite d’une expérience de navigation dans le NeuroLab en utilisant le cadre de la veille et les capteurs physiologiques, les présents résultats représentatifs d’une étude sur le stress et de la navigation et discuter des occasions et les défis associés à ce système.

Protocol

Le protocole suivant a été réalisé conformément aux lignes directrices approuvées par la Commission de déontologie de l’ETH Zürich, dans le cadre de la proposition EK 2013-N-73. 1. recruter et préparer les Participants Sélectionner les participants avec la démographie particulière (p. ex.., âge, sexe, niveau de formation) à l’aide d’un système de recrutement de participants ou la liste de diffusion (e.g., UAST ; http://www.uast.uzh.ch/). …

Representative Results

Par chaque participant à la mission NeuroLab, nous recueillons habituellement données physiologiques (e.g., ECG), données du questionnaire (e.g., le sens de Santa Barbara de l’échelle de la Direction ou SBSOD31) et données de navigation (e.g., chemins à travers la environnement virtuel). Par exemple, des changements dans la fréquence cardiaque (dérivé de données ECG) ont été associés à des changements dans les États de co…

Discussion

Dans le présent document, nous avons décrit un protocole pour la réalisation d’expériences en VR avec le cadre de la veille des appareils physiologique. Ces types d’expériences sont uniques en raison de considérations matérielles supplémentaires (p. ex.., dispositifs physiologiques et autres périphériques), les étapes préparatoires pour la collecte des données physiologiques à l’aide de VR et les exigences en matière de gestion de données. Le présent protocole fournit les étapes nécessai…

Declarações

The authors have nothing to disclose.

Acknowledgements

L’environnement virtuel a été aimablement fourni par VIS Games (http://www.vis-games.de) pour effectuer des recherches dans la réalité virtuelle.

Materials

Alienware Area 51 Base Dell  210-ADHC Computation
138cm 4K Ultra-HD LED-TV Samsung UE55JU6470U Display
SureSigns VS2+ Philips Healthcare 863278 Blood Pressure
PowerLab 8/35 AD Instruments PL3508 Skin Conductance
PowerLab 26T (LTS) AD Instruments ML4856 Heart Rate
Extreme 3D Pro Joystick Logitech 963290-0403 HID

Referências

  1. Gallistel, C. R. . The Organization of Learning. , (1990).
  2. Waller, D., Nadel, L. . Handbook of Spatial Cognition. , (2013).
  3. Denis, M. . Space and Spatial Cognition: A Multidisciplinary Perspective. , (2017).
  4. Epstein, R. A., Patai, E. Z., Julian, J. B., Spiers, H. J. The cognitive map in humans: spatial navigation and beyond. Nature Neuroscience. 20, 1504 (2017).
  5. O’Keefe, J., Nadel, L. . The Hippocampus as a Cognitive Map. , (1978).
  6. Kuipers, B. J. Modelling spatial knowledge. Cognitive Science. 2, 129-153 (1978).
  7. Heppenstall, A. J., Crooks, A. T., See, L. M., Batty, M. . Agent-Based Models of Geographical Systems. , (2012).
  8. Kuliga, S. F., Thrash, T., Dalton, R. C., Hölscher, C. Virtual reality as an empirical research tool – Exploring user experience in a real building and a corresponding virtual model. Computers, Environment and Urban Systems. 54, 363-375 (2015).
  9. Credé, S., Fabrikant, S. I. Let’s Put the Skyscrapers on the Display-Decoupling Spatial Learning from Working Memory. Proceedings of Workshops and Posters at the 13th International Conference on Spatial Information Theory (COSIT 2017). , 163-170 (2018).
  10. Hodgson, E., Bachmann, E. R., Vincent, D., Zmuda, M., Waller, D., Calusdian, J. WeaVR: a self-contained and wearable immersive virtual environment simulation system). Behavior Research Methods. 47 (1), 296-307 (2015).
  11. Nilsson, N., et al. 15 Years of Research on Redirected Walking in Immersive Virtual Environments. IEEE Computer Graphics and Applications. , 1-19 (2018).
  12. Razzaque, S., Kohn, Z., Whitton, M. C. Redirected walking. Proceedings of EUROGRAPHICS. , 105-106 (2001).
  13. Hodgson, E., Bachmann, E. Comparing Four Approaches to Generalized Redirected Walking: Simulation and Live User Data. IEEE Transactions on Visualization and Computer Graphics. 19 (4), 634-643 (2013).
  14. Nescher, T., Huang, Y. -. Y., Kunz, A. Planning redirection techniques for optimal free walking experience using model predictive control. 2014 IEEE Symposium on 3D User Interfaces (3DUI). , 111-118 (2014).
  15. Razzaque, S., Swapp, D., Slater, M., Whitton, M. C., Steed, A. Redirected walking in place. Eurographics workshop on virtual environments. , 123-130 (2002).
  16. Meilinger, T., Knauff, M., Bulthoff, H. Working Memory in Wayfinding-A Dual Task Experiment in a Virtual City. Cognitive Science: A Multidisciplinary Journal. 32 (4), 755-770 (2008).
  17. Grübel, J., Thrash, T., Hölscher, C., Schinazi, V. R. Evaluation of a conceptual framework for predicting navigation performance in virtual reality. PLOS ONE. 12 (9), 0184682 (2017).
  18. Weisberg, S. M., Schinazi, V. R., Newcombe, N. S., Shipley, T. F., Epstein, R. A. Variations in Cognitive Maps: Understanding Individual Differences in Navigation. Journal of experimental psychology. Learning, memory, and cognition. , (2014).
  19. Wiener, J. M., Hölscher, C., Büchner, S., Konieczny, L. Gaze behaviour during space perception and spatial decision making. Psychological research. 76 (6), 713-729 (2012).
  20. Hassabis, D., Chu, C., Rees, G., Weiskopf, N., Molyneux, P. D., Maguire, E. A. Decoding Neuronal Ensembles in the Human Hippocampus. Current Biology. 19 (7), 546-554 (2009).
  21. Maguire, E. A., Nannery, R., Spiers, H. J. Navigation around London by a taxi driver with bilateral hippocampal lesions. Brain. 129, 2894-2907 (2006).
  22. Marchette, S. A., Vass, L. K., Ryan, J., Epstein, R. A. Anchoring the neural compass: coding of local spatial reference frames in human medial parietal lobe. Nature neuroscience. 17 (11), 1598-1606 (2014).
  23. Vass, L. K., et al. Oscillations Go the Distance: Low-Frequency Human Hippocampal Oscillations Code Spatial Distance in the Absence of Sensory Cues during Teleportation. Neuron. 89 (6), 1180-1186 (2016).
  24. Sharma, G., Gramann, K., Chandra, S., Singh, V., Mittal, A. P. Brain connectivity during encoding and retrieval of spatial information: individual differences in navigation skills. Brain Informatics. 4 (3), (2017).
  25. Richardson, A. E., VanderKaay Tomasulo, M. M. Influence of acute stress on spatial tasks in humans. Physiology & Behavior. 103 (5), 459-466 (2011).
  26. Duncko, R., Cornwell, B., Cui, L., Merikangas, K. R., Grillon, C. Acute exposure to stress improves performance in trace eyeblink conditioning and spatial learning tasks in healthy men. Learning & memory (Cold Spring Harbor, N.Y.). 14 (5), 329-335 (2007).
  27. Klopp, C., Garcia, C., Schulman, A. H., Ward, C. P., Tartar, J. L. Acute social stress increases biochemical and self report markers of stress without altering spatial learning in humans. Neuro endocrinology letters. 33 (4), 425-430 (2012).
  28. Guenzel, F. M., Wolf, O. T., Schwabe, L. Sex differences in stress effects on response and spatial memory formation. Neurobiology of Learning and Memory. 109, 46-55 (2014).
  29. van Gerven, D. J. H., Ferguson, T., Skelton, R. W. Acute stress switches spatial navigation strategy from egocentric to allocentric in a virtual Morris water maze. Neurobiology of Learning and Memory. 132, 29-39 (2016).
  30. Grübel, J., Weibel, R., Jiang, M. H., Hölscher, C., Hackman, D. A., Schinazi, V. R. EVE: A Framework for Experiments in Virtual Environments. Spatial Cognition X: Lecture Notes in Artificial Intelligence. , 159-176 (2017).
  31. Hegarty, M., Richardson, A. E., Montello, D. R., Lovelace, K., Subbiah, I. Development of a self-report measure of environmental spatial ability. Intelligence. 30, 425-447 (2002).
  32. Ziegler, M. G. Psychological Stress and the Autonomic Nervous System. Primer on the Autonomic Nervous System. , 189-190 (2004).
  33. Michaelis, J. R., Rupp, M. A., Montalvo, F., McConnell, D. S., Smither, J. A. The Effect of Vigil Length on Stress and Cognitive Fatigue. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 59 (1), 916-920 (2015).
  34. Helton, W. S. Validation of a Short Stress State Questionnaire. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 48 (11), 1238-1242 (2004).
  35. Wolbers, T., Hegarty, M. What determines our navigational abilities. Trends in Cognitive Sciences. 14 (3), 138-146 (2010).
  36. Moussaïd, M., et al. Crowd behaviour during high-stress evacuations in an immersive virtual environment. Journal of The Royal Society Interface. 13 (122), (2016).
  37. . Lead positioning Available from: https://lifeinthefastlane.com/ecg-library/basics/lead-positioning/ (2017)
  38. Wilder, J. The law of initial value in neurology and psychiatry. The Journal of Nervous and Mental Disease. 125 (1), 73-86 (1957).
  39. Loomis, J., Knapp, J. Visual Perception of Egocentric Distance in Real and Virtual Environments. Virtual and Adaptive Environments. , 21-46 (2003).
  40. Richardson, A. R., Waller, D. The effect of feedback training on distance estimation in virtual environments. Applied Cognitive Psychology. 19 (8), 1089-1108 (2005).
  41. Klatzky, R. L., Loomis, J. M., Beall, A. C., Chance, S. S., Golledge, R. G. Spatial updating of self-position and orientation during real, imagined, and virtual locomotion. Psychological Science. 9, 293-298 (1998).
  42. Bakker, N. H., Werkhoven, P. J., Passenier, P. O. Calibrating Visual Path Integration in VEs. Presence: Teleoperators and Virtual Environments. 10 (2), 216-224 (2001).
  43. Thrash, T., et al. Evaluation of control interfaces for desktop virtual environments. Presence. 24 (4), (2015).
  44. Kinateder, M., Warren, W. H. Social Influence on Evacuation Behavior in Real and Virtual Environments. Frontiers in Robotics and AI. 3, 43 (2016).
  45. Loomis, J. M., Blascovich, J. J., Beall, A. C. Immersive virtual environment technology as basic research tool in psychology. Behavior Research Methods, Instruments & Computers. 31 (4), 557-564 (1999).
check_url/pt/58318?article_type=t

Play Video

Citar este artigo
Weibel, R. P., Grübel, J., Zhao, H., Thrash, T., Meloni, D., Hölscher, C., Schinazi, V. R. Virtual Reality Experiments with Physiological Measures. J. Vis. Exp. (138), e58318, doi:10.3791/58318 (2018).

View Video