Virtual-Reality-Experimente mit physiologischen Maßnahmen
Summary
Virtuelle Realität (VR) Experimente können schwierig sein, zu implementieren und erfordern eine sorgfältige Planung. Dieses Protokoll beschreibt eine Methode für die Gestaltung und Durchführung von VR-Experimenten, die physiologischen Daten von menschlichen Teilnehmern sammeln. Die Experimente im Rahmen von virtuellen Umgebungen (EVE) wird eingesetzt, um diesen Prozess zu beschleunigen.
Abstract
Virtuelle Realität (VR) Experimente sind wegen ihre interne und externe Validität im Vergleich zu realen Beobachtungen und Experimente, bzw. vermehrt eingesetzt. VR ist besonders nützlich für geographische Visualisierungen und Untersuchungen des räumlichen Verhaltens. In räumlichen Verhalten-Forschung, VR bietet eine Plattform für die Untersuchung der Beziehung zwischen Navigation und physiologische Maßnahmen (zB., Haut Leitwert, Herzfrequenz, Blutdruck). Insbesondere ermöglichen physiologische Maßnahmen Forscher neuartige Fragen zu frühere Theorien der räumlichen Fähigkeiten, Strategien und Leistung zu beschränken. Individuelle Unterschiede in der Navigationsleistung können beispielsweise durch das Ausmaß erklärt werden, auf die Veränderungen der Erregung die Auswirkungen der Schwierigkeit der Aufgabe vermitteln. Jedoch die Komplexität in der Entwicklung und Durchführung von Experimenten VR ablenkt Experimentatoren aus ihrer primären Forschungsziele und Unregelmäßigkeiten bei der Datenerhebung und-Analyse einzuführen. Um diesen Herausforderungen zu begegnen, die Experimente in virtuellen Umgebungen (EVE) Framework Standardmodule wie Teilnehmer training mit dem Steuerelement enthält Schnittstelle, Datenerfassung mithilfe von Fragebögen, die Synchronisation der physiologischen Messungen und Datenspeicherung. Eva bietet auch die notwendige Infrastruktur für Daten-Management, Visualisierung und Auswertung. Der vorliegende Beitrag beschreibt eine Protokoll, die EVE Framework, um die Navigation in der VR mit physiologischen Sensoren Experimente beschäftigt. Das Protokoll listet die notwendigen Schritte zur Rekrutierung Teilnehmer, Anbringen der physiologischen Sensoren verwalten das Experiment mit EVE und Beurteilung der erhobenen Daten mit EVE Bewertungsinstrumente. Insgesamt wird dieses Protokoll Zukunftsforschung erleichtern, durch die Optimierung der Gestaltung und Umsetzung von VR-Experimenten mit physiologischen Sensoren.
Introduction
Verstehen, wie Einzelpersonen navigieren hat wichtige Implikationen für mehrere Bereiche, einschließlich Kognitionswissenschaft1,2,3, Neurowissenschaften4,5und Informatik6 , 7. Navigation ist in realen und virtuellen Umgebungen untersucht worden. Ein Vorteil von realen Experimenten ist die Navigation nicht die Vermittlung von einer Auswerteeinheit erfordert und realistischer räumliche Verhalten erzeugen kann. Im Gegensatz dazu erlauben virtuelle Realität (VR) Experimente für eine genauere Messung des Verhaltens (z.B.., Flugbahnen zu Fuß) und physiologischen (z.B.., Herzfrequenz) Daten sowie experimentelle Kontrolle (dh., interne Gültigkeit). Dieser Ansatz kann wiederum in einfachere Interpretation der Daten und somit robuster Theorien der Navigation führen. Darüber hinaus kann VR Neurowissenschaften profitieren, weil Forscher können die neuronale Korrelate der Navigation zu untersuchen, während die Teilnehmer in der virtuellen Umgebung beschäftigt sind, aber nicht körperlich bewegen. Für Informatiker erfordert die Navigation in der VR Eigenentwicklungen in Rechenleistung, Speicher und Computergrafik um ein intensives Erlebnis zu gewährleisten. Erkenntnisse aus VR Experimente können auch in Architektur und Kartographie angewendet werden, durch die Gestaltung des Gebäudes informieren Layouts8 und Map Funktionen9 reale Navigation zu erleichtern. Vor kurzem führten die Fortschritte in der VR-Technologie kombiniert mit einem dramatischen Rückgang der Kosten zu einer Erhöhung der Anzahl der Laboratorien beschäftigen VR für ihre experimentellen Designs. Aufgrund dieser wachsenden Popularität müssen Forscher überlegen, wie die Umsetzung von VR-Applikationen optimieren und standardisieren die Experiment-Workflow. Dieser Ansatz wird Shift Hilferessourcen von der Implementierung zur Entwicklung der Theorie und erweitern die vorhandenen Fähigkeiten der VR.
VR-Setups können zwischen mehr und weniger realistisch in Bezug auf die anzeigen und Bedienelemente liegen. Realistischere VR-Installationen sind in der Regel erfordern zusätzlicher Infrastruktur wie große Verfolgung Räume und hochauflösenden10zeigt. Diese Systeme oft beschäftigen umgeleitete zu Fuß Algorithmen um unmerklichen Drehungen und Übersetzungen in das visuelle Feedback, die Benutzern zur Verfügung gestellt zu injizieren und effektiv vergrößern die virtuelle Umgebung, die durch die Teilnehmer11 bewegen können , 12. Diese Algorithmen können generalisiert in, dass sie nicht das Wissen über ökologische Struktur13 benötigen oder prädiktive, dass sie bestimmte Pfade für Benutzer14annehmen. Obwohl die meisten Untersuchungen auf umgeleiteten walking Head mounted Displays (HMD) genutzt, einige Forscher eine Version dieser Technik mit walking-in-Place als Teil eines großen Projektionssystems beschäftigen (z. B.., Höhlen)15. Während HMDs auf den Kopf des Teilnehmers durchgeführt werden können, neigen Höhle zeigt eine größere horizontale Blickfeld16,17, zu schaffen. Allerdings braucht man weniger Infrastruktur für VR-Systeme mit desktop-Displays18,19. Neurowissenschaftliche Forschung beschäftigt auch VR-Systeme in Kombination mit der funktionellen Magnetresonanztomographie (fMRI) während des Scannens20, in Kombination mit fMRI nach dem Scannen21,22, und in Kombination mit Elektroenzephalographie (EEG) während der Aufnahme von23,24. Software-Frameworks sind notwendig, um die Koordination verschiedener anzeigen und Bedienelemente, die für die Navigation Forschung verwendet werden.
Forschung, die VR und physiologische Daten beinhaltet Herausforderungen zusätzliche wie Datenerfassung und Synchronisation. Physiologische Daten können jedoch für die Untersuchungen der implizite Prozesse, die die Beziehung zwischen Navigation Potenzial und räumliche Verhalten vermitteln können. In der Tat ist die Beziehung zwischen Stress und Navigation untersucht worden, mit Desktop-VR und eine Kombination aus verschiedenen physiologischen Sensoren (i.e., Herzfrequenz, Blutdruck, Hautleitwert, Speichel Cortisol und Alpha-Amylase)25 , 26 , 27 , 28. Z. B. van Gerven und Kollegen29 untersuchte die Auswirkungen von Stress auf Navigation Strategie und Performance mit einer virtual-Reality-Version einer Morris Wasser Labyrinth Aufgabe und verschiedene physiologische Maßnahmen (zB., Haut Leitwert, Herzfrequenz, Blutdruck). Ihre Ergebnisse zeigen, dass Stress Navigation Strategie in Bezug auf die Wahrzeichen Verwendung vorhergesagt (i.e., egozentrischen versus Allocentric) aber bezog sich nicht auf Navigationsleistung. Im Allgemeinen sind Erkenntnisse aus früheren Studien über die Wirkung von Stress auf Navigationsleistung und das räumliche Gedächtnis ziemlich inkonsistent. Dieses Muster kann auf die Trennung von den Stressor zurückzuführen sein (zB., die kalte druckluftstationen Verfahren26, Star Spiegelungs-Tracing-Task25) von der eigentlichen Navigation Aufgabe, die Verwendung von einfachen Labyrinth-artigen virtuelle Umgebungen ( z.B.., virtuelle Morris Wasser Labyrinth26, virtuelle Radialarm Labyrinth28), und Unterschiede im methodischen Details (zB., Art der Stressor, Art der physiologischen Daten). Unterschiede im Format der physiologischen Daten können auch für die Durchführung und Auswertung solcher Studien problematisch sein.
Die Experimente in virtuelle Experimente (EVE) Rahmen erleichtert die Gestaltung, Durchführung und Auswertung der VR Experimente, insbesondere solche mit zusätzlichen Peripheriegeräten (z. B.., Eye Tracker, physiologische Geräte)30. Das EVE-Framework ist frei als Open-Source-Projekt auf GitHub (https://cog-ethz.github.io/EVE/) zur Verfügung. Dieses Framework basiert auf der beliebten Unity 3D game-Engine (https://unity3d.com/) und die MySQL-Datenbank-Management-System (https://www.mysql.com/). Forscher können EVE Rahmen verwenden, um die verschiedenen Phasen eines VR-Experiments, Pre- und Post-Studie Fragebögen, Basisberechnungen für physiologische Daten, einschließlich Ausbildung mit der Bedienoberfläche, die Hauptnavigation Aufgabe vorzubereiten und Tests für räumliche Gedächtnis der navigierten Umwelt (zB., Urteile des relativen Richtung). Experimentatoren können auch steuern, die Synchronisation von Daten aus verschiedenen Quellen und auf verschiedenen Ebenen der Aggregation (zB. über Studien, Blöcke oder Sitzungen). Datenquellen möglicherweise physischen (i.e., verbunden mit der Benutzer; siehe Tabelle der Materialien) oder virtuell (dh., abhängig von Wechselwirkungen zwischen der Teilnehmer Avatar und der virtuellen Umgebung). Zum Beispiel kann ein Experiment verlangen Aufzeichnung von Herzfrequenz und Position/Ausrichtung des Teilnehmers wenn des Teilnehmers Avatar bewegt sich durch einen bestimmten Bereich der virtuellen Umgebung. Alle diese Daten automatisch in einer MySQL-Datenbank gespeichert und ausgewertet mit Replay-Funktionen und das R-Paket Evertools (https://github.com/cog-ethz/evertools/). Evertools bietet ausführenden Funktionen, grundlegende Deskriptive Statistik und diagnostische tools für die Verteilung der Daten.
EVE-Rahmen kann mit einer Vielzahl von physischen Infrastrukturen und VR-Systeme bereitgestellt werden. In diesem Protokoll beschreiben wir eine bestimmte Implementierung bei der NeuroLab an der ETH Zürich (Abbildung 1). Der NeuroLab ist ein 12 m x 6 m Raum mit einer isolierten Kammer für EEG Experimente, eine Kabine mit VR-System (2,6 m x 2,0 m) und einem drapierten Bereich zum Anbringen von physiologischen Sensoren. Das VR-System beinhaltet ein 55″ Ultra-high-Definition-TV-Display, einen High-End-Gaming-Computer, eine Joystick-Steuerung-Schnittstelle und verschiedene physiologische Sensoren (siehe Tabelle der Materialien). In den folgenden Abschnitten wir beschreiben das Protokoll zur Durchführung eines Experiments der Navigation in der NeuroLab mit Eva Rahmen und physiologische Sensoren, repräsentative Ergebnisse aus einer Studie über Stress und Navigation, und besprechen Sie die Möglichkeiten und Herausforderungen im Zusammenhang mit diesem System.
Protocol
Representative Results
Discussion
In der vorliegenden Arbeit beschrieben, ein Protokoll für die Durchführung von Experimenten in der VR mit physiologischen Geräte mit dem EVE-Framework. Solche Experimente sind einzigartig aufgrund von Überlegungen, zusätzliche Hardware (zB., physiologische und andere Peripheriegeräte), die vorbereitenden Schritte für die physiologische Datenerhebung mit VR und Daten-Management-Anforderungen. Dieses Protokoll bietet die notwendigen Schritte für Experimentatoren, die Absicht, Daten aus mehrere Peripheriege…
Divulgazioni
The authors have nothing to disclose.
Acknowledgements
Die virtuelle Umgebung wurde freundlicherweise zur Verfügung gestellt von VIS-Games (http://www.vis-games.de) in der virtuellen Realität forschen.
Materials
| Alienware Area 51 Base | Dell | 210-ADHC | Computation |
| 138cm 4K Ultra-HD LED-TV | Samsung | UE55JU6470U | Display |
| SureSigns VS2+ | Philips Healthcare | 863278 | Blood Pressure |
| PowerLab 8/35 | AD Instruments | PL3508 | Skin Conductance |
| PowerLab 26T (LTS) | AD Instruments | ML4856 | Heart Rate |
| Extreme 3D Pro Joystick | Logitech | 963290-0403 | HID |
Riferimenti
- Gallistel, C. R. . The Organization of Learning. , (1990).
- Waller, D., Nadel, L. . Handbook of Spatial Cognition. , (2013).
- Denis, M. . Space and Spatial Cognition: A Multidisciplinary Perspective. , (2017).
- Epstein, R. A., Patai, E. Z., Julian, J. B., Spiers, H. J. The cognitive map in humans: spatial navigation and beyond. Nature Neuroscience. 20, 1504 (2017).
- O’Keefe, J., Nadel, L. . The Hippocampus as a Cognitive Map. , (1978).
- Kuipers, B. J. Modelling spatial knowledge. Cognitive Science. 2, 129-153 (1978).
- Heppenstall, A. J., Crooks, A. T., See, L. M., Batty, M. . Agent-Based Models of Geographical Systems. , (2012).
- Kuliga, S. F., Thrash, T., Dalton, R. C., Hölscher, C. Virtual reality as an empirical research tool – Exploring user experience in a real building and a corresponding virtual model. Computers, Environment and Urban Systems. 54, 363-375 (2015).
- Credé, S., Fabrikant, S. I. Let’s Put the Skyscrapers on the Display-Decoupling Spatial Learning from Working Memory. Proceedings of Workshops and Posters at the 13th International Conference on Spatial Information Theory (COSIT 2017). , 163-170 (2018).
- Hodgson, E., Bachmann, E. R., Vincent, D., Zmuda, M., Waller, D., Calusdian, J. WeaVR: a self-contained and wearable immersive virtual environment simulation system). Behavior Research Methods. 47 (1), 296-307 (2015).
- Nilsson, N., et al. 15 Years of Research on Redirected Walking in Immersive Virtual Environments. IEEE Computer Graphics and Applications. , 1-19 (2018).
- Razzaque, S., Kohn, Z., Whitton, M. C. Redirected walking. Proceedings of EUROGRAPHICS. , 105-106 (2001).
- Hodgson, E., Bachmann, E. Comparing Four Approaches to Generalized Redirected Walking: Simulation and Live User Data. IEEE Transactions on Visualization and Computer Graphics. 19 (4), 634-643 (2013).
- Nescher, T., Huang, Y. -. Y., Kunz, A. Planning redirection techniques for optimal free walking experience using model predictive control. 2014 IEEE Symposium on 3D User Interfaces (3DUI). , 111-118 (2014).
- Razzaque, S., Swapp, D., Slater, M., Whitton, M. C., Steed, A. Redirected walking in place. Eurographics workshop on virtual environments. , 123-130 (2002).
- Meilinger, T., Knauff, M., Bulthoff, H. Working Memory in Wayfinding-A Dual Task Experiment in a Virtual City. Cognitive Science: A Multidisciplinary Journal. 32 (4), 755-770 (2008).
- Grübel, J., Thrash, T., Hölscher, C., Schinazi, V. R. Evaluation of a conceptual framework for predicting navigation performance in virtual reality. PLOS ONE. 12 (9), 0184682 (2017).
- Weisberg, S. M., Schinazi, V. R., Newcombe, N. S., Shipley, T. F., Epstein, R. A. Variations in Cognitive Maps: Understanding Individual Differences in Navigation. Journal of experimental psychology. Learning, memory, and cognition. , (2014).
- Wiener, J. M., Hölscher, C., Büchner, S., Konieczny, L. Gaze behaviour during space perception and spatial decision making. Psychological research. 76 (6), 713-729 (2012).
- Hassabis, D., Chu, C., Rees, G., Weiskopf, N., Molyneux, P. D., Maguire, E. A. Decoding Neuronal Ensembles in the Human Hippocampus. Current Biology. 19 (7), 546-554 (2009).
- Maguire, E. A., Nannery, R., Spiers, H. J. Navigation around London by a taxi driver with bilateral hippocampal lesions. Brain. 129, 2894-2907 (2006).
- Marchette, S. A., Vass, L. K., Ryan, J., Epstein, R. A. Anchoring the neural compass: coding of local spatial reference frames in human medial parietal lobe. Nature neuroscience. 17 (11), 1598-1606 (2014).
- Vass, L. K., et al. Oscillations Go the Distance: Low-Frequency Human Hippocampal Oscillations Code Spatial Distance in the Absence of Sensory Cues during Teleportation. Neuron. 89 (6), 1180-1186 (2016).
- Sharma, G., Gramann, K., Chandra, S., Singh, V., Mittal, A. P. Brain connectivity during encoding and retrieval of spatial information: individual differences in navigation skills. Brain Informatics. 4 (3), (2017).
- Richardson, A. E., VanderKaay Tomasulo, M. M. Influence of acute stress on spatial tasks in humans. Physiology & Behavior. 103 (5), 459-466 (2011).
- Duncko, R., Cornwell, B., Cui, L., Merikangas, K. R., Grillon, C. Acute exposure to stress improves performance in trace eyeblink conditioning and spatial learning tasks in healthy men. Learning & memory (Cold Spring Harbor, N.Y.). 14 (5), 329-335 (2007).
- Klopp, C., Garcia, C., Schulman, A. H., Ward, C. P., Tartar, J. L. Acute social stress increases biochemical and self report markers of stress without altering spatial learning in humans. Neuro endocrinology letters. 33 (4), 425-430 (2012).
- Guenzel, F. M., Wolf, O. T., Schwabe, L. Sex differences in stress effects on response and spatial memory formation. Neurobiology of Learning and Memory. 109, 46-55 (2014).
- van Gerven, D. J. H., Ferguson, T., Skelton, R. W. Acute stress switches spatial navigation strategy from egocentric to allocentric in a virtual Morris water maze. Neurobiology of Learning and Memory. 132, 29-39 (2016).
- Grübel, J., Weibel, R., Jiang, M. H., Hölscher, C., Hackman, D. A., Schinazi, V. R. EVE: A Framework for Experiments in Virtual Environments. Spatial Cognition X: Lecture Notes in Artificial Intelligence. , 159-176 (2017).
- Hegarty, M., Richardson, A. E., Montello, D. R., Lovelace, K., Subbiah, I. Development of a self-report measure of environmental spatial ability. Intelligence. 30, 425-447 (2002).
- Ziegler, M. G. Psychological Stress and the Autonomic Nervous System. Primer on the Autonomic Nervous System. , 189-190 (2004).
- Michaelis, J. R., Rupp, M. A., Montalvo, F., McConnell, D. S., Smither, J. A. The Effect of Vigil Length on Stress and Cognitive Fatigue. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 59 (1), 916-920 (2015).
- Helton, W. S. Validation of a Short Stress State Questionnaire. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 48 (11), 1238-1242 (2004).
- Wolbers, T., Hegarty, M. What determines our navigational abilities. Trends in Cognitive Sciences. 14 (3), 138-146 (2010).
- Moussaïd, M., et al. Crowd behaviour during high-stress evacuations in an immersive virtual environment. Journal of The Royal Society Interface. 13 (122), (2016).
- . Lead positioning Available from: https://lifeinthefastlane.com/ecg-library/basics/lead-positioning/ (2017)
- Wilder, J. The law of initial value in neurology and psychiatry. The Journal of Nervous and Mental Disease. 125 (1), 73-86 (1957).
- Loomis, J., Knapp, J. Visual Perception of Egocentric Distance in Real and Virtual Environments. Virtual and Adaptive Environments. , 21-46 (2003).
- Richardson, A. R., Waller, D. The effect of feedback training on distance estimation in virtual environments. Applied Cognitive Psychology. 19 (8), 1089-1108 (2005).
- Klatzky, R. L., Loomis, J. M., Beall, A. C., Chance, S. S., Golledge, R. G. Spatial updating of self-position and orientation during real, imagined, and virtual locomotion. Psychological Science. 9, 293-298 (1998).
- Bakker, N. H., Werkhoven, P. J., Passenier, P. O. Calibrating Visual Path Integration in VEs. Presence: Teleoperators and Virtual Environments. 10 (2), 216-224 (2001).
- Thrash, T., et al. Evaluation of control interfaces for desktop virtual environments. Presence. 24 (4), (2015).
- Kinateder, M., Warren, W. H. Social Influence on Evacuation Behavior in Real and Virtual Environments. Frontiers in Robotics and AI. 3, 43 (2016).
- Loomis, J. M., Blascovich, J. J., Beall, A. C. Immersive virtual environment technology as basic research tool in psychology. Behavior Research Methods, Instruments & Computers. 31 (4), 557-564 (1999).
