Experiências de realidade virtual com medidas fisiológicas
Summary
Experiências de realidade virtual (VR) podem ser difícil de implementar e exige planejamento meticuloso. Este protocolo descreve um método para a concepção e implementação de experimentos VR que coletam dados fisiológicos de participantes humanos. Os experimentos no quadro de ambientes virtuais (EVA) é empregado para acelerar este processo.
Abstract
Experiências de realidade virtual (VR) são cada vez mais empregadas por causa de sua validade interna e externa em relação à observação do mundo real e experimentos de laboratório, respectivamente. VR é especialmente útil para visualizações geográficas e investigações do comportamento espacial. Em pesquisa de comportamento espacial, VR oferece uma plataforma para estudar a relação entre a navegação e medidas fisiológicas (ex., pele condutância, frequência cardíaca, pressão arterial). Especificamente, medidas fisiológicas permitem aos investigadores abordar questões de romance e restringir as teorias anteriores de habilidades espaciais, estratégias e desempenho. Por exemplo, as diferenças individuais no desempenho de navegação podem ser explicadas pela extensão a que as alterações na excitação mediam os efeitos da dificuldade da tarefa. No entanto, a complexidade na concepção e implementação de experimentos VR pode distrair experimentadores de seus objetivos de pesquisa primária e apresentar irregularidades na coleta de dados e análise. Para enfrentar esses desafios, as experiências em ambientes virtuais (EVE), framework inclui módulos padronizados como participante de treinamento com o controle da interface, coleta de dados utilizando questionários, a sincronização de fisiológicos medições e armazenamento de dados. EVE também fornece a infra-estrutura necessária para a avaliação, visualização e gerenciamento de dados. O presente trabalho descreve um protocolo que emprega estrutura EVE para conduzir experimentos de navegação em VR com sensores fisiológicos. O protocolo lista as etapas necessárias para os participantes recrutamento, anexar os sensores fisiológicos, administrando o experimento usando Eva e avaliar os dados recolhidos com ferramentas de avaliação de véspera. Globalmente, este protocolo irá facilitar a futura pesquisa simplificando o projeto e execução de experimentos VR com sensores fisiológicos.
Introduction
Compreender como os indivíduos navegam tem implicações importantes para vários campos, incluindo ciência cognitiva1,2,3, neurociência,4,5e computador ciência6 , 7. navegação tem sido investigada em ambientes reais e virtuais. Uma vantagem das experiências do mundo real é que a navegação não exige a mediação de uma interface de controle e, portanto, pode produzir comportamento espacial mais realista. Em contraste, as experiências de realidade virtual (VR) permitem a medição mais precisa do comportamento (EG., andando trajetórias) e fisiológicas (EG., frequência cardíaca) dados, bem como controle mais experimental (IE., interno validade). Por sua vez, esta abordagem pode resultar em interpretações mais simples dos dados e teorias, portanto, mais robustas de navegação. Além disso, neurociência pode beneficiar VR porque pesquisadores podem investigar as correlações neurais de navegação, enquanto os participantes estão engajados no ambiente virtual, mas não podem mover fisicamente. Para os cientistas de computador, navegação em VR requer desenvolvimentos exclusivos em processamento, memória e alimentação computação gráfica para garantir uma experiência de imersão. Resultados de experimentos VR também podem ser aplicados na arquitetura e na cartografia, informando o desenho do edifício layouts8 e mapa características9 para facilitar a navegação do mundo real. Recentemente, os avanços na tecnologia VR, combinada com uma diminuição dramática em seu custo conduziram a um aumento no número de laboratórios, empregando VR para seus projetos experimentais. Devido a essa crescente popularidade, pesquisadores precisam considerar como simplificar a implementação de aplicações de VR e padronizar o fluxo de trabalho de experiência. Essa abordagem irá ajudar a deslocar recursos de implementação para o desenvolvimento da teoria e estender as capacidades existentes do VR.
Configurações de VR podem variar de mais a menos realista em termos de displays e controles. As configurações mais realistas de VR tendem a exigir infra-estruturas adicionais tais como rastreamento de grandes espaços e de alta resolução exibe10. Estes sistemas, muitas vezes empregam algoritmos ambulante redirecionados para injetar imperceptible rotações e traduções para o feedback visual fornecidos aos usuários e ampliar efetivamente o ambiente virtual através do qual os participantes podem mover11 , 12. estes algoritmos podem ser generalizada em que eles não exigem o conhecimento da estrutura ambiental13 ou preditiva em que eles assumem particulares caminhos para o usuário14. Embora a maioria das pesquisas sobre caminhando redirecionada tem usado capacetes exibe (HMDs), alguns pesquisadores empregam uma versão desta técnica com a andar no local como parte de um sistema de grande projeção (ex., cavernas)15. Enquanto HMDs podem ser carregados na cabeça do participante, caverna exibe tende a fornecer um maior campo de visão horizontal de16,17. No entanto, menos infra-estrutura é necessária para sistemas VR usando a área de trabalho exibe18,19. Neurociência pesquisa empregou também sistemas VR em combinação com ressonância magnética funcional (fMRI) durante a digitalização20, em combinação com fMRI após a digitalização21,22e em combinação com Eletroencefalografia (EEG) durante a gravação de23,24. Frameworks de software são necessários a fim de coordenar a variedade de displays e controles que são usados para pesquisa de navegação.
Pesquisa que incorpora dados fisiológicos e VR coloca desafios adicionais, tais como a aquisição de dados e sincronização. Entretanto, dados fisiológicos permite as investigações de processos implícitos que podem mediar a relação entre o comportamento de navegação espacial e potenciais. Com efeito, a relação entre o stress e a navegação foi estudada usando desktop VR e uma combinação de diferentes sensores fisiológicos (i. e., frequência cardíaca, pressão arterial, condutância da pele, cortisol salivar e alfa-amilase)25 , 26 , 27 , 28. por exemplo, van Gerven e colegas29 investigou o impacto do estresse sobre a estratégia de navegação e performance usando uma versão de realidade virtual de uma tarefa de labirinto de água de Morris e várias medidas fisiológicas (ex., pele condutância, frequência cardíaca, pressão arterial). Seus resultados revelaram que o estresse previu estratégia de navegação em termos de uso do Marco (i. e., egocêntrico versus allocentric) mas não foi relacionado para o desempenho de navegação. Em geral, as conclusões de estudos anteriores são um pouco inconsistentes sobre o efeito do estresse sobre o desempenho de navegação e memória espacial. Este padrão pode ser imputável à separação do estressor (ex., o procedimento pressoras frio26, a tarefa de rastreamento espelho Estrela25) da tarefa real de navegação, o uso de ambientes virtuais simples labirínticas ( por exemplo., água virtual Morris26de labirinto, labirinto de braço radial virtual28) e as diferenças em detalhes metodológicos (EG., tipo de estressor, tipo de dados fisiológicos). Diferenças no formato de dados coletados fisiológicos também podem ser problemáticas para a implementação e análise de tais estudos.
Os experimentos no quadro de experiências virtuais (EVA) facilita o desenho, implementação e análise de experimentos VR, especialmente aqueles com dispositivos periféricos adicionais (ex., dispositivos fisiológicos, rastreadores de olho)30. O quadro de EVE é livremente disponível como um projeto open-source no GitHub (https://cog-ethz.github.io/EVE/). Este quadro baseia-se o popular Unity 3D motor de jogo (https://unity3d.com/) e o sistema de gerenciamento de banco de dados MySQL (https://www.mysql.com/). Pesquisadores podem usar a estrutura de Eva a fim de preparar as várias fases de um experimento VR, incluindo questionários pré e pós estudos, medições de linha de base para qualquer dados fisiológicos, treinando com a interface de controle, a tarefa principal de navegação, e testes de memória espacial do ambiente navigated (EG., acórdãos de direção relativa). Experimentadores também podem controlar a sincronização de dados de diferentes fontes e em diferentes níveis de agregação (ex., através de ensaios, blocos ou sessões). Fontes de dados podem ser físicas (IE., conectado ao usuário; ver Tabela de materiais) ou virtual (, ou seja,., dependente de interações entre o ambiente virtual e avatar do participante). Por exemplo, um experimento pode exigir a gravação taxa de coração e posição/orientação do participante quando avatar do participante move-se através de uma área particular do ambiente virtual. Todos esses dados é automaticamente armazenados em um banco de dados MySQL e avaliadas com funções de repetição e o pacote de R evertools (https://github.com/cog-ethz/evertools/). Evertools fornece funções de exportação, estatísticas descritivas básicas, e ferramentas de diagnóstico para distribuições de dados.
O quadro de Eva pode ser implantado com uma variedade de infra-estruturas físicas e sistemas VR. O presente protocolo, descrevemos uma implementação específica para o NeuroLab no ETH Zürich (Figura 1). O NeuroLab é um 12m por quarto de 6 m, contendo uma câmara isolada para a realização de experiências de EEG, um cubículo que contém o sistema VR (2,6 m x 2,0 m) e uma área de cortinado para anexar sensores fisiológicos. O sistema VR inclui um display de televisão de ultra-alta definição 55″, um computador de jogos high-end, uma interface de controle do manche e vários sensores fisiológicos (ver Tabela de materiais). Nas seções a seguir, descrevemos o protocolo para a realização de uma experiência de navegação no NeuroLab usando o quadro de véspera e sensores fisiológicos, presentes representativos os resultados de um estudo sobre stress e navegação e discutir as oportunidades e desafios associados com este sistema.
Protocol
Representative Results
Discussion
No presente artigo, descrevemos um protocolo para a realização de experiências em VR com dispositivos fisiológicos utilizando o framework de véspera. Estes tipos de experimentos são únicos por causa de considerações de hardware adicional (ex., dispositivos fisiológicos e outros periféricos), as etapas preparatórias para a coleta de dados fisiológicos usando VR e requisitos de gerenciamento de dados. O presente protocolo fornece os passos necessários para experimentadores que pretende coletar dados …
Disclosures
The authors have nothing to disclose.
Acknowledgements
O ambiente virtual foi gentilmente cedido pela VIS Games (http://www.vis-games.de) para realizar pesquisas em realidade virtual.
Materials
| Alienware Area 51 Base | Dell | 210-ADHC | Computation |
| 138cm 4K Ultra-HD LED-TV | Samsung | UE55JU6470U | Display |
| SureSigns VS2+ | Philips Healthcare | 863278 | Blood Pressure |
| PowerLab 8/35 | AD Instruments | PL3508 | Skin Conductance |
| PowerLab 26T (LTS) | AD Instruments | ML4856 | Heart Rate |
| Extreme 3D Pro Joystick | Logitech | 963290-0403 | HID |
References
- Gallistel, C. R. . The Organization of Learning. , (1990).
- Waller, D., Nadel, L. . Handbook of Spatial Cognition. , (2013).
- Denis, M. . Space and Spatial Cognition: A Multidisciplinary Perspective. , (2017).
- Epstein, R. A., Patai, E. Z., Julian, J. B., Spiers, H. J. The cognitive map in humans: spatial navigation and beyond. Nature Neuroscience. 20, 1504 (2017).
- O’Keefe, J., Nadel, L. . The Hippocampus as a Cognitive Map. , (1978).
- Kuipers, B. J. Modelling spatial knowledge. Cognitive Science. 2, 129-153 (1978).
- Heppenstall, A. J., Crooks, A. T., See, L. M., Batty, M. . Agent-Based Models of Geographical Systems. , (2012).
- Kuliga, S. F., Thrash, T., Dalton, R. C., Hölscher, C. Virtual reality as an empirical research tool – Exploring user experience in a real building and a corresponding virtual model. Computers, Environment and Urban Systems. 54, 363-375 (2015).
- Credé, S., Fabrikant, S. I. Let’s Put the Skyscrapers on the Display-Decoupling Spatial Learning from Working Memory. Proceedings of Workshops and Posters at the 13th International Conference on Spatial Information Theory (COSIT 2017). , 163-170 (2018).
- Hodgson, E., Bachmann, E. R., Vincent, D., Zmuda, M., Waller, D., Calusdian, J. WeaVR: a self-contained and wearable immersive virtual environment simulation system). Behavior Research Methods. 47 (1), 296-307 (2015).
- Nilsson, N., et al. 15 Years of Research on Redirected Walking in Immersive Virtual Environments. IEEE Computer Graphics and Applications. , 1-19 (2018).
- Razzaque, S., Kohn, Z., Whitton, M. C. Redirected walking. Proceedings of EUROGRAPHICS. , 105-106 (2001).
- Hodgson, E., Bachmann, E. Comparing Four Approaches to Generalized Redirected Walking: Simulation and Live User Data. IEEE Transactions on Visualization and Computer Graphics. 19 (4), 634-643 (2013).
- Nescher, T., Huang, Y. -. Y., Kunz, A. Planning redirection techniques for optimal free walking experience using model predictive control. 2014 IEEE Symposium on 3D User Interfaces (3DUI). , 111-118 (2014).
- Razzaque, S., Swapp, D., Slater, M., Whitton, M. C., Steed, A. Redirected walking in place. Eurographics workshop on virtual environments. , 123-130 (2002).
- Meilinger, T., Knauff, M., Bulthoff, H. Working Memory in Wayfinding-A Dual Task Experiment in a Virtual City. Cognitive Science: A Multidisciplinary Journal. 32 (4), 755-770 (2008).
- Grübel, J., Thrash, T., Hölscher, C., Schinazi, V. R. Evaluation of a conceptual framework for predicting navigation performance in virtual reality. PLOS ONE. 12 (9), 0184682 (2017).
- Weisberg, S. M., Schinazi, V. R., Newcombe, N. S., Shipley, T. F., Epstein, R. A. Variations in Cognitive Maps: Understanding Individual Differences in Navigation. Journal of experimental psychology. Learning, memory, and cognition. , (2014).
- Wiener, J. M., Hölscher, C., Büchner, S., Konieczny, L. Gaze behaviour during space perception and spatial decision making. Psychological research. 76 (6), 713-729 (2012).
- Hassabis, D., Chu, C., Rees, G., Weiskopf, N., Molyneux, P. D., Maguire, E. A. Decoding Neuronal Ensembles in the Human Hippocampus. Current Biology. 19 (7), 546-554 (2009).
- Maguire, E. A., Nannery, R., Spiers, H. J. Navigation around London by a taxi driver with bilateral hippocampal lesions. Brain. 129, 2894-2907 (2006).
- Marchette, S. A., Vass, L. K., Ryan, J., Epstein, R. A. Anchoring the neural compass: coding of local spatial reference frames in human medial parietal lobe. Nature neuroscience. 17 (11), 1598-1606 (2014).
- Vass, L. K., et al. Oscillations Go the Distance: Low-Frequency Human Hippocampal Oscillations Code Spatial Distance in the Absence of Sensory Cues during Teleportation. Neuron. 89 (6), 1180-1186 (2016).
- Sharma, G., Gramann, K., Chandra, S., Singh, V., Mittal, A. P. Brain connectivity during encoding and retrieval of spatial information: individual differences in navigation skills. Brain Informatics. 4 (3), (2017).
- Richardson, A. E., VanderKaay Tomasulo, M. M. Influence of acute stress on spatial tasks in humans. Physiology & Behavior. 103 (5), 459-466 (2011).
- Duncko, R., Cornwell, B., Cui, L., Merikangas, K. R., Grillon, C. Acute exposure to stress improves performance in trace eyeblink conditioning and spatial learning tasks in healthy men. Learning & memory (Cold Spring Harbor, N.Y.). 14 (5), 329-335 (2007).
- Klopp, C., Garcia, C., Schulman, A. H., Ward, C. P., Tartar, J. L. Acute social stress increases biochemical and self report markers of stress without altering spatial learning in humans. Neuro endocrinology letters. 33 (4), 425-430 (2012).
- Guenzel, F. M., Wolf, O. T., Schwabe, L. Sex differences in stress effects on response and spatial memory formation. Neurobiology of Learning and Memory. 109, 46-55 (2014).
- van Gerven, D. J. H., Ferguson, T., Skelton, R. W. Acute stress switches spatial navigation strategy from egocentric to allocentric in a virtual Morris water maze. Neurobiology of Learning and Memory. 132, 29-39 (2016).
- Grübel, J., Weibel, R., Jiang, M. H., Hölscher, C., Hackman, D. A., Schinazi, V. R. EVE: A Framework for Experiments in Virtual Environments. Spatial Cognition X: Lecture Notes in Artificial Intelligence. , 159-176 (2017).
- Hegarty, M., Richardson, A. E., Montello, D. R., Lovelace, K., Subbiah, I. Development of a self-report measure of environmental spatial ability. Intelligence. 30, 425-447 (2002).
- Ziegler, M. G. Psychological Stress and the Autonomic Nervous System. Primer on the Autonomic Nervous System. , 189-190 (2004).
- Michaelis, J. R., Rupp, M. A., Montalvo, F., McConnell, D. S., Smither, J. A. The Effect of Vigil Length on Stress and Cognitive Fatigue. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 59 (1), 916-920 (2015).
- Helton, W. S. Validation of a Short Stress State Questionnaire. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 48 (11), 1238-1242 (2004).
- Wolbers, T., Hegarty, M. What determines our navigational abilities. Trends in Cognitive Sciences. 14 (3), 138-146 (2010).
- Moussaïd, M., et al. Crowd behaviour during high-stress evacuations in an immersive virtual environment. Journal of The Royal Society Interface. 13 (122), (2016).
- . Lead positioning Available from: https://lifeinthefastlane.com/ecg-library/basics/lead-positioning/ (2017)
- Wilder, J. The law of initial value in neurology and psychiatry. The Journal of Nervous and Mental Disease. 125 (1), 73-86 (1957).
- Loomis, J., Knapp, J. Visual Perception of Egocentric Distance in Real and Virtual Environments. Virtual and Adaptive Environments. , 21-46 (2003).
- Richardson, A. R., Waller, D. The effect of feedback training on distance estimation in virtual environments. Applied Cognitive Psychology. 19 (8), 1089-1108 (2005).
- Klatzky, R. L., Loomis, J. M., Beall, A. C., Chance, S. S., Golledge, R. G. Spatial updating of self-position and orientation during real, imagined, and virtual locomotion. Psychological Science. 9, 293-298 (1998).
- Bakker, N. H., Werkhoven, P. J., Passenier, P. O. Calibrating Visual Path Integration in VEs. Presence: Teleoperators and Virtual Environments. 10 (2), 216-224 (2001).
- Thrash, T., et al. Evaluation of control interfaces for desktop virtual environments. Presence. 24 (4), (2015).
- Kinateder, M., Warren, W. H. Social Influence on Evacuation Behavior in Real and Virtual Environments. Frontiers in Robotics and AI. 3, 43 (2016).
- Loomis, J. M., Blascovich, J. J., Beall, A. C. Immersive virtual environment technology as basic research tool in psychology. Behavior Research Methods, Instruments & Computers. 31 (4), 557-564 (1999).
