Summary

Avaliando aspectos de usabilidade de uma solução de realidade mista para análises imersivas em cenários da Indústria 4.0

Published: October 06, 2020
doi:

Summary

Este protocolo delineia a configuração técnica de um aplicativo de realidade mista desenvolvido que é usado para análises imersivas. Com base nisso, são apresentadas medidas, que foram utilizadas em um estudo para obter insights sobre aspectos de usabilidade da solução técnica desenvolvida.

Abstract

Na medicina ou na indústria, a análise de conjuntos de dados de alta dimensão é cada vez mais necessária. No entanto, as soluções técnicas disponíveis são muitas vezes complexas de usar. Portanto, novas abordagens, como a análise imersiva, são bem-vindas. A análise imersiva promete experimentar conjuntos de dados de alta dimensão de maneira conveniente para vários grupos de usuários e conjuntos de dados. Tecnicamente, os dispositivos de realidade virtual são usados para permitir análises imersivas. Na Indústria 4.0, por exemplo, cenários como a identificação de valores atípicos ou anomalias em conjuntos de dados de alta dimensão são objetivos de análise imersiva. Nesse contexto, duas questões importantes devem ser abordadas para qualquer solução técnica desenvolvida em análise imersiva: Primeiro, as soluções técnicas estão sendo úteis ou não? Em segundo lugar, a experiência corporal da solução técnica é positiva ou negativa? A primeira questão visa a viabilidade geral de uma solução técnica, enquanto a segunda visa o conforto de uso. Estudos e protocolos existentes, que abordam sistematicamente essas questões, ainda são raros. Neste trabalho, é apresentado um protocolo de estudo, que investiga principalmente a usabilidade para análises imersivas em cenários da Indústria 4.0. Especificamente, o protocolo é baseado em quatro pilares. Primeiro, ele categoriza os usuários com base em experiências anteriores. Em segundo lugar, são apresentadas tarefas, que podem ser usadas para avaliar a viabilidade da solução técnica. Em terceiro lugar, são apresentadas medidas que quantificam o efeito de aprendizagem de um usuário. Em quarto lugar, um questionário avalia o nível de estresse ao executar tarefas. Com base nesses pilares, foi implementada uma configuração técnica que utiliza óculos inteligentes de realidade mista para aplicar o protocolo de estudo. Os resultados do estudo realizado mostram a aplicabilidade do protocolo, por um lado, e a viabilidade da análise imersiva em cenários da Indústria 4.0, por outro. O protocolo apresentado inclui uma discussão sobre as limitações descobertas.

Introduction

As soluções de realidade virtual (soluções de RV) são cada vez mais importantes em diferentes campos. Muitas vezes, com soluções de RV (incluindo Realidade Virtual, Realidade Mista e Realidade Aumentada), a realização de muitas tarefas e procedimentos diários deve ser facilitada. Por exemplo, no domínio automotivo, o procedimento de configuração de um carro pode ser suportado pelo uso da Realidade Virtual1 (VR). Pesquisadores e profissionais investigaram e desenvolveram uma infinidade de abordagens e soluções neste contexto. No entanto, estudos que investigam aspectos de usabilidade ainda são raros. Em geral, os aspectos devem ser considerados à luz de duas grandes questões. Primeiro, deve-se avaliar se uma solução de RV realmente supera uma abordagem que não faz uso de técnicas de RV. Em segundo lugar, como as soluções de RV dependem principalmente de dispositivos de hardware pesados e complexos, parâmetros como o conforto de uso e o esforço mental devem ser investigados com mais profundidade. Além disso, os aspectos mencionados devem ser sempre investigados no que diz respeito ao campo de aplicação em questão. Embora muitas abordagens existentes vejam a necessidade de investigar essas questões2, existem menos estudos que tenham apresentado resultados.

Um tópico de pesquisa no campo da RV, que atualmente é importante, é denotado com análises imersivas. É derivado do campo de pesquisa da análise visual, que tenta incluir a percepção humana em tarefas de análise. Esse processo também é bem conhecido como mineração de dados visuais4. A análise imersiva inclui tópicos das áreas de visualização de dados, análise visual, realidade virtual, computação gráfica e interação humano-computador5. As vantagens recentes nos head-mounted displays (HMD) levaram a melhores possibilidades de exploração de dados de forma imersiva. Ao longo dessas tendências, novos desafios e questões de pesquisa emergem, como o desenvolvimento de novos sistemas de interação, a necessidade de investigar a fadiga do usuário ou o desenvolvimento de visualizações 3D sofisticadas6. Em uma publicação anterior6, princípios importantes da análise imersiva são discutidos. À luz do big data, métodos como a análise imersiva são cada vez mais necessários para permitir uma melhor análise de pools de dados complexos. Existem apenas alguns estudos que investigam aspectos de usabilidade de soluções analíticas imersivas. Além disso, o domínio ou campo em questão também deve ser considerado nesses estudos. Neste trabalho, foi desenvolvido um protótipo de análise imersiva e, com base nisso, um protocolo, que investiga a solução desenvolvida para cenários da Indústria 4.0. O protocolo, portanto, explora o método da experiência2, que se baseia em aspectos subjetivos, de desempenho e fisiológicos. No protocolo em questão, os aspectos subjetivos são mensurados por meio da percepção de estresse dos usuários do estudo. O desempenho, por sua vez, é medido através do tempo necessário e dos erros que são cometidos para realizar tarefas de análise. Finalmente, um sensor de condutância da pele mediu parâmetros fisiológicos. As duas primeiras medidas serão apresentadas neste trabalho, enquanto a condutância cutânea medida requer mais esforços a serem avaliados.

O estudo apresentado envolve vários campos de pesquisa, particularmente incluindo aspectos da neurociência e sistemas de informação. Curiosamente, considerações sobre aspectos neurocientíficos dos sistemas de informação têm atraído recentemente a atenção de diversos grupos de pesquisa7,8, mostrando a demanda para explorar o uso de sistemas de TI também do ponto de vista cognitivo. Outro campo relevante para este trabalho constitui a investigação de fatores humanos de sistemas de informação 9,10,11. No campo da interação humano-computador, existem instrumentos para investigar a usabilidade de uma solução. Note-se que a Escala de Usabilidade do Sistema é utilizada principalmente nesse contexto12. Os Protocolos de Pensar em Voz Alta13 são outra técnica de estudo amplamente utilizada para aprender mais sobre o uso de sistemas de informação. Embora existam muitas abordagens para medir aspectos de usabilidade dos sistemas de informação, e algumas delas tenham sido apresentadas há muito tempo14, ainda surgem questões que exigem a investigação de novas medidas ou métodos de estudo. Portanto, a pesquisa nessa área é muito ativa12,15,16.

A seguir, serão discutidas as razões pelas quais dois métodos predominantemente utilizados não foram considerados no presente trabalho. Primeiramente, não foi utilizada a Escala de Usabilidade do Sistema. A escala é baseada em dez questões17 e sua utilização pode ser encontrada em vários outros estudos de RV18 também. Como este estudo tem como objetivo principal a mensuração do estresse19, um questionário relacionado ao estresse foi mais apropriado. Em segundo lugar, não foi utilizado o Protocolo20 do Thinking Aloud. Embora esse tipo de protocolo tenha mostrado sua utilidade em geral13, ele não foi utilizado aqui, pois o nível de estresse dos usuários do estudo pode aumentar apenas devido ao fato de que a sessão de pensar em voz alta deve ser realizada em paralelo ao uso de um dispositivo de RV pesado e complexo. Embora essas duas técnicas não tenham sido utilizadas, resultados de outros estudos recentes foram incorporados no estudo em questão. Por exemplo, em trabalhos anteriores21,22, os autores distinguem entre novatos e especialistas em seus estudos. Com base no resultado bem-sucedido desses estudos, o protocolo em questão utiliza essa separação apresentada dos usuários do estudo. A medida da tensão, por sua vez, baseia-se nas ideias dos trabalhos a seguir 15,19,21,22.

Em um primeiro momento, para a realização do estudo, um cenário adequado da Indústria 4.0 deve ser encontrado para a realização de tarefas analíticas. Inspirados em outro trabalho dos autores23, foram identificados dois cenários (ou seja, as tarefas de análise), (1) Detecção de Outliers e (2) Reconhecimento de Clusters. Ambos os cenários são desafiadores e são altamente relevantes no contexto da manutenção de máquinas de produção de alto rendimento. Com base nessa decisão, seis considerações principais nortearam o protocolo de estudo apresentado neste trabalho:

  1. A solução desenvolvida para o estudo será tecnicamente baseada em óculos inteligentes de realidade mista (ver Tabela de Materiais) e será desenvolvida como uma aplicação de realidade mista.
  2. Um teste adequado deve ser desenvolvido, que seja capaz de distinguir novatos de usuários avançados.
  3. As medidas de desempenho devem considerar o tempo e os erros.
  4. Um aplicativo de desktop deve ser desenvolvido, o que pode ser comparado à solução de análise imersiva.
  5. Uma medida deve ser aplicada para avaliar o nível de estresse percebido.
  6. Além deste último ponto, devem ser desenvolvidos recursos para mitigar o nível de estresse enquanto um usuário realiza o procedimento das duas tarefas de análise mencionadas (ou seja, (1) Detecção de Outliers e (2) Reconhecimento de Clusters).

Com base nos seis pontos mencionados, o protocolo do estudo incorpora o seguinte procedimento. As tarefas de Detecção de Outlier e Análise de Reconhecimento de Cluster devem ser realizadas de forma imersiva usando óculos inteligentes de realidade mista (consulte Tabela de Materiais). Por isso, um novo aplicativo foi desenvolvido. Os sons espaciais devem facilitar a execução de tarefas de análise sem aumentar o esforço mental. Uma funcionalidade de voz deve facilitar a navegação utilizada para a aplicação desenvolvida dos óculos inteligentes de realidade mista (ver Tabela de Materiais). Um teste de rotação mental deve ser a base para distinguir os novatos dos usuários avançados. O nível de estresse é medido com base em um questionário. O desempenho, por sua vez, é avaliado com base no (1) tempo que um usuário requer para as tarefas de análise e com base nos (2) erros que foram cometidos por um usuário para as tarefas de análise. O desempenho no smartglass de realidade mista é comparado com a realização das mesmas tarefas em um aplicativo de desktop 2D recém-desenvolvido e comparável. Além disso, um dispositivo de condutância da pele é usado para medir o nível de condutância da pele como um possível indicador de estresse. Os resultados desta medida estão sujeitos a uma análise mais aprofundada e não serão discutidos neste trabalho. Os autores revelaram em outro estudo com o mesmo dispositivo que considerações adicionais são necessárias24.

Com base nesse protocolo, são abordadas as seguintes cinco questões de pesquisa (QR):

RQ1: As habilidades de imaginação espacial dos participantes afetam significativamente o desempenho das tarefas?
RQ2: Existe uma mudança significativa no desempenho da tarefa ao longo do tempo?
RQ3: Existe uma mudança significativa no desempenho da tarefa ao usar sons espaciais na solução de análise imersiva?
RQ4: A análise imersiva desenvolvida é percebida como estressante pelos usuários?
RQ5: Os usuários têm melhor desempenho ao usar uma solução de análise imersiva em comparação com uma abordagem 2D?

A Figura 1 resume o protocolo apresentado em relação a duas escalas. Mostra as medidas desenvolvidas e utilizadas e a sua novidade no que diz respeito ao nível de interação. Como o nível de interação constitui um aspecto importante ao desenvolver recursos para uma configuração de RV, a Figura 1 mostrará melhor a novidade de todo o protocolo desenvolvido neste trabalho. Embora a avaliação dos aspectos dentro das duas escalas utilizadas seja subjetiva, sua avaliação global é baseada no trabalho relacionado atual e nas seguintes considerações principais: Um princípio importante constitui o uso de abstrações de um ambiente para uma interação natural, na qual o usuário se sintonizou. Com relação ao protocolo em questão, a visualização de nuvens de pontos parece ser intuitiva para os usuários e o reconhecimento de padrões em tais nuvens tem sido reconhecido como uma tarefa gerenciável em geral. Outro princípio importante consiste em sobrepor as affordances. Assim, o uso de sons espaciais como os utilizados no protocolo em questão é um exemplo, pois eles se correlacionam com a proximidade de um objeto pesquisado. Os autores recomendam sintonizar as representações de forma que a maioria das informações esteja localizada na zona intermediária, o que é mais importante para a percepção humana. A razão pela qual os autores não incluíram esse princípio foi incentivar o usuário a encontrar o melhor local por si mesmo, bem como tentar se orientar em um espaço de visualização de dados, que é grande demais para ser mostrado de uma só vez. Na abordagem apresentada, não foram feitas mais considerações sobre as características dos dados 3D a serem mostrados. Por exemplo, se uma dimensão é assumida como temporal, os gráficos de dispersão poderiam ter sido mostrados. Os autores consideram esse tipo de visualização geralmente interessante no contexto da Indústria 4.0. No entanto, ele deve ser focado em um conjunto razoavelmente pequeno de visualizações. Além disso, uma publicação anterior já focava na análise colaborativa de dados. Neste trabalho, esta questão de pesquisa foi excluída devido à complexidade das demais questões abordadas neste estudo. Na configuração apresentada aqui, o usuário é capaz de explorar o espaço imersivo andando por aí. Outras abordagens oferecem controladores para explorar o espaço virtual. Neste estudo, o foco está definido na usabilidade por meio da Escala de Usabilidade do Sistema (SUS). Outra publicação anterior realizou um estudo para especialistas em economia, mas com fones de ouvido VR. Em geral, e mais importante, este estudo queixa-se do campo de visão limitado para outros dispositivos, como os óculos inteligentes de realidade mista usados neste trabalho (ver Tabela de Materiais). Suas descobertas mostram que os iniciantes no campo da RV foram capazes de usar a ferramenta analítica de forma eficiente. Isso coincide com as experiências deste estudo, embora neste trabalho os iniciantes não tenham sido classificados para ter experiências de RV ou jogos. Em contraste com a maioria das soluções de RV, a realidade mista não é fixada a uma posição, pois permite rastrear o ambiente real. Abordagens de RV, como mencionar o uso de cadeiras especiais para uma experiência de 360 ° para libertar o usuário de sua área de trabalho. Os autores de indicam que as questões de percepção influenciam o desempenho da análise imersiva; por exemplo, usando sombras. Para o estudo em questão, isso não é viável, pois os óculos inteligentes de realidade mista usados (ver tabela de materiais) não são capazes de exibir sombras. Uma solução alternativa poderia ser um piso virtual, mas tal configuração estava fora do escopo deste estudo. Um estudo de pesquisa no campo da análise imersiva identificou gráficos de dispersão 3D como uma das representações mais comuns de dados multidimensionais. No total, os aspectos mostrados na Figura 1 não podem ser encontrados atualmente compilados em um protocolo que investiga aspectos de usabilidade da análise imersiva para cenários da Indústria 4.0.

Protocol

Todos os materiais e métodos foram aprovados pelo Comitê de Ética da Universidade de Ulm e realizados de acordo com as diretrizes aprovadas. Todos os participantes assinaram o termo de consentimento livre e esclarecido. 1. Estabeleça um ambiente de estudo apropriado NOTA: O estudo foi realizado em um ambiente controlado para lidar com a configuração complexa de hardware. Os óculos inteligentes de realidade mista utilizados (ver Tabela de Materiais</stro…

Representative Results

Configurando medidas para o experimentoPara a tarefa de detecção de outliers, foram definidas as seguintes medidas de desempenho: tempo, caminho e ângulo. Veja a Figura 6 para as medições. O tempo foi registrado até que um ponto marcado em vermelho (ou seja, o outlier) fosse encontrado. Essa medida de desempenho indica quanto tempo um participante precisou para encontrar o ponto marcado em vermelho. O tempo é denotado como a variável “…

Discussion

Em relação à aplicação de óculos inteligentes de realidade mista desenvolvidos (ver Tabela de Materiais), dois aspectos foram particularmente benéficos. O uso de sons espaciais para a tarefa de detecção do outlier foi percebido positivamente por um lado (ver os resultados do RQ3). Por outro lado, o uso de comandos de voz também foi percebido positivamente (ver Figura 10).

Em relação aos participantes do estudo, embora o número de part…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Os autores não têm nada a reconhecer.

Materials

edaMove movisens
HoloLens Microsoft
Matlab R2017a MathWorks
RPY2 GNU General Public License v2 or later (GPLv2+) (GPLv2+) https://pypi.org/project/rpy2/
SPSS 25.0 IBM

References

  1. Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , 169-189 (2019).
  2. Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , 8-12 (2003).
  3. Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
  4. Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
  5. Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , 1-23 (2018).
  6. Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53 (2018).
  7. Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. . Information Systems and Neuroscience. , (2018).
  8. Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248 (2019).
  9. Preece, J., et al. . Human-computer interaction. , (1994).
  10. Card, S. K. . The psychology of human-computer interaction. , (2018).
  11. Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
  12. Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
  13. Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
  14. Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
  15. Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
  16. Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656 (2019).
  17. System Usability Scale (SUS). Assistant Secretary for Public Affairs Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013)
  18. Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215 (2019).
  19. Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978 (2019).
  20. Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
  21. Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148 (2018).
  22. Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
  23. Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903 (2019).
  24. Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561 (2020).
  25. Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
  26. Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
  27. Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
  28. Towards hmd-based immersive analytics. HAL Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017)
  29. Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
  30. Fonnet, A., Prié, Y. Survey of Immersive Analytics. IEEE Transactions on Visualization and Computer. , (2019).
  31. Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, 1-24 (1970).
  32. Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
  33. Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
  34. . RPY2: A Simple and Efficient Access to R from Python Available from: https://sourceforge.net/projects/rpy/ (2020)
  35. Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
  36. Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).

Play Video

Cite This Article
Hoppenstedt, B., Probst, T., Reichert, M., Schlee, W., Kammerer, K., Spiliopoulou, M., Schobel, J., Winter, M., Felnhofer, A., Kothgassner, O. D., Pryss, R. Evaluating Usability Aspects of a Mixed Reality Solution for Immersive Analytics in Industry 4.0 Scenarios. J. Vis. Exp. (164), e61349, doi:10.3791/61349 (2020).

View Video