Summary

Valutazione degli aspetti di usabilità di una soluzione di realtà mista per l'analisi immersiva in scenari Industry 4.0

Published: October 06, 2020
doi:

Summary

Questo protocollo delinea l’impostazione tecnica di un’applicazione di realtà mista sviluppata che viene utilizzata per l’analisi immersiva. Sulla base di ciò, vengono presentate le misure, che sono state utilizzate in uno studio per ottenere informazioni sugli aspetti di usabilità della soluzione tecnica sviluppata.

Abstract

In medicina o nell’industria, l’analisi di set di dati ad alta dimensione è sempre più richiesta. Tuttavia, le soluzioni tecniche disponibili sono spesso complesse da utilizzare. Pertanto, nuovi approcci come l’analisi immersiva sono i benvenuti. L’analisi immersiva promette di sperimentare set di dati ad alta dimensione in modo conveniente per vari gruppi di utenti e set di dati. Tecnicamente, i dispositivi di realtà virtuale vengono utilizzati per consentire l’analisi immersiva. Nell’Industria 4.0, ad esempio, scenari come l’identificazione di valori anomali o anomalie in set di dati ad alta dimensione sono obiettivi perseguiti di analisi immersiva. In questo contesto, due domande importanti dovrebbero essere affrontate per qualsiasi soluzione tecnica sviluppata sull’analisi immersiva: in primo luogo, le soluzioni tecniche sono utili o no? In secondo luogo, l’esperienza corporea della soluzione tecnica è positiva o negativa? La prima domanda mira alla fattibilità generale di una soluzione tecnica, mentre la seconda mira al comfort di indossamento. Gli studi e i protocolli esistenti, che affrontano sistematicamente queste domande sono ancora rari. In questo lavoro viene presentato un protocollo di studio, che indaga principalmente l’usabilità per l’analisi immersiva negli scenari dell’Industria 4.0. Nello specifico, il protocollo si basa su quattro pilastri. Innanzitutto, classifica gli utenti in base alle esperienze precedenti. In secondo luogo, vengono presentati i compiti, che possono essere utilizzati per valutare la fattibilità della soluzione tecnica. In terzo luogo, vengono presentate misure che quantificano l’effetto di apprendimento di un utente. In quarto luogo, un questionario valuta il livello di stress durante l’esecuzione di compiti. Sulla base di questi pilastri, è stata implementata un’impostazione tecnica che utilizza smartglasses di realtà mista per applicare il protocollo di studio. I risultati dello studio condotto mostrano l’applicabilità del protocollo da un lato e la fattibilità dell’immersive analytics negli scenari Industry 4.0 dall’altro. Il protocollo presentato include una discussione sulle limitazioni scoperte.

Introduction

Le soluzioni di realtà virtuale (soluzioni VR) sono sempre più importanti in diversi campi. Spesso, con le soluzioni VR (tra cui realtà virtuale, realtà mista e realtà aumentata), l’esecuzione di molte attività e procedure quotidiane deve essere facilitata. Ad esempio, nel settore automobilistico, la procedura di configurazione di un’auto può essere supportata dall’uso della realtà virtuale1 (VR). Ricercatori e professionisti hanno studiato e sviluppato una moltitudine di approcci e soluzioni in questo contesto. Tuttavia, gli studi che indagano gli aspetti di usabilità sono ancora rari. In generale, gli aspetti dovrebbero essere considerati alla luce di due questioni principali. In primo luogo, bisogna valutare se una soluzione VR supera effettivamente un approccio che non fa uso di tecniche VR. In secondo luogo, poiché le soluzioni VR si basano principalmente su dispositivi hardware pesanti e complessi, parametri come il comfort e lo sforzo mentale dovrebbero essere studiati in modo più approfondito. Inoltre, gli aspetti menzionati dovrebbero sempre essere esaminati rispetto al campo di applicazione in questione. Sebbene molti approcci esistenti vedano la necessità di indagare su queste domande2, esistono meno studi che hanno presentato risultati.

Un argomento di ricerca nel campo della VR, che è attualmente importante, è indicato con l’analisi immersiva. Deriva dal campo di ricerca dell’analisi visiva, che cerca di includere la percezione umana nelle attività di analisi. Questo processo è noto anche come visual data mining4. L’analisi immersiva include argomenti nei campi della visualizzazione dei dati, dell’analisi visiva, della realtà virtuale, della computer grafica e dell’interazione uomo-computer5. I recenti vantaggi nei display montati sulla testa (HMD) hanno portato a migliori possibilità di esplorare i dati in modo immersivo. Lungo queste tendenze, emergono nuove sfide e domande di ricerca, come lo sviluppo di nuovi sistemi di interazione, la necessità di indagare la fatica dell’utente o lo sviluppo di sofisticate visualizzazioni 3D6. In una precedente pubblicazione6, vengono discussi importanti principi dell’analisi immersiva. Alla luce dei big data, metodi come l’analisi immersiva sono sempre più necessari per consentire una migliore analisi di pool di dati complessi. Esistono solo pochi studi che indagano gli aspetti di usabilità delle soluzioni di analisi immersiva. Inoltre, anche il dominio o il campo in questione dovrebbero essere presi in considerazione in tali studi. In questo lavoro, è stato sviluppato un prototipo di analisi immersiva e, basato su questo, un protocollo, che indaga la soluzione sviluppata per gli scenari di Industria 4.0. Il protocollo sfrutta così il metodo dell’esperienza2, che si basa su aspetti soggettivi, prestazionali e fisiologici. Nel protocollo in questione, gli aspetti soggettivi sono misurati attraverso lo stress percepito degli utenti dello studio. Le prestazioni, a loro volta, vengono misurate in base al tempo richiesto e agli errori commessi per eseguire le attività di analisi. Infine, un sensore di conduttanza cutanea ha misurato i parametri fisiologici. Le prime due misure saranno presentate in questo lavoro, mentre la conduttanza cutanea misurata richiede ulteriori sforzi per essere valutata.

Lo studio presentato coinvolge diversi campi di ricerca, in particolare tra cui aspetti neuroscientifici e sistemi informativi. È interessante notare che le considerazioni sugli aspetti neuroscientifici dei sistemi informativi hanno recentemente attirato l’attenzione di diversi gruppi di ricerca7,8, mostrando la necessità di esplorare l’uso dei sistemi IT anche da un punto di vista cognitivo. Un altro campo rilevante per questo lavoro è l’indagine dei fattori umani dei sistemi informativi 9,10,11. Nel campo dell’interazione uomo-macchina, esistono strumenti per indagare l’usabilità di una soluzione. Si noti che la scala di usabilità del sistema viene utilizzata principalmente in questo contesto12. I protocolli Thinking Aloud13 sono un’altra tecnica di studio ampiamente utilizzata per saperne di più sull’uso dei sistemi informativi. Sebbene esistano molti approcci per misurare gli aspetti di usabilità dei sistemi informativi, e alcuni di essi siano stati presentati molto tempo fa14, emergono ancora domande che richiedono di indagare nuove misure o metodi di studio. Pertanto, la ricerca in questo campo è molto attiva12,15,16.

Di seguito, verranno discusse le ragioni per cui due metodi prevalentemente utilizzati non sono stati considerati nel presente lavoro. Innanzitutto, la scala di usabilità del sistema non è stata utilizzata. La scala si basa su dieci domande17 e il suo uso può essere trovato anche in diversi altri studi VR18. Poiché questo studio mira principalmente alla misurazione dello stress19, un questionario relativo allo stress era più appropriato. In secondo luogo, non è stato utilizzato il Thinking Aloud Protocol20. Sebbene questo tipo di protocollo abbia dimostrato la sua utilità in generale13, non è stato utilizzato qui poiché il livello di stress degli utenti dello studio potrebbe aumentare solo a causa del fatto che la sessione di pensiero ad alta voce deve essere eseguita in parallelo all’uso di un dispositivo VR pesante e complesso. Sebbene queste due tecniche non siano state utilizzate, i risultati di altri studi recenti sono stati incorporati nello studio in questione. Ad esempio, nelle opere precedenti21,22, gli autori distinguono tra principianti ed esperti nei loro studi. Sulla base del risultato positivo di questi studi, il protocollo in questione utilizza questa separazione presentata degli utenti dello studio. La misurazione delle sollecitazioni, a sua volta, si basa sulle idee dei seguenti lavori 15,19,21,22.

In un primo momento, per condurre lo studio, è necessario trovare uno scenario Industry 4.0 adatto per svolgere attività analitiche. Ispirandosi a un altro lavoro degli autori23, sono stati identificati due scenari (cioè i compiti di analisi), (1) Rilevamento di valori anomali e (2) Riconoscimento dei cluster. Entrambi gli scenari sono impegnativi e sono molto rilevanti nel contesto della manutenzione di macchine di produzione ad alta produttività. Sulla base di questa decisione, sei considerazioni principali hanno guidato il protocollo di studio presentato in questo lavoro:

  1. La soluzione sviluppata per lo studio sarà tecnicamente basata su smartglasses a realtà mista (vedi Table of Materials) e sarà sviluppata come applicazione di realtà mista.
  2. Deve essere sviluppato un test adatto, che sia in grado di distinguere i principianti dagli utenti avanzati.
  3. Le misure di performance dovrebbero considerare il tempo e gli errori.
  4. È necessario sviluppare un’applicazione desktop, che possa essere paragonata alla soluzione di analisi immersiva.
  5. È necessario applicare una misura per valutare il livello di stress percepito.
  6. Oltre a quest’ultimo punto, devono essere sviluppate funzionalità per mitigare il livello di stress mentre un utente esegue la procedura delle due attività di analisi menzionate (vale a dire, (1) rilevamento di valori anomali e (2) riconoscimento di cluster).

Sulla base dei sei punti menzionati, il protocollo di studio incorpora la seguente procedura. Le attività di Outlier Detection e Cluster Recognition Analysis devono essere eseguite in modo immersivo utilizzando smartglasses di realtà mista (vedere Tabella dei materiali). Pertanto, è stata sviluppata una nuova applicazione. I suoni spaziali devono facilitare l’esecuzione dei compiti di analisi senza aumentare lo sforzo mentale. Una funzione vocale faciliterà la navigazione utilizzata per l’applicazione sviluppata degli smartglasses a realtà mista (vedi Tabella dei materiali). Un test di rotazione mentale deve essere la base per distinguere i principianti dagli utenti avanzati. Il livello di stress viene misurato sulla base di un questionario. Le prestazioni, a loro volta, vengono valutate in base al (1) tempo richiesto da un utente per le attività di analisi e in base ai (2) errori commessi da un utente per le attività di analisi. Le prestazioni in smartglass di realtà mista vengono confrontate con l’esecuzione delle stesse attività in un’applicazione desktop 2D di nuova concezione e comparabile. Inoltre, un dispositivo di conduttanza cutanea viene utilizzato per misurare il livello di conduttanza cutanea come possibile indicatore di stress. I risultati di questa misurazione sono soggetti a ulteriori analisi e non saranno discussi in questo lavoro. Gli autori hanno rivelato in un altro studio con lo stesso dispositivo che sono necessarie ulteriori considerazioni24.

Sulla base di questo protocollo, vengono affrontate le seguenti cinque domande di ricerca (RQ):

RQ1: Le capacità di immaginazione spaziale dei partecipanti influenzano significativamente l’esecuzione dei compiti?
RQ2: C’è un cambiamento significativo delle prestazioni delle attività nel tempo?
RQ3: C’è un cambiamento significativo delle prestazioni delle attività quando si utilizzano i suoni spaziali nella soluzione di analisi immersiva?
RQ4: L’analisi immersiva sviluppata è percepita come stressante dagli utenti?
RQ5: Gli utenti ottengono prestazioni migliori quando utilizzano una soluzione di analisi immersiva rispetto a un approccio 2D?

La Figura 1 riassume il protocollo presentato rispetto a due scale. Mostra le misure sviluppate e utilizzate e la loro novità rispetto al livello di interazione. Poiché il livello di interazione costituisce un aspetto importante nello sviluppo di funzionalità per un’impostazione VR, la Figura 1 mostrerà meglio la novità dell’intero protocollo sviluppato in questo lavoro. Sebbene la valutazione degli aspetti all’interno delle due scale utilizzate sia soggettiva, la loro valutazione complessiva si basa sul lavoro correlato corrente e sulle seguenti considerazioni principali: Un principio importante consiste nell’uso di astrazioni di un ambiente per un’interazione naturale, in cui l’utente è entrato in sintonia. Per quanto riguarda il protocollo in questione, la visualizzazione delle nuvole di punti sembra essere intuitiva per gli utenti e il riconoscimento dei modelli in tali nuvole è stato riconosciuto come un compito gestibile in generale. Un altro principio importante consiste nel sovrapporre le affordances. In questo modo, l’uso di suoni spaziali utilizzati nel protocollo in questione è un esempio, in quanto correlati alla vicinanza di un oggetto cercato. Gli autori raccomandano di sintonizzare le rappresentazioni in modo che la maggior parte delle informazioni si trovi nella zona intermedia, che è più importante per la percezione umana. Il motivo per cui gli autori non hanno incluso questo principio è stato quello di incoraggiare l’utente a trovare il posto migliore da solo e di cercare di orientarsi in uno spazio di visualizzazione dei dati, che è troppo grande per essere mostrato in una sola volta. Nell’approccio presentato, non sono state fatte ulteriori considerazioni sulle caratteristiche dei dati 3D da mostrare. Ad esempio, se si assume che una dimensione sia temporale, potrebbero essere stati visualizzati grafici a dispersione. Gli autori considerano questo tipo di visualizzazione generalmente interessante nel contesto dell’Industria 4.0. Tuttavia, deve essere focalizzato su un insieme ragionevolmente piccolo di visualizzazioni. Inoltre, una precedente pubblicazione si concentrava già sull’analisi collaborativa dei dati. In questo lavoro, questa domanda di ricerca è stata esclusa a causa della complessità delle altre questioni affrontate in questo studio. Nella configurazione presentata qui, l’utente è in grado di esplorare lo spazio immersivo camminando. Altri approcci offrono controller per esplorare lo spazio virtuale. In questo studio, l’attenzione è impostata sull’usabilità utilizzando la scala di usabilità del sistema (SUS). Un’altra pubblicazione precedente ha condotto uno studio per esperti economici, ma con cuffie VR. In generale, e soprattutto, questo studio si lamenta del campo visivo limitato per altri dispositivi come gli smartglasses di realtà mista utilizzati in questo lavoro (vedi Tabella dei materiali). I loro risultati mostrano che i principianti nel campo della realtà virtuale sono stati in grado di utilizzare lo strumento analitico in modo efficiente. Questo corrisponde alle esperienze di questo studio, anche se in questo lavoro i principianti non sono stati classificati per avere esperienze VR o di gioco. A differenza della maggior parte delle soluzioni VR, la realtà mista non è fissa in una posizione in quanto consente di tracciare l’ambiente reale. Approcci VR come menzionare l’uso di sedie speciali per un’esperienza a 360 ° per liberare l’utente dal suo desktop. Gli autori di indicano che i problemi di percezione influenzano le prestazioni dell’analisi immersiva; Ad esempio, utilizzando le ombre. Per lo studio in questione, questo non è fattibile, in quanto gli smartglasses di realtà mista utilizzati (vedi tabella dei materiali) non sono in grado di visualizzare ombre. Una soluzione alternativa potrebbe essere un pavimento virtuale, ma una tale configurazione era fuori dallo scopo di questo studio. Uno studio di indagine nel campo dell’analisi immersiva ha identificato i grafici a dispersione 3D come una delle rappresentazioni più comuni di dati multidimensionali. Nel complesso, gli aspetti mostrati nella Figura 1 non possono essere trovati attualmente compilati in un protocollo che esamina gli aspetti di usabilità dell’analisi immersiva per scenari Industry 4.0.

Protocol

Tutti i materiali e i metodi sono stati approvati dal Comitato Etico dell’Università di Ulm e sono stati eseguiti in conformità con le linee guida approvate. Tutti i partecipanti hanno dato il loro consenso informato scritto. 1. Stabilire un ambiente di studio appropriato NOTA: lo studio è stato condotto in un ambiente controllato per far fronte alla complessa impostazione hardware. Gli smartglasses di realtà mista utilizzati (vedi Tabella dei materiali</s…

Representative Results

Impostazione delle misure per l’esperimentoPer l’attività di rilevamento dei valori anomali, sono state definite le seguenti misure delle prestazioni: tempo, percorso e angolo. Vedere la Figura 6 per le misurazioni. Il tempo è stato registrato fino a quando non è stato trovato un punto contrassegnato in rosso (cioè l’anomalia). Questa misura delle prestazioni indica quanto tempo un partecipante ha avuto bisogno di trovare il punto contrass…

Discussion

Per quanto riguarda l’applicazione degli smartglasses a realtà mista sviluppati (vedi Tabella dei materiali), due aspetti sono stati particolarmente vantaggiosi. L’uso di suoni spaziali per il compito di rilevamento dell’outlier è stato percepito positivamente da un lato (vedere i risultati di RQ3). Dall’altro, anche l’uso dei comandi vocali è stato percepito positivamente (cfr . figura 10).

Per quanto riguarda i partecipanti allo studio, sebbe…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Gli autori non hanno nulla da riconoscere.

Materials

edaMove movisens
HoloLens Microsoft
Matlab R2017a MathWorks
RPY2 GNU General Public License v2 or later (GPLv2+) (GPLv2+) https://pypi.org/project/rpy2/
SPSS 25.0 IBM

References

  1. Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , 169-189 (2019).
  2. Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , 8-12 (2003).
  3. Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
  4. Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
  5. Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , 1-23 (2018).
  6. Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53 (2018).
  7. Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. . Information Systems and Neuroscience. , (2018).
  8. Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248 (2019).
  9. Preece, J., et al. . Human-computer interaction. , (1994).
  10. Card, S. K. . The psychology of human-computer interaction. , (2018).
  11. Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
  12. Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
  13. Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
  14. Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
  15. Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
  16. Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656 (2019).
  17. System Usability Scale (SUS). Assistant Secretary for Public Affairs Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013)
  18. Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215 (2019).
  19. Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978 (2019).
  20. Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
  21. Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148 (2018).
  22. Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
  23. Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903 (2019).
  24. Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561 (2020).
  25. Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
  26. Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
  27. Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
  28. Towards hmd-based immersive analytics. HAL Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017)
  29. Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
  30. Fonnet, A., Prié, Y. Survey of Immersive Analytics. IEEE Transactions on Visualization and Computer. , (2019).
  31. Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, 1-24 (1970).
  32. Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
  33. Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
  34. . RPY2: A Simple and Efficient Access to R from Python Available from: https://sourceforge.net/projects/rpy/ (2020)
  35. Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
  36. Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).

Play Video

Cite This Article
Hoppenstedt, B., Probst, T., Reichert, M., Schlee, W., Kammerer, K., Spiliopoulou, M., Schobel, J., Winter, M., Felnhofer, A., Kothgassner, O. D., Pryss, R. Evaluating Usability Aspects of a Mixed Reality Solution for Immersive Analytics in Industry 4.0 Scenarios. J. Vis. Exp. (164), e61349, doi:10.3791/61349 (2020).

View Video