Summary

评估工业 4.0 方案中沉浸式分析的混合现实解决方案的可用性方面

Published: October 06, 2020
doi:

Summary

此协议描述了用于沉浸式分析的已开发混合现实应用程序的技术设置。在此基础上,提出了一些措施,这些措施在研究中用于深入了解所开发技术解决方案的可用性方面。

Abstract

在医学或工业中,越来越需要分析高维数据集。然而,可用的技术解决方案通常使用起来很复杂。因此,欢迎沉浸式分析等新方法。沉浸式分析有望以方便的方式为各种用户组和数据集体验高维数据集。从技术上讲,虚拟现实设备用于实现沉浸式分析。例如,在工业4.0中,识别高维数据集中的异常值或异常等场景是沉浸式分析的目标。在这种情况下,对于任何已开发的沉浸式分析技术解决方案,都应该解决两个重要问题:首先,技术解决方案是否有帮助?第二,技术方案的身体体验是积极的还是消极的?第一个问题旨在技术解决方案的总体可行性,而第二个问题旨在确保佩戴舒适性。系统地解决这些问题的现有研究和协议仍然很少。在这项工作中,提出了一个研究协议,主要研究工业4.0场景中沉浸式分析的可用性。具体而言,该协议基于四大支柱。首先,它根据以前的体验对用户进行分类。其次,提出任务,可用于评估技术方案的可行性。第三,提出了量化用户学习效果的度量。第四,问卷评估执行任务时的压力水平。基于这些支柱,实施了一个使用混合现实智能眼镜来应用研究方案的技术设置。研究结果表明,一方面该协议的适用性,另一方面表明沉浸式分析在工业4.0场景中的可行性。所提出的协议包括对发现的限制的讨论。

Introduction

虚拟现实解决方案(VR解决方案)在不同领域越来越重要。通常,使用VR解决方案(包括虚拟现实,混合现实和增强现实),许多日常任务和程序的完成应该变得容易。例如,在汽车领域,可以通过使用虚拟现实1 (VR)来支持汽车的配置过程。研究人员和从业人员在这方面调查并开发了多种方法和解决方案。然而,调查可用性方面的研究仍然很少。一般而言,应根据两个主要问题来考虑这两个方面。首先,必须评估VR解决方案是否真的优于不使用VR技术的方法。其次,由于VR解决方案主要依赖于繁重复杂的硬件设备,因此应更深入地研究佩戴舒适度和精神努力等参数。此外,应始终针对所讨论的应用领域调查上述方面。尽管许多现存的方法认为有必要调查这些问题2,但提出结果的研究较少。

VR领域的一个研究课题,目前很重要,用沉浸式分析来表示。它源自可视化分析的研究领域,该领域试图将人类感知纳入分析任务。这个过程也被称为可视化数据挖掘4。沉浸式分析包括数据可视化、可视化分析、虚拟现实、计算机图形学和人机交互等领域的主题5.头戴式显示器(HMD)的最新优势提高了以身临其境的方式探索数据的可能性。沿着这些趋势,新的挑战和研究问题出现了,例如新交互系统的开发,调查用户疲劳的需求或复杂的3D可视化的开发6。在之前的出版物6中,讨论了沉浸式分析的重要原则。鉴于大数据,越来越需要像沉浸式分析这样的方法来更好地分析复杂的数据池。只有少数研究调查沉浸式分析解决方案的可用性方面。此外,在此类研究中也应考虑有关领域或领域。在这项工作中,开发了一个沉浸式分析原型,并在此基础上开发了一个协议,该协议研究了为工业4.0场景开发的解决方案。因此,该协议利用了基于主观,性能和生理方面的体验方法2。在手头的协议中, 主观方面 是通过研究用户的感知压力来衡量的。反过来,性能是通过完成分析任务所需的时间和错误来衡量的。最后,用皮肤电导传感器测量生理参数。前两项措施将在这项工作中介绍,而测量的皮肤电导率需要进一步努力进行评估。

所提出的研究涉及多个研究领域,特别是包括神经科学方面和信息系统。有趣的是,对信息系统神经科学方面的考虑最近引起了几个研究小组78的关注这表明从认知的角度探索IT系统的使用的需求。与这项工作相关的另一个领域是信息系统的人因调查9,1011在人机交互领域,存在用于研究解决方案可用性的工具。请注意,系统可用性量表主要用于此上下文12.大声思考协议13 是另一种广泛使用的研究技术,用于了解有关信息系统使用的更多信息。尽管存在许多方法来衡量信息系统的可用性方面,并且其中一些方法很久以前就已经提出14,但仍会出现需要研究新措施或研究方法的问题。因此,该领域的研究非常活跃121516

在下文中,将讨论为什么在当前工作中没有考虑两种普遍使用的方法的原因。首先,未使用系统可用性量表。该量表基于十个问题17,其使用也可以在其他几个VR研究18中找到。由于本研究主要针对压力的测量19,因此与压力相关的问卷更为合适。其次,没有使用大声思考协议20。尽管这种协议类型在一般情况下已经显示出它的有用性13,但这里没有使用它,因为研究用户的压力水平可能会增加,因为大声思考会议必须与使用繁重而复杂的VR设备并行完成。虽然这两种技术尚未使用,但最近其他研究的结果已被纳入手头的研究中。例如,在之前的作品2122作者在研究中区分了新手和专家。基于这些研究的成功结果,手头的方案利用了这种研究用户的分离。反过来,应力测量基于以下作品15192122的思想。

首先,为了进行研究,必须找到合适的工业4.0场景来完成分析任务。受作者23的另一部工作的启发,已经确定了两种场景(即分析任务),(1)异常值的检测和(2)集群的识别。这两种情况都具有挑战性,并且在维护高吞吐量生产机器的上下文中高度相关。基于这一决定,六个主要考虑因素推动了这项工作中提出的研究方案:

  1. 为该研究开发的解决方案将在技术上基于混合现实智能眼镜(见 材料表),并将作为混合现实应用进行开发。
  2. 必须开发合适的测试,以便能够区分新手和高级用户。
  3. 绩效指标应考虑时间和错误。
  4. 必须开发桌面应用程序,该应用程序可以与沉浸式分析解决方案进行比较。
  5. 必须应用一种措施来评估感知的压力水平。
  6. 除了后一点之外,还应开发特征以减轻用户完成上述两个分析任务(即(1)异常值检测和(2)集群识别)的过程时的压力水平。

基于上述六点,研究方案包含以下程序。异常值检测和聚类识别分析任务必须使用混合现实智能眼镜以沉浸式方式完成(请参阅 材料表)。因此,开发了一个新的应用程序。空间声音应简化分析任务的执行,而不会增加脑力劳动。语音功能应简化用于混合现实智能眼镜开发应用的导航(请参阅 材料表)。心理旋转测试应作为区分新手和高级用户的基础。压力水平是根据问卷测量的。反过来,性能根据用户执行分析任务所需的 (1) 时间和用户为分析任务所犯的 (2) 错误进行评估。将混合现实智能玻璃的性能与新开发和可比较的 2D 桌面应用程序中相同任务的完成情况进行比较。此外,皮肤电导装置用于测量皮肤电导水平,作为压力的可能指标。该测量的结果有待进一步分析,本文将不讨论。作者在另一项使用相同设备的研究中透露,需要额外的考虑24

基于该协议,解决了以下五个研究问题(RQ):

RQ1:参与者的空间想象能力是否显着影响任务的表现?
RQ2:随着时间的推移,任务性能是否有显著变化?
RQ3:在沉浸式分析解决方案中使用空间声音时,任务性能是否有重大变化?
RQ4:开发的沉浸式分析是否被用户感知到压力?
RQ5:与 2D 方法相比,用户在使用沉浸式分析解决方案时的表现是否更好?

图1 总结了关于两个尺度的所提出的协议。它显示了开发和使用的措施及其在互动水平方面的新颖性。由于交互级别构成了为VR设置开发功能的一个重要方面,因此图1应更好地显示本工作中开发的整个协议的新颖性。虽然对两个使用的量表内的方面的评估是主观的,但它们的总体评估是基于当前的相关工作和以下主要考虑因素: 一个重要的原则是使用环境的抽象进行自然交互,用户已经适应其中。关于手头的协议,点云的可视化对用户来说似乎是直观的,并且识别此类云中的模式通常被认为是一项可管理的任务。另一个重要原则是叠加提供。因此,使用手头协议中使用的空间声音就是一个例子,因为它们与搜索对象的接近度相关。作者建议调整表示的方式是大多数信息位于中间区域,这对人类感知是最重要的。作者没有包括这一原则的原因是鼓励用户自己找到最佳位置,并尝试在数据可视化空间中定位自己,该空间太大而无法立即显示。在所提出的方法中,没有进一步考虑要显示的3D数据的特征。例如,如果假定维度是时态维度,则可以显示散点图。作者认为这种可视化在工业4.0的背景下通常很有趣。但是,它必须专注于一组相当小的可视化效果。此外,之前的出版物已经专注于数据的协作分析。在这项工作中,由于本研究中其他解决的问题的复杂性,该研究问题被排除在外。在这里呈现的设置中,用户可以通过四处走动来探索沉浸式空间。其他方法提供了控制器来探索虚拟空间。在这项研究中,重点是通过使用系统可用性量表(SUS)来确定可用性。之前的另一份出版物为经济专家进行了一项研究,但使用的是VR头显。总的来说,最重要的是,这项研究抱怨其他设备的视野有限,比如这项工作中使用的混合现实智能眼镜(见 材料表)。他们的发现表明,VR领域的初学者能够有效地使用分析工具。这与本研究的经验相匹配,尽管在这项工作中,初学者没有被归类为拥有VR或游戏体验。与大多数VR解决方案相比,混合现实不是固定在一个位置,因为它允许跟踪真实环境。VR方法,例如提到使用特殊的椅子进行360°体验,将用户从桌面上解放出来。的作者指出,感知问题会影响沉浸式分析的性能;例如,通过使用阴影。对于手头的研究,这是不可行的,因为使用的混合现实智能眼镜(见材料表)无法显示阴影。解决方法可以是虚拟楼层,但这样的设置超出了本研究的范围。沉浸式分析领域的一项调查研究发现,3D 散点图是多维数据最常见的表示形式之一。总而言之,目前无法找到图 1 中显示的方面,该协议调查了工业 4.0 场景沉浸式分析的可用性方面。

Protocol

所有材料和方法均经乌尔姆大学伦理委员会批准,并按照批准的指南进行。所有参与者都给予了书面知情同意。 1. 建立适当的学习环境 注意:该研究是在受控环境中进行的,以应对复杂的硬件设置。向研究参与者解释了使用的混合现实智能眼镜(见 材料表)和用于2D应用程序的笔记本电脑。 在每位参与者之前检查技术方案;在默认模?…

Representative Results

设置试验的度量值对于异常值检测任务,定义了以下性能度量:时间、路径和角度。测量结果见 图6 。 记录时间,直到找到红色标记的点(即异常值)。此性能度量指示参与者需要多长时间才能找到红色标记的点。时间在结果中表示为变量“时间”(以毫秒为单位)。 当参与者试图找到红色标记点时,他们的步行路…

Discussion

关于开发的混合现实智能眼镜(见 材料表)应用,有两个方面特别有益。一方面,将空间声音用于异常值的检测任务是积极的(参见RQ3的结果)。另一方面,语音命令的使用也被积极看待(见 图10)。

关于研究参与者,尽管实证研究招募的参与者数量相当少,但与许多其他工作相比,这个数字具有竞争力。尽管如此,计划根据所示方案进?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

作者没有什么可承认的。

Materials

edaMove movisens
HoloLens Microsoft
Matlab R2017a MathWorks
RPY2 GNU General Public License v2 or later (GPLv2+) (GPLv2+) https://pypi.org/project/rpy2/
SPSS 25.0 IBM

References

  1. Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , 169-189 (2019).
  2. Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , 8-12 (2003).
  3. Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
  4. Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
  5. Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , 1-23 (2018).
  6. Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53 (2018).
  7. Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. . Information Systems and Neuroscience. , (2018).
  8. Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248 (2019).
  9. Preece, J., et al. . Human-computer interaction. , (1994).
  10. Card, S. K. . The psychology of human-computer interaction. , (2018).
  11. Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
  12. Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
  13. Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
  14. Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
  15. Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
  16. Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656 (2019).
  17. System Usability Scale (SUS). Assistant Secretary for Public Affairs Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013)
  18. Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215 (2019).
  19. Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978 (2019).
  20. Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
  21. Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148 (2018).
  22. Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
  23. Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903 (2019).
  24. Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561 (2020).
  25. Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
  26. Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
  27. Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
  28. Towards hmd-based immersive analytics. HAL Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017)
  29. Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
  30. Fonnet, A., Prié, Y. Survey of Immersive Analytics. IEEE Transactions on Visualization and Computer. , (2019).
  31. Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, 1-24 (1970).
  32. Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
  33. Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
  34. . RPY2: A Simple and Efficient Access to R from Python Available from: https://sourceforge.net/projects/rpy/ (2020)
  35. Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
  36. Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).

Play Video

Cite This Article
Hoppenstedt, B., Probst, T., Reichert, M., Schlee, W., Kammerer, K., Spiliopoulou, M., Schobel, J., Winter, M., Felnhofer, A., Kothgassner, O. D., Pryss, R. Evaluating Usability Aspects of a Mixed Reality Solution for Immersive Analytics in Industry 4.0 Scenarios. J. Vis. Exp. (164), e61349, doi:10.3791/61349 (2020).

View Video