Summary

Оценка аспектов юзабилити решения смешанной реальности для иммерсивной аналитики в сценариях Индустрии 4.0

Published: October 06, 2020
doi:

Summary

Этот протокол очерчивает технические настройки разработанного приложения смешанной реальности, которое используется для иммерсивной аналитики. На основе этого представлены показатели, которые были использованы в исследовании для получения представления об юзабилити-аспектах разработанного технического решения.

Abstract

В медицине или промышленности все чаще требуется анализ многомерных наборов данных. Однако имеющиеся технические решения часто сложны в использовании. Поэтому приветствуются новые подходы, такие как иммерсивная аналитика. Иммерсивная аналитика обещает испытать многомерные наборы данных удобным способом для различных групп пользователей и наборов данных. Технически устройства виртуальной реальности используются для обеспечения иммерсивной аналитики. Например, в Индустрии 4.0 такие сценарии, как идентификация выбросов или аномалий в наборах многомерных данных, преследуются целями иммерсивной аналитики. В этом контексте для любого разработанного технического решения по иммерсивной аналитике следует ответить на два важных вопроса: во-первых, полезны ли технические решения или нет? Во-вторых, является ли телесный опыт технического решения положительным или отрицательным? Первый вопрос направлен на общую целесообразность технического решения, в то время как второй направлен на комфорт ношения. Существующие исследования и протоколы, которые систематически затрагивают эти вопросы, все еще редки. В этой работе представлен протокол исследования, который в основном исследует удобство использования для иммерсивной аналитики в сценариях Индустрии 4.0. В частности, протокол основан на четырех столпах. Во-первых, он классифицирует пользователей на основе предыдущего опыта. Во-вторых, представлены задания, которые могут быть использованы для оценки осуществимости технического решения. В-третьих, представлены меры, которые количественно оценивают обучающий эффект пользователя. В-четвертых, анкета оценивает уровень стресса при выполнении заданий. На основе этих столпов была реализована техническая настройка, которая использует умные очки смешанной реальности для применения протокола исследования. Результаты проведенного исследования показывают применимость протокола с одной стороны и целесообразность иммерсивной аналитики в сценариях Индустрии 4.0 с другой. Представленный протокол включает в себя обсуждение обнаруженных ограничений.

Introduction

Решения виртуальной реальности (VR-решения) приобретают все большее значение в различных областях. Часто с решениями VR (включая виртуальную реальность, смешанную реальность и дополненную реальность) выполнение многих повседневных задач и процедур должно быть облегчено. Например, в автомобильной области процедура настройки автомобиля может поддерживаться использованием виртуальной реальности1 (VR). Исследователи и практики исследовали и разработали множество подходов и решений в этом контексте. Тем не менее, исследования, которые исследуют аспекты юзабилити, все еще редки. В целом эти аспекты следует рассматривать в свете двух основных вопросов. Во-первых, необходимо оценить, действительно ли решение VR превосходит подход, который не использует методы VR. Во-вторых, поскольку решения VR в основном полагаются на тяжелые и сложные аппаратные устройства, такие параметры, как комфорт ношения и умственные усилия, должны быть изучены более глубоко. Кроме того, упомянутые аспекты всегда должны быть исследованы в отношении рассматриваемой области применения. Хотя многие существующие подходы видят необходимость в изучении этих вопросов2, существует меньше исследований, которые представили результаты.

Тема исследования в области VR, которая в настоящее время важна, обозначается иммерсивной аналитикой. Он происходит от исследовательской области визуальной аналитики, которая пытается включить человеческое восприятие в аналитические задачи. Этот процесс также хорошо известен как визуальный интеллектуальный анализ данных4. Иммерсивная аналитика включает в себя темы из областей визуализации данных, визуальной аналитики, виртуальной реальности, компьютерной графики и человеко-компьютерного взаимодействия5. Последние преимущества в головных дисплеях (HMD) привели к улучшению возможностей для изучения данных иммерсивным способом. Наряду с этими тенденциями возникают новые проблемы и исследовательские вопросы, такие как разработка новых систем взаимодействия, необходимость исследования усталости пользователей или разработка сложных 3D-визуализаций6. В предыдущей публикации6 обсуждаются важные принципы иммерсивной аналитики. В свете больших данных такие методы, как иммерсивная аналитика, все более и более необходимы для лучшего анализа сложных пулов данных. Существует лишь несколько исследований, которые исследуют аспекты юзабилити иммерсивных аналитических решений. Кроме того, в таких исследованиях следует также учитывать рассматриваемую область или область. В этой работе был разработан прототип иммерсивной аналитики, и на его основе был разработан протокол, который исследует разработанное решение для сценариев Индустрии 4.0. Таким образом, протокол использует метод опыта2, который основан на субъективных, эксплуатационных и физиологических аспектах. В рассматриваемом протоколе субъективные аспекты измеряются через воспринимаемый стресс пользователей исследования. Производительность, в свою очередь, измеряется через требуемое время и ошибки, которые допускаются для выполнения задач анализа. Наконец, датчик проводимости кожи измерял физиологические параметры. Первые две меры будут представлены в этой работе, в то время как измеренная проводимость кожи требует дальнейших усилий для оценки.

Представленное исследование включает в себя несколько областей исследований, в частности, включая аспекты нейробиологии и информационные системы. Интересно, что соображения по нейробиологическим аспектам информационных систем недавно привлекли внимание нескольких исследовательских групп 7,8, показывая потребность в изучении использования ИТ-систем также с когнитивной точки зрения. Еще одним направлением, актуальным для данной работы, является исследование человеческого фактора информационных систем 9,10,11. В области человеко-компьютерного взаимодействия существуют инструменты для исследования удобства использования решения. Обратите внимание, что шкала юзабилити системы в основном используется в этом контексте12. Протоколы13 Thinking Aloud являются еще одним широко используемым методом исследования, чтобы узнать больше об использовании информационных систем. Хотя существует множество подходов к измерению юзабилити-аспектов информационных систем, и некоторые из них были представлены давно14, все же возникают вопросы, требующие изучения новых мер или методов изучения. Поэтому исследования в этой области очень активны 12,15,16.

Ниже будут рассмотрены причины, по которым в настоящей работе не были рассмотрены два широко используемых метода. Во-первых, не использовалась шкала юзабилити системы. Шкала основана на десяти вопросах17, и ее использование можно найти в нескольких других исследованиях VR18. Поскольку это исследование в основном направлено на измерение стресса19, более подходящим был вопросник, связанный со стрессом. Во-вторых, протокол20 «Думай вслух» не использовался. Хотя этот тип протокола показал свою полезность в целом13, он не использовался здесь, так как уровень стресса пользователей исследования может увеличиться только из-за того, что сеанс мысли вслух должен выполняться параллельно с использованием тяжелого и сложного устройства VR. Хотя эти два метода не использовались, результаты других недавних исследований были включены в рассматриваемое исследование. Например, в предыдущих работах21,22 авторы различают новичков и специалистов в своих исследованиях. Основываясь на успешном результате этих исследований, рассматриваемый протокол использует это представленное разделение пользователей исследования. Измерение напряжений, в свою очередь, основано на идеях следующих работ 15,19,21,22.

Во-первых, для проведения исследования необходимо найти подходящий сценарий Индустрии 4.0 для выполнения аналитических задач. Вдохновленные другой работой авторов23, были определены два сценария (т.е. задачи анализа): (1) Обнаружение выбросов и (2) Распознавание кластеров. Оба сценария являются сложными и очень актуальны в контексте обслуживания высокопроизводительных производственных машин. Исходя из этого решения, протокол исследования, представленный в этой работе, определил шесть основных соображений:

  1. Решение, разработанное для исследования, будет технически основано на смарт-очках смешанной реальности (см. Таблицу материалов) и будет разработано как приложение смешанной реальности.
  2. Должен быть разработан подходящий тест, который способен отличить новичков от продвинутых пользователей.
  3. Показатели эффективности должны учитывать время и ошибки.
  4. Необходимо разработать настольное приложение, которое можно сравнить с иммерсивным аналитическим решением.
  5. Должна быть применена мера для оценки воспринимаемого уровня стресса.
  6. В дополнение к последнему пункту должны быть разработаны функции для снижения уровня стресса, пока пользователь выполняет процедуру двух упомянутых задач анализа (например, (1) Обнаружение выбросов и (2) Распознавание кластеров).

Основываясь на шести упомянутых пунктах, протокол исследования включает в себя следующую процедуру. Задачи outlier Detection и Cluster Recognition Analysis должны выполняться с помощью интеллектуальных очков смешанной реальности (см. Таблицу материалов). Поэтому было разработано новое приложение. Пространственные звуки облегчают выполнение задач анализа без увеличения умственных усилий. Голосовая функция должна облегчить навигацию, используемую для разработанного применения смарт-очков смешанной реальности (см. Таблицу материалов). Тест мысленного вращения должен быть основой для отличия новичков от продвинутых пользователей. Уровень стресса измеряется на основе анкеты. Производительность, в свою очередь, оценивается на основе (1) времени, необходимого пользователю для задач анализа, и на основе (2) ошибок, которые были сделаны пользователем для задач анализа. Производительность в смарт-стекле смешанной реальности сравнивается с выполнением тех же задач в недавно разработанном и сопоставимом 2D-настольном приложении. Кроме того, устройство для измерения уровня проводимости кожи используется для измерения уровня проводимости кожи в качестве возможного индикатора стресса. Результаты этого измерения подлежат дальнейшему анализу и не будут обсуждаться в данной работе. Авторы выявили в другом исследовании с тем же устройством, что требуются дополнительные соображения24.

На основе этого протокола рассматриваются следующие пять исследовательских вопросов (RQ):

RQ1: Влияют ли способности пространственного воображения участников на выполнение заданий?
RQ2: Происходит ли значительное изменение производительности задач с течением времени?
RQ3: Происходит ли существенное изменение производительности задач при использовании пространственных звуков в решении иммерсивной аналитики?
RQ4: Является ли разработанная иммерсивная аналитика стрессовой для пользователей?
RQ5: Работают ли пользователи лучше при использовании иммерсивного аналитического решения по сравнению с 2D-подходом?

На рисунке 1 обобщен представленный протокол в отношении двух шкал. Показаны разработанные и применяемые меры и их новизна по отношению к уровню взаимодействия. Поскольку уровень взаимодействия представляет собой важный аспект при разработке функций для настройки VR, рисунок 1 должен лучше показать новизну всего протокола, разработанного в этой работе. Хотя оценка аспектов в рамках двух используемых шкал является субъективной, их общая оценка основана на текущей соответствующей работе и следующих основных соображениях: Одним из важных принципов является использование абстракций среды для естественного взаимодействия, на которое пользователь настроился. Что касается рассматриваемого протокола, визуализация облаков точек кажется интуитивно понятной для пользователей, и распознавание шаблонов в таких облаках было признано управляемой задачей в целом. Еще один важный принцип заключается в наложении возможностей. Таким образом, использование пространственных звуков, используемых в рассматриваемом протоколе, является примером, поскольку они коррелируют с близостью искомого объекта. Авторы рекомендуют настраивать представления таким образом, чтобы большая часть информации располагалась в промежуточной зоне, которая наиболее важна для восприятия человека. Причина, по которой авторы не включили этот принцип, заключалась в том, чтобы побудить пользователя самостоятельно найти лучшее место, а также попытаться сориентироваться в пространстве визуализации данных, которое слишком велико, чтобы быть показанным сразу. В представленном подходе не было сделано никаких дальнейших соображений о характеристиках 3D-данных, которые будут показаны. Например, если измерение предполагается временным, можно было бы показать точечные диаграммы. Авторы считают этот вид визуализации в целом интересным в контексте Индустрии 4.0. Тем не менее, он должен быть сосредоточен на достаточно небольшом наборе визуализаций. Более того, предыдущая публикация уже была посвящена совместному анализу данных. В данной работе этот исследовательский вопрос был исключен из-за сложности других рассмотренных вопросов в данном исследовании. В представленной здесь настройке пользователь может исследовать иммерсивное пространство, гуляя вокруг. Другие подходы предлагают контроллеры для исследования виртуального пространства. В этом исследовании основное внимание уделяется удобству использования с помощью шкалы юзабилити системы (SUS). Другая предыдущая публикация провела исследование для экономических экспертов, но с VR-гарнитурами. В целом, и самое главное, это исследование жалуется на ограниченное поле зрения для других устройств, таких как используемые умные очки смешанной реальности в этой работе (см. Таблицу материалов). Их результаты показывают, что новички в области VR смогли эффективно использовать аналитический инструмент. Это согласуется с опытом этого исследования, хотя в этой работе новички не были классифицированы как имеющие VR или игровой опыт. В отличие от большинства VR-решений, смешанная реальность не закреплена на позиции, так как позволяет отслеживать реальную среду. Подходы VR, такие как упоминание об использовании специальных стульев для 360°, чтобы освободить пользователя от его рабочего стола. Авторы указывают, что проблемы восприятия влияют на производительность иммерсивной аналитики; например, с помощью теней. Для рассматриваемого исследования это неосуществимо, так как используемые умные очки смешанной реальности (см. таблицу материалов) не способны отображать тени. Обходным путем может быть виртуальный этаж, но такая установка выходит за рамки этого исследования. Обзорное исследование в области иммерсивной аналитики определило 3D-точечные диаграммы как одно из наиболее распространенных представлений многомерных данных. В целом, аспекты, показанные на рисунке 1 , не могут быть найдены в настоящее время скомпилированными в протокол, который исследует аспекты юзабилити иммерсивной аналитики для сценариев Индустрии 4.0.

Protocol

Все материалы и методы были одобрены Комитетом по этике Ульмского университета, и были выполнены в соответствии с утвержденными руководящими принципами. Все участники дали свое письменное информированное согласие. 1. Создание соответствующей учебной среды <p class="jove_conten…

Representative Results

Настройка мер для экспериментаДля задачи обнаружения выбросов были определены следующие показатели производительности: время, путь и угол. Измерения см. на рисунке 6 . Время регистрировалось до тех пор, пока не была найдена отмеченная красным ?…

Discussion

Что касается применения разработанных умных очков смешанной реальности (см. Таблицу материалов), то особенно полезными были два аспекта. Использование пространственных звуков для задачи обнаружения выброса было положительно воспринято с одной стороны (см. результаты RQ3). С др?…

Declarações

The authors have nothing to disclose.

Acknowledgements

Авторам нечего признавать.

Materials

edaMove movisens
HoloLens Microsoft
Matlab R2017a MathWorks
RPY2 GNU General Public License v2 or later (GPLv2+) (GPLv2+) https://pypi.org/project/rpy2/
SPSS 25.0 IBM

Referências

  1. Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , 169-189 (2019).
  2. Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , 8-12 (2003).
  3. Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
  4. Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
  5. Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , 1-23 (2018).
  6. Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53 (2018).
  7. Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. . Information Systems and Neuroscience. , (2018).
  8. Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248 (2019).
  9. Preece, J., et al. . Human-computer interaction. , (1994).
  10. Card, S. K. . The psychology of human-computer interaction. , (2018).
  11. Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
  12. Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
  13. Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
  14. Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
  15. Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
  16. Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656 (2019).
  17. System Usability Scale (SUS). Assistant Secretary for Public Affairs Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013)
  18. Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215 (2019).
  19. Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978 (2019).
  20. Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
  21. Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148 (2018).
  22. Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
  23. Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903 (2019).
  24. Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561 (2020).
  25. Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
  26. Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
  27. Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
  28. Towards hmd-based immersive analytics. HAL Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017)
  29. Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
  30. Fonnet, A., Prié, Y. Survey of Immersive Analytics. IEEE Transactions on Visualization and Computer. , (2019).
  31. Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, 1-24 (1970).
  32. Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
  33. Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
  34. . RPY2: A Simple and Efficient Access to R from Python Available from: https://sourceforge.net/projects/rpy/ (2020)
  35. Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
  36. Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).

Play Video

Citar este artigo
Hoppenstedt, B., Probst, T., Reichert, M., Schlee, W., Kammerer, K., Spiliopoulou, M., Schobel, J., Winter, M., Felnhofer, A., Kothgassner, O. D., Pryss, R. Evaluating Usability Aspects of a Mixed Reality Solution for Immersive Analytics in Industry 4.0 Scenarios. J. Vis. Exp. (164), e61349, doi:10.3791/61349 (2020).

View Video