Summary

Контролируемое вращение человеческих наблюдателей в среде виртуальной реальности

Published: April 21, 2022
doi:

Summary

Контролируемое физическое вращение человека-наблюдателя желательно для определенных экспериментальных, рекреационных и образовательных приложений. В этой статье описывается метод преобразования офисного поворотного кресла в среду для контролируемого физического вращения в среде виртуальной реальности.

Abstract

Низкая стоимость и доступность систем виртуальной реальности (VR) способствовали недавнему ускорению исследований восприятия и поведения в более натуралистических, мультисенсорных и иммерсивных условиях. Одной из областей исследований, которая особенно выиграла от использования систем VR, является мультисенсорная интеграция, например, интеграция визуальных и вестибулярных сигналов для создания чувства самодвижения. По этой причине доступный метод контролируемого физического вращения наблюдателя в виртуальной среде представляет собой полезное нововведение. В этой статье представлен метод автоматизации вращения офисного поворотного кресла, а также метод интеграции этого движения в опыт VR. На примере эксперимента показано, что физическое движение, полученное таким образом, интегрируется с визуальным опытом наблюдателя таким образом, чтобы это соответствовало ожиданиям; высокая интеграция, когда движение конгруэнтно визуальному стимулу, и низкая интеграция, когда движение неконгруэнтно.

Introduction

Многие сигналы объединяются в естественных условиях, чтобы создать ощущение самодвижения1. Создание такого чувства является целью во многих развлекательных, оздоровительных и образовательных приложениях VR 2,3,4,5, и простое понимание того, как сигналы объединяются, чтобы дать ощущение самодвижения, было долгосрочным усилием нейробиологов 6,7,8,9,10,11 . Тремя наиболее важными классами сигналов для восприятия самодвижения являются визуальный, вестибулярный и проприоцептивный1. Все три объединяются конгруэнтно во время естественного активного движения в реальном мире, чтобы обеспечить надежное и богатое чувство собственного движения. Чтобы понять роль каждого класса сигналов и получить представление о том, как сигналы сочетаются, исследователи традиционно лишали экспериментальных наблюдателей одного или нескольких сигналов и / или помещали сигналы в конфликт друг с другом 1,12. Например, для обеспечения вращательных вестибулярных сигналов при отсутствии проприоцептивных сигналов наблюдатель может пассивно поворачиваться моторизованным креслом 13,14,15,16. Было показано, что такое пассивное движение обеспечивает очень убедительные сигналы к самодвижению17. Контролируемые визуальные сигналы, обеспечиваемые гарнитурой VR, могут быть конгруэнтными или несовместимыми с движением стула или вообще отсутствовать. Проприоцептивные сигналы могут быть добавлены путем того, чтобы наблюдатель вращал стул своим ходом, например, толкая стул ногами.

Здесь представлен метод преобразования офисного поворотного кресла в среду для физического вращения тела наблюдателя и интеграции этого движения в визуальный (и потенциально слуховой) виртуальный опыт. Вращение стула может осуществляться под контролем наблюдателя, компьютерной программы или другого человека, такого как экспериментатор. Вращение, управляемое наблюдателем, может быть пассивным, делая вращение с приводом от двигателя функцией положения ручного контроллера наблюдателя, или активным, выключая стул и заставляя наблюдателя вращать стул самостоятельно.

Также представлено психофизическое приложение для этой системы chair/VR. Этот пример приложения подчеркивает полезность контролируемого пассивного вращения наблюдателя для понимания того, как сигналы самодвижения взаимодействуют для получения общего восприятия. Конкретная цель состояла в том, чтобы получить представление о давно изученном движении, вызванном зрительной иллюзией18,19. При индуцированном движении неподвижная или движущаяся цель перцептивно «отталкивается» от движущегося фона. Например, если красная целевая точка движется вертикально вверх против поля синих точек, движущихся вправо, целевая точка будет двигаться вверх, как и ожидалось, но также и влево, в сторону от направления движущегося фона 20,21. Цель состояла в том, чтобы проверить, является ли отталкивание результатом интерпретации фонового движения как вызванного самодвижением22,23.

Если это так, то добавление физического вращения, которое согласуется с фоновым визуальным движением, должно привести к более сильному ощущению, что фоновое движение связано с самовоскручиванием через неподвижную среду. Это, в свою очередь, должно привести к большей тенденции вычитать фоновое движение из целевого движения, чтобы получить целевое движение относительно стационарного мира23. Эта повышенная тенденция к вычитанию приведет к большему воспринимаемому целевому отталкиванию. Для проверки этого было добавлено физическое самоповорота, которое либо соответствовало, либо не соответствовало фоновому движению. Представленная здесь система позволила точно контролировать физическое движение и соответствующее визуальное движение для проверки этой гипотезы. В этом примере движение стула находилось под непосредственным контролем наблюдателя с помощью ручного контроллера системы VR.

Хотя в литературе есть много примеров моторизованных вращающихся стульев для различных приложений VR 24,25,26,27,28,29, авторы не знают о кратком наборе инструкций по созданию такого стула и интеграции его в интерактивный опыт VR. Ограниченные инструкции доступны для SwiVRChair29, который похож по структуре на представленный здесь, но который разработан с другой целью, то есть управляется компьютерной программой для улучшения погружения в среду VR, где движение стула может быть переопределено пользователем, поместив ноги на землю. Учитывая стоимость коммерчески доступных стульев30,31, создание одного «внутреннего» может быть более жизнеспособным вариантом для некоторых исследователей. Для тех, кто находится в этой ситуации, протокол ниже должен быть полезен.

Обзор системы
Протокол состоит из инструкций по преобразованию офисного кресла в вращающееся кресло с электрическим приводом и интеграции движения стула в опыт VR. Вся система, после завершения, состоит из четырех частей: механической, электрической, программной и VR-подсистем. Фотография всей системы показана на рисунке 1. Показанная система была той, которая использовалась в примере эксперимента.

Работа механической подсистемы заключается в физическом вращении верхнего вала поворотного кресла с помощью двигателя. Он состоит из офисного кресла, к которому прикреплены две вещи: шкив, закрепленный на верхнем вращающемся валу офисного кресла, и регулируемая монтажная рама, прикрепленная к нижней неподвижной части вала. К креплению прикреплен электрический шаговый двигатель, который имеет шкив, прикрепленный к его валу, который выравнивается со шкивом на верхнем валу офисного кресла. Ремень соединяет шкив двигателя со шкивом стула, позволяя двигателю вращать стул.

Электрическая подсистема обеспечивает питание двигателя и позволяет осуществлять электронное управление двигателем. Он состоит из драйвера двигателя, блока питания для двигателя, платы Arduino для сопряжения драйвера с компьютером и блока питания для Arduino (опционально). Плата Arduino – популярная небольшая плата среди любителей и профессиональных производителей чего-либо электронного, которая содержит программируемый микропроцессор, контроллеры, входные и выходные контакты и (в некоторых моделях) USB-порт (требуется здесь). Все электрические компоненты размещены в специально модифицированной коробке с электрической изоляцией. Поскольку сетевое питание требуется для трансформатора, который обеспечивает питание двигателя и для (опционального) источника питания Arduino, и поскольку двигатель требует высокого рабочего напряжения, все, кроме низковольтной электронной работы (этапы протокола 2.5-2.10 ниже), должны выполняться квалифицированным специалистом.

Программная подсистема состоит из программного обеспечения Arduino для программирования Arduino, программного обеспечения Unity для создания среды VR, программного обеспечения Steam для управления системой VR и Ardity — плагина Unity, который позволяет Unity взаимодействовать с платой Arduino. Это программное обеспечение было установлено на ноутбуке Gygabyte Sabre 15WV8 под управлением Microsoft Windows 10 Enterprise для примера эксперимента (рисунок 1).

Система VR состоит из головного дисплея (HMD), ручного контроллера и базовых станций для определения положения и ориентации шлема и контроллера в пространстве. Система VR, используемая для этого проекта, была HTC Vive Pro (рисунок 1).

Ниже описана процедура объединения этих компонентов для достижения виртуального опыта, который включает в себя физическое вращение (эксперимент или иное) с движением стула, управляемым наблюдателем через ручной контроллер или хозяином / экспериментатором с помощью компьютерной мыши или потенциометра. Заключительная часть протокола состоит из шагов, необходимых для инициирования опыта VR. Обратите внимание, что метод кодирования Unity для проведения испытаний и сбора данных выходит за рамки данной рукописи. Некоторые этапы, особенно для механической подсистемы, требуют определенного оборудования мастерской и определенного уровня мастерства. В принципе, представленные методы могут быть скорректированы в соответствии с наличием этих ресурсов. Предлагаются альтернативы для некоторых из более технических шагов.

Protocol

ПРЕДУПРЕЖДЕНИЕ: Электромонтажные работы должны выполняться квалифицированным специалистом. 1. Процедура настройки механической системы Прикрепите основной шкив к верхнему валу поворотного кресла. Снимите верхний вал.ПРИМЕЧАНИЕ: Обычно это включа?…

Representative Results

Цель примера эксперимента состояла в том, чтобы определить, влияет ли добавление физического вращения — конгруэнтного или несовместимого с визуальным фоновым движением в сцене — на воспринимаемое направление движущейся цели в этой сцене. Различие между конгруэнтным и неконгруэнтны?…

Discussion

В этой статье представлен метод добавления автоматизированного вращения офисного кресла под управлением наблюдателя или экспериментатора, а также сопутствующий метод интеграции этого движения в виртуальный опыт. Критические шаги включают механическое крепление двигателя к креслу, …

Disclosures

The authors have nothing to disclose.

Acknowledgements

Эта работа была поддержана грантами Австралийского исследовательского совета DP160104211, DP190103474 и DP190103103.

Materials

48 V DC power supply (motor) Meanwell RSP-320-48 https://www.meanwellaustralia.com.au/products/rsp-320
5 V DC power supply (arduino) Jaycar MP3295 https://www.jaycar.com.au/15w-5v-3a-enclosed-power-supply/p/MP3295?pos=5&queryId=dda344422ab16c6
7f558551ac0acbd40
Ardity plugin for Unity Open Source https://ardity.dwilches.com/
Arduino MEGA 2560 Jaycar XC4420 https://www.jaycar.com.au/duinotech-mega-2560-r3-board-for-arduino/p/XC4420?pos=2&queryId=901771805f4bf6e0
ec31d41601d14dc3
Arduino software Arduino https://www.arduino.cc/en/software
Belt Motion Dynamics RFTB10010 Choose a size that suits the application. We used 60 tooth. https://www.motiondynamics.com.au/polyurethane-timing-belts-16mm-t-10/
Bracket bolts (holding motor) The Fastner Factory 161260 x 4. https://www.thefastenerfactory.com.au/bolts-and-nuts/all-stainless-bolts/stainless-button-socket-head-cap-screws/stainless-steel-button-socket-head-cap-screw-m6-x-35mm-100pc
Bracket bolts (not holding motor) The Fastner Factory 161258 x 4. https://www.thefastenerfactory.com.au/bolts-and-nuts/all-stainless-bolts/stainless-button-socket-head-cap-screws/stainless-steel-button-socket-head-cap-screw-m6-x-25mm-100pc
Clamp Angle Iron Austral Wright Metals 50004813 x 2. https://www.australwright.com.au/products/stainless-steel/stainless-steel-bar-round-flat-angle-square/
Clamp bolts The Fastner Factory 161265 x 4. https://www.thefastenerfactory.com.au/bolts-and-nuts/all-stainless-bolts/stainless-button-socket-head-cap-screws/stainless-steel-button-socket-head-cap-screw-m6-x-70mm-100pc  
Clamp leaves (stainless flat bar) Austral Wright Metals 50004687 x 8. https://www.australwright.com.au/products/stainless-steel/stainless-steel-bar-round-flat-angle-square/
Cover (acrylic) Bunnings Warehouse 1010489 https://www.bunnings.com.au/suntuf-900-x-600-x-5mm-grey-acrylic-sheet_p1010489
Cover bolts/nuts Bunnings Warehouse 247292 x 4. https://www.bunnings.com.au/pinnacle-m3-x-16mm-stainless-steel-hex-head-bolts-and-nuts-12-pack_p0247292
Cover brackets Bunnings Warehouse 44061 x 4. https://www.bunnings.com.au/zenith-20mm-zinc-plated-angle-bracket-16-pack_p0044061
Emergency shut-off switch Jaycar SP0786 https://www.jaycar.com.au/latching-emergency-stop-switch/p/SP0786?pos=1&queryId=5abe9876cf78dc3d
d26b9067fbc36f74
Hybrid stepper motor and driver Vevor ? Closed Loop Stepper Motor Nema 34 12NM Servo Motor Hybrid Driver https://vevor.com.au/products/1712oz-in-nema34-closed-loop-stepper-motor-12nm-hybrid-servo-driver-hsc86-kit?variant=33058303311975
IEC mains power connector RS components 811-7213 https://au.rs-online.com/web/p/iec-connectors/8117213
Instrument case (housing) Jaycar HB6381 https://www.jaycar.com.au/abs-instrument-case-with-purge-valve-mpv2/p/HB6381
LED Jaycar ZD0205 https://www.jaycar.com.au/green-10mm-led-100mcd-round-diffused/p/ZD0205?pos=11&queryId=e596cbd3d71e86
37ab9340cee51175e7&sort=
relevance
Main pulley (chair) Motion Dynamics ALTP10020 Choose a size that suits the application. More teeth = slower rotation. We used 36 tooth. https://www.motiondynamics.com.au/timing-pulleys-t10-16mm.html
Motor attachment bars (Stainless flat bar) Austral Wright Metals 50004687 x 4. https://www.australwright.com.au/products/stainless-steel/stainless-steel-bar-round-flat-angle-square/
Mounting brackets (stainless flat bar) Austral Wright Metals 50004687 x 2. https://www.australwright.com.au/products/stainless-steel/stainless-steel-bar-round-flat-angle-square/
Nuts The Fastner Factory 161989 x 12. https://www.thefastenerfactory.com.au/stainless-steel-hex-nylon-insert-lock-nut-m6-100pc
On/off switch Jaycar SK0982 https://www.jaycar.com.au/dpdt-illuminated-rocker-large-red/p/SK0982?pos=4&queryId=88e0c5abfa682b74
fa631c6d513abc73&sort=relevance
Potentiometer Jaycar RP8610 https://www.jaycar.com.au/10k-ohm-logarithmic-a-single-gang-9mm-potentiometer/p/RP8610?pos=4&queryId=0d1510281ba100d
174b8e3d7f806a020
Pulley screws The Fastner Factory 155856 x 5. https://www.thefastenerfactory.com.au/stainless-steel-hex-socket-head-cap-screw-m4-x-25mm-100pc
resistor 150 Ohm Jaycar RR2554 https://www.jaycar.com.au/150-ohm-1-watt-carbon-film-resistors-pack-of-2/p/RR2554?pos=19&queryId=48c6317c73fd361
a42c835398d282c4a&sort=
relevance
Small pulley (motor) Motion Dynamics ALTP10020 Choose a size that suits the application. More teeth = faster rotation. We used 24 tooth. https://www.motiondynamics.com.au/timing-pulleys-t10-16mm.html
Small toggle switch Jaycar ST0555 https://www.jaycar.com.au/sealed-mini-toggle-switch/p/ST0555?pos=14&queryId=066b989a151d83
31885c6cec92fba517&sort=
relevance
Steam software Valve Corporation https://store.steampowered.com/
SteamVR plugin for Steam Valve Corporation https://store.steampowered.com/app/250820/SteamVR/
Unity software Unity Technologies https://unity3d.com/get-unity/download
VR system Scorptec 99HANW007-00 HTC Vive Pro with controllers and base stations. https://www.scorptec.com.au/product/gaming-peripherals/vr/72064-99hanw007-00?gclid=Cj0KCQiA5OuNBhCRARIsA
CgaiqX8NjXZ9F6ilIpVmYEhhanm
GA67xLzllk5EmjuG0gnhu4xmiE
_RwSgaAhn8EALw_wcB

References

  1. Campos, J., Bülthoff, H., Murray, M. M., Wallace, M. T. Multimodal integration during self-motion in virtual reality. The Neural Bases of Multisensory. , (2012).
  2. Radianti, J., Majchrzak, T. A., Fromm, J., Wohlgenannt, I. A systematic review of immersive virtual reality applications for higher education: Design elements, lessons learned, and research agenda. Computers & Education. 147, 103778 (2020).
  3. Madshaven, J. M. Investigating the user experience of virtual reality rehabilitation solution for biomechatronics laboratory and home environment. Frontiers in Virtual Reality. 2, 645042 (2021).
  4. Fan, Z. Design of physical training motion simulation system based on virtual reality technology. 2021 The 13th International Conference on Computer Modeling and Simulation. Association for Computing Machinery. , 81-86 (2021).
  5. Roettl, J., Terlutter, R. The same video game in 2D, 3D or virtual reality – How does technology impact game evaluation and brand placements. PLoS One. 13 (7), 0200724 (2018).
  6. Riecke, B. E., Sigurdarson, S., Milne, A. P. Moving through virtual reality without moving. Cognitive Processing. 13, 293-297 (2012).
  7. Fauville, G., Queiroz, A. C. M., Woolsey, E. S., Kelly, J. W., Bailenson, J. N. The effect of water immersion on vection in virtual reality. Scientific Reports. 11 (1), 1022 (2021).
  8. Bernhard, E. R., Jörg, S. -. P., Marios, N. A., Markus Von Der, H., Heinrich, H. B. Cognitive factors can influence self-motion perception (vection) in virtual reality. ACM Transactions on Applied Perception. 3 (3), 194-216 (2006).
  9. Gibson, J. J. . The perception of the visual world. , (1950).
  10. Angelaki, D. E., Gu, Y., Deangelis, G. C. Visual and vestibular cue integration for heading perception in extrastriate visual cortex. Journal of Physiology. 589, 825-833 (2011).
  11. Badcock, D., Palmisano, S., May, J. G., Hale, K. S., Stanney, K. M. Vision and virtual environments. Handbook of Virtual Environments: Design, Implementation, and Applications. , 39-85 (2014).
  12. Kaliuzhna, M., Prsa, M., Gale, S., Lee, S. J., Blanke, O. Learning to integrate contradictory multisensory self-motion cue pairings. Journal of Vision. 15 (1), (2015).
  13. Wilkie, R. M., Wann, J. P. The role of visual and nonvisual information in the control of locomotion. Journal of Experimental Psychology: Human Perception and Performance. 31 (5), 901-911 (2005).
  14. Sinha, N., et al. Perception of self motion during and after passive rotation of the body around an earth-vertical axis. Progress in Brain Research. 171, 277-281 (2008).
  15. Tremblay, L., et al. Biases in the perception of self-motion during whole-body acceleration and deceleration. Frontiers in Integrative Neuroscience. 7, 90 (2013).
  16. Nooij, S. A. E., Bockisch, C. J., Bülthoff, H. H., Straumann, D. Beyond sensory conflict: The role of beliefs and perception in motion sickness. PLoS One. 16 (1), 0245295 (2021).
  17. Harris, L., et al. Simulating self-motion I: Cues for the perception of motion. Virtual Reality. 6 (2), 75-85 (2002).
  18. Carr, H. A., Hardy, M. C. Some factors in the perception of relative motion: A preliminary experiment. Psychological Review. 27, 24-37 (1920).
  19. Reinhardt-Rutland, A. H. Induced movement in the visual modality: An overview. Psychological Bulletin. 103, 57-71 (1988).
  20. Zivotofsky, A. Z., et al. Tracking of illusory target motion: Differences between gaze and head responses. Vision Research. 35 (21), 3029-3035 (1995).
  21. Farrell-Whelan, M., Wenderoth, P., Wiese, M. Studies of the angular function of a Duncker-type induced motion illusion. Perception. 41 (6), 733-746 (2012).
  22. Warren, P. A., Rushton, S. K. Optic flow processing for the assessment of object movement during ego movement. Current Biology. 19 (18), 1555-1560 (2009).
  23. Fajen, B. R., Matthis, J. S. Visual and non-visual contributions to the perception of object motion during self-motion. PLoS One. 8 (2), 55446 (2013).
  24. Duminduwardena, U. C., Cohen, M. Controlling the Schaire Internet Chair with a mobile device. Proceedings CIT: The Fourth International Conference on Computer and Information Technology. , 215-220 (2004).
  25. Ashiri, M., Lithgow, B., Mansouri, B., Moussavi, Z. Comparison between vestibular responses to a physical and virtual reality rotating chair. Proceedings of the 11th Augmented Human International Conference. , (2020).
  26. Koenig, E. A new multiaxis rotating chair for oculomotor and vestibular function testing in humans. Neuro-ophthalmology. 16 (3), 157-162 (1996).
  27. Mowrey, D., Clayson, D. Motion sickness, ginger, and psychophysics. The Lancet. 319 (8273), 655-657 (1982).
  28. Sanmugananthan, P., Nguyen, N., Murphy, B., Hossieni, A. Design and development of a rotating chair to measure the cervico-ocular reflex. Cureus. 13 (10), 19099 (2021).
  29. Gugenheimer, J., Wolf, D., Haas, G., Krebs, S., Rukzio, E. SwiVRChair: a motorized swivel chair to nudge users’ orientation for 360 degree storytelling in virtual reality. 1996-2000. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems. , (2016).
  30. . Roto VR Chair Available from: https://www.rotovr.com/ (2021)
  31. . Yaw Motion Simulator Available from: https://www.yawvr.com/ (2021)
  32. Warren, P. A., Rushton, S. K. Perception of object trajectory: Parsing retinal motion into self and object movement components. Journal of Vision. 7 (11), 1-21 (2007).
  33. Bonnen, K., Burge, J., Yates, J., Pillow, J., Cormack, L. K. Continuous psychophysics: Target-tracking to measure visual sensitivity. Journal of Visualized Experiments: JoVE. (3), (2015).
  34. . SimXperience Available from: https://www.simxperience.com/ (2021)
  35. Harris, L. R., Jenkin, M., Zikovitz, D. C. Visual and non-visual cues in the perception of linear self-motion. Experimental Brain Research. 135, 12-21 (2000).
  36. . DOF Reality Motion Simulators Available from: https://www.dofreality.com/ (2021)
  37. . Next Level Racing Available from: https://nextlevelracing.com/ (2022)
  38. . Motion Systems Available from: https://motionsystems.eu/ (2022)
  39. . Redbird Flight Simulations Available from: https://simulators.redbirdflight.com/ (2022)
  40. Teufel, H. J., et al. MPI motion simulator: development and analysis of a novel motion simulator. Proceedings of the AIAA Modeling and Simulation Technologies Conference and Exhibit (AIAA 2007). , (2007).

Play Video

Cite This Article
Falconbridge, M., Falconbridge, P., Badcock, D. R. Controlled Rotation of Human Observers in a Virtual Reality Environment. J. Vis. Exp. (182), e63699, doi:10.3791/63699 (2022).

View Video