Summary

Laboratorio de control en red de realidad virtual en línea aplicado en la educación en ingeniería de control

Published: February 23, 2024
doi:

Summary

Este estudio describe un sistema de laboratorio de realidad virtual (VR) en línea basado en WebVR que proporciona a los usuarios capacidades de experimentación inmersiva e interactiva compatibles con dispositivos de realidad virtual. El sistema propuesto no solo ayuda a mejorar el realismo de la participación de los usuarios en los experimentos en línea, sino que también es aplicable a una amplia gama de marcos de laboratorio en línea.

Abstract

Los laboratorios en línea juegan un papel importante en la educación en ingeniería. En este trabajo se analiza un sistema de laboratorio virtual basado en WebVR. El usuario ingresa al entorno de laboratorio simulado a través de un dispositivo de realidad virtual (VR) e interactúa con el equipo experimental, de manera similar a los experimentos prácticos en un laboratorio físico. Además, el sistema propuesto permite a los usuarios diseñar sus propios algoritmos de control y observar los efectos de diferentes parámetros de control para mejorar su comprensión del experimento. Para ilustrar las características del laboratorio virtual propuesto, en este artículo se proporciona un ejemplo, que es un experimento sobre un sistema de péndulo invertido doble. Los resultados experimentales muestran que el sistema propuesto permite a los usuarios realizar experimentos de una manera inmersiva e interactiva y proporciona a los usuarios un proceso experimental completo desde el diseño principal hasta la operación experimental. También se proporciona una solución para convertir cualquier laboratorio virtual en un laboratorio virtual basado en WebVR para la educación y la formación.

Introduction

Con el avance de Internet y la popularidad de los dispositivos móviles, la demanda de educación en líneaestá aumentando. En particular, durante períodos de epidemias generalizadas, las instituciones educativas tradicionales a menudo enfrentan desafíos para llevar a cabo la instrucción presencial de manera efectiva, lo que destaca la importancia de la educación en línea como un enfoque pedagógico importante2. Los cursos teóricos son relativamente fáciles de transferir a plataformas en línea. Pueden llevarse a cabo con la ayuda de herramientas como el software de videoconferencia a distancia y los cursos en línea masivos y abiertos (MOOC)3. Sin embargo, los cursos prácticos se enfrentan a mayores desafíos, ya que requieren que los usuarios realicen experimentos prácticos en laboratorios tradicionales.

Los investigadores han hecho contribuciones significativas para abordar el desafío de hacer que los equipos experimentales estén disponibles en línea. En las últimas dos décadas, se han realizado amplios estudios sobre los conceptos y tecnologías de los laboratorios en línea 4,5. Los laboratorios en línea suelen abarcar laboratorios remotos6, laboratorios virtuales7 y laboratorios híbridos8. Estos enfoques de laboratorio en línea han encontrado una amplia aplicación en varias disciplinas de ingeniería, incluida la ingeniería de control9, la ingeniería mecánica10 y la ingeniería de software11.

Si bien se han logrado avances significativos en términos de la conveniencia de las operaciones experimentales en laboratorios en línea12, los usuarios aún perciben una falta de realismo y operaciones prácticas similares en comparación con los entornos de laboratorio tradicionales, lo que afecta su experiencia general13. Esta discrepancia en la experiencia del usuario motiva nuevos esfuerzos de investigación y desarrollo para mejorar el realismo y la participación en los entornos de laboratorio en línea.

Para resolver los problemas anteriores, se ha aplicado la tecnología de realidad virtual (RV) en laboratorios virtuales14 para mejorar la inmersión e interactividad de los laboratorios virtuales15. Los laboratorios virtuales basados en realidad virtual brindan a los usuarios una experiencia experimental cercana a la realidad. Los usuarios pueden completar tareas grupales en el proceso de educación arquitectónica a través de avatares16, realizando el proceso de topografía arquitectónica juntos de manera inmersiva, tal como lo harían en un entorno de aula tradicional. Además, los laboratorios virtuales basados en realidad virtual permiten a los usuarios ingresar al entorno inmersivo de los laboratorios virtuales e interactuar con equipos experimentales virtuales mediante el uso de auriculares y manijas de realidad virtual17, mejorando las habilidades prácticas de los usuarios18. Para diferentes fines educativos, podemos diseñar diferentes entornos virtuales. Por ejemplo, la RV puede combinarse con la teoría de la gamificación para mejorar la enseñanza de la ingeniería para el público en general y mejorar la eficacia de la difusión de conocimientos difíciles de entender, como el desarrollo sostenible19.

Al igual que los laboratorios en línea, en particular los laboratorios virtuales, los laboratorios virtuales basados en WebVR tienen muchas ventajas. En primer lugar, rompen las limitaciones de tiempo y espacio de los laboratorios tradicionales, y los usuarios pueden realizar experimentos en cualquier momento y en cualquier lugar20. En segundo lugar, los laboratorios en línea pueden proporcionar un entorno experimental más seguro para evitar posibles peligros y accidentes en las operaciones experimentales21. En tercer lugar, los laboratorios virtuales también pueden proporcionar más recursos experimentales y situaciones de simulación para ampliar el alcance experimental y la experiencia de los usuarios22. Y lo que es más importante, los laboratorios virtuales basados en WebVR pueden estimular el interés por el aprendizaje y la iniciativa de los usuarios y mejorar su experiencia experimental y su participación23.

En comparación con otros laboratorios virtuales basados en realidad virtual, el laboratorio virtual basado en WebVR combina a la perfección los méritos de los laboratorios virtuales basados en realidad virtual con los laboratorios en línea basados en la web. Virtual Instrument Systems in Reality (VISIR)24 construye un laboratorio remoto electrónico analógico básico mediante la construcción de placas de circuitos reales. Los usuarios pueden realizar experimentos simulados en la interfaz web para completar experimentos reales de placa de circuito. Weblab-Deusto8 construye el laboratorio Field Programmable Gate Array (FPGA) donde los usuarios pueden interactuar con el modelo tridimensional (3D) del tanque de agua en la plataforma web sin depender de otros complementos. El sistema propuesto en este documento presenta la capacidad de integrar sin problemas WebVR como un componente modular en la infraestructura de laboratorio virtual existente. Esta integración se puede lograr sin destruir el marco arquitectónico original del laboratorio, preservando así la estructura y función básica del laboratorio. Esta integración también es aplicable al marco de un laboratorio en línea con un front-end y un back-end separados.

El sistema propuesto en este artículo se implementa sobre la base del Laboratorio de Sistemas de Control en Red (NCSLab)25, que hereda la flexibilidad, interactividad, modularidad y características multiplataforma del sistema NCSLab. Los usuarios pueden realizar experimentos de acuerdo con diferentes módulos y también pueden personalizar los algoritmos y las interfaces de configuración, proporcionando a los usuarios suficiente espacio para la autorrealización. Los experimentos en línea se realizan en tiempo real de acuerdo con los algoritmos ejecutados por el usuario. Los usuarios pueden interactuar con el modelo virtual para cambiar las entradas del algoritmo experimental al realizar experimentos de realidad virtual e incluso pueden cambiar los parámetros del algoritmo de control a través de los componentes para que los usuarios puedan experimentar el principio del algoritmo de control de manera más realista.

Los laboratorios virtuales basados en WebVR ofrecen un gran potencial para la educación en línea. Puede proporcionar una experiencia experimental inmersiva, superar las limitaciones de los laboratorios tradicionales y promover las habilidades prácticas y el pensamiento innovador entre los usuarios.

Protocol

Este estudio cumplió con las directrices del Comité de Ética de Investigación en Seres Humanos de la Universidad de Wuhan, y se obtuvo el consentimiento informado para todos los datos experimentales. En este artículo, se discuten los pasos experimentales para el sistema de péndulo invertido doble, y todos los pasos se realizan en el NCSLab basado en WebVR. 1. Acceda al sistema NCSLab basado en WebVR Abra un navegador web que sea compatible con WebVR. Introduzca el localizador uniforme de recursos (URL) del NCSLab basado en WebVR para acceder al sistema. Haga clic en el botón Iniciar experimento para iniciar sesión en el sistema NCSLab. Si es la primera vez que inicia sesión en el sistema, realice un registro de cuenta. Inicie sesión en el sistema NCSLab, seleccione diferentes experimentos en la barra de menú de la izquierda y, en este caso, elija el experimento de péndulo invertido doble. Acceda a la subpágina 3D en la página principal.NOTA: Hay cinco subpáginas en la página principal, comenzando con la primera, que es la introducción del modelo de equipo. Contiene una animación de modelo 3D, así como documentación. Al visitar esta página, los usuarios pueden comprender el principio del sistema de doble péndulo invertido, lo que permite la ejecución conveniente de experimentos posteriores. Solicite el control de experimentos haciendo clic en el botón Solicitar control para garantizar el uso eficiente de los recursos. Esto otorgará a los usuarios 30 minutos de tiempo de experimento.NOTA: En el caso de los experimentos virtuales, se puede permitir que 500 usuarios realicen experimentos al mismo tiempo. Ingrese a la subpágina de información de la planta para obtener acceso a detalles completos sobre el aparato experimental. Esto abarca información sobre el equipo que está actualmente en uso, el equipo que permanece sin usar y el equipo relacionado con el mantenimiento. Elija el algoritmo de control predeterminado del sistema para descargarlo en la subpágina Algoritmo experimental . Alternativamente, vaya a la subpágina Diseño de algoritmo para diseñar un algoritmo diferente.Para diseñar un nuevo algoritmo de control, haga clic en el botón Crear nuevo modelo en la subpágina de diseño del algoritmo para ingresar a la interfaz de diseño.NOTA: El proceso de diseño de algoritmos es muy similar al de MATLAB/Simulink, en el que los usuarios construyen el diagrama de bloques del algoritmo de control a través de un enfoque intuitivo de arrastrar y soltar, empleando varios módulos para crear la lógica de control deseada. Construya el diagrama de bloques completo del algoritmo de control, como se muestra en la figura 1, y siga los pasos que se describen a continuación. Seleccione el módulo del sistema de péndulo invertido doble del modelo de dispositivo de la izquierda. Elija el módulo de ganancia para diseñar la matriz de retroalimentación para el controlador de regulador cuadrático lineal (LQR). Seleccione la señal de paso como entrada y agregue otros módulos. Haga doble clic en el módulo para ver información detallada y modificar la configuración de los parámetros. Por ejemplo, haga doble clic en el módulo de señal constante para modificar el valor de la señal constante. Haga clic en el botón Iniciar simulación al completar el diseño del algoritmo de control. Al finalizar la simulación, observe la efectividad del control del algoritmo diseñado. Si no está satisfecho con los resultados de la simulación, ajuste los parámetros de los controladores LQR hasta que se logre un algoritmo de control con un rendimiento mejorado. Haga clic en el botón Compilar para generar el algoritmo de control. Después de la compilación, el algoritmo se almacena en el área privada del algoritmo de la subpágina del algoritmo experimental y en la subpágina del diseño del algoritmo. Descargue el algoritmo de control en la subpágina del algoritmo experimental haciendo clic en el botón Descargar algoritmo ubicado en el lado derecho de la sección del algoritmo de control. Seleccione una configuración experimental y realice experimentos en la subpágina Configuración de supervisión . El sistema proporciona una configuración predefinida para cumplir con los requisitos experimentales generales de los usuarios.NOTA: Los usuarios tienen la flexibilidad de hacer clic en el botón Crear nuevo monitor para crear una configuración de monitoreo personalizada adaptada a sus demandas experimentales específicas. Personalice la configuración de supervisión y elija entre una variedad de componentes disponibles en la interfaz de edición de la subpágina de configuración de supervisión, como se muestra en la Figura 2. Estos componentes incluyen componentes de variables de entrada, componentes de visualización de curvas de variables de salida y componentes de modelos 3D. Para experimentos de realidad virtual, seleccione el componente Modelo 3D. El componente de modelo 3D permite a los usuarios integrar un modelo 3D en la configuración de supervisión. Para facilitar la configuración de parámetros, ajuste los parámetros de cada componente, que están directamente vinculados a las variables de parámetros del sistema. Haga doble clic en un componente y acceda a la ventana para seleccionar los parámetros opcionales relevantes dentro del sistema experimental. Los usuarios tienen la flexibilidad de optimizar el diseño de la configuración de supervisión mediante el cambio de tamaño de los componentes. Para ello, arrastre los bordes de los componentes respectivos a las dimensiones deseadas. Haga clic en el botón Guardar para guardar la configuración de supervisión diseñada para su uso futuro en experimentos posteriores, lo que ahorra tiempo y esfuerzo para configurar el sistema de supervisión repetidamente.NOTA: La configuración de monitoreo solo se puede realizar después de que el algoritmo de control se haya descargado correctamente. Haga clic en el botón Iniciar experimento de la ventana para iniciar el experimento. Haga clic en el botón VR en la esquina inferior derecha del componente del modelo 3D para iniciar el experimento de VR.NOTA: El experimento de realidad virtual está incrustado en la página web. Cuando los usuarios lo usan por primera vez, el navegador puede solicitarles en la esquina superior izquierda que permitan que el navegador use la funcionalidad de realidad virtual, seleccione Permitir para continuar. 2. Selección del método de acceso Use una extensión de emulador de WebVR. Para participar en la experimentación con este método, instale la extensión del emulador WebVR, que está disponible para buscar y descargar desde la tienda de extensiones del navegador.NOTA: La extensión del emulador de WebVR ayuda a los usuarios a ejecutar contenido de WebVR en un navegador web y proporciona el casco de realidad virtual virtual y el entorno del controlador de controladores sin necesidad de usar el dispositivo de realidad virtual real. Utilice dispositivos de realidad virtual compatibles con WebVR. Si se utilizan dispositivos de realidad virtual por primera vez, se necesita la configuración básica del entorno. Primero, encienda el auricular y el controlador para iniciar el sistema. Configure el programa ROOM inicial en los auriculares. Siguiendo las señales visuales que se muestran en la pantalla de los auriculares, use los controladores de manija para calibrar cuidadosamente los límites y la orientación del entorno del espacio virtual. Finalmente, establezca una conexión de transmisión entre el auricular y la computadora.NOTA: Este es el segundo método para acceder al sistema propuesto. Los dispositivos de realidad virtual generalmente incluyen un auricular y un par de controladores de manija. Los dispositivos de realidad virtual tienen tiendas integradas donde los usuarios pueden descargar navegadores habilitados para WebVR. Alternativamente, los usuarios pueden usar el navegador incorporado, que generalmente es compatible con WebVR. Cabe destacar que varios dispositivos de realidad virtual pueden emplear distintos métodos de conectividad. 3. Procedimiento experimental Ajuste la perspectiva para encontrar la posición óptima para realizar el experimento del sistema de péndulo invertido doble.Para los usuarios que usan la extensión del emulador de WebVR, abra las Herramientas para desarrolladores, busque la extensión de WebVR y manipule el dispositivo de realidad virtual con el mouse para ajustar la perspectiva, como se muestra en la figura 3. Para los usuarios que emplean dispositivos de realidad virtual, sumérjase en el entorno experimental virtual y determine la posición experimental óptima a través de movimientos físicos. Interactúe con el sistema de péndulo invertido doble utilizando el controlador de manija como se describe a continuación.Acerque el mango al cubo. Presione el botón Trigger para recoger el cubo y el sistema de péndulo doble invertido dejará de moverse. Al mover el control, controle la posición del cubo. Suelte el cubo una vez que esté en la posición deseada soltando el botón de disparo. La posición ahora se designa como el punto de ajuste posterior para el carro, como se muestra en la Figura 3. Observe el proceso de movimiento del sistema de péndulo invertido doble. Manipulando el servomotor de corriente alterna (CA), ponga la correa en movimiento. Bajo el impulso de la correa, el péndulo invertido puede moverse a lo largo del riel guía, La estructura del sistema del péndulo invertido doble se dilucida en la Figura 4. Eventualmente, el doble péndulo invertido se estabilizará en el punto de ajuste. Anime a los usuarios a manipular iterativamente la posición del cubo, ajustar continuamente el punto de ajuste del carro y observar meticulosamente el comportamiento dinámico del sistema de péndulo invertido doble.

Representative Results

El sistema de experimento de realidad virtual presentado proporciona a los usuarios la capacidad de participar en experimentos inmersivos utilizando dispositivos de realidad virtual, mejorando así la interacción entre los usuarios y el equipo experimental. Además, el sistema está basado en la web, lo que elimina la necesidad de que los usuarios configuren entornos locales. Este diseño permite la escalabilidad del sistema, lo que lo hace adecuado para aplicaciones a gran escala y con fines educativos y de capacitaci?…

Discussion

El protocolo presentado describe un sistema de laboratorio virtual que permite a los usuarios realizar experimentos de realidad virtual en línea, pero también utiliza un controlador de PC de bajo costo28, que es propicio para la promoción de aplicaciones a gran escala. Los usuarios pueden adquirir conocimientos sobre todo el proceso experimental, desde los principios y algoritmos hasta las operaciones experimentales prácticas. Este sistema permite a los usuarios sumergirse en los experimentos,…

Divulgaciones

The authors have nothing to disclose.

Acknowledgements

Este trabajo fue apoyado en parte por la Fundación Nacional de Ciencias Naturales de China en el marco de la Subvención 62103308 y la Subvención 62073247, en parte por los Fondos de Investigación Fundamental para las Universidades Centrales en virtud de la Subvención 2042023kf0095, en parte por la Fundación de Ciencias Postdoctorales de China en el marco de la Subvención 2022T150496, y en parte por la Financiación del Proyecto de Tecnología Experimental de la Universidad de Wuhan en el marco de la Subvención WHU-2022-SYJS-10.

Materials

3DS Max Autodesk 3ds Max professional 3D modeling, rendering, and animation software enables you to create expansive worlds and premium designs.
https://www.autodesk.com/ca-en/products/3ds-max/overview
Meta Quest 2 Meta Platforms 10036728220341 meta quest 2 is a standalone virtual reality headset that allows users to experience WebVR content.
https://www.meta.com/it/quest/products/quest-2/
Unity Unity Technologies Unity is the platform for real-time 3D interactive content creation and operation.
All creators, including game developers, artists, architects, automotive designers, film and television, use Unity to bring their ideas to life.
The Unity platform offers a complete suite of software solutions for creating, operating, and realizing any real-time interactive 2D and 3D content
on cell phones, tablets, PCs, game consoles, augmented reality, and virtual reality devices.
https://unity.com/cn

Referencias

  1. Martin, F., Sun, T., Westine, C. D. A systematic review of research on online teaching and learning from 2009 to 2018. Comput Educ. 159, 104009 (2020).
  2. Al-Nsour, R., Alkhasawneh, R., Alqudah, S. Online engineering education: Laboratories during the pandemic – A case study. 2022 Intermountain Eng, Tech Comp. , 1-4 (2022).
  3. Chirikov, I., Semenova, T., Maloshonok, N., Bettinger, E., Kizilcec, R. F. Online education platforms scale college stem instruction with equivalent learning outcomes at lower cost. Sci Adv. 6 (15), (2020).
  4. Gamage, K. A. A., et al. Online delivery of teaching and laboratory practices: continuity of university programmes during covid-19 pandemic. Educ Sci. 10 (10), 291 (2020).
  5. Kefalis, C., Drigas, A. Web based and online applications in stem education. Int J Eng Pedagogy. 9 (4), 76-85 (2019).
  6. Maiti, A., et al. A framework for analyzing and evaluating architectures and control strategies in distributed remote laboratories. IEEE Trans Learn Technol. 11 (4), 441-455 (2018).
  7. Liang, Y., Liu, G. Design of large scale virtual equipment for interactive hil control system laboratories. IEEE Trans Learn Technol. 11 (3), 376-388 (2018).
  8. Rodriguez-Gil, L., Garcia-Zubia, J., Orduna, P., Lopez-De-Ipina, D. Towards new multiplatform hybrid online laboratory models. IEEE Trans Learn Technol. 10 (3), 318-330 (2017).
  9. Chevalier, A., Copot, C., Ionescu, C., De Keyser, R. A three-year feedback study of a remote laboratory used in control engineering studies. IEEE Trans Educ. 60 (2), 127-133 (2017).
  10. Wang, N., et al. A novel wiki-based remote laboratory platform for engineering education. IEEE Trans Learn Technol. 10 (3), 331-341 (2017).
  11. Cruz-Benito, J., et al. Usalpharma: a software architecture to support learning in virtual worlds. IEEE Revista Iberoamericana De Tecnologias Del Aprendizaje. 11 (3), 194-204 (2016).
  12. Letowski, B., Lavayssière, C., Larroque, B., Schröder, M., Luthon, F. A fully open source remote laboratory for practical learning. Electronics. 9 (11), 1832 (2020).
  13. Potkonjak, V., et al. Virtual laboratories for education in science, technology, and engineering: a review. Comput Educ. 95, 309-327 (2016).
  14. Rukangu, A., Tuttle, A., Johnsen, K. Virtual reality for remote controlled robotics in engineering education. IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW). , 751-752 (2021).
  15. Sermet, Y., Demir, I. Geospatialvr: a web-based virtual reality framework for collaborative environmental simulations. Comput Geosci. 159, 105010 (2022).
  16. zacar, K., Ortakcı, Y., Küçükkara, M. Y. VRArchEducation: Redesigning building survey process in architectural education using collaborative virtual reality. Comp Graph. 113, 1-9 (2023).
  17. Li, Y., Lei, Z., He, Y., Liu, Z. A virtual simulation experiment of mechanics: material deformation and failure based on scanning electron microscopy. J Vis Exp. (191), e64521 (2023).
  18. Alsaleh, S., Tepljakov, A., Kose, A., Belikov, J., Petlenkov, E. Reimagine lab: bridging the gap between hands-on, virtual and remote control engineering laboratories using digital twins and extended reality. IEEE Access. 10, 89924-89943 (2022).
  19. Han, B., Weeks, D. J., Leite, F. Virtual reality-facilitated engineering education: A case study on sustainable systems knowledge. Comput Appl Eng Educ. 31 (5), 1174-1189 (2023).
  20. Lei, Z., Zhou, H., Hu, W., Liu, G. Concurrent experimentation in ncslab: a scalable approach for online laboratories. Fut Gen Comp Sys. (148), 139-149 (2023).
  21. Li, W., Huang, H., Solomon, T., Esmaeili, B., Yu, L. Synthesizing personalized construction safety training scenarios for vr training. IEEE Trans Vis Comput Graph. 28 (5), 1993-2002 (2022).
  22. Zhang, Y., et al. Virtual simulation system of paste filling for green mining of metallic mine. 2020 International Conference on Virtual Reality and Visualization. , 256-257 (2020).
  23. Callaghan, M. J., Mccusker, K., Losada, J. L., Harkin, J., Wilson, S. Using game-based learning in virtual worlds to teach electronic and electrical engineering. IEEE Trans Industr Inform. 9 (1), 575-584 (2013).
  24. Garcia-Zubia, J., et al. Empirical analysis of the use of the VISIR remote lab in teaching analog electronics. IEEE T EDUC. 60 (2), 149-156 (2017).
  25. Lei, Z., Zhou, H., Hu, W., Liu, G. Unified and flexible online experimental framework for control engineering education. IEEE T Ind Electron. 69 (1), 835-844 (2022).
  26. Galan, D., Chaos, D., de la Torre, L., Aranda-Escolastico, E., Heradio, R. Customized online laboratory experiments: a general tool and its application to the furuta inverted pendulum [focus on education. IEEE Cont Sys. 39 (5), 75-87 (2019).
  27. Lei, Z., Zhou, H., Hu, W., Liu, G., Guan, S. Web-based digital twin communication system of power systems for training and education. IEEE T Pow Syst. , (2023).
  28. Lei, Z., Zhou, H., Hu, W., Liu, G. Controller effect in online laboratories-An overview. IEEE Trans. Learn. Technol. 17, 1-12 (2024).
  29. Liu, Y., et al. Virtual reality system for industrial training. 2020 International Conference on Virtual Reality and Visualization. , 338-339 (2020).
  30. Lei, Z., et al. Interactive and visualized online experimentation system for engineering education and research. J Vis Exp. (177), e63342 (2021).

Play Video

Citar este artículo
Zhang, G., Lei, Z., Hu, W., Zhou, H. Online Virtual Reality Networked Control Laboratory Applied in Control Engineering Education . J. Vis. Exp. (204), e66432, doi:10.3791/66432 (2024).

View Video