Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface

Vilelmini Kalampratsidou; Steven Kemper; Elizabeth B. Torres

doi:10.3791/61943

JoVE Journal > Behavior

Please note that all translations are automatically generated. Click here for the English version.

行为学

Control de proxy en tiempo real de señales periféricas re-parametrizadas utilizando una interfaz de bucle cercano

Published: May 08, 2021

doi:

10.3791/61943

Vilelmini Kalampratsidou^1,2, Steven Kemper³, Elizabeth B. Torres^1,2,4,5,6

¹Center for Cognitive Science,Rutgers University, ²Department of Computer Science,Rutgers University, ³Music Department, Mason Gross School of the Arts,Rutgers University, ⁴Psychology Department,Rutgers University, ⁵Sensory Motor Integration Lab,Rutgers University, ⁶Computational Biomedicine Imaging and Modelling Center,Rutgers University

Summary

Presentamos protocolos y métodos de análisis para construir interfaces coa adaptativas que transmiten, parametrizan, analizan y modifican las señales del cuerpo humano y del corazón en bucle cercano. Esta configuración interfaces señales derivadas de los sistemas nerviosos periféricos y centrales de la persona con entradas sensoriales externas para ayudar a realizar un seguimiento del cambio biofísico.

Abstract

Los campos que desarrollan métodos de sustitución sensorial y aumento sensorial han tenido como objetivo controlar objetivos externos utilizando señales de los sistemas nerviosos centrales (SNC). Sin embargo, son menos frecuentes los protocolos que actualizan las señales externas generadas por cuerpos interactivos en movimiento. Hay una escasez de métodos que combinan los biorritmos cuerpo-corazón-cerebro de un agente en movimiento para dirigir los de otro agente en movimiento durante el intercambio dyadic. Parte del desafío para lograr tal hazaña ha sido la complejidad de la configuración utilizando bio-señales multimodales con diferentes unidades físicas, escalas de tiempo dispares y frecuencias de muestreo variables.

En los últimos años, la llegada de biosensores portátiles que no pueden aprovechar múltiples señales en tándem, ha abierto la posibilidad de re-parametrizar y actualizar las señales periféricas de los diásenos interactuantes, además de mejorar las interfaces cerebro y/o cuerpo-máquina. Aquí presentamos una interfaz coa adaptativa que actualiza la salida somática-motora efervestiva (incluyendo cinemática y frecuencia cardíaca) utilizando biosensores; parametriza las bio-señales estocásticas, sonifica esta salida y la vuelve a introducir en forma re-parametrizada como entrada reaferente visuo/audio-cinética. Ilustramos los métodos utilizando dos tipos de interacciones, una involucrando a dos seres humanos y otra que involucra a un humano y su avatar interactuando casi en tiempo real. Discutimos los nuevos métodos en el contexto de posibles nuevas formas de medir las influencias de la entrada externa en el control interno somático-sensorial-motor.

Introduction

El controlador de bucle cerrado natural
La información sensorial-motora fluye continuamente entre el cerebro y el cuerpo para producir comportamientos bien organizados y coordinados. Tales comportamientos se pueden estudiar mientras se centran únicamente en las acciones de la persona, como en un estilo de monólogo(Figura 1A),o durante complejas acciones dinámicas compartidas entre dos agentes en un dyad, como en un estilo de diálogo(Figura 1B). Sin embargo, una tercera opción es evaluar interacciones tan complejas a través de un controlador proxy, en el contexto de una interfaz de bucle cerrado humano-ordenador (Figura 1C). Tal interfaz puede rastrear las fluctuaciones de los movimientos momento a momento aportadas por cada agente en el dyad, y por el tipo de cohesividad que se autoexamina de sus interacciones sincrónicas, ayudando a dirigir los ritmos del dyad de maneras deseables.

Figura 1: Diferentes formas de control. (A) Las interfaces autocontroladas por cerebro se basan en las relaciones de bucle estrecho entre el cerebro de la persona y el propio cuerpo de la persona, que pueden autorregularse e auto-interactuar en estilo “monólogo”. Este modo intenta el control de los movimientos autogenerados, o también puede tener como objetivo controlar dispositivos externos. B) Se introduce el control de estilo “Diálogo” para dos bailarines que interactúan entre sí y a través del entrenamiento físico y la toma de turnos para alcanzar el control sobre los movimientos del otro. (C) El control de diálogo “tercero” de la diría se introduce como mediado por una interfaz informática que aprovecha en tándem las bio-señales de ambos bailarines, lo parametriza y lo alimenta de nuevo a los bailarines en forma re-parametrizada utilizando audio y/o visión como formas de orientación sensorial. La re-parametrización en los ejemplos aquí presentados se logró utilizando retroalimentación visual o de audio, mejorada por la salida del motor cinético en tiempo real de uno de los bailarines para influir en el otro; o de ambos bailarines, turnándose en algún patrón alterno. Haga clic aquí para ver una versión más grande de esta figura.

El objetivo general de este método es mostrar que es posible aprovechar, parametrizar y re-parametrizar las fluctuaciones momento por momento en las actividades biorritálmicas de los cuerpos en movimiento, ya que dos agentes participan en el intercambio dyadic que puede involucrar a dos seres humanos, o un humano y su avatar auto-en movimiento.

Las investigaciones sobre cómo el cerebro puede controlar las acciones y predecir sus consecuencias sensoriales han generado muchas líneas de investigaciones teóricas en los últimos^1,^2,³ y producido varios modelos de control neuromotor^4,^5,^6,^7,^8. Una línea de investigación en este campo multidisciplinario ha implicado el desarrollo de la máquina del cerebro de bucle cercano o interfaces cerebro-computadora. Este tipo de configuraciones ofrecen formas de aprovechar y adaptar las señales CNS para controlar un dispositivo externo, como un brazo robótico^9,^10,^11,un exoesqueleto^12,un cursor en una pantalla de ordenador¹³ (entre otros). Todos estos dispositivos externos comparten la propiedad de que no tienen inteligencia propia. En cambio, el cerebro que intenta controlarlos tiene, y parte del problema que enfrenta el cerebro es aprender a predecir las consecuencias de los movimientos que genera en estos dispositivos (por ejemplo, los movimientos del cursor, los movimientos del brazo robótico, etc.) mientras genera otros movimientos de apoyo que contribuyen a la retroalimentación motora sensorial general en forma de reaferencia cinética. A menudo, el objetivo general de estas interfaces ha sido ayudar a la persona detrás de ese cerebro a evitar una lesión o trastorno, para recuperar la transformación de sus pensamientos intencionales en actos físicos volicionalmente controlados del dispositivo externo. Sin embargo, menos común ha sido el desarrollo de interfaces que intentan dirigir los movimientos de los cuerpos en movimiento.

Gran parte de la investigación original sobre las interfaces cerebro-máquina se centra en el control del sistema nervioso central (SNC) sobre partes del cuerpo que pueden lograr acciones dirigidas por objetivos^9,^14,^15,¹⁶^,¹⁷. Hay, sin embargo, otras situaciones por las que el uso de las señales derivadas de las actividades de los sistemas nerviosos periféricos (PNS), incluidos los de los sistemas nerviosos autónomos (ANS), es lo suficientemente informativo como para influir y dirigir las señales de los agentes externos, incluyendo a otro humano o avatar, o incluso la interacción de los seres humanos (como en la Figura 1C). A diferencia de un brazo robótico o cursor, el otro agente en este caso, tiene inteligencia impulsada por un cerebro (en el caso del avatar que ha sido dotado con los movimientos de la persona, o de otro agente, en el caso de un diálogo humano interactuando).

Una configuración que crea un entorno de una interfaz de bucle cerrado coa adaptativo con intercambio dyadic puede ser útil para intervenir en trastornos de los sistemas nerviosos por los cuales el cerebro no puede controlar volicionalmente su propio cuerpo en movimiento a voluntad, a pesar de no haber cortado físicamente el puente entre el SNC y el PNS. Este puede ser el caso debido a señales periféricas ruidosas por las cuales los bucles de retroalimentación para ayudar al cerebro monitorear continuamente y ajustar sus propios biorritmos autogenerados pueden haber sido interrumpidos. Este escenario surge en pacientes con enfermedad de Parkinson^18,^19,o en participantes con trastornos del espectro autista con exceso de ruido en su producción motora. De hecho, en ambos casos, hemos cuantificado altos niveles de relación ruido-señal en las señales cinéticas que regresan derivadas de la velocidad de sus movimientos previstos^20,^21,²² y del corazón^23. En tales casos, tratar de dominar el control cerebral de las señales externas, mientras que también tratando de controlar el cuerpo en movimiento, puede resultar en una señal auto reactiva de la corriente de información re-participante (reaferente) que el cerebro recibe de la corriente motora continua (efervescencia) en la periferia. De hecho, las fluctuaciones momento a momento presentes en dicha corriente motora efervestiva autogenerada contienen información importante útil para ayudar a la predicción de las consecuencias sensoriales de las acciones intencionales²⁴. Cuando esta retroalimentación se corrompe por el ruido, se hace difícil actualizar previsiblemente las señales de control y puentear los planes intencionales con actos físicos.

Si extendiéramos dicho bucle de retroalimentación a otro agente y controlemos las interacciones de la persona y el agente a través de un tercero(Figura 1C),es posible que tengamos la oportunidad de dirigir las actuaciones del otro casi en tiempo real. Esto nos proporcionaría la prueba de concepto de que tendríamos que extender la noción de interfaces coa adaptativas cerebro-cuerpo o cerebro-máquina para tratar trastornos de los sistemas nerviosos que resultan en una mala realización de la voluntad física de la intención mental.

Las acciones con propósito tienen consecuencias, que se caracterizan precisamente por firmas estocásticas motoras que dependen del contexto y permiten la inferencia de niveles de intención mental con alta certeza^25,²⁶. Por lo tanto, una ventaja de un nuevo método que aprovecha el intercambio dyadic sobre enfoques previos centrados en la persona a la máquina del cerebro o interfaces de computadora cerebral, es que podemos aumentar las señales de control para incluir los biorritmos corporales y cardíacos que transpiran en gran parte por debajo de la conciencia de la persona, bajo diferentes niveles de intención. De esta manera, amortiguamos la interferencia reactiva que el control consciente tiende a evocar en el proceso de adaptación del control cerebro-cursor¹⁷. Podemos añadir más certeza al proceso predictivo parametrizando las diversas señales a las que podemos acceder. En esa línea, existe un trabajo previo utilizando señales cerebrales y corporales en tándem^27,^28,^29; pero el trabajo que involucra interacciones dyadic capturadas por señales cuerpo-cuerpo sigue siendo escaso. Además, la literatura extant aún no ha delineado la distinción entre segmentos deliberados de la acción realizada bajo plena conciencia y movimientos transitorios que se producen espontáneamente como consecuencia de los deliberados^30,³¹. Aquí hacemos esa distinción en el contexto del intercambio dyadic, y ofrecemos nuevas formas de estudiar esta dicotomía^32,al tiempo que proporcionamos ejemplos de movimientos coreografiados (deliberados) frente a movimientos improvisados (espontáneos) en el espacio de la danza.

Debido a los retrasos en la transducción y transmisión en los procesos de integración y transformación sensorial-motor^33,es necesario tener tal código predictivo en su lugar, para aprender a anticipar la próxima entrada sensorial con alta certeza. Con ese fin, es importante poder caracterizar la evolución de la relación ruido-señal derivada de las señales en la corriente de reaferencia cinética que se actualiza continuamente. A continuación, necesitamos protocolos para medir sistemáticamente el cambio en la variabilidad del motor. La variabilidad está inherentemente presente en las fluctuaciones momento a momento de la corriente de motor efervescencia saliente³⁴. Dado que estas señales no son estacionarias y sensibles a las variaciones contextuales^35,^36,es posible parametrizar los cambios que se producen con alteraciones del contexto de las tareas. Para minimizar la interferencia de las señales reactivas que surgen del control consciente del SNC, y para evocar cambios cuantificables en la efervescencia del motor PNS, presentamos aquí una interfaz proxy de bucle cercano que altera indirectamente la retroalimentación sensorial, mediante el reclutamiento de la señal periférica que está cambiando en gran medida por debajo de la autoconciencia de la persona. A continuación, mostramos maneras de medir sistemáticamente el cambio que se produce en las manipulaciones sensoriales, utilizando análisis estocásticos que se pueden visualizar para visualizar el proceso que la interfaz de bucle cercano proxy evoca indirectamente en ambos agentes.

Presentación de un controlador de bucle cerrado proxy
La variabilidad sensorial-motora presente en las señales periféricas constituye una rica fuente de información para guiar el rendimiento de los sistemas nerviosos mientras que el aprendizaje, la adaptación y la generalización tienen lugar en diferentes contextos^37. Estas señales surgen en parte como un subproducto del CNS tratando de controlar volicionalmente las acciones, pero no son el objetivo directo del controlador. A medida que la persona interactúa naturalmente con los demás, las señales periféricas se pueden aprovechar, estandarizar y volver a parametrizar; lo que significa que sus variaciones se pueden parametrizar y cambiar sistemáticamente, ya que se altera la corriente motora efervesica que vuelve a entrar continuamente en el sistema como reaferencia cinética. En tales entornos, podemos visualizar los cambios estocásticos, capturando con alta precisión una señal rica que de otra manera se pierde a los tipos de gran promedio que realizan las técnicas más tradicionales.

Para lograr la caracterización del cambio bajo la nueva plataforma estadística, aquí introducimos protocolos, tipos de datos estandarizados y análisis que permiten la integración de entrada sensorial externa (auditiva y visual) con señales motoras generadas internamente, mientras que la persona interactúa naturalmente con otra persona, o con una versión avatar de la persona. En este sentido, debido a que nuestro objetivo es controlar las señales periféricas (en lugar de modificar las señales CNS para controlar directamente el dispositivo externo o los medios), acuñamos esto como una interfaz de bucle cercano proxy (Figura 2). Nuestro objetivo es caracterizar los cambios en las señales estocásticas del PNS, ya que afectan a los del SNC.

Figura 2: Control proxy de una interacción dyadic utilizando interfaz multimodólica de bucle cerrado. (A) Control indirecto de dos bailarines (salsa danzante) a través de una interfaz coa adaptativa de computadora frente a (B) un dyad artificial interactivo persona-avatar controlado mediante el aprovechamiento de las señales de los sistemas nerviosos periféricos y volver a parametrizarlo como sonidos y / o como entrada visual. (C) El concepto de sonificación utilizando un nuevo tipo de datos estandarizados (los picos de micro-movimiento, MMS) derivado de las fluctuaciones momento a momento en la amplitud/sincronización de las señales biorritómicas convertidas en vibraciones y luego al sonido. De Physics, tomamos prestadas las nociones de compresiones y rarefacciones producidas por una horquilla de ajuste que produce onda sonora como vibraciones medibles. Esquemas de ondas sonoras representadas como presión modulada con el tiempo en paralelo a las concentraciones de pico para la sonificación. Ejemplo de una señal física para someterse a la tubería propuesta desde MMS hasta vibraciones y sonificación. Utilizamos la señal de frecuencia cardíaca como entrada a la interfaz. Esto toma fluctuaciones en la amplitud de la señal alineadas con el inicio de movimiento cada 4 segundos de movimiento y construye trenes MMS que representan las vibraciones. Los trenes spike del MMS están estandarizados a partir de [0,1]. El color de los picos según la barra de color representa la intensidad de la señal. Luego sonificamos estas vibraciones usando Max. Esta señal sonificada se puede utilizar para reproducir en A, o para alterar en B las interacciones con el avatar. Además, en B es posible incrustar el sonido en el entorno y utilizar la posición del cuerpo para reproducir el sonido en una región de interés (RoI), o para modular las características de audio como una función de distancia a la RoI, velocidad o aceleración de una parte del cuerpo anclada a otra parte del cuerpo, al pasar por el RoI. Haga clic aquí para ver una versión más grande de esta figura.

Las señales PNS se pueden aprovechar de forma no invasiva con tecnologías de detección ponibles que co-registran flujos efervesivos multimodales de diferentes capas funcionales de los sistemas nerviosos, que van desde las autonómicas hasta las^{voluntarias 32.} A continuación, podemos medir casi en tiempo real los cambios en tales flujos y seleccionar aquellos cuyos cambios mejoran la relación señal-ruido. Esta señal motora efervestiva se puede aumentar con otras formas de orientación sensorial (por ejemplo, auditiva, visual, etc.) Debido a que las señales PNS chivo expiatorio plena conciencia, son más fáciles de manipular sin mucha resistencia ³⁸. Como tal, los usamos para ayudar a dirigir el rendimiento de la persona de maneras que pueden ser menos estresantes para el sistema humano.

Construcción de la interfaz
Presentamos el diseño del control proxy mediado por una interfaz multimodal co-adaptativa de bucle cerrado. Esta interfaz dirige los comentarios multisensoriales en tiempo real. La Figura 3 muestra el diseño general.

La interfaz de bucle cercano se caracteriza por 5 pasos principales. El primer paso es la recopilación de datos multimodal de múltiples instrumentos portátiles. El segundo paso es la sincronización de las secuencias multimodales a través de la plataforma de LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer) desarrollada por el grupo MoBI ^39. El tercer paso es la transmisión de la estructura de datos LSL a una interfaz de Python, MATLAB u otro lenguaje de programación para integrar las señales y parametrizar empíricamente las características fisiológicas (relevantes para nuestra configuración experimental) en tiempo real. El 4º paso es re-parametrizar las características seleccionadas extraídas de la corriente continua de la señal corporal estudiada y aumentarla utilizando una modalidad sensorial de elección (por ejemplo, visual, auditiva, cinética, etc.) para reproducirla en forma de sonidos o visuales, para aumentar, sustituir o mejorar la modalidad sensorial que es problemática en el sistema nervioso de la persona. Por último, el 5º paso es reevaluar las firmas estocásticas de las señales generadas por el sistema en tiempo real, para seleccionar qué modalidad sensorial lleva los cambios estocásticos de las fluctuaciones corporales a un régimen de alta certeza (minimización del ruido) en la predicción de las consecuencias sensoriales de la acción inminente. Este bucle se reproduce continuamente a lo largo de la duración del experimento con el foco en la señal seleccionada, mientras almacena el rendimiento completo para análisis posteriores (como se muestra en los esquemas de la Figura 3 y ver^40,^41,^42,^43,^44,^45,⁴⁶^,⁴⁷ para un ejemplo de análisis a posteriori).

Figura 3: La arquitectura del concepto de interfaz de bucle estrecho de varios modales impulsados por periféricos. Se recopilan varias señales corporales -datos cinemáticos, actividad cardíaca y cerebral (paso 1). LSL se utiliza para co-registrar y transmitir sincrónicamente los datos procedentes de varios equipos a la interfaz (paso 2). El código Python/MATLAB/C# se utiliza para parametrizar continuamente las fluctuaciones en las señales utilizando un tipo de datos estandarizado y una escala común que permite seleccionar la fuente de orientación sensorial más adecuada para amortiguar la incertidumbre del sistema (paso 3). Esta mejora en tiempo real de la transmisión de señal a través de los canales seleccionados permite entonces la re-parametrización de la señal sensorial re-participante para integrarse en la corriente continua del motor y mejorar la secuencia de entrada perdida o dañada (paso de sustitución sensorial 4). La reevaluación continua cierra el bucle (paso 5) y guardamos todos los datos para análisis futuros adicionales. Haga clic aquí para ver una versión más grande de esta figura.

En las secciones siguientes se presenta el protocolo genérico de cómo construir una interfaz de bucle cerrado (como se describe en la Figura 3)y describir los resultados representativos de dos interfaces experimentales (elaboradamente presentadas en Material Suplementario) que implican interacción dyadica física entre dos bailarines (sistema de bucle estrecho real) y la interacción dyadica virtual entre una persona y un avatar (sistema de bucle cerrado artificial).

Protocol

El estudio fue aprobado por la Junta de Estudio Institucional rutgers (IRB) en cumplimiento de la declaración de Helsinki. 1. Participantes Definir la población a estudiar e invitarlos a participar en el estudio. La interfaz actual se puede utilizar en varias poblaciones. Este protocolo y los ejemplos utilizados aquí para proporcionar pruebas de concepto no se limitan a un grupo específico. Obtenga el consentimiento informado por escrito del protocolo aprobado por el IRB de conformidad con la Declaración de Helsinki. Pida al participante o tutor que firme el formulario antes del comienzo del experimento. 2. Configuración de la interfaz de bucle cercano Configuración de equipos cinemáticos-PNSAyude al participante a usar cuidadosamente el traje de captura de movimiento basado en LED (cuerpo y cabeza, que se muestra en la Figura 3,paso 1 y 5) acompañando el sistema de captura de movimiento utilizado. Los marcadores LED del traje serán rastreados por las cámaras del sistema para estimar la ubicación del cuerpo en movimiento en el espacio. Conecte el controlador LED inalámbrico (también conocido como unidad de controlador LED) del sistema con los cables LED del traje enchufarlo al puerto adecuado. Encienda el dispositivo y ójelo en el modo de streaming. Encienda el servidor del sistema de captura de movimiento. Abra un navegador web, visite la dirección del servidor e inicie sesión (la información de inicio de sesión debe ser proporcionada por la empresa al comprar el producto). Calibrar el sistema según sea necesario (por ejemplo, calibrar el sistema si es la primera vez que se utiliza el equipo, de lo contrario pasar al paso 2.1.17). Abra la herramienta de calibración del sistema de captura de movimiento y seleccione Asistente de calibración. Asegúrese de que la entrada del número de servidor en el campo de texto en el lado superior izquierdo de la interfaz es correcta y haga clic en Continuar. Conecte la varita al primer puerto del controlador LED y encienda el controlador y haga clic en Continuar. Una vez conectada la varita, sus marcadores LED se encenderán y aparecerán en la pantalla, en las vistas de la cámara. Coloque la varita en el centro del campo de vista de la cámara, confirme que las cámaras la pueden grabar y haga clic en Continuar. Mueva la varita por todo el espacio manteniéndola vertical y dibujando cilindros. Asegúrese de que el movimiento sea capturado por al menos 3 cámaras cada vez y esté registrado en el campo de visión de cada cámara haciéndolo verde. Haz esto por todas las cámaras. Una vez que el campo de vista de cada cámara se haya registrado completamente (todo es verde), haga clic en Continuar y espere a que se ejecuten los cálculos de calibración.NOTA: Una vez completada la calibración, la ubicación de la cámara junto con los marcadores LED se verán en la pantalla, ya que se colocan físicamente en la habitación. En este punto, el usuario puede reanudar la calibración porque está hecho, o continuar alineando el sistema. Sujete la varita verticalmente y coloque el lado con el LED más cerca del extremo de la varita en el suelo, donde se debe establecer el origen del espacio 3D (punto (0,0,0)). Mantenga la varita estable hasta que esté registrada. Una vez registrada, la pantalla parpadea en verde. Aparecerá un punto que indica el origen del marco de referencia en el espacio en la interfaz y el siguiente eje de alineación, eje x, se resaltará en verde. Mueva la varita, manteniendo la misma orientación (verticalmente), en el punto del eje X y mantenla estable hasta que se registre. Repita el eje z. Una vez registrado el punto del eje z, se completa la calibración. Haga clic en Finalizar para salir de la calibración. Abra la interfaz del sistema de captura de movimiento y haga clic en Conectar para empezar a transmitir los datos desde los marcadores LED. Una vez establecida la conexión, la posición de los marcadores se mostrará en el mundo virtual de la interfaz. Cree el esqueleto virtual (calcule automáticamente las posiciones óseas del cuerpo a partir de los datos de posición recogidos de los marcadores LED del traje, como se muestra en la Figura 8 paso2). Haga clic derecho en Esqueletos en el lado derecho de la ventana y seleccione Nuevo esqueleto. Elija Asignación de marcadores y, a continuación, seleccione el archivo adecuado (proporcionado por la empresa en función de la versión de interfaz que se utilice). A continuación, haga clic en Aceptar. Pida al participante que se mantenga estable en la pose en T (postura recta hacia arriba con los brazos abiertos en los lados). Haga clic derecho en el esqueleto y seleccione Generar esqueleto sin entrenamiento. Si todos los pasos se realizan correctamente, se generará el esqueleto. Pida al participante que se mueva y compruebe con qué precisión el esqueleto virtual sigue los movimientos del participante. Para transmitir los datos del esqueleto a LSL, seleccione Configuración y Opciones en el menú principal. Abra el emulador de Búho y haga clic en “iniciar” Transmisión en vivo. Configuración de equipos EEG – CNS Ayuda al mismo participante a usar el gorro de cabeza EEG. Coloque los electrodos de gel (los electrodos tradicionales a base de gel utilizados con la tapa de la cabeza EEG) en la tapa de la cabeza y 2 electrodos pegajosos (electrodos que funcionan como pegatinas) en la parte posterior del oído derecho para los sensores CMS y DRL. Llene los electrodos con gel de alta conducción, según sea necesario, para mejorar la conductividad entre el sensor y el cuero cabelludo. Conecte los cables de electrodos en los gel-trodes y los dos electrodos pegajosos. Pegue el monitor inalámbrico en la parte posterior de la tapa de la cabeza y conecte los cables del electrodo. Encienda el monitor. Abra la interfaz del sistema EEG. Seleccione Usar dispositivo Wi-Fi y haga clic en Buscar dispositivos. Seleccione NE Wi-Fi y utilice este dispositivo. Haga clic en el icono de la cabeza, seleccione un protocolo que permita la grabación de los 32 sensores y haga clic en Cargar. Asegúrese de que los datos transmitidos de cada canal se muestran en la interfaz. Configuración de equipos ECG- ANS Siga los pasos exactos presentados en 2.2, pero utilice el canal O1 para conectarse en la extensión de frecuencia cardíaca (HR). Utilice un electrodo pegajoso para pegar el otro extremo de la extensión justo debajo de la caja torácica izquierda. Preparación de LSL para grabación sincronizada y streaming de datos cinemáticos. Ejecute la aplicación LSL para el sistema de captura de movimiento haciendo doble clic en el icono correspondiente. Busque la aplicación en la siguiente ruta de acceso de la carpeta LSL, LSL\labstreaminglayer-master\Apps\PhaseSpace. En la interfaz, establezca la dirección del servidor adecuada. A continuación, seleccione Configuración de archivo y carga. Seleccione el archivo de configuración adecuado (debe ser proporcionado por la empresa en función de la versión del producto que se utiliza) Haga clic en Vincular. Si no se cometen errores, no se mostrará ningún mensaje de error. Prepare LSL para la grabación sincronizada y la transmisión de datos EEG y ECG. No se requieren pasos adicionales para este equipo. Configuración de LSL Ejecute la aplicación LabRecorder haciendo doble clic en el archivo ubicado en la ruta LSL\labstreaminglayer-master\Apps\LabRecorder de la carpeta LSL. Haga clic en Actualizar. Si todas las instrucciones se ejecutan correctamente, todos los tipos de datos del sistema de captura de movimiento y EEG se verán en el panel Registro de secuencias. Seleccione el directorio y el nombre de los datos en el panel Ubicación de almacenamiento. Haga clic en Iniciar. La recopilación de datos del sistema de captura de movimiento y EEG comenzará sincrónicamente. Al final de la grabación, haga clic en Detener. Si la grabación se realizó correctamente, los datos se ubicarán en el directorio previamente seleccionado. Abra los archivos para confirmar que incluyen la información registrada. Análisis en tiempo real y seguimiento del sistema humano. Ejecute el MATLAB, Python u otro código que reciba, procese y aumente los datos transmitidos. Los códigos de ejemplo correspondientes a los ejemplos representativos descritos en las secciones siguientes se pueden encontrar aquí: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE Generación de la retroalimentación sensorial aumentada Producir la salida sensorial utilizando el dispositivo adecuado (por ejemplo, altavoces, monitor, entre otros). 3. Procedimiento experimental Siga el procedimiento experimental definido por la configuración, si existe.NOTA: Las interfaces de bucle cerrado están diseñadas para explorarse y aprenderse intuitivamente. Por lo tanto, la mayoría de las veces no se necesitan instrucciones.

Representative Results

Hay varias interfaces que se pueden construir sobre la base del protocolo presentado en la sección anterior y se pueden aplicar en diferentes poblaciones para numerosos propósitos. Algunas variaciones posibles se describen en la sección “Variaciones de la interfaz de bucle cercano presentada” de material suplementario. En esta sección demostramos los resultados representativos de 2 interfaces de bucle cerrado de muestra que siguen el protocolo descrito en la sección anterior. La configuración, el procedimiento experimental y los participantes de estos estudios se explican en profundidad en las secciones”Ejemplo 1: Interfaz de bucle cercano de audio de una interacción dyadica real”y”Ejemplo 2: Interfaz de bucle cercano audiovisual de una interacción dyadica artificial”del archivo suplementario. Resultados de la interfaz de bucle de cierre de audio de una interacción dyadic realEn el estudio de “Interfaz de bucle estrecho de audio de una interacción dyadic real” (elaboradamente presentado en la sección”Ejemplo 1: Interfaz de bucle cercano de audio de una interacción dyadica real”de material suplementario), utilizamos una interfaz de control de proxy, ilustrada en la Figura 4, que utiliza la señal cardíaca de la bailarina femenina para alterar la música bailada. En tiempo real, realizamos el procesamiento de la señal para extraer el tiempo de los latidos del corazón y transmitimos esta información al sistema Max para alterar la velocidad de la canción interpretada. De esta manera, tocamos la canción de vuelta, alterada por las señales biofísicas. Este proceso condujo a nuevas alteraciones de los movimientos y señales de latidos cardíacos. Figura 4: La interfaz de bucle cerrado basada en audio. 1. Un dispositivo portátil ECG-HR monitorea la actividad de una bailarina de salsa durante el desempeño de sus rutinas y alimenta las señales a la interfaz a 500Hz. 2. Nuestra interfaz analiza los datos de ECG en tiempo real. En cada fotograma, filtra los datos sin procesar, extrae los picos R del complejo QRS; y transmite la detección de picos a MAX. 3. Una interfaz de terceros combina la velocidad del audio con la velocidad de la frecuencia cardíaca. 4. La canción alterada se reproduce de nuevo a los bailarines. Haga clic aquí para ver una versión más grande de esta figura. Dos bailarines de salsa interactuaron con la interfaz e interpretaron una rutina bien ensayada escenificando una coreografía y una danza espontáneamente improvisada. Los bailarines tuvieron que interpretar la versión original de la canción una vez y una versión mezcló el tempo original de la canción con la transmisión de latidos del corazón en tiempo real. Nos referimos a la versión posterior que se interpretó dos veces como la alteración 1 y 2 de la canción. En el análisis que se presenta a continuación, usamos la señal de corazón y audio grabada. Los picos de las dos señales extraídas para estimar los trenes MMS (ver sección “Micro-movimientos Picos” en archivo suplementario), que preservan las fluctuaciones de alta frecuencia como se muestra en la Figura 5. Figura 5: Estimación de los trenes MMS del sistema de bucle cerrado de audio. Las series temporales ECG se utilizan para extraer los picos RR y las desviaciones de amplitud de la amplitud media global (estimada) de los picos R obtenidos (datos desplazados por la media). A continuación, se utiliza la normalización por la ecuación 1 (véase Archivo suplementario, sección “Picos de micro-movimiento”) para obtener los trenes MMS. Métodos similares se utilizan para manejar las formas de onda de audio y reproducir la canción de nuevo de acuerdo con la actuación en tiempo real de la persona. Haga clic aquí para ver una versión más grande de esta figura. Los trenes MMS se caracterizaron bien como un proceso aleatorio continuo, bien representado porla familia gamma continua de distribuciones de probabilidad. MLE consideró esta familia continua de distribuciones como la más adecuada para ambos conjuntos de datos (véase la explicación en la sección “Distribución gamma” de Material Suplementario y Figura Suplementaria 2). Este tipo de proceso aleatorio se utilizó para rastrear los cambios en las firmas estocásticas de los biorritmos autogenerados por las bio-señales de los sistemas nerviosos humanos. A partir de los parámetros gamma de forma y escala empíricamente estimados, obtenemos los momentos Gamma, la media, la varianza, la sesgadez y la kurtosis (ver detalles del análisis en la sección “Análisis estocástico” de material suplementario). Luego trazamos el PDF estimado. La Figura 6 se centra únicamente en la señal cardíaca y la música, pero los métodos se aplican de manera similar a los otros biorritmos generados por las señales cinemáticas presentadas en 41. El PDF del corazón y la señal de música se muestran en la Figura 6A-B,donde destacamos las diferencias entre los conjuntos de datos de las dos condiciones, la rutina deliberada y la improvisación espontánea. Para cada condición, subrayamos los cambios en las firmas estocásticas inducidas por las alteraciones temporales de la canción. Inicialmente, bailan a la canción original. Luego, a medida que el latido del corazón cambia de ritmo en tiempo real, las fluctuaciones sonificadas en esta señal llevan a los bailarines a seguir las alteraciones temporales de la canción. Estos son denotado alteración 1 y alteración 2. Estos cambios sistemáticos se describen mediante los parámetros Gamma. Luego, utilizando los parámetros empíricamente estimados de forma y escala, obtuvimos los cuatro momentos Gamma correspondientes para el latido del corazón y las canciones. Estos se muestran en la Figura 6C para el corazón (arriba) y las señales de la canción (inferior). Figura 6: Induciendo cambios sistemáticos en los archivos PDF Gamma esticéticamente estimados y sus trayectorias estocásticas de los Cuatro Momentos Gamma del rendimiento bajo el control de proxy mediante el Sistema de bucle estrecho de audio. (A) Archivos PDF de los trenes MMS de cada uno de los tipos de datos (parte superior de ECG y fondo de archivo de audio) para cada uno de los contextos de baile, improvisación espontánea y rutina deliberada. Las leyendas son Imp Or (original de improvisación) que denota la condición de línea base al inicio de la sesión; Imp Alt1 que denote la improvisación durante la alteración 1; Imp Alt2 denotando improvisación durante la alteración 2. (B) Del mismo modo, para la rutina deliberada ensayada, Rout Or significa original rutinario; Rout Alt1 significa alteración rutinaria 1; Rout Alt2 significa alteración rutinaria 2. Los paneles en (C) muestran los cambios sistemáticos en los momentos Gamma como las señales de audio de las canciones y las del cambio de corazón en tándem y en tiempo real. Haga clic aquí para ver una versión más grande de esta figura. El cambio de las firmas se puede apreciar en estos paneles (gráficos de momentos PDF y Gamma), demostrando así que los métodos presentados pueden capturar la adaptación del corazón a las alteraciones de la canción que el controlador proxy produce en tiempo real. A medida que las canciones cambian de ritmo, también lo hacen las firmas estocásticas del corazón y la transición de las firmas estocásticas es consistente en la dirección (que también es un hallazgo en 41 donde estudiamos los parámetros de forma y escala). Del mismo modo, a medida que cambian las firmas del corazón, también lo hacen las firmas de la canción. Estos efectos de creación de reflejo -el uno afecta al otro y como uno cambia constantemente hacia una dirección también lo hace- siguen la naturaleza del bucle cercano de esta interfaz del controlador proxy. Los resultados subrayan la utilidad de esta configuración y dan pruebas de concepto de que podemos cambiar sistemáticamente los biorritmos autónomos de la persona en el contexto del intercambio dyadic. Los cambios paralelos en las firmas estocásticas tanto de las canciones como de las señales corporales, demuestran que la co-adaptación de todo el sistema (participante e interfaz) es posible utilizando las señales periféricas. Este proceso transpira sin problemas bajo la conciencia de la persona y ofrece prueba de concepto para que las ideas cambien remota y sistemáticamente las bio-señales de la persona en correspondencia con la retroalimentación sensorial externa de elección. En resumen, podemos guiar el cambio de las firmas estocásticas en este proceso aleatorio continuo. Los métodos permiten capturar el cambio y su velocidad a lo largo de las trayectorias estocásticas que pudimos construir casi en tiempo real. Para determinar la importancia estadística en los turnos, utilizamos la prueba no paramétrica ANOVA, Kruskal-Wallis seguida de múltiples comparaciones después de la prueba hoc. Comparamos las firmas del MMS de los datos del corazón entre las seis condiciones. La Figura 7 muestra la multi-comparación de los datos cardíacos MMS y la tabla Kruskal-Wallis correspondiente. La gráfica de varias comparaciones indica que hay una diferencia significativa entre la condición de línea base de la danza de rutina original (Rout. O) y la condición de referencia de la danza improvisada original (Imp. Or). También es importante notar que las primeras alteraciones, Rout. Alt1 e Imp. Alt1, cambian a distribuciones que comparten medios comparables y lo mismo se aplica a las segundas alteraciones, mientras que la varianza, la sesgadad y la kurtosis cambian en el espacio de los momentos gamma (Figura 6C). Figura 7: Resultados de las pruebas post hoc no paramétricas Kruskal-Wallis y Múltiples comparaciones. Los resultados de la ANOVA no paramétrica (prueba Kruskal-Wallis) aplicados en el MMS de los datos del corazón para comparar las seis condiciones. La gráfica muestra la multi-comparación de los 6 casos, indicando la diferencia significativa entre el “Rout. O” y condiciones “Imp. Or”. La tabla muestra los resultados de la prueba Kruskal Wallis. Haga clic aquí para ver una versión más grande de esta figura. Resultados de la interfaz de bucle cercano audiovisual de una interacción dyadic artificialEn el estudio de “Interfaz audiovisual de bucle cercano de una interacción dyadica artificial” (elaboradamente presentada en la sección”Ejemplo 2: Interfaz de bucle cercano audiovisual de una interacción dyadica artificial”de Material Suplementario),6 participantes interactuaron con la interfaz, ilustrada en las Figuras 8,que crea su avatar reflejado que representa los propios movimientos de la persona. La interfaz incrusta sonidos dependientes de la posición dentro de la región que rodea a la persona durante la interacción. Los participantes fueron ingenuos en cuanto al propósito del estudio. Tuvieron que caminar por la habitación y averiguar cómo controlar el sonido que sorprendentemente surgiría a medida que pasaban por un RoI (regiones de interés) que el controlador proxy definió. Figura 8: La representación visual de la interfaz audiovisual. 1. Se utiliza un sistema de captura de movimiento para la adquisición de los datos cinemáticos periféricos. 2. El sistema recoge las posiciones de los sensores (en nuestro ejemplo LED) para estimar el esqueleto – posición en los huesos. 3. Las posiciones óseas se alinean en nuestra interfaz desarrollada por MATLAB utilizando nuestro propio modelo de cinemática directa. 4. Las posiciones alineadas se utilizan para asignar la información del esqueleto a nuestro avatar renderizado en 3D. 5. El mapeo de los datos transmitidos al avatar es en tiempo real que crea la sensación de mirar la imagen reflejada de la persona. Haga clic aquí para ver una versión más grande de esta figura. La Figura 9 muestra los resultados de la interfaz audiovisual de la condición 1 (consulte Archivo suplementario para obtener más condiciones), donde la ubicación de la cadera activa la canción cuando la primera se encuentra en RoI. Esta figura muestra las firmas PDF y Gamma (ver sección “Tipos de datos y análisis” de material suplementario) de los datos de velocidad de cadera de 6 participantes de control diferentes (C1 a C6), cuando estaban dentro y fuera del volumen RoI. Los resultados aquí presentados ponen de relieve las diferencias personalizadas sobre la tasa de adaptación de los participantes individuales. Estos se indican por los cambios de las firmas estocásticas, y los resultados individuales que emergen dentro o fuera del volumen RoI. Por ejemplo, podemos notar que el PDF se ajustaba a los histogramas de frecuencia del MMS derivados de la amplitud de velocidad de las caderas de C3 y C4, eran más simétricos (valor de forma más alto) y menos ruidosos (valor de escala inferior) cuando estaban dentro del volumen. Por el contrario, el resto de los participantes muestran un patrón opuesto. Empíricamente, hemos encontrado que las firmas en la esquina inferior derecha son las de atletas y bailarines, realizando movimientos altamente calificados. Las firmas se encuentran en la región superior izquierda, provienen de conjuntos de datos de sistemas nerviosos con patologías, como aquellos con un diagnóstico de trastornos del espectro autista TDAH22,32 y los de un participante desafectado21. En el contexto de los patrones de desplazamiento a lo largo de una trayectoria estocástica, obtenemos los valores medios de la forma y la escala para definir el cuadrante inferior derecho (RLQ) y el cuadrante superior izquierdo (LUQ) donde rastreamos la calidad general de la relación señal-ruido mediante la acumulación de esta información con el tiempo. Esto considera la actualización de los valores medios que definen dinámicamente estos cuadrantes como la persona co-adapta sus biorritmos generados internamente a aquellos controlados externamente por el proxy, pero dependientes de los internos de la persona. Figura 9: PDP gamma estimó empíricamente y firmas gamma de los biorritmos corporales durante las interacciones utilizando el sistema de bucle cercano audiovisual. Utilizando los trenes MMS derivados de la velocidad de las caderas de cada participante (C1 – C6), utilizamos MLE para adaptarse al mejor PDF con intervalos de confianza del 95%. Cada participante está representado por un símbolo diferente mientras que las condiciones están representadas por diferentes colores. Una familia de archivos PDF Gamma cuando está en el volumen (in) difiere de la que está fuera del volumen (hacia fuera). Además de los ARCHIVOS PDF estimados empíricamente gamma, los parámetros estimados de la forma gamma y la escala también se muestran para cada persona en el plano del parámetro Gamma. Haga clic aquí para ver una versión más grande de esta figura. La Tabla 1 muestra los valores p obtenidos de datos raw (velocidad) y MMS comparando el resultado entre condiciones cuando la parte del cuerpo de la persona está dentro de la RoI vs. fuera del RoI. Los resultados representados en la tabla se han estimado utilizando la prueba no paramétrica ANOVA Kruskal-Wallis. Prueba kruskal wallis Datos de velocidad Mms C1 0 1.34 e-05 C2 0 4.72E-15 C3 0 8.59E-34 C4 2.70E-21 3.16E-04 C5 0 1.11E-09 C6 0 5.95E-05 Tabla 1: Salida de la prueba no paramétrica ANOAVA-Kruskal-Wallis. Los resultados de la prueba Kruskal Wallis comparando las grabaciones de interior versus exterior del Rol para el MMS y los datos de velocidad. Aplicamos la prueba en los datos de cada participante (C1 – C6) por separado. Archivos complementarios. Haga clic aquí para descargar estos archivos.

Discussion

Este documento introduce el concepto de control de proxy a través de interfaces co-adaptables, interactivas y multimodales de bucle cerrado que aprovechan, parametrizan y reparametrizan la señal periférica de la persona en el contexto del intercambio dyadic. Nuestro objetivo era caracterizar los cambios estocásticos en las fluctuaciones de los biorritmos de la persona y parametrizar el cambio. Además, nuestro objetivo era dirigir sistemáticamente las firmas estocásticas de sus biorritmos hacia niveles específicos de regímenes de ruido a señal en tiempo casi real.

Presentamos un protocolo genérico para la construcción de una interfaz de bucle cerrado que satisfizo 5 elementos principales: 1) la recopilación de múltiples datos corporales procedentes del CNS, PNS y ANS utilizando varios instrumentos y tecnologías; 2) la grabación sincronizada y la transmisión de los datos; 3) el análisis en tiempo real de las señales seleccionadas; 4) la creación de aumento sensorial (audio, visual, etc.) utilizando características fisiológicas extraídas para las señales corporales; y 5) el seguimiento continuo del sistema humano y el aumento sensorial paralelo cierra el bucle de la interacción entre el humano y el sistema.

El protocolo genérico se aplicó en dos interfaces de ejemplo. El primero investiga el intercambio dyadic entre dos agentes humanos y el segundo entre un humano y un agente avatar. Los dos tipos de dyads se utilizaron para proporcionar pruebas de concepto de que la señal periférica se puede cambiar sistemáticamente en tiempo real y que estos cambios estocásticos se pueden rastrear con precisión. Un dyad estaba compuesto por dos participantes que interactuaban físicamente, mientras que el otro involucraba a un participante interactuando con un agente virtual en forma de un avatar renderizado en 3D dotado de los movimientos de la persona y con variantes alteradas de estos movimientos en tiempo real. Tales alteraciones fueron evocadas por manipulaciones interactivas impulsadas por entradas sensoriales auditivas y/o visuales en un entorno de sensaciones aumentadas. Tanto en el dyad real como en el dyad artificial, demostramos la viabilidad de cambiar remotamente las señales periféricas, incluidos los biorritmos corporales y las señales autonómicas del latido del corazón.

Presentamos nuevos protocolos experimentales para sondear tales cambios en la variabilidad motora efervescencia, ya que las corrientes de señal cinética están siendo manipuladas y re-parametrizadas casi en tiempo real. Esta información de re-participante (reaferencia cinética⁴⁸⁾resultó valiosa para cambiar el rendimiento de los sistemas en tiempo real. Llevan información sobre las consecuencias sensoriales de la acción, que podemos rastrear con precisión utilizando los métodos que presentamos aquí.

También mostramos tipos de datos y métodos estadísticos aptos para estandarizar nuestros análisis. Proporcionamos múltiples herramientas de visualización para demostrar los cambios en tiempo real en las actividades fisiológicas que evolucionan naturalmente en diferentes contextos, con inferencia estadística guiada empíricamente que se presta a la interpretación de las señales de los sistemas nerviosos autogenerados y autocontrolados. Es importante destacar que los cambios que fueron evocados por el controlador proxy fueron suaves y sin embargo cuantificables, prestando así apoyo a la noción de que la actividad periférica es útil de más de una manera. Si bien podemos implementar estos métodos utilizando sensores portátiles inalámbricos disponibles comercialmente, podemos inducir sistemáticamente cambios en el rendimiento que son capturables en los ritmos biofísicos sin enfatizar el sistema. Es importante traducir nuestros métodos a la arena clínica y utilizarlos como un banco de pruebas para desarrollar nuevos modelos de intervención (por ejemplo, como cuando se utiliza la realidad aumentada en el autismo ^49). En estos modelos, podremos rastrear y cuantificar las consecuencias sensoriales de las acciones naturalistas de la persona, ya que las entradas sensoriales se manipulan con precisión, y la salida se parametriza y se vuelve a parametrizar casi en tiempo real.

Ofrecemos este protocolo como modelo general para utilizar diversas actividades biorritómicas autogeneradas por los sistemas nerviosos humanos y aprovechadas no invasivamente con wearables inalámbricos. Aunque utilizamos un conjunto de biosensores para registrar EEG, ECG y cinemática en este documento, los métodos de grabación, sincronización y análisis de las señales son generales. Por lo tanto, la interfaz puede incorporar otras tecnologías. Además, los protocolos pueden modificarse para incluir otras acciones y contextos naturalistas que se extienden al ámbito médico. Debido a que hemos dirigido comportamientos naturales, la configuración que hemos desarrollado se puede utilizar en entornos lúdicos (por ejemplo, involucrando a niños y padres.)

Varios trastornos de los sistemas nerviosos podrían beneficiarse de tales enfoques lúdicos para el problema de control. En ambos tipos de interacciones dyadic que mostramos aquí, los participantes podrían aspirar a controlar conscientemente la música, mientras que el controlador proxy utiliza la salida periférica para manipular inconscientemente y cambiar sistemáticamente sus firmas. Porque los científicos han pasado años mapeando empíricamente el plano del parámetro Gamma y el correspondiente espacio de momentos Gamma en diferentes grupos de edad (neonatos a los 78 años de edad)^19,^50,^51,^52,⁵³ y condiciones (autismo, Enfermedad de Parkinson, accidente cerebrovascular, estado de coma y desafferentación), para diferentes niveles de control (voluntario, automático, espontáneo, involuntario y autonómico)^25,^47,^54,tienen criterios empíricamente medidos que denotan dónde en los espacios gamma las firmas estocásticas deben ser para un buen control predictivo. Investigaciones anteriores también han demostrado que sabemos dónde están los parámetros en presencia de ruido aleatorio espontáneo procedente de los ritmos autogenerados de los sistemas nerviosos humanos^7,^19,^55,^56. Dentro de un esquema de optimización que minimiza el ruido biorritálmico del motor, podemos apuntar así a conducir las señales de tal manera que alcance las áreas específicas de los espacios Gamma donde la forma y las firmas de dispersión de la familia de ARCHIVOS PDF de cada persona es propicia de alta relación señal-ruido y valores predictivos. En este sentido, no perdemos datos brutos y más bien los utilizamos eficazmente para conducir el sistema hacia niveles deseables de ruido dentro de una situación dada.

Las interacciones dyadicas son omnipresentes en entornos clínicos o de entrenamiento. Pueden ocurrir entre el entrenador y el aprendiz; el médico y el paciente; el terapeuta clínico y el paciente; y también pueden ocurrir en entornos de investigación que involucran la ciencia traslacional e involucran al investigador y al participante. Una de las ventajas de los protocolos actuales es que si bien están diseñados para dyads, también están personalizados. Como tal, es posible adaptar las interacciones coa adaptativas a las mejores capacidades y predisposiciones de la persona, de acuerdo con sus rangos de movimiento, sus rangos de tiempos de procesamiento sensorial y teniendo en cuenta los rangos en la amplitud de las señales a través de la jerarquía funcional de los sistemas nerviosos de la persona. A medida que la trayectoria estocástica emerge y evoluciona con el tiempo, también es posible determinar las tasas de probabilidad de las firmas y utilizar esa serie temporal para pronosticar varios eventos inminentes junto con posibles consecuencias sensoriales.

Por último, las interfaces de bucle cerrado podrían incluso utilizarse en el mundo del arte. Podrían ofrecer a los artistas escénicos nuevas vías para generar formas computacionales de danzas modernas, bailes tecnológicos y nuevas formas de visualización y sonificación de la expresión corporal. En tales contextos, el cuerpo del bailarín puede convertirse en un instrumento impulsado sensorialmente para explorar de manera flexible diferentes modalidades sensoriales a través de la sonificación y visualización de las actividades biorritrómicas autogeneradas, como lo demuestran los trabajos previos en esta área^40,^41,^43,^46. Tal actuación podría aumentar el papel de un bailarín en el escenario y dejar que el público experimente señales corporales sutiles más allá del movimiento visible.

Varios aspectos de esta tecnología requieren un mayor desarrollo y pruebas para optimizar su uso en entornos en tiempo real. La transmisión sincrónica exige potencia de CPU/GPU de alta velocidad y capacidad de memoria para explotar realmente la noción de ganar tiempo y ser un paso adelante a la hora de predecir las consecuencias sensoriales de los comandos motores en curso. Las velocidades de muestreo del equipo deben ser comparables para poder alinear verdaderamente las señales, realizar una fusión sensorial adecuada y explorar la transmisión de información a través de los diferentes canales del sistema nervioso. Estas son algunas de las limitaciones presentes en esta nueva interfaz.

Con todo, este trabajo ofrece un nuevo concepto para mejorar el control de nuestro sistema corporal, al tiempo que emplea medios subliminales que, no obstante, permiten mediciones sistemáticas estandarizadas de resultados del cambio estocástico.

Disclosures

The authors have nothing to disclose.

Acknowledgements

Agradecemos a los estudiantes que ofrecieron su tiempo para ayudar a realizar esta investigación; Kan Anant y PhaseSpace Inc. para proporcionarnos imágenes y videos necesarios para describir la configuración; y Neuroelectrónica por permitirnos utilizar material del canal www.youtube.com/c/neuroelectrics/ y sus manuales. Por último, agradecemos al Profesor Thomas Papathomas del Rutgers Center for Cognitive Science por su apoyo profesional durante las etapas de presentación de este manuscrito, nancy Lurie Marks Family Foundation Career Development Award a EBT y el Gerondelis Foundation Award a VK.

Contribuciones
Conceptualización, VK y EBT; metodología, EBT; software, VK, EBT, SK.; validación, VK y SK; análisis formal, VK; investigación, VK, EBT, SK; recursos, EBT; curación de datos, VK; escritura — preparación original del borrador, EBT; escritura: revisión y edición, VK, SK.; visualización, VK y EBT.; supervisión, EBT.; administración del proyecto, EBT.; adquisición de fondos, EBT Todos los autores han leído y acordado la versión publicada del manuscrito.

Materials

Enobio 32	Enobio	Hardware for EEG data collection
Enobio ECG Extention	Enobio	Hardware for ECG data collection
LabStreamingLayer (LSL)		Synchronization and streaming of data
Matlab	Mathwork	Analysis and processing of data
Max	Cycling'74	Sonification of bodily information
NIC.2	Enobio	Software for EEG and ECG data collection
PhaseSpace Impulse	PhaseSpace	Hardware for collection of the kinematic data (position, speed, acceleration)
Python3	Python	Analysis and processing of data
Recap	PhaseSpace	Software for collection of the kinematic data (position, speed, acceleration)

References

Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
Torres, E. B. . Theoretical Framework for the Study of Sensori-motor Integration. , (2001).
Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42 (2003).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson’s disease. PLoS One. 8 (7), 66757 (2013).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32 (2013).
Ryu, J., Vero, J., Torres, E. B. . MOCO ’17: Proceedings of the 4th International Conference on Movement Computing. , 1-8 (2017).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
Casadio, M., et al. . IEEE International Conference on Rehabilitation Robotics. , (2019).
Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. . 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , (2018).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Purves, D. . Neuroscience. Sixth edition. , (2018).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson’s disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
Torres, E. B. . Progress in Motor Control. , 229-254 (2016).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , (2020).
Kalampratsidou, V. . Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , (2018).
Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer’s heart. Sixth International Symposium on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9 (2016).
Von Holst, E., Mittelstaedt, H., Dodwell, P. C. . Perceptual Processing: Stimulus equivalence and pattern recognition. , 41-72 (1950).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Torres, E. B. . Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , (2018).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Kalampratsidou, V., Kemper, S., Torres, E. B. Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface. J. Vis. Exp. (171), e61943, doi:10.3791/61943 (2021).