Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface

Vilelmini Kalampratsidou; Steven Kemper; Elizabeth B. Torres

doi:10.3791/61943

JoVE Journal > Behavior

行为学

Controle de proxy em tempo real de sinais periféricos re-parametrizados usando uma interface de loop próximo

Published: May 08, 2021

doi:

10.3791/61943

Vilelmini Kalampratsidou^1,2, Steven Kemper³, Elizabeth B. Torres^1,2,4,5,6

¹Center for Cognitive Science,Rutgers University, ²Department of Computer Science,Rutgers University, ³Music Department, Mason Gross School of the Arts,Rutgers University, ⁴Psychology Department,Rutgers University, ⁵Sensory Motor Integration Lab,Rutgers University, ⁶Computational Biomedicine Imaging and Modelling Center,Rutgers University

Summary

Apresentamos protocolos e métodos de análises para construir interfaces co-adaptativas que transmitem, parametrizam, analisam e modificam sinais humanos do corpo e do coração em loop próximo. Esta configuração interfaces sinais derivados dos sistemas nervosos periféricos e centrais da pessoa com entradas sensoriais externas para ajudar a rastrear a mudança biofísica.

Abstract

Os campos que desenvolvem métodos de substituição sensorial e aumento sensorial têm como objetivo controlar metas externas utilizando sinais dos sistemas nervosos centrais (SNC). Menos frequentes, no entanto, são protocolos que atualizam sinais externos autogerindo por corpos interativos em movimento. Há uma escassez de métodos que combinam os bioritmos corpo-coração-cérebro de um agente em movimento para orientar os de outro agente em movimento durante a troca dídica. Parte do desafio para realizar tal feito tem sido a complexidade da configuração usando bio-sinais multimodais com diferentes unidades físicas, escalas de tempo diferentes e frequências de amostragem variável.

Nos últimos anos, o advento de biocons sensores vestíveis que podem aproveitar invasivamente vários sinais em conjunto, abriu a possibilidade de re-parametrizar e atualizar os sinais periféricos de díades interagindo, além de melhorar as interfaces cérebro e/ou corpo-máquina. Aqui apresentamos uma interface co-adaptativa que atualiza a saída de motor somatic eferente (incluindo cinemática e frequência cardíaca) usando biosensores; parametriza os bio-sinais estocásticos, sonifica esta saída e a alimenta de volta em forma reparammetida como entrada de reafferent visuo/audio-cinestésico. Ilustramos os métodos usando dois tipos de interações, um envolvendo dois humanos e outro envolvendo um humano e seu avatar interagindo em tempo quase real. Discutimos os novos métodos no contexto de possíveis novas formas de medir as influências da entrada externa no controle somatic-sensorial-motor interno.

Introduction

O controlador natural de close-loop
A informação sensorial-motor flui continuamente entre o cérebro e o corpo para produzir comportamentos bem organizados e coordenados. Tais comportamentos podem ser estudados apenas no foco nas ações da pessoa, como em um estilo de monólogo (Figura 1A), ou durante ações dinâmicas complexas compartilhadas entre dois agentes em um díade, como em um estilo de diálogo(Figura 1B). No entanto, uma terceira opção é avaliar interações tão complexas através de um controlador proxy, dentro do contexto de uma interface de loop próximo entre humanos e computadores(Figura 1C). Tal interface pode acompanhar as flutuações momentâneas dos movimentos contribuídos por cada agente no díade, e pelo tipo de coesão que auto-emerge de suas interações síncronias, ajudando a orientar os ritmos do diádio de maneiras desejáveis.

Figura 1: Diferentes formas de controle. (A) Interfaces auto-controladas pelo cérebro dependem das relações de loop próximo entre o cérebro da pessoa e o próprio corpo da pessoa, que podem se autorregular e se auto-interagir no estilo “monólogo”. Este modo tenta o controle de movimentos autoger gerados, ou também pode visar controlar dispositivos externos. (B) O controle de estilo “Diálogo” é introduzido para dois dançarinos que interagem entre si e através de entranção física e turn-taking para alcançar o controle sobre os movimentos um do outro. (C) O controle de diálogo “Terceiro” do díade é introduzido como mediado por uma interface de computador que aproveita em conjunto os bio-sinais de ambos os dançarinos, parametriza-o e alimenta-o de volta aos dançarinos de forma re-parametrizada usando áudio e/ou visão como formas de orientação sensorial. A re-parametrização nos exemplos aqui apresentados foi alcançada utilizando feedback audiovisual ou visual, potencializado pela saída motora cinestésico em tempo real de um dos dançarinos para influenciar o outro; ou de ambos os dançarinos, revezando-se em algum padrão alternado. Clique aqui para ver uma versão maior desta figura.

O objetivo geral deste método é mostrar que é possível aproveitar, parametrizar e re-parametrizar as flutuações momentâneas nas atividades biorítmicas dos corpos em movimento, à medida que dois agentes se envolvem em trocas dídicas que podem envolver dois humanos, ou um humano e seu avatar auto-comovente.

Investigações sobre como o cérebro pode controlar ações e prever suas consequências sensoriais geraram muitas linhas de investigações teóricas nos últimos^1,²^,³ e produziram vários modelos de controle neuromotor^4,^5,⁶^,⁷^,⁸. Uma linha de pesquisa neste campo multidisciplinar envolveu o desenvolvimento de interfaces cérebro-máquina ou cérebro-computador de loop próximo. Esses tipos de configurações oferecem maneiras de aproveitar e adaptar os sinais CNS para controlar um dispositivo externo, como um braço robótico^9,^10,¹¹, um exoesqueleto^12,um cursor em uma tela de computador¹³ (entre outros). Todos esses dispositivos externos compartilham a propriedade que eles não têm inteligência própria. Em vez disso, o cérebro que tenta controlá-los tem, e parte do problema que o cérebro enfrenta é aprender a prever as consequências dos movimentos que ele gera nesses dispositivos (por exemplo, os movimentos do cursor, os movimentos do braço robótico, etc.) ao mesmo tempo em que gera outros suportes de movimento que contribuem para o feedback motor sensorial geral na forma de reagência cinética. Muitas vezes, o objetivo geral dessas interfaces tem sido ajudar a pessoa por trás desse cérebro a contornar uma lesão ou desordem, para recuperar a transformação de seus pensamentos intencionais em atos físicos controlados volientemente do dispositivo externo. Menos comum, no entanto, tem sido o desenvolvimento de interfaces que tentam orientar os movimentos dos corpos em movimento.

Grande parte da pesquisa original sobre interfaces cérebro-máquina se concentra no controle do sistema nervoso central (SNC) sobre partes do corpo que podem realizar ações direcionadas a metas^9,^14,^15,^16,¹⁷. Há, no entanto, outras situações em que o uso dos sinais derivados de atividades dos sistemas nervosos periféricos (PNS), incluindo os dos sistemas nervosos autônomos (ANS), é informativo o suficiente para influenciar e orientar os sinais de agentes externos, incluindo outro humano ou avatar, ou mesmo interagir humanos (como na Figura 1C). Ao contrário de um braço robótico ou cursor, o outro agente neste caso, tem inteligência impulsionada por um cérebro (no caso do avatar que foi dotado dos movimentos da pessoa, ou de outro agente, no caso de um díade humano interagindo).

Uma configuração que cria um ambiente de uma interface de close-loop co-adaptável com a troca dídica pode ser útil para intervir em distúrbios dos sistemas nervosos pelos quais o cérebro não pode controlar o próprio corpo em movimento à vontade, apesar de não ter cortado fisicamente a ponte entre o CNS e o PNS. Este pode ser o caso devido a sinais periféricos barulhentos pelos quais os loops de feedback para ajudar o cérebro a monitorar e ajustar continuamente seus próprios bioritmos autogeridos podem ter sido interrompidos. Esse cenário surge em pacientes com Mal de Parkinson^18,¹⁹, ou em participantes com transtornos do espectro autista com excesso de ruído em sua produção motora. De fato, em ambos os casos, quantificamos altos níveis de relação ruído-sinal nos sinais cinestésicos que retornam derivados da velocidade de seus movimentos pretendidos^20,²¹^,²² e do coração²³. Nesses casos, tentar dominar o controle cerebral de sinais externos, ao mesmo tempo em que tenta controlar o corpo em movimento, pode resultar em um sinal auto-reativo do fluxo de informações re-entrante (re-aferentes) que o cérebro recebe do fluxo motor contínuo (eferente) na periferia. De fato, as flutuações moment a momente presentes em tal fluxo motor eferente autogerado contêm informações importantes úteis para auxiliar na previsão das consequências sensoriais das ações propositais²⁴. Quando esse feedback é corrompido pelo ruído, torna-se difícil atualizar previsivelmente os sinais de controle e fazer a ponte de planos intencionais com atos físicos.

Se estendermos esse ciclo de feedback a outro agente e controlarmos as interações da pessoa e do agente através de um terceiro(Figura 1C),podemos ter a chance de direcionar as performances um do outro em tempo quase real. Isso nos forneceria a prova de conceito de que precisaríamos estender a noção de interfaces cérebro-corpo ou cérebro-máquina co-adaptativa para tratar distúrbios dos sistemas nervosos que resultam em má realização de vontade física a partir de intenção mental.

Ações propositadas têm consequências, que são precisamente caracterizadas por assinaturas motoras e estocásticas que são dependentes do contexto e permitem inferência de níveis de intenção mental com alta certeza²⁵^,²⁶. Assim, uma vantagem de um novo método que aproveita a troca dídica sobre abordagens centradas em pessoas anteriores à máquina cerebral ou interfaces de computador cerebral, é que podemos aumentar os sinais de controle para incluir os bioritmos corporais e cardíacos que ocorrem em grande parte sob a consciência da pessoa, sob diferentes níveis de intenção. Dessa forma, amortecemos a interferência reativa que o controle consciente tende a evocar no processo de adaptação do controle cérebro-cursor¹⁷. Podemos adicionar mais certeza ao processo preditivo, parametrizando os vários sinais que podemos acessar. Nesse sentido, existe trabalho prévio utilizando sinais cerebrais e corporais em conjunto²⁷^,²⁸^,²⁹; mas o trabalho envolvendo interações dídicas capturadas por sinais cerebrais-corporais permanece escasso. Além disso, a literatura já se delineou a distinção entre segmentos deliberados da ação realizada sob plena consciência e movimentos transitórios que ocorrem espontaneamente como consequência dos deliberados³⁰^,³¹. Aqui fazemos essa distinção no contexto da troca dídica, e oferecemos novas formas de estudar essa dicotomia^32,ao mesmo tempo em que fornecemos exemplos de movimentos coreografados (deliberados) vs. improvisados (espontâneos) no espaço de dança.

Devido aos atrasos de transdução e transmissão nos processos de integração sensorial-motor e transformação^33,é necessário ter esse código preditivo em vigor, para aprender a antecipar a entrada sensorial futura com alta certeza. Para isso, é importante ser capaz de caracterizar a evolução da relação ruído-sinal derivada de sinais no fluxo de refesão cinestésico continuamente atualizado. Em seguida, precisamos de protocolos para medir sistematicamente a mudança na variabilidade motora. A variabilidade está inerentemente presente nas flutuações moment a momento do fluxo de motor³⁴de saída . Uma vez que esses sinais são não estacionários e sensíveis às variações contextuais³⁵^,³⁶, é possível parametrizar alterações que ocorrem com alterações do contexto das tarefas. Para minimizar a interferência de sinais reativos que emergem do controle consciente do CNS, e para evocar mudanças quantificáveis no fluxo de motor PNS efervescente, introduzimos aqui uma interface de loop próximo proxy que altera indiretamente o feedback sensorial, recrutando o sinal periférico que está mudando em grande parte sob a autoconsciência da pessoa. Em seguida, mostramos maneiras de medir sistematicamente a mudança que se segue às manipulações sensoriais, usando análises estocásticas favoráveis para visualizar o processo que a interface de loop próximo proxy evoca indiretamente em ambos os agentes.

Introduzindo um controlador de loop de fechamento de proxy
A variabilidade sensorial-motora presente nos sinais periféricos constitui uma rica fonte de informação para orientar o desempenho dos sistemas nervosos enquanto a aprendizagem, adaptação e generalização ocorrem em diferentes contextos³⁷. Esses sinais emergem em parte como um subproduto do CNS tentando controlar ações voliavelmente, mas não são o objetivo direto do controlador. À medida que a pessoa interage naturalmente com os outros, os sinais periféricos podem ser aproveitados, padronizados e re-parametrizados; o que significa que suas variações podem ser parametrizadas e sistematicamente deslocadas, pois altera-se o fluxo motor eferente que reentra continuamente no sistema como reafidão cinestésico. Em tais configurações, podemos visualizar as mudanças estocásticas, capturando com alta precisão um sinal rico que de outra forma é perdido para os tipos de grande média que as técnicas mais tradicionais realizam.

Para alcançar a caracterização da mudança sob a nova plataforma estatística, introduzimos protocolos, tipos de dados padronizados e análises que permitem a integração da entrada sensorial externa (auditiva e visual) com sinais motores autogerados internamente, enquanto a pessoa interage naturalmente com outra pessoa, ou com uma versão avatar da pessoa. Nesse sentido, porque estamos buscando controlar os sinais periféricos (em vez de modificar os sinais CNS para controlar diretamente o dispositivo ou mídia externa), nós cunhamos esta uma interface de loop de fechamento proxy(Figura 2). Nosso objetivo é caracterizar as mudanças nos sinais estocásticos da PNS, pois impactam as do CNS.

Figura 2: Controle proxy de uma interação disádica usando interface multimodal de loop próximo. (A) Controle indireto de dois dançarinos (salsa dançante) através de uma interface co-adaptativa de computador vs. (B) um dyad interativo artificial pessoa-avatar controlado aproveitando os sinais dos sistemas nervosos periféricos e re-parametrizando-o como sons e/ou como entrada visual. (C) O conceito de sonificação utilizando um novo tipo de dados padronizado (os picos de micro-movimento, MMS) derivado das flutuações moment a momento nos sinais biorítmicos amplitude/tempo convertidos em vibrações e, em seguida, ao som. Da Física, emprestamos as noções de compressões e rarefações produzidas por uma onda sonora de saída de garfo de sintonia como vibrações mensuráveis. Esquemas de ondas sonoras representados como pressão modulada ao longo do tempo em paralelo às concentrações de pico para sonificação. Exemplo de um sinal físico para submeter-se ao pipeline proposto de MMS para vibrações e sonificação. Usamos o sinal de frequência cardíaca como entrada para a interface. Isso requer flutuações na amplitude do sinal alinhadas ao início do movimento a cada 4 segundos de movimento e constrói trens MMS representando as vibrações. Os trens de pico do MMS são padronizados a partir de [0,1]. A cor dos picos de acordo com a barra de cor, representa a intensidade do sinal. Então sonificamos essas vibrações usando Max. Este sinal sonificado pode ser usado para reproduzir em A, ou para alterar em B as interações com o avatar. Além disso, em B é possível incorporar o som no ambiente e usar a posição do corpo para reproduzir o som de volta em uma região de interesse (ROI), ou modular os recursos de áudio em função da distância ao ROI, velocidade ou aceleração de uma parte do corpo ancorada em outra parte do corpo, ao passar pelo ROI. Clique aqui para ver uma versão maior desta figura.

Os sinais PNS podem ser aproveitados de forma não invasiva com tecnologias de sensoriamento vestíveis que co-registram fluxos multimodais e diferentes de diferentes camadas funcionais dos sistemas nervosos, variando de autônomo a³²voluntário . Podemos então medir em tempo real as alterações nesses fluxos e selecionar aqueles cujas alterações melhoram a relação sinal-ruído. Este sinal motor eferente pode então ser aumentado com outras formas de orientação sensorial (por exemplo, auditivo, visual, etc.) Como a PNS sinaliza a consciência total, elas são mais fáceis de manipular sem muita resistência ³⁸. Como tal, nós os usamos para ajudar a orientar o desempenho da pessoa de maneiras que podem ser menos estressantes para o sistema humano.

Construindo a Interface
Apresentamos o design do controle proxy mediado por uma interface multimodal co-adaptativa de close-loop. Esta interface direciona o feedback multissensorial em tempo real. A Figura 3 exibe o design geral.

A interface close-loop é caracterizada por 5 passos principais. O primeiro passo é a coleta de dados multimodal a partir de múltiplos instrumentos vestíveis. A 2ª etapa é a sincronização dos fluxos multimodais através da plataforma do LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer) desenvolvido pelo grupo MoBI ³⁹. O terceiro passo é o streaming da estrutura de dados LSL para uma interface de linguagem python, MATLAB ou outra linguagem de programação para integrar os sinais e parametrizar empiricamente recursos fisiológicos (relevantes para nossa configuração experimental) em tempo real. O 4º passo é rememetificar as características selecionadas extraídas do fluxo contínuo do sinal corporal estudado e aumentá-lo utilizando uma modalidade sensorial de escolha (por exemplo, visual, auditiva, cinestésico, etc.) para reproduzi-lo na forma de sons ou visuais, para aumentar, substituir ou melhorar a modalidade sensorial que é problemática no sistema nervoso da pessoa. Por fim, o 5º passo é reavaliar as assinaturas estocásticas dos sinais gerados pelo sistema em tempo real, para selecionar qual modalidade sensorial traz as mudanças estocásticas das flutuações corporais para um regime de alta certeza (minimização de ruído) na previsão das consequências sensoriais da ação iminente. Este loop é reproduzido continuamente durante toda a duração do experimento com o foco no sinal selecionado, ao mesmo tempo em que armazena o desempenho completo para análises subsequentes (como retratado nos esquemas da Figura 3 e ver⁴⁰^,⁴¹^,⁴²^,⁴³^,⁴⁴^,⁴⁵^,⁴⁶^,⁴⁷ para um exemplo de análises posteriori).

Figura 3: A arquitetura do conceito de interface de close-loop periférico multimodal. Vários sinais corporais são coletados dados cinemáticos, atividade cardíaca e cerebral (passo 1). O LSL é usado para co-registrar e transmitir sincronizadamente os dados provenientes de vários equipamentos para a interface (passo 2). O código Python/MATLAB/C# é usado para parametrizar continuamente as flutuações nos sinais usando um tipo de dados padronizado e uma escala comum que permite selecionar a fonte de orientação sensorial mais adequada para amortecer a incerteza do sistema (passo 3). Este aprimoramento em tempo real da transmissão de sinal através de canais selecionados permite então a re-parametrização do sinal sensorial re-entrante para se integrar no fluxo de motor contínuo e melhorar o fluxo de entrada perdido ou corrompido (etapa de substituição sensorial 4). A reavaliação contínua fecha o loop (etapa 5) e salvamos todos os dados para análises futuras adicionais. Clique aqui para ver uma versão maior desta figura.

As seções a seguir apresentam o protocolo genérico de como construir uma interface de close-loop (como descrito na Figura 3) e descrevem resultados representativos de duas interfaces experimentais (elaboradamente apresentadas em Material Suplementar) envolvendo interação disádica física entre dois dançarinos (sistema de loop próximo real) e interação disádica virtual entre uma pessoa e um avatar (sistema de close-loop artificial).

Protocol

O estudo foi aprovado pelo Conselho de Estudo Institucional da Rutgers (IRB) em cumprimento à declaração de Helsinque. 1. Participantes Defina a população a ser estudada e convide-as a participar do estudo. A interface atual pode ser usada em várias populações. Este protocolo e os exemplos aqui utilizados para fornecer prova de conceito não se limitam a um grupo específico. Obter consentimento por escrito informado do protocolo aprovado pelo IRB em conformidade com a Declaração de Helsinque. Peça ao participante ou ao responsável para assinar o formulário antes do início do experimento. 2. Configuração da interface close-loop Configuração de equipamentos cinemáticos-PNSAjude o participante a usar cuidadosamente o traje de captura de movimento baseado em LED (corpo e cabeça, mostrado nas Figuras 3, Passo 1 e 5) acompanhando o sistema de captura de movimento utilizado. Os marcadores led do traje serão rastreados pelas câmeras do sistema para estimar a localização do corpo em movimento no espaço. Conecte o controlador LED sem fio (também conhecido como unidade de driver LED) do sistema com os cabos LED do traje, conectando-o à porta adequada. Ligue o dispositivo e ajuste-o no modo de streaming. Ligue o servidor do sistema de captura de movimento. Abra um navegador web, visite o endereço do servidor e faça login (informações de login devem ser fornecidas pela empresa após a compra do produto). Calibrar o sistema conforme necessário (por exemplo, calibrar o sistema se esta for a primeira vez a usar o equipamento, caso contrário, mova-se para a etapa 2.1.17). Abra a ferramenta de calibração do sistema de captura de movimento e selecione Assistente de Calibração. Certifique-se de que a entrada do número do servidor no campo de texto no lado superior esquerdo da interface está correta e clique em Continuar. Conecte a varinha à primeira porta do controlador LED e ligue o controlador e clique em Continuar. Uma vez que a varinha esteja conectada, seus marcadores LED serão ligados e aparecerão no visor, na visão da câmera. Coloque a varinha no centro do campo de visão da câmera, confirme que ela pode ser gravada pelas câmeras e clique em Continuar. Mova a varinha por todo o espaço mantendo-a vertical e desenhando cilindros. Certifique-se de que o movimento é capturado por pelo menos 3 câmeras todas as vezes e está registrado no campo de visão de cada câmera tornando-o verde. Faça isso por todas as câmeras. Uma vez que o campo de exibição de cada câmera tenha sido totalmente registrado (está tudo verde), clique em Continuar e aguarde que os cálculos de calibração sejam executados.NOTA: Uma vez concluída a calibração, a localização da câmera juntamente com os marcadores LED será vista no visor, pois eles são colocados fisicamente na sala. Neste ponto, o usuário pode retomar a calibração porque está feito, ou continuar alinhando o sistema. Segure a varinha verticalmente e coloque o lado com o LED mais perto da extremidade da varinha no chão, onde a origem do espaço 3D deve ser definida (ponto (0,0,0)). Mantenha a varinha estável até ser registrada. Uma vez registrada, a tela pisca verde. Um ponto indicando a origem do quadro de referência no espaço aparecerá na interface e o próximo eixo de alinhamento, x-eixo, será destacado verde. Mova a varinha, mantendo a mesma orientação (verticalmente), no ponto do eixo x e mantenha-a estável até ser registrada. Repita para o eixo z. Uma vez registrado o ponto do eixo z, a calibração é completa. Clique em Concluir para sair da calibração. Abra a interface do sistema de captura de movimento e clique em Conectar para iniciar o streaming dos dados dos marcadores LED. Uma vez estabelecida a conexão, a posição dos marcadores será exibida no mundo virtual da interface. Crie o esqueleto virtual (estime automaticamente as posições ósseas do corpo a partir dos dados de posição coletados dos marcadores LED do traje, como mostra a Figura 8 passo2). Clique com o botão direito do mouse em Esqueletos no lado direito da janela e selecione Novo esqueleto. Escolha o Mapeamento de Marcadores e selecione o arquivo adequado (fornecido pela empresa com base na versão de interface que é usada). Em seguida, clique em OK. Peça ao participante para se manter estável na pose T (postura direta com os braços abertos nas laterais). Clique com o botão direito do mouse no esqueleto e selecione Gerar esqueleto sem treinamento. Se todas as etapas forem corretamente executadas, o esqueleto será gerado. Peça ao participante para se mover e verificar com precisão o quão precisamente o esqueleto virtual segue os movimentos do participante. Para transmitir os dados do esqueleto para LSL, selecione Configurações e Opções no menu principal. Abra o emulador do Coruja e clique em “iniciar” transmissão ao vivo. Instalação de equipamentos EEG – CNS Ajude o mesmo participante a usar o head-cap do EEG. Coloque os eletrodos de gel (os eletrodos tradicionais à base de gel usados com a tampa da cabeça EEG) na tampa da cabeça e 2 eletrodos pegajosos (eletrodos que funcionam como adesivos) na parte traseira da orelha direita para os sensores CMS e DRL. Encha eletrodos com gel de alta condução, conforme necessário, para melhorar a condutividade entre o sensor e o couro cabeludo. Conecte os cabos de eletrodo nos trilhos de gel e os dois eletrodos pegajosos. Coloque o monitor sem fio na parte de trás da tampa da cabeça e conecte os cabos de eletrodo. Ligue o monitor. Abra a interface do sistema EEG. Selecione Usar dispositivo Wi-Fi e clique em Digitalizar para dispositivos. Selecione NE Wi-Fi e Use este dispositivo. Clique no ícone da cabeça, selecione um protocolo que permita a gravação de todos os 32 sensores e clique em Carregar. Certifique-se de que os dados transmitidos de cada canal sejam exibidos na interface. Instalação de equipamentos ECG- ANS Siga os passos exatos apresentados em 2.2, mas use o canal O1 para conectar na extensão da frequência cardíaca (HR). Use um eletrodo pegajoso para colocar a outra extremidade da extensão logo abaixo da caixa torácica esquerda. Preparação de LSL para gravação sincronizada e streaming de dados cinemáticos. Execute o aplicativo LSL para o sistema de captura de movimento clicando duas vezes no ícone correspondente. Localize o aplicativo no seguinte caminho da pasta LSL, LSL\labstreaminglayer-master\Apps\PhaseSpace. Na interface, defina o endereço adequado do servidor. Em seguida, selecione Configuração de arquivo e carga . Selecione o arquivo de configuração adequado (ele deve ser fornecido pela empresa com base na versão do produto que é usada) Clique em Link. Se não forem cometidos erros, nenhuma mensagem de erro será exibida. Prepare o LSL para gravação sincronizada e streaming de dados EEG e ECG. Não são necessárias etapas extras para este equipamento. Configuração de LSL Execute o aplicativo LabRecorder clicando duas vezes no arquivo localizado no caminho LSL\labstreaminglayer-master\Apps\LabRecorder da pasta LSL. Clique em Atualizar. Se todas as instruções forem executadas corretamente, todos os tipos de dados do sistema de captura de movimento e EEG serão vistos no painel Registro para fluxos. Selecione diretório e nome para os dados no painel de localização do armazenamento. Clique em Iniciar. A coleta de dados do sistema de captura de movimento e EEG começará de forma sincronizada. No final da gravação clique em Stop. Se a gravação for bem sucedida, os dados serão localizados no diretório previamente selecionado. Abra os arquivos para confirmar que eles incluem as informações gravadas. Análises em tempo real e monitoramento do sistema humano. Execute o MATLAB, Python ou outro código que receba, processe e aumente os dados transmitidos. Os códigos de exemplo correspondentes aos exemplos representativos descritos nas seguintes seções podem ser encontrados aqui: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE Geração do feedback sensorial aumentado Produzir a saída sensorial usando o dispositivo adequado (por exemplo, alto-falantes, monitor, entre outros). 3. Procedimento experimental Siga o procedimento experimental que é definido pela configuração, se houver.NOTA: As interfaces de close-loop foram projetadas para serem exploradas e aprendidas intuitivamente. Assim, na maioria das vezes não são necessárias instruções.

Representative Results

Existem várias interfaces que podem ser construídas com base no protocolo apresentado na seção anterior e podem ser aplicadas em diferentes populações para inúmeros fins. Algumas variações possíveis são descritas na seção “Variações da Interface de Close-Loop Apresentada” de Material Suplementar. Nesta seção demonstramos resultados representativos de 2 interfaces de loop próximo de amostra que seguem o protocolo descrito na seção anterior. A configuração, o procedimento experimental e os participantes desses estudos são explicados em profundidade nas seções “Exemplo 1: Interface de loop de áudio de uma interação diádica real” e “Exemplo 2: Interface de loop próximo audiovisual de uma Interação Disádica Artificial” do Arquivo Suplementar. Resultados da interface de loop de áudio de uma interação diádica realNo estudo de “Interface de loop próximo de áudio de uma interação diádica real” (elaboradamente apresentada na seção “Exemplo 1: Interface de loop próximo de áudio de uma interação disádica real” de material suplementar), usamos uma interface de controle proxy, ilustrada na Figura 4, que usa o sinal cardíaco da dançarina feminina para alterar a música dançada. Em tempo real, realizamos o processamento do sinal para extrair o tempo dos batimentos cardíacos e transmitimos essas informações para o sistema Max para alterar a velocidade da música executada. Assim, tocamos a música de volta, alterada pelos sinais biofísicos. Esse processo levou a novas alterações nos movimentos e sinais de batimentos cardíacos. Figura 4: A interface de loop próximo baseada em áudio. 1. Um dispositivo vestível ECG-HR monitora a atividade de uma dançarina de salsa durante a performance de suas rotinas e alimenta os sinais para a interface a 500Hz. 2. Nossa interface analisa os dados do ECG em tempo real. Em cada quadro, filtra os dados brutos, extrai os picos R do complexo QRS; e transmite o pico de detecção para MAX. 3. Uma interface de terceiros mistura a velocidade do áudio com a velocidade da taxa cardíaca. 4. A música alterada é tocada de volta para os dançarinos. Clique aqui para ver uma versão maior desta figura. Dois bailarinos interagiram com a interface e realizaram uma rotina bem ensaiada encenando uma coreografia e uma dança espontaneamente improvisada. Os dançarinos tiveram que executar a versão original da canção uma vez e uma versão misturou o ritmo original da canção com o fluxo de batimentos cardíacos em tempo real. Referimo-nos à versão posterior que foi executada duas vezes como alteração 1 e 2 da canção. Na análise apresentada abaixo, utilizamos o sinal de coração e áudio gravado. Os picos dos dois sinais extraídos para estimar os trens do MMS (ver seção “Micro-movimentos Spikes” em Arquivo Suplementar), que preservam flutuações de alta frequência, como mostrado na Figura 5. Figura 5: Estimativa dos trens MMS do sistema de loop de fechamento de áudio. As séries temporais do ECG são usadas para extrair os picos de RR e os desvios de amplitude da amplitude média geral (estimada) dos picos R obtidos (dados mal-deslocados). Em seguida, a normalização por equação 1 (ver Arquivo Suplementar, seção “Picos de Micro-Movimento”) é usada para obter os trens MMS. Métodos semelhantes são usados para lidar com as formas de onda de áudio e reproduzir a música de volta de acordo com a performance em tempo real da pessoa. Clique aqui para ver uma versão maior desta figura. Os trens mms foram bem caracterizados como um processo aleatório contínuo, bem representado pela família Gamma contínua de distribuições de probabilidades. A MLE considerou essa família contínua de distribuições como a mais adequada para ambos os conjuntos de dados (ver explicação na seção “Distribuição Gama” de Material Suplementar e Figura Suplementar 2). Este tipo de processo aleatório foi usado para rastrear as mudanças nas assinaturas estocásticas dos bioritmos autogerados por bio-sinais dos sistemas nervosos humanos. A partir da forma empiricamente estimada e dos parâmetros gama de escala, obtemos os momentos gama, a média, a variância, a distorção e a kurtose (veja detalhes da análise na seção “Análise Estocástica” do Material Suplementar). Em seguida, plotamos o PDF estimado. A Figura 6 foca apenas no sinal cardíaco e na música, mas os métodos se aplicam de forma semelhante aos outros bioritmos gerados pelos sinais cinemáticos apresentados em 41. O PDF do coração e o sinal de música são mostrados na Figura 6A-B,onde destacamos as diferenças entre os conjuntos de dados das duas condições, rotina deliberada e improvisação espontânea. Para cada condição, ressaltamos as mudanças nas assinaturas estocásticas induzidas pelas alterações temporais da canção. Inicialmente, eles dançam a música original. Então, à medida que o batimento cardíaco muda os ritmos em tempo real, as flutuações sonoras neste sinal levam os dançarinos a seguir as alterações temporais da canção. Estas são denotadas alteração 1 e alteração 2. Essas mudanças sistemáticas são descritas pelos parâmetros gama. Em seguida, usando os parâmetros de forma e escala empiricamente estimados, obtivemos os quatro momentos gama correspondentes para os batimentos cardíacos e as músicas. Estes são exibidos na Figura 6C para os sinais de coração (superior) e a música (inferior). Figura 6: Induzindo alterações sistemáticas nos PDFs Gamma empiricamente estimados e suas trajetórias estocásticas dos Quatro Momentos Gama a partir do desempenho sob o controle de proxy usando o Sistema de Loop de Áudio. (A) PDFs dos trens MMS de cada um dos tipos de dados (parte superior e fundo do arquivo de áudio do ECG) para cada um dos contextos de dança, improvisação espontânea e rotina deliberada. As lendas são Imp Or (improvisação original) denotando a condição da linha de base no início da sessão; Imp Alt1 denotando a improvisação durante a alteração 1; Imp Alt2 denotando improvisação durante a alteração 2. (B) Da mesma forma, para a rotina deliberada ensaiada, Rout Or significa rotina original; Rout Alt1 significa alteração de rotina 1; Rout Alt2 significa alteração de rotina 2. Os painéis em (C) mostram as mudanças sistemáticas nos momentos gama, pois tanto os sinais de áudio das músicas quanto os do coração mudam em conjunto e em tempo real. Clique aqui para ver uma versão maior desta figura. A mudança das assinaturas pode ser apreciada nesses painéis (gráficos de momentos PDF e Gama), demonstrando assim que os métodos apresentados podem capturar a adaptação do coração às alterações da canção que o controlador proxy produz em tempo real. À medida que as canções mudam os ritmos, assim como as assinaturas estocásticas do coração e a transição das assinaturas estocásticas é consistente na direção (que também é um achado em 41 onde estudamos os parâmetros de forma e escala). Da mesma forma, à medida que as assinaturas do coração mudam, as assinaturas da música também mudam. Este efeito de espelhamento – o que afeta o outro e à medida que um muda consistentemente para uma direção assim como o outro – siga a natureza de loop próximo desta interface de controlador proxy. Os resultados ressaltam a utilidade dessa configuração e comprovam o conceito de que podemos sistematicamente mudar os bioritmos autônomos da pessoa no contexto da troca dídica. Mudanças paralelas nas assinaturas estocásticas tanto das músicas quanto dos sinais corporais, demonstram que a co-adaptação de todo o sistema (participante e interface) é possível usando os sinais periféricos. Esse processo ocorre suavemente sob a consciência da pessoa e oferece uma prova de conceito para que as ideias mudem remota e sistematicamente os bio-sinais da pessoa em correspondência com o feedback sensorial externo de escolha. Em resumo, podemos orientar a mudança das assinaturas estocásticas neste processo aleatório contínuo. Os métodos permitem capturar mudanças e sua taxa ao longo das trajetórias estocásticas que fomos capazes de construir em tempo real. Para determinar a significância estatística nas mudanças, utilizamos o teste ANOVA não paramétrico, Kruskal-Wallis seguido de múltiplas comparações pós-teste hoc. Comparamos as assinaturas do MMS dos dados cardíacos entre as seis condições. A Figura 7 mostra a multi-comparação dos dados cardíacos do MMS e da tabela Kruskal-Wallis correspondente. O enredo de multi-comparação indica que há uma diferença significativa entre a condição de base da dança de rotina original (Rout). Ou) e a condição de base da dança improvisada original (Imp. Or). Também é importante notar que as primeiras alterações, Rout. Alt1 e Imp. Alt1, mudam para distribuições que compartilham meios comparáveis e o mesmo se aplica às segundas alterações, enquanto a variância, distorção e kurtose mudam no espaço de momentos gama(Figura 6C). Figura 7: Resultados dos testes não paramétricos Kruskal-Wallis e multiacompotivos pós-hoc. Os resultados do ANOVA não paramétrico (teste de Kruskal-Wallis) aplicados no MMS dos dados cardíacos para comparar as seis condições. O enredo demonstra a multi-comparação dos 6 casos, indicando a diferença significativa entre o “Rout” Ou” e condições “Imp. Or”. A tabela mostra os resultados do teste de Kruskal Wallis. Clique aqui para ver uma versão maior desta figura. Resultados da interface audiovisual de close-loop de uma interação diádica artificialNo estudo de “Interface audiovisual de close-loop de uma interação disádica artificial” (elaboradamente apresentada na seção “Exemplo 2: Interface de close-loop audiovisual de uma interação disádica artificial” de Material Suplementar), 6 participantes interagiram com a interface, ilustrada nas Figuras 8,que cria seu avatar espelhado tornando os próprios movimentos da pessoa. A interface incorpora sons dependentes de posição dentro da região ao redor da pessoa durante a interação. Os participantes foram ingênuos quanto ao propósito do estudo. Eles tiveram que andar pela sala e descobrir como controlar o som que surpreendentemente surgiria à medida que passavam por um RoI (regiões de interesse) que o controlador proxy definiu. Figura 8: A representação visual da Interface Audiovisual. 1. É utilizado um sistema de captura de movimento para aquisição dos dados cinemáticos periféricos. 2. O sistema coleta as posições dos sensores (em nosso exemplo LED) para estimar o esqueleto – posição sobre os ossos. 3. As posições ósseas são então alinhadas em nossa interface desenvolvida pelo MATLAB usando nosso próprio modelo de cinemática para a frente. 4. As posições alinhadas são usadas para mapear as informações do esqueleto para o nosso avatar renderizado 3D. 5. O mapeamento dos dados transmitidos para o avatar é em tempo real, o que cria a sensação de olhar para a imagem espelhada da pessoa. Clique aqui para ver uma versão maior desta figura. A Figura 9 demonstra os resultados da interface audiovisual da condição 1 (ver Arquivo Suplementar para mais condições), onde a localização do quadril ativa a música quando a primeira em localizada no RoI. Esta figura mostra as assinaturas pdf e gama (ver seção “Tipos e Análises de Dados” de Material Suplementar) dos dados de velocidade do quadril de 6 participantes de controle diferentes (C1 a C6), quando estavam dentro e fora do volume do RoI. Os resultados aqui apresentados destacam as diferenças personalizadas na taxa de adaptação dos participantes individuais. Estes são indicados pelas mudanças das assinaturas estocásticas e pelos resultados individuais emergindo dentro ou fora do volume do RoI. Por exemplo, podemos notar que o PDF adequado à frequência histogramas do MMS derivados da amplitude de velocidade dos quadris de C3 e C4, eram mais simétricos (maior valor de forma) e menos barulhentos (menor valor de escala) quando dentro do volume. Em contraste, o resto dos participantes apresentam um padrão oposto. Empiricamente, descobrimos que as assinaturas para o canto inferior direito são de atletas e dançarinos, realizando movimentos altamente qualificados. As assinaturas estão na região superior esquerda, provenientes de conjuntos de dados de sistemas nervosos com patologias, como aqueles com diagnóstico de transtornos do espectro autista TDAH22,32 e os de um participante desafetado21. No contexto de mudança de padrões ao longo de uma trajetória estocástica, obtemos os valores medianos da forma e escala para definir o quadrante inferior direito (RLQ) e o quadrante superior esquerdo (LUQ) onde acompanhamos a qualidade geral do sinal para a razão de ruído acumulando essas informações ao longo do tempo. Isso considera a atualização dos valores medianos definindo dinamicamente esses quadrantes à medida que a pessoa co-adapta seus bioritmos gerados internamente àqueles controlados externamente pelo proxy, mas dependentes dos internos da pessoa. Figura 9: PDFs gama empiricamente estimados e assinaturas gama dos bioritmos corporais durante interações usando o Sistema de Close-Loop Audiovisual. Utilizando os trens MMS derivados da velocidade dos quadris de cada participante (C1 – C6), usamos MLE para encaixar o melhor PDF com intervalos de confiança de 95%. Cada participante é representado por um símbolo diferente, enquanto as condições são representadas por cores diferentes. Uma família de PDFs gama quando no volume (in) difere daquele fora do volume (out). Além dos PDFs empiricamente estimados em gama, os parâmetros estimados de forma gama e escala também são mostrados para cada pessoa no plano de parâmetros gama. Clique aqui para ver uma versão maior desta figura. A Tabela 1 mostra valores p obtidos a partir de dados brutos (velocidade) e MMS comparando o resultado entre as condições quando a parte do corpo da pessoa está dentro do RoI vs. fora do RoI. Os resultados retratados na tabela foram estimados usando o teste não paramétrico ANOVA Kruskal-Wallis. Teste de Kruskal Wallis Dados de velocidade Mms C1 0 1.34 e-05 C2 0 4.72E-15 C3 0 8.59E-34 C4 2.70E-21 3.16E-04 C5 0 1.11E-09 C6 0 5.95E-05 Tabela 1: Saída do teste ANOAVA-Kruskal-Wallis não paramétrico. Os resultados do teste de Kruskal Wallis comparando as gravações de dentro versus fora do Rol para o MMS e os dados de velocidade. Aplicamos o teste nos dados de cada participante (C1 – C6) separadamente. Arquivos Suplementares. Clique aqui para baixar esses arquivos.

Discussion

Este artigo introduz o conceito de controle proxy através de interfaces co-adaptativas, interativas e multimodais que aproveitam, parametrizam e re-parametrizam o sinal periférico da pessoa no contexto da troca dídica. Visamos caracterizar mudanças estocásticas nas flutuações dos bioritmos da pessoa e parametrizar a mudança. Além disso, visamos direcionar sistematicamente as assinaturas estocásticas de seus bioritmos para níveis direcionados de regimes de ruído-sinal em tempo real.

Apresentamos um protocolo genérico para a construção de uma interface de close-loop que satisfez 5 elementos principais: 1) a coleta de múltiplos dados corporais provenientes do CNS, PNS e ANS utilizando vários instrumentos e tecnologias; 2) a gravação sincronizada e o streaming dos dados; 3) a análise em tempo real dos sinais selecionados; 4) a criação de aumento sensorial (áudio, visual, etc.) utilizando características fisiológicas extraídas para os sinais corporais; e 5) o rastreamento contínuo do sistema humano e o aumento sensorial paralelo fecha o laço da interação entre o humano e o sistema.

O protocolo genérico foi aplicado em duas interfaces de exemplo. O primeiro investiga a troca dídica entre dois agentes humanos e o segundo entre um humano e um agente avatar. Os dois tipos de disads foram usados para fornecer provas de conceito de que o sinal periférico pode ser sistematicamente alterado em tempo real e que essas alterações estocásticas podem ser precisamente rastreadas. Um diálido era composto por dois participantes interagindo fisicamente, enquanto o outro envolvia um participante interagindo com um agente virtual na forma de um avatar renderizado 3D dotado dos movimentos da pessoa e com variantes alteradas desses movimentos em tempo real. Tais alterações foram evocadas por manipulações interativas impulsionadas por entradas sensoriais auditivas e/ou visuais em um cenário de sensações aumentadas. Tanto no diáad real quanto no táad artificial, demonstramos a viabilidade de mudar remotamente os sinais periféricos, incluindo bioritmos corporais e sinais autônomos dos batimentos cardíacos.

Apresentamos novos protocolos experimentais para sondar tais mudanças na variabilidade motora eferente à medida que os fluxos de sinal cinestésico estão sendo manipulados e re-parametrizados em tempo quase real. Esta informação de re-entrante (reafidão cinestésico⁴⁸) mostrou-se valiosa para mudar o desempenho dos sistemas em tempo real. Eles carregam informações sobre as consequências sensoriais da ação, que podemos ser precisamente rastreadas usando os métodos que apresentamos aqui.

Também mostramos tipos de dados e métodos estatísticos capazes de padronizar nossas análises. Fornecemos múltiplas ferramentas de visualização para demonstrar as mudanças em tempo real nas atividades fisiológicas que naturalmente evoluíram em diferentes contextos, com inferência estatística empiricamente guiada que se presta à interpretação dos sinais de sistemas nervosos autogerados e autocontrolados. É importante ressaltar que as alterações que foram evocadas pelo controlador proxy foram suaves e ainda quantificáveis, dando suporte à noção de que a atividade periférica é útil em mais de uma maneira. Embora possamos implementar esses métodos usando sensores vestíveis sem fio disponíveis comercialmente, podemos induzir sistematicamente mudanças de desempenho que são capturáveis nos ritmos biofísicos sem estressar o sistema. É importante traduzir nossos métodos para a arena clínica e usá-los como um testbed para desenvolver novos modelos de intervenção (por exemplo, como quando se usa realidade aumentada no autismo ⁴⁹). Nesses modelos, poderemos rastrear e quantificar as consequências sensoriais das ações naturalistas da pessoa, pois as entradas sensoriais são precisamente manipuladas, e a saída é parametrizada e re-parametrizada em quase tempo real.

Oferecemos este protocolo como modelo geral para utilizar várias atividades biorítmicas autogeradas pelos sistemas nervosos humanos e aproveitadas não invasivamente com wearables sem fio. Embora tenhamos usado um conjunto de biosensores para registrar EEG, ECG e cinemática neste artigo, os métodos de gravação, sincronização e análise dos sinais são gerais. A interface pode, assim, incorporar outras tecnologias. Além disso, os protocolos podem ser modificados para incluir outras ações naturalistas e contextos que se estendem ao campo médico. Por termos voltado para comportamentos naturais, a configuração que desenvolvemos pode ser usada em ambientes lúdicos (por exemplo, envolvendo crianças e pais.)

Vários distúrbios dos sistemas nervosos poderiam se beneficiar de abordagens tão lúdicas para o problema de controle. Em ambos os tipos de interações disádicas que mostramos aqui, os participantes poderiam mirar conscientemente controlar a música, enquanto o controlador proxy usa a saída periférica para manipular inconscientemente e mudar sistematicamente suas assinaturas. Como os cientistas passaram anos mapeando empiricamente o plano de parâmetros gama e o espaço correspondente de momentos gama em diferentes faixas etárias (recém-nascidos a 78 anos de idade)^19,^50,^51,^52,⁵³ e condições (autismo, Doença de Parkinson, acidente vascular cerebral, estado de coma e desafeto), para diferentes níveis de controle (voluntários, automáticos, espontâneos, involuntários e autônomos)²⁵^,^47,⁵⁴, eles têm critérios empiricamente medidos denotando onde nos espaços gama as assinaturas estocásticas devem ser para um bom controle preditivo. Pesquisas anteriores também mostraram que sabemos onde estão os parâmetros na presença de ruído aleatório espontâneo proveniente dos ritmos autogerálidos dos sistemas nervosos humanos^7,^19,^55,⁵⁶. Dentro de um esquema de otimização minimizando o ruído motor biorítmico, podemos, assim, apontar para conduzir os sinais de forma a atingir as áreas-alvo dos espaços gama onde a forma e as assinaturas de dispersão da família de PDFs de cada pessoa é propícia de alta relação sinal-ruído e valores preditivos. Nesse sentido, não perdemos dados brutos e usamos efetivamente para direcionar o sistema para níveis desejáveis de ruído dentro de uma determinada situação.

As interações dídicas são onipresentes em ambientes clínicos ou de treinamento. Podem ocorrer entre o treinador e o estagiário; o médico e o paciente; o terapeuta clínico e o paciente; e também podem ocorrer em ambientes de pesquisa que envolvem ciência translacional e engajar o pesquisador e o participante. Uma das vantagens dos protocolos atuais é que, embora sejam projetados para disads, eles também são personalizados. Como tal, é possível adaptar as interações co-adaptativas às melhores capacidades e predisposições da pessoa, de acordo com suas faixas de movimento, suas faixas de tempos de processamento sensorial e considerando as faixas de amplitude dos sinais através da hierarquia funcional dos sistemas nervosos da pessoa. À medida que a trajetória estocástica emerge e evolui no tempo, também é possível verificar as taxas de chance das assinaturas e usar essa série temporal para prever vários eventos iminentes, juntamente com possíveis consequências sensoriais.

Finalmente, interfaces de close-loop poderiam até ser usadas no mundo da arte. Eles poderiam oferecer aos artistas performáticos novos caminhos para gerar formas computacionais de danças modernas, danças tecnológicas e novas formas de visualização e sonificação da expressão corporal. Nesses contextos, o corpo do bailarino pode ser transformado em um instrumento sensorial para explorar de forma flexível diferentes modalidades sensoriais através da sonificação e visualização das atividades biorítmicas autogeridas, como mostrado pelo trabalho prévio nesta área^40,^41,⁴³^,⁴⁶. Tal performance poderia aumentar o papel de um dançarino no palco e deixar o público experimentar sinais corporais sutis além do movimento visível.

Vários aspectos desta tecnologia requerem mais desenvolvimento e testes para otimizar seu uso em configurações em tempo real. O streaming síncrocros exige capacidade de energia e memória de CPU/GPU de alta velocidade para realmente explorar a noção de ganhar tempo e estar um passo à frente ao prever as consequências sensoriais dos comandos motores em curso. As taxas de amostragem do equipamento devem ser comparáveis para poder realmente alinhar os sinais, realizar a fusão sensorial adequada e explorar a transmissão de informações através dos diferentes canais do sistema nervoso. Estas são algumas das limitações presentes nesta nova interface.

Tudo e todos, este trabalho oferece um novo conceito para melhorar o controle do nosso sistema corporal, ao mesmo tempo em que emprega meios subliminares que, no entanto, permitem medições sistemáticas padronizadas de resultados de mudanças estocásticas.

Disclosures

The authors have nothing to disclose.

Acknowledgements

Agradecemos aos alunos que se ofereceram para ajudar a realizar esta pesquisa; Kan Anant e a PhaseSpace Inc. para nos fornecer imagens e vídeos necessários para descrever a configuração; e Neuroeletrônica para nos permitir usar material do canal www.youtube.com/c/neuroelectrics/ e seus manuais. Finalmente, agradecemos ao Prof. Thomas Papathomas do Rutgers Center for Cognitive Science por apoio profissional durante as etapas de submissão deste manuscrito, Nancy Lurie Marks Family Foundation Career Development Award ao EBT e ao Prêmio Gerondelis Foundation à VK.

Contribuições
Conceituação, VK e EBT; metodologia, EBT; software, VK, EBT, SK.; validação, VK e SK; análise formal, VK; investigação, VK, EBT, SK; recursos, EBT; curadoria de dados, VK; redação — preparação original do rascunho, EBT; redação — revisão e edição, VK, SK.; visualização, VK e EBT.; supervisão, EBT.; administração de projetos, EBT.; aquisição de financiamento, EBT Todos os autores leram e concordaram com a versão publicada do manuscrito.

Materials

Enobio 32	Enobio	Hardware for EEG data collection
Enobio ECG Extention	Enobio	Hardware for ECG data collection
LabStreamingLayer (LSL)		Synchronization and streaming of data
Matlab	Mathwork	Analysis and processing of data
Max	Cycling'74	Sonification of bodily information
NIC.2	Enobio	Software for EEG and ECG data collection
PhaseSpace Impulse	PhaseSpace	Hardware for collection of the kinematic data (position, speed, acceleration)
Python3	Python	Analysis and processing of data
Recap	PhaseSpace	Software for collection of the kinematic data (position, speed, acceleration)

References

Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
Torres, E. B. . Theoretical Framework for the Study of Sensori-motor Integration. , (2001).
Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42 (2003).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson’s disease. PLoS One. 8 (7), 66757 (2013).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32 (2013).
Ryu, J., Vero, J., Torres, E. B. . MOCO ’17: Proceedings of the 4th International Conference on Movement Computing. , 1-8 (2017).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
Casadio, M., et al. . IEEE International Conference on Rehabilitation Robotics. , (2019).
Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. . 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , (2018).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Purves, D. . Neuroscience. Sixth edition. , (2018).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson’s disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
Torres, E. B. . Progress in Motor Control. , 229-254 (2016).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , (2020).
Kalampratsidou, V. . Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , (2018).
Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer’s heart. Sixth International Symposium on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9 (2016).
Von Holst, E., Mittelstaedt, H., Dodwell, P. C. . Perceptual Processing: Stimulus equivalence and pattern recognition. , 41-72 (1950).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Torres, E. B. . Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , (2018).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Kalampratsidou, V., Kemper, S., Torres, E. B. Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface. J. Vis. Exp. (171), e61943, doi:10.3791/61943 (2021).