Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface

Vilelmini Kalampratsidou; Steven Kemper; Elizabeth B. Torres

doi:10.3791/61943

JoVE Journal > Behavior

Please note that all translations are automatically generated. Click here for the English version.

Sciences du comportement

Contrôle proxy en temps réel des signaux périphériques re-paramétrisés à l’aide d’une interface en boucle étroite

Published: May 08, 2021

doi:

10.3791/61943

Vilelmini Kalampratsidou^1,2, Steven Kemper³, Elizabeth B. Torres^1,2,4,5,6

¹Center for Cognitive Science,Rutgers University, ²Department of Computer Science,Rutgers University, ³Music Department, Mason Gross School of the Arts,Rutgers University, ⁴Psychology Department,Rutgers University, ⁵Sensory Motor Integration Lab,Rutgers University, ⁶Computational Biomedicine Imaging and Modelling Center,Rutgers University

Summary

Nous présentons des protocoles et des méthodes d’analyse pour construire des interfaces co-adaptatives qui diffusent, paramétrisent, analysent et modifient les signaux du corps humain et du cœur en boucle rapprochée. Cette configuration interface les signaux dérivés des systèmes nerveux périphériques et centraux de la personne avec des entrées sensorielles externes pour aider à suivre le changement biophysique.

Abstract

Les champs qui développent des méthodes de substitution sensorielle et d’augmentation sensorielle ont visé à contrôler les objectifs externes à l’aide de signaux du système nerveux central (SNC). Cependant, les protocoles qui mettent à jour les signaux externes autogénérés par des corps interactifs en mouvement sont moins fréquents. Il ya un manque de méthodes qui combinent les biorythmes corps-cœur-cerveau d’un agent en mouvement pour orienter ceux d’un autre agent en mouvement pendant l’échange dyade. Une partie du défi pour accomplir un tel exploit a été la complexité de la configuration en utilisant des bio-signaux multimodaux avec différentes unités physiques, des échelles de temps disparates et des fréquences d’échantillonnage variables.

Ces dernières années, l’avènement de bio-capteurs portables qui peuvent exploiter de manière non invasive plusieurs signaux en tandem, a ouvert la possibilité de re-paramétriser et de mettre à jour les signaux périphériques des dyades en interaction, en plus d’améliorer les interfaces cerveau-et/ou corps-machine. Nous présentons ici une interface co-adaptative qui met à jour la sortie somatique-moteur efferent (y compris la cinématique et la fréquence cardiaque) à l’aide de biocapteurs; paramétrise les bio-signaux stochastiques, sonifie cette sortie et la redy paramétrise sous forme re-paramétrisée sous forme d’entrée réaffecté visuo/audio-kinesthésique. Nous montrons les méthodes utilisant deux types d’interactions, l’une impliquant deux humains et l’autre impliquant un humain et son avatar interagissant en temps quasi réel. Nous discutons des nouvelles méthodes dans le contexte de nouvelles façons possibles de mesurer les influences de l’apport externe sur le contrôle interne somatique-sensoriel-moteur.

Introduction

Le contrôleur naturel en boucle rapprochée
L’information sensoro-motrice circule continuellement entre le cerveau et le corps pour produire des comportements bien organisés et coordonnés. De tels comportements peuvent être étudiés tout en se concentrant uniquement sur les actions de la personne, comme dans un style monologue (Figure 1A), ou lors d’actions dynamiques complexes partagées entre deux agents dans une dyade, comme dans un style de dialogue (Figure 1B). Pourtant, une troisième option consiste à évaluer ces interactions complexes par l’intermédiaire d’un contrôleur proxy, dans le contexte d’une interface en boucle étroite homme-ordinateur (figure 1C). Une telle interface peut suivre les fluctuations des mouvements moment par moment apportées par chaque agent dans la dyade, et par le type de cohésion qui émerge de leurs interactions synchrones, aidant à orienter les rythmes de la dyade de manière souhaitable.

Figure 1: Différentes formes de contrôle. ( A )Lesinterfaces auto-contrôlées par le cerveau reposent sur les relations en boucle étroite entre le cerveau de la personne et son propre corps, qui peuvent s’autoréguler et s’auto-interagir dans le style « monologue ». Ce mode tente le contrôle des mouvements autogénérés, ou il peut également viser à contrôler les périphériques externes. (B) Le contrôle du style « Dialogue » est introduit pour deux danseurs qui interagissent les uns avec les autres et par l’entraînement physique et la prise de tour pour prendre le contrôle des mouvements de l’autre. (C) Le contrôle du dialogue « tiers » de la dyade est introduit sous la forme d’une interface informatique qui exploite en tandem les bio-signaux des deux danseurs, le paramétrise et le redyle aux danseurs sous forme remétr paramétrisée en utilisant l’audio et/ou la vision comme formes de guidage sensoriel. La re-paramétrisation dans les exemples présentés ici ont été atteints à l’aide de rétroaction audio ou visuelle, renforcée par la sortie motrice kinesthésique en temps réel de l’un des danseurs pour influencer l’autre; ou des deux danseurs, à tour de rôle dans un motif alternatif. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre.

L’objectif global de cette méthode est de montrer qu’il est possible d’exploiter, de paramétriser et de re-paramétriser les fluctuations moment par moment dans les activités biorythmiques des corps en mouvement, car deux agents s’engagent dans un échange dynamique qui peut impliquer deux humains, ou un humain et son avatar auto-mobile.

Les investigations sur la façon dont le cerveau peut contrôler les actions et prédire leurs conséquences sensorielles ont généré de nombreuses lignes de demandes théoriques dans les^1,^2,^{3 et} ont produit divers modèles de contrôle neuromoteur⁴^,⁵^,⁶^,⁷^,⁸. Une ligne de recherche dans ce domaine multidisciplinaire a impliqué le développement d’interfaces cerveau-machine ou cerveau-ordinateur en boucle rapprochée. Ces types de configurations offrent des moyens d’exploiter et d’adapter les signaux CNS pour contrôler un dispositif externe, comme un bras^{robotique 9}^,¹⁰^,¹¹, un exosquelette¹², un curseur sur un écran d’ordinateur¹³ (entre autres). Tous ces appareils externes partagent la propriété qu’ils n’ont pas de propre intelligence. Au lieu de cela, le cerveau qui essaie de les contrôler a, et une partie du problème auquel le cerveau est confronté est d’apprendre à prédire les conséquences des mouvements qu’il génère dans ces dispositifs (par exemple, les mouvements du curseur, les mouvements du bras robotique, etc) tout en générant d’autres mouvements de soutien qui contribuent à la rétroaction motrice sensorielle globale sous la forme de reafference kinesthésique. Souvent, le but primordial de ces interfaces a été d’aider la personne derrière ce cerveau à contourner une blessure ou un trouble, à retrouver la transformation de ses pensées intentionnelles en actes physiques volontairement contrôlés du dispositif externe. Moins fréquent cependant a été le développement d’interfaces qui tentent de diriger les mouvements des corps en mouvement.

Une grande partie de la recherche originale sur les interfaces cerveau-machine se concentrent sur le contrôle du système nerveux central (SNC) sur les parties du corps qui peuvent accomplir des actions dirigées^{par des objectifs 9}^,¹⁴^,¹⁵^,¹⁶^,¹⁷. Il existe toutefois d’autres situations où l’utilisation des signaux dérivés des activités du système nerveux périphérique (SPN), y compris celles du système nerveux autonome (ANS), est suffisamment instructive pour influencer et orienter les signaux des agents externes, y compris d’un autre humain ou avatar, ou même interagir avec les humains (comme dans la figure 1C). Contrairement à un bras robotique ou curseur, l’autre agent dans ce cas, a l’intelligence entraînée par un cerveau (dans le cas de l’avatar qui a été doté des mouvements de la personne, ou d’un autre agent, dans le cas d’une dyade humaine en interaction).

Une configuration qui crée un environnement d’interface co-adaptative en boucle rapprochée avec échange dyadique peut être d’usage pour intervenir dans les troubles du système nerveux par lequel le cerveau ne peut pas contrôler volitionally son propre corps en mouvement à volonté, bien qu’il n’ait pas physiquement coupé le pont entre le SNC et le PNS. Cela peut être le cas en raison de signaux périphériques bruyants par lesquels les boucles de rétroaction pour aider le cerveau à surveiller et ajuster en permanence ses propres biorythmes autogénérés peuvent avoir été perturbés. Ce scénario se produit chez les patients atteints de la maladie de Parkinson¹⁸^,¹⁹, ou chez les participants atteints de troubles du spectre autistique avec un excès de bruit dans leur production motrice. En effet, dans les deux cas, nous avons quantifié des niveaux élevés de rapport bruit-signal dans les signaux kinesthésiques de retour dérivés de la vitesse^{de leurs mouvements prévus 20}^,²¹^,²² et du cœur²³. Dans de tels cas, essayer de maîtriser le contrôle du cerveau des signaux externes, tout en essayant de contrôler le corps en mouvement, peut entraîner un signal auto-réactif du flux d’informations réintéser (re-afferent) que le cerveau reçoit du flux moteur continu (efferent) à la périphérie. En effet, les fluctuations moment par moment présentes dans un tel flux moteur efferent autogénéré contiennent des informations importantes utiles pour aider à la prédiction des conséquences sensorielles des actions délibérées²⁴. Lorsque cette rétroaction est corrompue par le bruit, il devient difficile de mettre à jour de façon prévisible les signaux de commande et de ponter les plans intentionnels par des actes physiques.

Si nous étendions une telle boucle de rétroaction à un autre agent et contrôlions les interactions de la personne et de l’agent par l’intermédiaire d’un tiers(figure 1C),nous pourrions avoir la chance de diriger les performances de l’autre en temps quasi réel. Cela nous fournirait la preuve de concept que nous aurions besoin d’étendre la notion d’interfaces cerveau-corps-cerveau co-adaptatif ou cerveau-machine pour traiter les troubles du système nerveux qui entraînent une mauvaise réalisation de la volonté physique de l’intention mentale.

Les actions délibérées ont des conséquences, qui sont précisément caractérisées par des signatures stochastiques motrices qui dépendent du contexte et permettent l’inférence de niveaux d’intention mentale avec une grande^{certitude 25}^,²⁶. Ainsi, un avantage d’une nouvelle méthode qui tire parti de l’échange dydique sur les approches antérieures centrées sur la personne à la machine cérébrale ou interfaces informatiques du cerveau, est que nous pouvons augmenter les signaux de contrôle pour inclure les biorythmes corporels et cardiaques qui transpirent en grande partie sous la conscience de la personne, sous différents niveaux d’intention. De cette façon, nous amortissons les interférences réactives que le contrôle conscient tend à évoquer dans le processus d’adaptation du contrôle cerveau-curseur¹⁷. Nous pouvons ajouter plus de certitude au processus prédictif en paramétrisant les différents signaux que nous pouvons accéder. Dans ce sens, il existe des travaux antérieurs utilisant des signaux cérébraux et corporels en tandem²⁷^,²⁸^,²⁹; mais les travaux impliquant des interactions dyades capturées par les signaux cérébraux restent rares. En outre, la littérature existante n’a pas encore délimité la distinction entre les segments délibérés de l’action exécutée sous pleine conscience et les motions transitoires qui se produisent spontanément à la suite des mouvements^{délibérés 30}^,³¹. Ici, nous faisons cette distinction dans le contexte de l’échange dyade, et offrons de nouvelles façons d’étudier cette dichotomie³², tout en fournissant des exemples de chorégraphiés (délibéré) vs improvisé (spontané) mouvements dans l’espace de danse.

En raison des retards de transduction et de transmission dans les processus d’intégration et de transformation sensorielle-motrice^33,il est nécessaire d’avoir un tel code prédictif en place, d’apprendre à anticiper l’entrée sensorielle à venir avec une grande certitude. À cette fin, il est important de pouvoir caractériser l’évolution du rapport bruit-signal dérivé des signaux dans le flux kinesthésique de réafferent continuellement mis à jour. Nous avons ensuite besoin de protocoles en place pour mesurer systématiquement l’évolution de la variabilité motrice. La variabilité est intrinsèquement présente dans les fluctuations moment par moment du courant moteur sortant³⁴. Étant donné que ces signaux ne sont pas stationnaires et sensibles aux variations^{contextuelles 35}^,³⁶, il est possible de paramétriser les changements qui se produisent avec des modifications du contexte des tâches. Afin de minimiser les interférences des signaux réactifs qui émergent du contrôle conscient du SNC, et d’évoquer des changements quantifiables dans le flux moteur Efferent PNS, nous introduisons ici une interface proxy en boucle étroite qui modifie indirectement la rétroaction sensorielle, en recrutant le signal périphérique qui change en grande partie sous la conscience de soi de la personne. Nous montrons ensuite des moyens de mesurer systématiquement le changement qui s’ensuit les manipulations sensorielles, en utilisant des analyses stochastiques permettant de visualiser le processus que l’interface proxy boucle rapprochée évoque indirectement chez les deux agents.

Présentation d’un contrôleur proxy en boucle rapprochée
La variabilité sensoro-motrice présente dans les signaux périphériques constitue une riche source d’information pour guider les performances du système nerveux tandis que l’apprentissage, l’adaptation et la généralisation ont lieu dans différents contextes³⁷. Ces signaux apparaissent en partie comme un sous-produit de la SNC qui tente de contrôler les actions de façon volontaire, mais qui n’est pas l’objectif direct du contrôleur. Comme la personne interagit naturellement avec les autres, les signaux périphériques peuvent être exploités, normalisés et re-paramétrisés; ce qui signifie que leurs variations peuvent être paramétrisées et systématiquement décalées, car on modifie le flux moteur efferent qui revient continuellement dans le système comme une réafférence kinesthésique. Dans de tels contextes, nous pouvons visualiser les changements stochastiques, capturant avec une grande précision un signal riche qui est autrement perdu aux types de grande moyenne que les techniques plus traditionnelles effectuent.

Pour parvenir à la caractérisation du changement sous la nouvelle plate-forme statistique, nous introduisons ici des protocoles, des types de données normalisés et des analyses qui permettent l’intégration d’entrées sensorielles externes (auditives et visuelles) avec des signaux moteurs autogénérés en interne, tandis que la personne interagit naturellement avec une autre personne, ou avec une version avatar de la personne. En ce sens, parce que nous visons à contrôler les signaux périphériques (plutôt que de modifier les signaux CNS pour contrôler directement l’appareil ou le média externe), nous inventons ceci une interface proxy en boucle étroite (Figure 2). Nous visons à caractériser les changements dans les signaux stochastiques du SNR, car ils ont un impact sur ceux du SNC.

Figure 2: Contrôle indirect d’une interaction dyadique à l’aide d’une interface multimodale en boucle étroite. (A) Contrôle indirect de deux danseurs (salsa dansante) via une interface co-adaptative par ordinateur vs (B) une dyade interactive artificielle avatar-personne contrôlée en exploitant les signaux périphériques du système nerveux et en le remétrisant sous forme de sons et/ou d’entrée visuelle. (C) Le concept de sonification à l’aide d’un nouveau type de données normalisées (les pointes de micro-mouvement, MMS) dérivé des fluctuations moment par moment de l’amplitude/synchronisation des signaux biorythmiques convertis en vibrations, puis en son. De la physique, nous empruntons les notions de compressions et de rares faits produits par une fourchette de réglage qui produit l’onde sonore comme vibrations mesurables. Les schémas des ondes sonores représentés sous forme de pression modulée au fil du temps en parallèle aux concentrations de pointes pour la sonification. Exemple d’un signal physique pour subir le pipeline proposé de MMS à des vibrations et à la sonification. Nous utilisons le signal de fréquence cardiaque comme entrée à l’interface. Cela prend des fluctuations dans l’amplitude du signal alignées à l’apparition du mouvement toutes les 4 secondes de mouvement et construit des trains MMS représentant les vibrations. Les trains à pointes du MMS sont normalisés à partir de [0,1]. La couleur des pointes selon la barre de couleur, représente l’intensité du signal. Nous sonifions ensuite ces vibrations à l’aide de Max. Ce signal sonifié peut être utilisé pour lire en A, ou pour modifier en B les interactions avec l’avatar. En outre, en B, il est possible d’intégrer le son dans l’environnement et d’utiliser la position du corps pour jouer le son en arrière à une région d’intérêt (RoI), ou de moduler les caractéristiques audio en fonction de la distance à la RoI, la vitesse ou l’accélération d’une partie du corps ancrée à une autre partie du corps, lors du passage par le RoI. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre.

Les signaux PNS peuvent être exploités de manière non invasive avec des technologies de détection portable qui co-enregistrent des flux efferents multimodaux de différentes couches fonctionnelles du système nerveux, allant de l’autonome au^{volontaire 32}. Nous pouvons ensuite mesurer en temps quasi réel les changements dans ces flux et sélectionner ceux dont les modifications améliorent le rapport signal-bruit. Ce signal moteur éfferent peut alors être augmenté avec d’autres formes de guidage sensoriel (p. ex., auditive, visuelle, etc.) Parce que le PNS signale une conscience totale du paysage, ils sont plus faciles à manipuler sans beaucoup de ^{résistance 38}. En tant que tel, nous les utilisons pour aider à orienter la performance de la personne d’une manière qui peut être moins stressante pour le système humain.

Construction de l’interface
Nous présentons la conception du contrôle proxy médié par une interface multimodale co-adaptative en boucle étroite. Cette interface oriente la rétroaction multisensorielle en temps réel. La figure 3 affiche la conception générale.

L’interface boucle rapprochée se caractérise par 5 étapes principales. La première étape est la collecte de données multimodales à partir de multiples instruments portable. La 2ème étape est la synchronisation des flux multimodaux à travers la plate-forme de LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer) développée par le groupe MoBI ³⁹. La 3ème étape est la diffusion de la structure de données LSL vers une interface python, MATLAB ou autre langage de programmation pour intégrer les signaux et paramétiser empiriquement les fonctionnalités physiologiques (pertinentes à notre configuration expérimentale) en temps réel. La 4ème étape consiste à re-paramétriser les caractéristiques sélectionnées extraites du flux continu du signal corporel étudié et à l’augmenter à l’aide d’une modalité sensorielle de choix (par exemple, visuelle, auditive, kinesthésique, etc.) pour le rejouer sous forme de sons ou de visuels, pour augmenter, remplacer ou améliorer la modalité sensorielle qui est problématique dans le système nerveux de la personne. Enfin, la 5ème étape consiste à réévaluer les signatures stochastiques des signaux générés par le système en temps réel, à sélectionner quelles modalités sensorielles apportent les changements stochastiques des fluctuations corporelles à un régime de haute certitude (minimisation du bruit) dans la prédiction des conséquences sensorielles de l’action imminente. Cette boucle est jouée en continu tout au long de l’expérience en se concentrer sur le signal sélectionné, tout en stockant la performance complète pour les analyses ultérieures (comme indiqué dans les schémas de la figure 3 et^{voir 40}^,⁴¹^,⁴²^,⁴³^,⁴⁴^,⁴⁵^,⁴⁶,⁴⁷ ^pourun exemple d’analyses posteriori).

Figure 3: L’architecture du concept d’interface en boucle étroite multimodale à boucle périphérique. Divers signaux corporels sont recueillis – données cinétiques, activité cardiaque et cérébrale (étape 1). LSL est utilisé pour co-enregistrer et diffuser de façon synchrone les données provenant de divers équipements vers l’interface (étape 2). Python/MATLAB/C# code est utilisé pour paramétriser en permanence les fluctuations des signaux à l’aide d’un type de données normalisé et d’une échelle commune qui permet de sélectionner la source de guidage sensoriel la plus adéquate pour atténuer l’incertitude du système (étape 3). Cette amélioration en temps réel de la transmission du signal par le biais de certains canaux permet ensuite de re-paramétriser le signal sensoriel de réintégration pour s’intégrer dans le flux moteur continu et améliorer le flux d’entrée perdu ou corrompu (étape de substitution sensorielle 4). Une nouvelle évaluation continue ferme la boucle (étape 5) et nous en sauvons toutes les données pour d’autres analyses futures. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre.

Les sections suivantes présentent le protocole générique de la façon de construire une interface en boucle étroite (telle que décrite dans la figure 3)et décrivent les résultats représentatifs de deux interfaces expérimentales (minutieusement présentées dans Le matériel supplémentaire) impliquant l’interaction dyade physique entre deux danseurs (véritable système en boucle étroite) et l’interaction dyade virtuelle entre une personne et un avatar (système artificiel en boucle rapprochée).

Protocol

L’étude a été approuvée par le Rutgers Institutional Study Board (IRB) conformément à la déclaration d’Helsinki. 1. Les participants Définissez la population à étudier et invitez-la à participer à l’étude. L’interface actuelle peut être utilisée dans diverses populations. Ce protocole et les exemples utilisés ici pour fournir une preuve de concept ne se limitent pas à un groupe spécifique. Obtenir le consentement éclairé écrit du protocole approuvé par la CISR conformément à la Déclaration d’Helsinki. Demandez au participant ou au tuteur de signer le formulaire avant le début de l’expérience. 2. Configuration de l’interface boucle rapprochée Configuration de l’équipement cinématique-PNSAider le participant à porter soigneusement le costume de capture de mouvement à LED (corps et tête, indiqué dans la figure 3,étape 1 et 5) accompagnant le système de capture de mouvement utilisé. Les marqueurs LED du costume seront suivis par les caméras du système pour estimer l’emplacement du corps en mouvement dans l’espace. Connectez le contrôleur LED sans fil (également connu sous le nom d’unité de conducteur de LED) du système avec les câbles LED du costume en le branchant dans le port approprié. Allumez l’appareil et réglez-le sur le mode streaming. Activez le serveur du système de capture de mouvement. Ouvrez un navigateur Web, visitez l’adresse du serveur et connectez-vous (les informations de connexion doivent être fournies par l’entreprise lors de l’achat du produit). Calibrer le système au besoin (par exemple, calibrer le système si c’est la première fois qu’il utilise l’équipement, sinon passer à l’étape 2.1.17). Ouvrez l’outil d’étalonnage du système de capture de mouvement et sélectionnez Calibration Wizard. Assurez-vous que l’entrée du numéro de serveur dans le champ texte sur le côté gauche-supérieur de l’interface est correcte et cliquez sur Continuer. Connectez la baguette au premier port du contrôleur LED et allumez le contrôleur et cliquez sur Continuer. Une fois la baguette connectée, ses marqueurs LED seront activés et apparaîtront sur l’écran, dans les vues de la caméra. Placez la baguette au centre du champ de vision de la caméra, confirmez qu’elle peut être enregistrée par les caméras, et cliquez sur Continuer. Déplacez la baguette dans tout l’espace en la gardant verticale et en dessinant des cylindres. Assurez-vous que le mouvement est capturé par au moins 3 caméras à chaque fois et est enregistré sur le champ de vision de chaque caméra le rendant vert. Faites ceci pour toutes les caméras. Une fois que le champ d’attente de chaque appareil photo a été entièrement enregistré (il est tout vert), cliquez sur Continuer et attendre que les calculs d’étalonnage soient exécutés.REMARQUE : Une fois l’étalonnage terminé, l’emplacement de la caméra ainsi que les marqueurs LED seront visibles sur l’écran, car ils sont physiquement placés dans la pièce. À ce stade, l’utilisateur peut reprendre l’étalonnage parce qu’il est fait, ou continuer à aligner le système. Tenez la baguette verticalement et placez le côté avec la LED plus près de l’extrémité de la baguette sur le sol, où l’origine de l’espace 3D doit être réglée (point (0,0,0)). Maintenez la baguette stable jusqu’à ce qu’elle soit enregistrée. Une fois enregistré, l’écran clignote en vert. Un point indiquant l’origine du cadre de référence sur l’espace apparaîtra sur l’interface et l’axe d’alignement suivant, x-axis, sera mis en évidence en vert. Déplacez la baguette, en conservant la même orientation (verticalement), au point de l’axe x et maintenez-la stable jusqu’à ce qu’elle soit enregistrée. Répétez l’répétition pour l’axe z. Une fois que le point de l’axe z est enregistré, l’étalonnage est terminé. Cliquez sur Terminer pour sortir de l’étalonnage. Ouvrez l’interface du système de capture de mouvement et cliquez sur Connect pour commencer à diffuser les données à partir des marqueurs LED. Une fois la connexion établie, la position des marqueurs sera affichée sur le monde virtuel de l’interface. Créez le squelette virtuel (estimer automatiquement les positions osseuses du corps à partir des données de position recueillies à partir des marqueurs LED du costume, comme le montre la figure 8 étape2). Cliquez à droite sur Skeletons sur le côté droit de la fenêtre et sélectionnez Nouveau squelette. Choisissez marker mapping, puis sélectionnez le fichier approprié (fourni par la société en fonction de la version d’interface qui est utilisée). Ensuite, cliquez sur OK. Demandez au participant de rester stable sur la pose en T (posture droite avec les bras ouverts sur les côtés). Cliquez à droite sur le squelette et sélectionnez Générer squelette sans formation. Si toutes les étapes sont correctement exécutées, le squelette sera généré. Demandez au participant de bouger et de vérifier avec quelle précision le squelette virtuel suit les mouvements du participant. Pour diffuser les données du squelette sur LSL, sélectionnez Paramètres et options à partir du menu principal. Ouvrez l’émulateur Owl et cliquez sur « démarrer » Live streaming. Installation d’équipements EEG – CNS Aidez le même participant à porter le couvre-chef EEG. Placez les électrodes gel (les électrodes traditionnelles à base de gel utilisées avec le bouchon de tête EEG) sur le capuchon de tête et 2 électrodes collantes (électrodes qui fonctionnent comme des autocollants) sur le côté arrière de l’oreille droite pour les capteurs CMS et DRL. Remplissez les électrodes de gel à haute conductrice, au besoin, pour améliorer la conductivité entre le capteur et le cuir chevelu. Connectez les câbles d’électrode sur les gel-trodes et les deux électrodes collantes. Collez le moniteur sans fil à l’arrière du bouchon de tête et branchez les câbles d’électrode. Allumez le moniteur. Ouvrez l’interface du système EEG. Sélectionnez Utilisez l’appareil Wi-Fi et cliquez sur Scan pour les appareils. Sélectionnez NE Wi-Fi et utilisez cet appareil. Cliquez sur l’icône de tête, sélectionnez un protocole qui permet l’enregistrement des 32 capteurs, et cliquez sur Charge. Assurez-vous que les données diffusées en continu de chaque canal sont affichées sur l’interface. Installation d’équipements ECG- ANS Suivez les étapes exactes présentées en 2.2 mais utilisez le canal O1 pour vous connecter à l’extension de la fréquence cardiaque (HR). Utilisez une électrode collante pour coller l’autre extrémité de l’extension juste en dessous de la cage thoracique gauche. Préparation du LSL pour l’enregistrement synchronisé et la diffusion en continu de données cinétiques. Exécutez l’application LSL pour le système de capture de mouvement en cliquant en double sur l’icône correspondante. Localiser l’application sur le chemin suivant du dossier LSL, LSL\labstreaminglayer-master\Apps\PhaseSpace. Sur l’interface, définissez l’adresse serveur appropriée. Ensuite, sélectionnez configuration fichier et charge. Sélectionnez le fichier de configuration approprié (il doit être fourni par l’entreprise en fonction de la version produit utilisée) Cliquez sur Lien. Si aucune erreur n’est commise, aucun message d’erreur ne sera affiché. Préparez LSL pour l’enregistrement synchronisé et la diffusion en continu des données EEG et ECG. Aucune étape supplémentaire n’est requise pour cet équipement. Configuration de LSL Exécutez l’application LabRecorder en cliquant deux fois sur le fichier situé dans le chemin LSL\labstreaminglayer-master\Apps\LabRecorder du dossier LSL. Cliquez sur Mise à jour. Si toutes les instructions sont correctement exécutées, tous les types de données du système de capture de mouvement et d’EEG seront visibles sur le panneau Enregistrer les flux. Sélectionnez répertoire et nom pour les données sur le panneau de localisation de stockage. Cliquez sur Démarrer. La collecte de données du système de capture de mouvement et d’EEG commencera de façon synchrone. À la fin de l’enregistrement cliquez sur Arrêter. Si l’enregistrement a été réussi, les données seront situées sur l’annuaire précédemment sélectionné. Ouvrez les fichiers pour confirmer qu’ils incluent les informations enregistrées. Analyses et suivi en temps réel du système humain. Exécutez le CODE MATLAB, Python ou tout autre code qui reçoit, traite et augmente les données diffusées en continu. Des codes d’exemple correspondant aux exemples représentatifs décrits dans les sections suivantes peuvent être trouvés ici : https://github.com/VilelminiKala/CloseLoopInterfaceJOVE Génération de la rétroaction sensorielle augmentée Produire la sortie sensorielle à l’aide du dispositif approprié (p. ex., haut-parleurs, moniteur, entre autres). 3. Procédure expérimentale Suivez la procédure expérimentale définie par la configuration, le cas échéant.REMARQUE : Les interfaces en boucle étroite sont conçues pour être intuitivement explorées et apprises. Ainsi, la plupart du temps, aucune instruction n’est nécessaire.

Representative Results

Il existe différentes interfaces qui peuvent être construites en fonction du protocole présenté dans la section précédente et peuvent être appliquées sur différentes populations à de nombreuses fins. Certaines variations possibles sont décrites dans la section «Variations de l’interface en boucle étroite présentée» du matériau supplémentaire. Dans cette section, nous démontrons les résultats représentatifs de 2 interfaces en boucle étroite qui suivent le protocole décrit dans la section précédente. La configuration, la procédure expérimentale et les participants à ces études sont expliqués en profondeur dans les sections «Exemple 1 : Interface audio en boucle étroite d’une interaction dyade réelle» et «Exemple 2 : Interface audio-visuelle en boucle étroite d’une interaction dyade artificielle» du fichier supplémentaire. Résultats de l’interface audio en boucle étroite d’une interaction dyade réelleDans l’étude de « Audio close-loop interface of a real dyadic interaction » (présenté minutieusement dans la section «Exemple 1 : Interface audio en boucle étroite d’une interaction dyadiqueréelle » de matériel supplémentaire), nous avons utilisé une interface de contrôle par procuration, illustrée à la figure 4, qui utilise le signal cardiaque de la danseuse pour modifier la musique dansée. En temps réel, nous avons effectué le traitement du signal pour extraire le temps du battement de cœur et écouté ces informations vers le système Max pour modifier la vitesse de la chanson interprétée. De cette façon, nous avons joué la chanson en arrière, modifié par les signaux biophysiques. Ce processus a conduit à d’autres modifications des mouvements et des signaux cardiaques. Figure 4: Interface audio en boucle étroite. 1. Un dispositif portable ECG-HR surveille l’activité d’une danseuse de salsa pendant l’exécution de ses routines et alimente les signaux à l’interface à 500Hz. 2. Notre interface analyse les données ECG en temps réel. Dans chaque image, il filtre les données brutes, extrait les pics R du complexe QRS; et diffuse la détection de pointe à MAX. 3. Une interface tierce mélange la vitesse de l’audio avec la vitesse du heartrate. 4. La chanson modifiée est relisé aux danseurs. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre. Deux danseurs de salsa ont interagi avec l’interface et ont exécuté une routine bien répétée mettant en scène une chorégraphie et une danse spontanément improvisée. Les danseurs ont dû exécuter la version originale de la chanson une fois et une version a mélangé le tempo original de la chanson avec le flux de battements de coeur en temps réel. Nous nous référons à la version ultérieure qui a été exécutée deux fois comme modification 1 et 2 de la chanson. Dans l’analyse présentée ci-dessous, nous avons utilisé le cœur et le signal audio enregistrés. Les pics des deux signaux extraits pour estimer les trains MMS (voir la section « Micro-mouvements Spikes » dans Le fichier supplémentaire), qui préservent les fluctuations de haute fréquence comme le montre la figure 5. Figure 5: Estimation des trains MMS du système audio en boucle rapprochée. Les séries horaires ECG sont utilisées pour extraire les pics RR et les écarts d’amplitude de l’amplitude moyenne globale (estimée) des pics R obtenus (données moyennement décalées). Ensuite, la normalisation par équation 1 (voir fichier supplémentaire, section « Micro-Mouvements Spikes ») est utilisée pour obtenir les trains MMS. Des méthodes similaires sont utilisées pour gérer les formes d’ondes audio et lire la chanson en fonction de la performance en temps réel de la personne. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre. Les trains MMS ont été bien caractérisés comme un processus aléatoire continu, bien représenté par la famille continue gamma de distributions de probabilités. MLE a considéré cette famille continue de distributions comme la meilleure adaptée aux deux ensembles de données (voir explication dans la section « Distribution gamma » du matériel supplémentaire et figure supplémentaire 2). Ce type de processus aléatoire a été utilisé pour suivre les changements dans les signatures stochastiques des biorythmes auto-générés par les bio-signaux du système nerveux humain. À partir de la forme empiriquement estimée et l’échelle paramètres Gamma, nous obtenons les moments Gamma, la moyenne, la variance, la biaise, et la kurtose (voir les détails de l’analyse dans la section « Analyse stochastique » de matériel supplémentaire). Nous traçons ensuite le PDF estimé. La figure 6 se concentre uniquement sur le signal cardiaque et la musique, mais les méthodes s’appliquent de la même façon que les autres biorythmes générés par les signaux cinétiques présentés dans 41. Le PDF du cœur et le signal musical sont affichés dans la figure 6A-B,oùnous soulignons les différences entre les ensembles de données des deux conditions, la routine délibérée et l’improvisation spontanée. Pour chaque condition, nous soulignons les changements dans les signatures stochastiques induites par les altérations temporelles de la chanson. Au départ, ils dansent sur la chanson originale. Puis, comme le rythme cardiaque change de rythme en temps réel, les fluctuations sonifiées de ce signal a conduit les danseurs à suivre les altérations temporelles de la chanson. Ceux-ci sont notés altération 1 et modification 2. Ces changements systématiques sont décrits par les paramètres Gamma. Puis, en utilisant les paramètres empiriquement estimés de forme et d’échelle, nous avons obtenu les quatre moments gamma correspondants pour le rythme cardiaque et les chansons. Ceux-ci sont affichés dans la figure 6C pour le cœur (en haut) et les signaux de la chanson (en bas). Figure 6: Induire des changements systématiques dans les FICHIERS GAMMA estimés empiriquement et leurs trajectoires stochastiques des quatre moments gamma à partir des performances sous contrôle proxy à l’aide du système audio en boucle rapprochée. (A) PDF des trains MMS de chacun des types de données (ECG haut et fichier audio en bas) pour chacun des contextes de danse, improvisation spontanée et routine délibérée. Les légendes sont imp or (improvisation originale) désignant l’état de base au début de la session; Imp Alt1 désignant l’improvisation lors de l’altération 1; Imp Alt2 désignant l’improvisation lors de l’altération 2. (B) De même, pour la routine répétée délibérée, Rout Or signifie original de routine; Rout Alt1 signifie modification de routine 1; Rout Alt2 signifie modification de routine 2. Les panneaux dans (C) montrent les changements systématiques dans les moments Gamma que les signaux audio des chansons et ceux du changement de cœur en tandem et en temps réel. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre. Le déplacement des signatures peut être apprécié dans ces panneaux (graphiques pdf et gamma moments), démontrant ainsi que les méthodes présentées peuvent capturer l’adaptation du cœur aux modifications de la chanson que le contrôleur proxy produit en temps réel. Comme les chansons changent de rythme, les signatures stochastiques du cœur et la transition des signatures stochastiques sont cohérentes dans la direction (ce qui est aussi une conclusion dans 41 où nous avons étudié la forme et les paramètres de l’échelle). De même, au fur et à mesure que les signatures du cœur changent, les signatures de la chanson changent aussi. Ces effets de miroir – l’un affecte l’autre et comme on se déplace constamment vers une direction comme l’autre – suivent la nature boucle étroite de cette interface de contrôleur proxy. Les résultats soulignent l’utilité de cette configuration et donnent la preuve de concept que nous pouvons systématiquement déplacer les biorythmes autonomes de la personne dans le contexte de l’échange dydique. Des changements parallèles sur les signatures stochastiques des chants et des signaux corporels démontrent que la co-adaptation de l’ensemble du système (participant et interface) est possible à l’aide des signaux périphériques. Ce processus se déroule en douceur sous la conscience de la personne et offre une preuve de concept pour les idées de déplacer à distance et systématiquement les bio-signaux de la personne en correspondance avec la rétroaction sensorielle externe de choix. En résumé, nous pouvons guider le déplacement des signatures stochastiques dans ce processus aléatoire continu. Les méthodes permettent de capturer le changement et leur rythme le long des trajectoires stochastiques que nous avons pu construire en temps quasi réel. Pour déterminer la signification statistique dans les changements, nous utilisons le test non paramétrique ANOVA, Kruskal-Wallis suivi de multiples comparaisons post hoc test. Nous comparons les signatures du MMS des données cardiaques entre les six conditions. La figure 7 montre la comparaison multi-comparaison des données cardiaques MMS et du tableau Kruskal-Wallis correspondant. L’intrigue multi-comparaison indique qu’il y a une différence significative entre l’état de base de la danse de routine originale (Rout. Ou) et l’état de base de la danse improvisée originale (Imp. Or). Il est également important de remarquer que les premières modifications, Rout. Alt1 et Imp. Alt1, passer à des distributions qui partagent des moyens comparables et la même chose s’applique aux deuxièmes altérations, tandis que la variance, la biais et la kurtose se déplacent sur l’espace Gamma moments (Figure 6C). Figure 7: Résultats des tests post-hoc non paramétriques Kruskal-Wallis et comparaison multiple. Les résultats de l’ANOVA non paramétrique (test Kruskal-Wallis) appliqués sur le MMS des données cardiaques pour comparer les six conditions. L’intrigue démontre la comparaison multi-des 6 cas, indiquant la différence significative entre la « déroute. Ou » et « Imp. Or » conditions. Le tableau montre les résultats du test Kruskal Wallis. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre. Résultats de l’interface audio-visuelle en boucle rapprochée d’une interaction dyade artificielleDans l’étude de « l’interface audio-visuelle en boucle étroite d’une interaction dyade artificielle » (minutieusement présentée dans la section «Exemple 2 : Interface audio-visuelle en boucle étroite d’une interaction dyade artificielle» de Matériau supplémentaire),6 participants ont interagi avec l’interface, illustrée dans figures 8, qui crée leur avatar miroir rendant les propres mouvements de la personne. L’interface intègre des sons dépendants de la position dans la région entourant la personne pendant l’interaction. Les participants étaient naïfs quant à l’objet de l’étude. Ils ont dû se promener dans la pièce et trouver comment contrôler le son qui émergerait étonnamment au fur et à mesure qu’ils passaient par un RoI (régions d’intérêt) que le contrôleur proxy définissait. Figure 8: Représentation visuelle de l’interface audiovisuele. 1. Un système de capture de mouvement est utilisé pour l’acquisition des données cinématiques périphériques. 2. Le système recueille les positions des capteurs (dans notre exemple LED) pour estimer le squelette – position sur les os. 3. Les positions osseuses sont ensuite alignées dans notre interface développée par MATLAB à l’aide de notre propre modèle de cinématique avant. 4. Les positions alignées sont utilisées pour cartographier les informations du squelette à notre avatar rendu en 3D. 5. La cartographie des données diffusées en continu vers l’avatar est en temps réel, ce qui crée la sensation de regarder l’image en miroir de la personne. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre. La figure 9 démontre les résultats de l’interface audiovisuell de l’état 1 (voir Fichier supplémentaire pour plus de conditions), où l’emplacement de la hanche active la chanson lorsque le premier dans situé dans RoI. Ce chiffre montre les signatures PDF et Gamma (voir la section « Types de données et analyses » du matériel supplémentaire) des données sur la vitesse de la hanche de 6 participants de contrôle différents (C1 à C6), lorsqu’elles se trouvaient à l’intérieur et à l’extérieur du volume roi. Les résultats présentés ici mettent en évidence les différences personnalisées sur le taux d’adaptation des participants individuels. Ceux-ci sont indiqués par les changements des signatures stochastiques, et les résultats individuels émergeant à l’intérieur ou à l’extérieur du volume de RoI. Par exemple, nous pouvons remarquer que le PDF s’adapter à la fréquence des histogrammes du MMS dérivé de l’amplitude de vitesse des hanches de C3 et C4, étaient plus symétriques (valeur de forme plus élevée) et moins bruyant (valeur de l’échelle inférieure) lorsqu’ils se trouvaient à l’intérieur du volume. En revanche, le reste des participants montrent un modèle opposé. Empiriquement, nous avons constaté que les signatures au coin inférieur droit sont celles des athlètes et des danseurs, effectuant des mouvements hautement qualifiés. Les signatures se trouvent sur la région supérieure gauche, proviennent de ensembles de données de systèmes nerveux avec des pathologies, telles que ceux avec un diagnostic de troubles du spectre autistique TDAH22,32 et ceux d’un participant déafferented21. Dans le contexte des modèles changeants le long d’une trajectoire stochastique, nous obtenons les valeurs médianes de la forme et de l’échelle pour définir le quadrant inférieur droit (RLQ) et le quadrant supérieur gauche (LUQ) où nous suivons la qualité globale du rapport signal/bruit en accumulant cette information au fil du temps. Cela tient compte de la mise à jour des valeurs médianes définissant dynamiquement ces quadrants comme la personne co-adapte ses biorythmes générés à l’interne à ceux contrôlés à l’extérieur par le proxy, mais dépendant de ceux internes de la personne. Figure 9: Estimation empirique des fichiers PDF gamma etdes signatures gamma des biorythmes corporels lors des interactions à l’aide du système audio-visuel en boucle rapprochée. En utilisant les trains MMS dérivés de la vitesse des hanches de chaque participant (C1 – C6), nous avons utilisé MLE pour s’adapter au meilleur PDF avec des intervalles de confiance de 95%. Chaque participant est représenté par un symbole différent tandis que les conditions sont représentées par des couleurs différentes. Une famille de FICHIERS PDF Gamma lorsque dans le volume (in) diffère de celui en dehors du volume (out). Outre les FICHIERS PDF estimés empiriquement par Gamma, les paramètres estimés de la forme gamma et de l’échelle sont également indiqués pour chaque personne sur le plan de paramètres Gamma. S’il vous plaît cliquez ici pour voir une version plus grande de ce chiffre. Le tableau 1 montre les valeurs p obtenues à partir de données brutes (vitesse) et MMS comparant le résultat entre les conditions où la partie du corps de la personne est à l’intérieur du RoI par rapportà . à l’extérieur du RoI. Les résultats représentés sur la table ont été estimés à l’aide du test non paramétrique ANOVA Kruskal-Wallis. Kruskal Wallis Test Données de vitesse Mms C1 (C1) 0 1.34 e-05 C2 (C2) 0 4.72E-15 C3 (C3) 0 8.59E-34 C4 (en) 2.70E-21 3.16E-04 C5 (en) 0 1.11E-09 C6 (en) 0 5.95E-05 Tableau 1 : Sortie du test ANOAVA-Kruskal-Wallis non paramétrique. Les résultats du test Kruskal Wallis comparant les enregistrements de l’intérieur par rapport à l’extérieur du Rol pour le MMS et les données de vitesse. Nous appliquons le test sur les données de chaque participant (C1 – C6) séparément. Fichiers supplémentaires. Veuillez cliquer ici pour télécharger ces fichiers.

Discussion

Cet article introduit le concept de contrôle par procuration par le biais d’interfaces co-adaptatives, interactives et multimodales en boucle étroite qui exploitent, paramétrisent et remétrisent le signal périphérique de la personne dans le contexte de l’échange dyadique. Nous voulions caractériser les changements stochastiques dans les fluctuations des biorythmes de la personne et paramétriser le changement. En outre, nous voulions orienter systématiquement les signatures stochastiques de leurs biorythmes vers des niveaux ciblés de régimes de bruit à signal en temps quasi réel.

Nous avons présenté un protocole générique pour la construction d’une interface en boucle étroite qui satisfaisait 5 éléments de base : 1) la collecte de données corporelles multiples provenant du SNC, du PNS et de l’ANS à l’aide de divers instruments et technologies; 2) l’enregistrement et la diffusion synchronisés des données; 3) l’analyse en temps réel des signaux sélectionnés; 4) la création d’une augmentation sensorielle (audio, visuelle, etc.) à l’aide de caractéristiques physiologiques extraites pour les signaux corporels; et 5) le suivi continu du système humain et l’augmentation sensorielle parallèle ferme la boucle de l’interaction entre l’humain et le système.

Le protocole générique a été appliqué sur deux interfaces d’exemple. Le premier étudie l’échange dyadique entre deux agents humains et le second entre un humain et un agent avatar. Les deux types de dyades ont été utilisés pour fournir la preuve de concept que le signal périphérique peut être systématiquement modifié en temps réel et que ces changements stochastiques peuvent être suivis avec précision. L’une dyade était composée de deux participants qui interagissaient physiquement, tandis que l’autre impliquait un participant interagissant avec un agent virtuel sous la forme d’un avatar rendu en 3D doté des mouvements de la personne et de variantes modifiées de ces mouvements en temps réel. Ces altérations ont été évoquées par des manipulations interactives entraînées par des entrées sensorielles auditives et/ou visuelles dans un cadre de sensations augmentées. Dans le vrai dyade et le dyade artificiel, nous avons démontré la faisabilité de déplacer à distance les signaux périphériques, y compris les biorythmes corporels et les signaux autonomes du rythme cardiaque.

Nous avons présenté de nouveaux protocoles expérimentaux pour sonder ces changements dans la variabilité du moteur efferent, car les flux de signaux kinesthésiques sont manipulés et remétrisés en temps quasi réel. Cette information de réinsertence (reafference^{kinesthésique 48)}s’est avérée utile pour déplacer les performances des systèmes en temps réel. Ils portent des informations sur les conséquences sensorielles de l’action, que nous pouvons être suivis avec précision en utilisant les méthodes que nous avons présentées ici.

Nous avons également montré des types de données et des méthodes statistiques qui nous permettaient de normaliser nos analyses. Nous avons fourni de multiples outils de visualisation pour démontrer les changements en temps réel dans les activités physiologiques qui évoluent naturellement dans différents contextes, avec une inférence statistique guidée empiriquement qui se prête à l’interprétation des signaux autogénérés et auto-contrôlés du système nerveux. Fait important, les changements qui ont été évoqués par le contrôleur proxy étaient lisses et pourtant quantifiables, ce qui appuie l’idée que l’activité périphérique est utile de plus d’une manière. Bien que nous puissions mettre en œuvre ces méthodes à l’aide de capteurs portable sans fil disponibles dans le commerce, nous pouvons systématiquement induire des changements dans les performances qui sont capturables dans les rythmes biophysiques sans stresser le système. Il est important de traduire nos méthodes dans l’arène clinique et de les utiliser comme un lit d’essai pour développer de nouveaux modèles d’intervention (par exemple, comme lors de l’utilisation de la réalité augmentée dans l’autisme ⁴⁹). Dans de tels modèles, nous serons en mesure de suivre et de quantifier les conséquences sensorielles des actions naturalistes de la personne, car les entrées sensorielles sont manipulées avec précision, et la sortie est paramétrisée et re-paramétrisée en temps quasi réel.

Nous offrons ce protocole comme modèle général pour utiliser diverses activités biorythmiques autogénérés par les systèmes nerveux humains et exploités de façon non invasive avec des portables sans fil. Bien que nous 199ions utilisé un ensemble de biocapteurs pour enregistrer l’EEG, l’ECG et la cinématique dans cet article, les méthodes d’enregistrement, de synchronisation et d’analyse des signaux sont générales. L’interface peut ainsi intégrer d’autres technologies. En outre, les protocoles peuvent être modifiés pour inclure d’autres actions et contextes naturalistes qui s’étendent au domaine médical. Parce que nous avons visé pour les comportements naturels, la configuration que nous avons développé peut être utilisé dans des paramètres ludiques (par exemple, impliquant les enfants et les parents.)

Plusieurs troubles du système nerveux pourraient bénéficier de telles approches ludiques du problème de contrôle. Dans les deux types d’interactions dyadiques que nous avons montré ici, les participants pouvaient viser à contrôler consciemment la musique, tandis que le contrôleur proxy utilise la sortie périphérique pour manipuler inconsciemment et déplacer systématiquement ses signatures. Parce que les scientifiques ont passé des années empiriquement à cartographier le plan de paramètres Gamma et l’espace correspondant des moments Gamma à travers différents groupes d’âge (nouveau-nés à 78 ans)¹⁹^,⁵⁰^,⁵¹^,⁵²^,⁵³ et les conditions (autisme, La maladie de Parkinson, accident vasculaire cérébral, état de coma et de désafferentation), pour différents niveaux de contrôle (volontaire, automatique, spontané, involontaire et autonome)²⁵^,⁴⁷^,⁵⁴, ils ont mesuré empiriquement des critères désignant où sur les espaces Gamma les signatures stochastiques devraient être pour un bon contrôle prédictif. Des recherches antérieures ont également montré que nous savons où sont les paramètres en présence de bruit aléatoire spontané provenant des rythmes autogénérés des systèmes nerveux^{humains 7}^,¹⁹^,⁵⁵^,⁵⁶. Dans un schéma d’optimisation minimisant le bruit moteur biorythmique, nous pouvons ainsi viser à conduire les signaux de manière à atteindre les zones ciblées des espaces Gamma où la forme et la dispersion des signatures de la famille des PDF de chaque personne est propice à un rapport signal/bruit élevé et à des valeurs prédictives. En ce sens, nous ne perdons pas de données brutes et nous les utilisons plutôt efficacement pour conduire le système vers des niveaux souhaitables de bruit dans une situation donnée.

Les interactions dyades sont omniprésentes dans les milieux cliniques ou de formation. Elles peuvent se produire entre le formateur et le stagiaire; le médecin et le patient; le thérapeute clinique et le patient; et ils peuvent également se produire dans des contextes de recherche qui impliquent la science translationnelle et engagent le chercheur et le participant. Un des avantages des protocoles actuels est que, bien qu’ils soient conçus pour les dyades, ils sont également personnalisés. En tant que tel, il est possible d’adapter les interactions co-adaptatives aux meilleures capacités et prédispositions de la personne, en fonction de leurs amplitudes de mouvement, de leurs plages de temps de traitement sensoriel et tout en tenant compte des plages dans l’amplitude des signaux à travers la hiérarchie fonctionnelle des systèmes nerveux de la personne. Au fur et à mesure que la trajectoire stochastique émerge et évolue dans le temps, il est également possible de déterminer les taux de chances des signatures et d’utiliser cette série de temps pour prévoir plusieurs événements imminents ainsi que d’éventuelles conséquences sensorielles.

Enfin, des interfaces en boucle étroite pourraient même être utilisées dans le monde de l’art. Ils pourraient offrir aux artistes de la scène de nouvelles avenues pour générer des formes informatiques de danses modernes, de danses technologiques et de nouvelles formes de visualisation et de sonification de l’expression corporelle. Dans de tels contextes, le corps du danseur peut être transformé en un instrument sensoriel pour explorer avec souplesse différentes modalités sensorielles par la sonification et la visualisation des activités biorythmiques autogénérées, comme le montrent les travaux antérieurs^{dans ce domaine 40}^,⁴¹^,⁴³^,⁴⁶. Une telle performance pourrait augmenter le rôle d’un danseur sur scène et laisser le public éprouver des signaux corporels subtils au-delà du mouvement visible.

Plusieurs aspects de cette technologie nécessitent un développement et des tests supplémentaires pour optimiser leur utilisation en temps réel. Le streaming synchrone exige une puissance et une capacité de mémoire cpu/GPU à grande vitesse pour vraiment exploiter la notion de gagner du temps et d’avoir une longueur d’avance lors de la prévision des conséquences sensorielles des commandes motrices en cours. Les taux d’échantillonnage de l’équipement devraient être comparables afin d’être en mesure d’aligner véritablement les signaux, d’effectuer une fusion sensorielle appropriée et d’explorer la transmission de l’information par les différents canaux du système nerveux. Ce sont quelques-unes des limitations présentes dans cette nouvelle interface.

Dans l’ensemble, ce travail offre un nouveau concept pour améliorer le contrôle de notre système corporel tout en employant des moyens subliminaux qui permettent néanmoins des mesures systématiques normalisées des résultats du changement stochastique.

Divulgations

The authors have nothing to disclose.

Acknowledgements

Nous remercions les étudiants qui ont donné de leur temps pour aider à effectuer cette recherche; Kan Anant et phaseSpace Inc. pour nous avoir fourni les images et les vidéos nécessaires pour décrire la mise en place; et Neuroélectronique pour nous permettre d’utiliser du matériel du canal www.youtube.com/c/neuroelectrics/ et leurs manuels. Enfin, nous remercions le Professeur Thomas Papathomas du Rutgers Center for Cognitive Science pour son soutien professionnel pendant les étapes de soumission de ce manuscrit, le Prix nancy Lurie Marks pour le développement de carrière de la Fondation familiale à EBT et le Prix de la Fondation Gerondelis à VK.

Contributions
Conceptualisation, VK et EBT; méthodologie, EBT; logiciels, VK, EBT, SK.; validation, VK et SK; analyse formelle, VK; enquête, VK, EBT, SK; ressources, EBT; curation des données, VK; rédaction — préparation originale du projet, EBT; rédaction — examen et édition, VK, SK.; visualisation, VK et EBT.; supervision, EBT.; l’administration du projet, EBT.; financement de l’acquisition, EBT Tous les auteurs ont lu et accepté la version publiée du manuscrit.

Materials

Enobio 32	Enobio	Hardware for EEG data collection
Enobio ECG Extention	Enobio	Hardware for ECG data collection
LabStreamingLayer (LSL)		Synchronization and streaming of data
Matlab	Mathwork	Analysis and processing of data
Max	Cycling'74	Sonification of bodily information
NIC.2	Enobio	Software for EEG and ECG data collection
PhaseSpace Impulse	PhaseSpace	Hardware for collection of the kinematic data (position, speed, acceleration)
Python3	Python	Analysis and processing of data
Recap	PhaseSpace	Software for collection of the kinematic data (position, speed, acceleration)

References

Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
Torres, E. B. . Theoretical Framework for the Study of Sensori-motor Integration. , (2001).
Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42 (2003).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson’s disease. PLoS One. 8 (7), 66757 (2013).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32 (2013).
Ryu, J., Vero, J., Torres, E. B. . MOCO ’17: Proceedings of the 4th International Conference on Movement Computing. , 1-8 (2017).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
Casadio, M., et al. . IEEE International Conference on Rehabilitation Robotics. , (2019).
Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. . 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , (2018).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Purves, D. . Neuroscience. Sixth edition. , (2018).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson’s disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
Torres, E. B. . Progress in Motor Control. , 229-254 (2016).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , (2020).
Kalampratsidou, V. . Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , (2018).
Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer’s heart. Sixth International Symposium on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9 (2016).
Von Holst, E., Mittelstaedt, H., Dodwell, P. C. . Perceptual Processing: Stimulus equivalence and pattern recognition. , 41-72 (1950).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Torres, E. B. . Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , (2018).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Citer Cet Article

Kalampratsidou, V., Kemper, S., Torres, E. B. Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface. J. Vis. Exp. (171), e61943, doi:10.3791/61943 (2021).