Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface

Vilelmini Kalampratsidou; Steven Kemper; Elizabeth B. Torres

doi:10.3791/61943

JoVE Journal > Behavior

Please note that all translations are automatically generated. Click here for the English version.

Sciences du comportement

Real-time proxybesturing van opnieuw geparametriseerde randsignalen met behulp van een close-loop-interface

Published: May 08, 2021

doi:

10.3791/61943

Vilelmini Kalampratsidou^1,2, Steven Kemper³, Elizabeth B. Torres^1,2,4,5,6

¹Center for Cognitive Science,Rutgers University, ²Department of Computer Science,Rutgers University, ³Music Department, Mason Gross School of the Arts,Rutgers University, ⁴Psychology Department,Rutgers University, ⁵Sensory Motor Integration Lab,Rutgers University, ⁶Computational Biomedicine Imaging and Modelling Center,Rutgers University

Summary

We presenteren protocollen en analysemethoden om co-adaptieve interfaces te bouwen die signalen van het menselijk lichaam en hart in close-loop streamen, parametriseren, analyseren en wijzigen. Deze opstelling koppelt signalen afgeleid van het perifere en centrale zenuwstelsel van de persoon met externe sensorische ingangen om biofysische verandering te helpen volgen.

Abstract

De velden die methoden ontwikkelen voor sensorische substitutie en sensorische augmentatie zijn gericht op het beheersen van externe doelen met behulp van signalen van het centrale zenuwstelsel (CZS). Minder frequent zijn echter protocollen die externe signalen bijwerken die zelf worden gegenereerd door interactieve lichamen in beweging. Er is een schaarste aan methoden die de lichaams-hart-hersenen bioritmes van een bewegend middel combineren om die van een ander bewegend middel te sturen tijdens dyadische uitwisseling. Een deel van de uitdaging om een dergelijke prestatie te bereiken is de complexiteit van de opstelling met behulp van multimodale biosignalen met verschillende fysieke eenheden, ongelijksoortige tijdschalen en variabele bemonsteringsfrequenties.

In de afgelopen jaren heeft de komst van draagbare biosensoren die niet-invasief meerdere signalen naast elkaar kunnen benutten, de mogelijkheid geopend om de perifere signalen van interagerende dyaden opnieuw te parametriseren en bij te werken, naast het verbeteren van hersen- en / of lichaamsmachine-interfaces. Hier presenteren we een co-adaptieve interface die de efficiëntie van de somatische motor (inclusief kinematica en hartslag) bijwerkt met behulp van biosensoren; parametriseert de stochastische biosignalen, sonifeert deze output en voert deze terug in opnieuw geparametriseerde vorm als visuo/audio-kinesthetische reafferent input. We illustreren de methoden met behulp van twee soorten interacties, een waarbij twee mensen betrokken zijn en een andere waarbij een mens en zijn avatar in bijna realtime met elkaar communiceren. We bespreken de nieuwe methoden in het kader van mogelijke nieuwe manieren om de invloeden van externe input op interne somatisch-sensorische-motorische controle te meten.

Introduction

De natuurlijke close-loop controller
Sensorisch-motorische informatie stroomt continu tussen de hersenen en het lichaam om goed georganiseerd, gecoördineerd gedrag te produceren. Dergelijk gedrag kan worden bestudeerd terwijl het zich alleen richt op de acties van de persoon, zoals in een monoloogstijl (figuur 1A), of tijdens complexe dynamische acties die worden gedeeld tussen twee agenten in een dyad, zoals in een dialoogstijl (figuur 1B). Een derde optie is echter om dergelijke complexe interacties te beoordelen via een proxycontroller, in de context van een close-loop-interface tussen mens en computer (figuur 1C). Een dergelijke interface kan de fluctuaties van de bewegingen van moment tot moment volgen die door elke agent in de dyad worden bijgedragen, en door het type samenhang dat zelf uit hun synchrone interacties naar voren komt, waardoor de ritmes van de dyad op wenselijke manieren worden gestuurd.

Figuur 1: Verschillende vormen van controle. (A) Zelfhersenengestuurde interfaces zijn afhankelijk van de nauwe relaties tussen de hersenen van de persoon en het eigen lichaam van de persoon, die zichzelf kunnen reguleren en zelf kunnen interageren in “monoloog”-stijl. Deze modus probeert zelf gegenereerde bewegingen te bedienen, of het kan ook gericht zijn op het bedienen van externe apparaten. (B) “Dialogue” stijlcontrole wordt geïntroduceerd voor twee dansers die met elkaar communiceren en door fysieke entrainment en turn-taking om controle over elkaars bewegingen te krijgen. (C) “Third party” dialoogbesturing van de dyad wordt geïntroduceerd zoals bemiddeld door een computerinterface die de biosignalen van beide dansers samen benut, parametriseert en terugvoert naar de dansers in opnieuw geparametriseerde vorm met behulp van audio en / of visie als vormen van zintuiglijke begeleiding. De herparametrisatie in de hier gepresenteerde voorbeelden werd bereikt met behulp van audio- of visuele feedback, versterkt door de real-time kinesthetische motorische output van een van de dansers om de andere te beïnvloeden; of van beide dansers, om de beurt in een wisselend patroon. Klik hier om een grotere versie van deze afbeelding te bekijken.

Het algemene doel van deze methode is om aan te tonen dat het mogelijk is om de moment-voor-moment fluctuaties in bioritmische activiteiten van lichamen in beweging te benutten, te parametriseren en opnieuw te parametriseren, aangezien twee agenten zich bezighouden met dyadische uitwisseling waarbij twee mensen betrokken kunnen zijn, of een mens en zijn / haar zelfbewegende avatar.

Onderzoeken naar hoe de hersenen acties kunnen controleren en hun sensorische gevolgen kunnen voorspellen , hebben in het verleden veel lijnen van theoretische onderzoeken gegenereerd¹^,²^,³ en verschillende modellen van neuromotorische controle⁴^,⁵^,⁶^,⁷^,⁸geproduceerd . Een onderzoekslijn op dit multidisciplinaire gebied omvatte de ontwikkeling van close-loop brain-machine of brain-computer interfaces. Dit soort opstellingen bieden manieren om de CNS-signalen te gebruiken en aan te passen om een extern apparaat te bedienen, zoals een robotarm^9,^10,^11,een exoskelet¹², een cursor op een computerscherm¹³ (onder andere). Al deze externe apparaten delen de eigenschap dat ze geen eigen intelligentie hebben. In plaats daarvan hebben de hersenen die ze proberen te beheersen, en een deel van het probleem waarmee de hersenen worden geconfronteerd, is om te leren hoe ze de gevolgen kunnen voorspellen van de bewegingen die het in deze apparaten genereert (bijv. de bewegingen van de cursor, de bewegingen van de robotarm, enz.) terwijl ze andere ondersteunende bewegingen genereren die bijdragen aan de algehele sensorische motorische feedback in de vorm van kinesthetische reafferentie. Vaak was het overkoepelende doel van deze interfaces om de persoon achter die hersenen te helpen een verwonding of aandoening te omzeilen, om de transformatie van zijn / haar opzettelijke gedachten in wilskrachtig gecontroleerde fysieke handelingen van het externe apparaat te herwinnen. Minder gebruikelijk is echter de ontwikkeling van interfaces die proberen de bewegingen van lichamen in beweging te sturen.

Veel van het oorspronkelijke onderzoek naar hersen-machine interfaces richten zich op de controle van het centrale zenuwstelsel (CZS) over lichaamsdelen die doelgerichte acties kunnen uitvoeren⁹^,¹⁴^,¹⁵^,¹⁶^,¹⁷. Er zijn echter andere situaties waarbij het gebruik van de signalen die zijn afgeleid van activiteiten van het perifere zenuwstelsel (PNS), inclusief die van het autonome zenuwstelsel (ANS), informatief genoeg is om de signalen van externe agentia te beïnvloeden en te sturen, inclusief een andere mens of avatar, of zelfs interagerende mensen (zoals in figuur 1C). In tegenstelling tot een robotarm of cursor heeft de andere agent in dit geval intelligentie die wordt aangedreven door een brein (in het geval van de avatar die is begiftigd met de bewegingen van de persoon, of van een andere agent, in het geval van een interacterende menselijke dyad).

Een opstelling die een omgeving creëert van een co-adaptieve close-loop interface met dyadische uitwisseling kan van nut zijn om in te grijpen bij aandoeningen van het zenuwstelsel waarbij de hersenen niet naar eigen goeddunken het eigen lichaam in beweging kunnen houden, ondanks het feit dat ze de brug tussen het CZS en de PNS niet fysiek hebben doorgesneden. Dit kan het geval zijn als gevolg van lawaaierige perifere signalen waarbij de feedbacklussen om de hersenen te helpen hun eigen zelfgegenereerde bioritmes continu te monitoren en aan te passen, mogelijk zijn verstoord. Dit scenario doet zich voor bij patiënten met de ziekte van Parkinson¹⁸^,¹⁹, of bij deelnemers met autismespectrumstoornissen met overtollig geluid in hun motorische output. In beide gevallen hebben we inderdaad hoge niveaus van ruis-signaalverhouding gekwantificeerd in de terugkerende kinesthetische signalen die zijn afgeleid van de snelheid van hun beoogde bewegingen²⁰^,²¹^,²² en uit het hart²³. In dergelijke gevallen kan het proberen om de hersencontrole van externe signalen onder de knie te krijgen, terwijl ook wordt geprobeerd het lichaam in beweging te controleren, resulteren in een zelfreactief signaal van de re-entry (re-afferent) stroom van informatie die de hersenen ontvangen van de continue (efferent) motorstroom aan de periferie. De fluctuaties van moment tot moment die zich voordoen in een dergelijke zelfgegenereerde efferente motorstroom bevatten inderdaad belangrijke informatie die nuttig is om de zintuiglijke gevolgen van doelgerichte acties te helpen voorspellen²⁴. Wanneer deze feedback beschadigd is door ruis, wordt het moeilijk om de besturingssignalen voorspelbaar bij te werken en opzettelijke plannen te overbruggen met fysieke handelingen.

Als we een dergelijke feedbacklus uitbreiden naar een andere agent en de interacties van de persoon en agent via een derde partij controleren(figuur 1C),hebben we misschien een kans om elkaars prestaties in bijna realtime te sturen. Dit zou ons het bewijs van concept opleveren dat we het concept van co-adaptieve interfaces tussen hersenen en lichaam of hersenmachine zouden moeten uitbreiden om aandoeningen van het zenuwstelsel te behandelen die resulteren in een slechte realisatie van fysieke wil vanuit mentale intentie.

Doelgerichte acties hebben gevolgen, die precies worden gekenmerkt door motorische stochastische handtekeningen die contextafhankelijk zijn en het mogelijk maken om niveaus van mentale intentie met hoge zekerheid af te leiden²⁵^,²⁶. Een voordeel van een nieuwe methode die dyadische uitwisseling gebruikt ten opzichte van eerdere persoonsgerichte benaderingen van de hersenmachine of hersencomputerinterfaces, is dat we de controlesignalen kunnen uitbreiden tot de lichaams- en hartbioritmes die grotendeels onder het bewustzijn van de persoon, onder verschillende intentieniveaus, verlopen. Op deze manier dempen we reactieve interferentie die bewuste controle de neiging heeft op te roepen tijdens het aanpassen van hersencursorbesturing¹⁷. We kunnen meer zekerheid toevoegen aan het voorspellende proces door de verschillende signalen die we kunnen openen te parametreren. In die zin bestaat er eerder werk met behulp van hersen- en lichaamssignalen in tandem²⁷^,²⁸^,²⁹; maar werk met dyadische interacties gevangen door hersen-lichamelijke signalen blijft schaars. Voorts moet de bestaande literatuur het onderscheid tussen opzettelijke segmenten van de actie die onder volledig bewustzijn worden uitgevoerd , nog afbakenen en overgangsbewegingen die spontaan optreden als gevolg van de opzettelijke³⁰^,³¹. Hier maken we dat onderscheid in de context van dyadische uitwisseling, en bieden we nieuwe manieren om deze tweedeling³²te bestuderen , terwijl we voorbeelden geven van gechoreografeerde (opzettelijke) versus geïmproviseerde (spontane) bewegingen in de dansruimte.

Vanwege de transductie- en transmissievertragingen in de sensorisch-motorische integratie- en transformatieprocessen^33,is het noodzakelijk om dergelijke voorspellende code op zijn plaats te hebben, om met grote zekerheid te leren anticiperen op aankomende sensorische input. Daartoe is het belangrijk om de evolutie van de ruis-signaalverhouding afgeleid van signalen in de continu bijgewerkte kinesthetische reafferentstroom te kunnen karakteriseren. We hebben dan protocollen nodig om de verandering in motorische variabiliteit systematisch te meten. Variabiliteit is inherent aanwezig in de fluctuaties van moment tot moment van de uitgaande efferent motorstroom³⁴. Aangezien deze signalen niet stationair zijn en gevoelig zijn voor contextuele variaties³⁵^,³⁶, is het mogelijk om wijzigingen te parametreren die optreden bij wijzigingen in de context van de taken. Om interferentie van reactieve signalen die voortkomen uit bewuste CZS-controle te minimaliseren en kwantificeerbare veranderingen in de efferent PNS-motorstroom op te roepen, introduceren we hier een proxy close-loop-interface die indirect de sensorische feedback verandert, door het perifere signaal te rekruteren dat grotendeels onder het zelfbewustzijn van de persoon verandert. Vervolgens laten we manieren zien om systematisch de verandering te meten die volgt op de sensorische manipulaties, met behulp van stochastische analyses die vatbaar zijn om het proces te visualiseren dat de proxy close-loop-interface indirect bij beide agenten oproept.

Introductie van een Proxy Close-Loop Controller
De sensorisch-motorische variabiliteit in de perifere signalen vormt een rijke bron van informatie om de prestaties van het zenuwstelsel te sturen terwijl leren, aanpassing en generalisatie plaatsvinden in verschillende contexten³⁷. Deze signalen komen deels naar voren als een bijproduct van het CZS dat acties wil sturen, maar zijn niet het directe doel van de controller. Omdat de persoon van nature met anderen communiceert, kunnen de perifere signalen worden gebruikt, gestandaardiseerd en opnieuw worden geparametriseerd; wat betekent dat hun variaties kunnen worden geparametriseerd en systematisch kunnen worden verschoven, omdat men de efferente motorstroom verandert die voortdurend opnieuw het systeem binnenkomt als kinesthetische reafferentie. In dergelijke instellingen kunnen we de stochastische verschuivingen visualiseren en met hoge precisie een rijk signaal vastleggen dat anders verloren gaat aan de soorten grootse middeling die meer traditionele technieken uitvoeren.

Om de karakterisering van verandering onder het nieuwe statistische platform te bereiken, introduceren we hier protocollen, gestandaardiseerde gegevenstypen en analyses die de integratie van externe sensorische input (auditief en visueel) met intern zelfgegenereerde motorische signalen mogelijk maken, terwijl de persoon van nature communiceert met een andere persoon, of met een avatarversie van de persoon. In die zin, omdat we ernaar streven de perifere signalen te regelen (in plaats van de CNS-signalen aan te passen om het externe apparaat of de media rechtstreeks te bedienen), munten we dit een proxy close-loop interface (Figuur 2). We streven ernaar om de veranderingen in de stochastische signalen van de PNS te karakteriseren, omdat ze van invloed zijn op die in het CNS.

Figuur 2: Proxy-controle van een dyadische interactie met behulp van close-loop multimodale interface. (A) Indirecte controle van twee dansers (dansende salsa) via een computerco-adaptieve interface vs. (B) een interactieve kunstmatige persoons-avatar dyad bestuurd door gebruik te maken van de signalen van het perifere zenuwstelsel en deze opnieuw te parametreren als geluiden en/of als visuele input. (C) Het concept van sonificatie met behulp van een nieuw gestandaardiseerd gegevenstype (de microbewegingspieken, MMS) afgeleid van de fluctuaties van moment tot moment in bioritmische signalen amplitude / timing omgezet in trillingen en vervolgens naar geluid. Uit de natuurkunde lenen we de noties van compressies en rarefactions geproduceerd door een stemvork die geluidsgolven uitvoert als meetbare trillingen. Schema’s van geluidsgolven vertegenwoordigd als druk gemoduleerd in de loop van de tijd parallel aan piekconcentraties voor sonificatie. Voorbeeld van een fysiek signaal om de voorgestelde pijpleiding van MMS naar trillingen en sonificatie te ondergaan. We gebruiken het hartslagsignaal als ingang naar de interface. Dit neemt fluctuaties in de amplitude van het signaal die elke 4 seconden van beweging is afgestemd op het begin van de beweging en bouwt MMS-treinen die de trillingen vertegenwoordigen. De spiketreinen van MMS zijn gestandaardiseerd van [0,1]. De kleur van de spikes volgens de kleurbalk vertegenwoordigt de intensiteit van het signaal. Vervolgens verheerlijken we deze trillingen met Max. Dit sonified signaal kan worden gebruikt om terug te spelen in A, of om in B de interacties met de avatar te veranderen. Verder is het in B mogelijk om het geluid in de omgeving te verankeren en de lichaamspositie te gebruiken om het geluid af te spelen in een interessegebied (RoI), of om de audiofuncties te moduleren als functie van afstand tot de RoI, snelheid of versnelling van een lichaamsdeel dat is verankerd aan een ander lichaamsdeel, bij het passeren van de RoI. Klik hier om een grotere versie van deze afbeelding te bekijken.

De PNS-signalen kunnen niet-invasief worden gebruikt met draagbare detectietechnologieën die multimodale efferentstromen uit verschillende functionele lagen van het zenuwstelsel co-registreren, variërend van autonoom tot vrijwillig³². We kunnen dan in bijna realtime de veranderingen in dergelijke stromen meten en degenen selecteren waarvan de veranderingen de signaal-ruisverhouding verbeteren. Dit efferente motorsignaal kan vervolgens worden aangevuld met andere vormen van zintuiglijke geleiding (bijv. auditief, visueel, enz.) Omdat de PNS signalen scape volledig bewustzijn, ze zijn gemakkelijker te manipuleren zonder veel weerstand ³⁸. Als zodanig gebruiken we ze om de prestaties van de persoon te sturen op manieren die minder stressvol kunnen zijn voor het menselijk systeem.

De interface bouwen
We presenteren het ontwerp van de proxybesturing gemedieerd door een close-loop co-adaptieve multimodale interface. Deze interface stuurt de real-time multisensorische feedback. Figuur 3 geeft het algemene ontwerp weer.

De close-loop interface wordt gekenmerkt door 5 hoofdstappen. De 1e stap is de multimodale dataverzameling van meerdere draagbare instrumenten. De 2e stap is de synchronisatie van de multimodale streams via het platform van LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer) ontwikkeld door de MoBI groep ³⁹. De 3e stap is het streamen van de LSL-gegevensstructuurnaar een Python, MATLAB of andere programmeertaalinterface om de signalen te integreren en fysiologische kenmerken (relevant voor onze experimentele opstelling) empirisch in realtime te parametriseren. De 4e stap is om de geselecteerde functies die worden geëxtraheerd uit de continue stroom van het bestudeerde lichaamssignaal opnieuw te parametreren en uit te breiden met behulp van een zintuiglijke modaliteit naar keuze (bijv. visueel, auditief, kinesthetisch, enz.) om het af te spelen in de vorm van geluiden of beelden, om de zintuiglijke modaliteit die problematisch is in het zenuwstelsel van de persoon te vergroten, te vervangen of te verbeteren. Ten slotte is de 5e stap het opnieuw beoordelen van de stochastische handtekeningen van de signalen die door het systeem in realtime worden gegenereerd, om te selecteren welke zintuiglijke modaliteit de stochastische verschuivingen van de lichamelijke schommelingen naar een regime van hoge zekerheid (ruisminimisatie) brengt in de voorspelling van de zintuiglijke gevolgen van de dreigende actie. Deze luswordt continu gespeeld gedurende de duur van het experiment met de focus op het geselecteerde signaal, terwijl de volledige prestaties worden opgeslagen voor latere analyses (zoals weergegeven in de schema’s van figuur 3 en zie40 ,⁴¹^,⁴²,43^,⁴⁴).

Figuur 3: De architectuur van het multimodale randapparaat aangedreven close-loop interface concept. Verschillende lichamelijke signalen worden verzameld – kinematische gegevens, hart- en hersenactiviteit (stap 1). LSL wordt gebruikt om de gegevens van verschillende apparatuur synchroon te registreren en te streamen naar de interface (stap 2). Python/MATLAB/C#-code wordt gebruikt om de fluctuaties in de signalen continu te parametreren met behulp van een gestandaardiseerd gegevenstype en een gemeenschappelijke schaal waarmee de bron van sensorische geleiding kan worden geselecteerd die het meest geschikt is om de onzekerheid van het systeem te dempen (stap 3). Deze real-time verbetering van de signaaloverdracht via geselecteerde kanaal(en) maakt het vervolgens mogelijk om het sensorische signaal opnieuw te parametreren om te integreren in de continue motorstroom en de verloren of beschadigde ingangsstroom te verbeteren (sensorische substitutiestap 4). Continue herbeoordeling sluit de lus (stap 5) en we slaan alle gegevens op voor aanvullende toekomstige analyses. Klik hier om een grotere versie van deze afbeelding te bekijken.

De volgende secties presenteren het generieke protocol voor het bouwen van een close-loop interface (zoals beschreven in figuur 3) en beschrijven representatieve resultaten van twee experimentele interfaces (uitgebreid gepresenteerd in Aanvullend Materiaal) met fysieke dyadische interactie tussen twee dansers (echt close-loop systeem) en virtuele dyadische interactie tussen een persoon en een avatar (kunstmatig close-loop systeem).

Protocol

De studie werd goedgekeurd door de Rutgers Institutional Study Board (IRB) in overeenstemming met de verklaring van Helsinki. 1. Deelnemers Definieer de te bestuderen populatie en nodig hen uit om deel te nemen aan het onderzoek. De huidige interface kan in verschillende populaties worden gebruikt. Dit protocol en de voorbeelden die hier worden gebruikt om een proof of concept te leveren, zijn niet beperkt tot een specifieke groep. Schriftelijke geïnformeerde toestemming verkrijgen van het door de IRB goedgekeurde protocol in overeenstemming met de verklaring van Helsinki. Vraag de deelnemer of voogd om het formulier te ondertekenen voor het begin van het experiment. 2. Installatie van de Close-Loop Interface Opstelling van kinematische apparatuur-PNSHelp de deelnemer om zorgvuldig het LED-gebaseerde motion-capture kostuum (lichaam en hoofd, weergegeven in figuur 3,stap 1 en 5) te dragen dat bij het gebruikte motion-capture-systeem hoort. De LED-markeringen van het kostuum worden gevolgd door de camera’s van het systeem om de locatie van het bewegende lichaam in de ruimte te schatten. Sluit de draadloze LED-controller (ook wel LED-drivereenheid genoemd) van het systeem aan op de LED-kabels van het kostuum door deze op de juiste poort aan te sluiten. Schakel het apparaat in en zet het in de streamingmodus. Schakel de server van het motion-capture-systeem in. Open een webbrowser, bezoek het serveradres en meld u aan (aanmeldingsgegevens moeten door het bedrijf worden verstrekt bij aankoop van het product). Kalibreer het systeem indien nodig (kalibreer het systeem bijvoorbeeld als dit de eerste keer is dat u de apparatuur gebruikt, ga anders naar stap 2.1.17). Open het kalibratiegereedschap van het motion-capture-systeem en selecteer Wizard Kalibratie. Zorg ervoor dat de invoer van het servernummer in het tekstveld aan de linkerkant van de interface correct is en klik op Doorgaan. Sluit de toverstaf aan op de eerste poort van de LED-controller en schakel de controller in en klik op Doorgaan. Zodra de toverstaf is aangesloten, worden de LED-markeringen ingeschakeld en verschijnen ze op het display, in de cameraweergaven. Plaats de toverstaf in het midden van het cameraweergaveveld, controleer of deze door de camera’s kan worden opgenomen en klik op Doorgaan. Beweeg de toverstok door de ruimte door hem verticaal te houden en cilinders te tekenen. Zorg ervoor dat de beweging elke keer door ten minste 3 camera’s wordt vastgelegd en wordt geregistreerd op het weergaveveld van elke camera, waardoor deze groen wordt. Doe dit voor alle camera’s. Zodra het weergaveveld van elke camera volledig is geregistreerd (het is allemaal groen), klikt u op Doorgaan en wacht u tot kalibratieberekeningen zijn uitgevoerd.OPMERKING: Zodra de kalibratie is voltooid, wordt de cameralocatie samen met de LED-markeringen op het display weergegeven, omdat deze fysiek in de kamer zijn geplaatst. Op dit moment kan de gebruiker de kalibratie hervatten omdat dit is gebeurd of doorgaan met het uitlijnen van het systeem. Houd de toverstaf verticaal en plaats de zijkant met de LED dichter bij het uiteinde van de toverstaf op de grond, waar de oorsprong van de 3D-ruimte moet worden ingesteld (punt (0,0,0)). Houd de toverstaf stabiel tot hij geregistreerd is. Eenmaal geregistreerd knippert het scherm groen. Er verschijnt een punt dat de oorsprong van het referentiekader in de ruimte aangeeft op de interface en de volgende uitlijningsas, x-as, wordt groen gemarkeerd. Beweeg de toverstok, met behoud van dezelfde richting (verticaal), op het punt van de x-as en houd deze stabiel totdat deze is geregistreerd. Herhaal dit voor de z-as. Zodra het punt van de z-as is geregistreerd, is de kalibratie voltooid. Klik op Voltooien om de kalibratie af te sluiten. Open de interface van het motion-capture systeem en klik op Connect om te beginnen met het streamen van de gegevens vanaf de LED markers. Zodra de verbinding tot stand is gebracht, wordt de positie van de markeringen weergegeven op de virtuele wereld van de interface. Maak het virtuele skelet (schat automatisch de botposities van het lichaam op basis van de positiegegevens die zijn verzameld uit de LED-markeringen van het kostuum, zoals weergegeven figuur 8 stap2). Klik met de rechtermuisknop op Skeletten aan de rechterkant van het venster en selecteer Nieuw skelet. Kies Marker Mapping en selecteer vervolgens het juiste bestand (geleverd door het bedrijf op basis van de interfaceversie die wordt gebruikt). Klik vervolgens op OK. Vraag de deelnemer om stabiel te blijven op de T-pose (rechte houding met armen open aan de zijkanten). Klik met de rechtermuisknop op skelet en selecteer Skelet genereren zonder training. Als alle stappen correct worden uitgevoerd, wordt het skelet gegenereerd. Vraag de deelnemer om te bewegen en controleer hoe nauwkeurig het virtuele skelet de bewegingen van de deelnemer volgt. Als u de skeletgegevens naar LSL wilt streamen, selecteert u Instellingen en opties in het hoofdmenu. Open Owl emulator en klik op “start” Live streaming. Opstelling van EEG-apparatuur – CNS Help dezelfde deelnemer om de EEG-kopkap te dragen. Plaats de gelelektroden (de traditionele gel-gebaseerde elektroden die worden gebruikt met de EEG-kopkap) op de kopkap en 2 kleverige elektroden (elektroden die als stickers werken) op de achterkant van het rechteroor voor de CMS- en DRL-sensoren. Vul elektroden indien nodig met hooggeleidende gel om de geleidbaarheid tussen de sensor en de hoofdhuid te verbeteren. Sluit de elektrodekabels op de gel-trodes en de twee kleverige elektroden aan. Plak de draadloze monitor op de achterkant van de kopkap en sluit de elektrodekabels aan. Zet de monitor aan. Open de interface van het EEG-systeem. Selecteer Wi-Fi-apparaat gebruiken en klik op Scannen naar apparaten. Selecteer NE Wi-Fi en Gebruik dit apparaat. Klik op het hoofdpictogram, selecteer een protocol waarmee alle 32 sensoren kunnen worden opgenomen en klik op Laden. Zorg ervoor dat de gestreamde gegevens van elk kanaal op de interface worden weergegeven. Opstelling van ECG-apparatuur- ANS Volg de exacte stappen in 2.2, maar gebruik kanaal O1 om verbinding te maken op de hartslag extensie (HR). Gebruik een plakkerige elektrode om het andere uiteinde van de extensie recht onder de linker ribbenkast te steken. Voorbereiding van LSL voor gesynchroniseerde opname en streaming van kinematische gegevens. Voer de LSL-toepassing voor het motion-capture-systeem uit door op het bijbehorende pictogram te dubbelklikken. Zoek de toepassing op het volgende pad van de LSL-map, LSL\labstreaminglayer-master\Apps\PhaseSpace. Stel op de interface het juiste serveradres in. Selecteer vervolgens Configuratie bestand en laden. Selecteer het juiste configuratiebestand (het moet door het bedrijf worden geleverd op basis van de gebruikte productversie) Klik op Koppeling. Als er geen fouten worden gemaakt, wordt er geen foutbericht weergegeven. Bereid LSL voor op gesynchroniseerde opname en streaming van EEG- en ECG-gegevens. Er zijn geen extra stappen nodig voor deze apparatuur. Installatie van LSL Voer de LabRecorder-toepassing uit door te dubbelklikken op het bestand in het pad LSL\labstreaminglayer-master\Apps\LabRecorder van de map LSL. Klik op Bijwerken. Als alle instructies correct zijn uitgevoerd, worden alle gegevenstypen van het motion-capture- en EEG-systeem weergegeven in het paneel Record for streams. Selecteer de map en naam voor de gegevens in het deelvenster Opslaglocatie. Klik op Start. De gegevensverzameling van het motion-capture- en EEG-systeem begint synchroon. Klik aan het einde van de opname op Stoppen. Als de opname is geslaagd, bevinden de gegevens zich in de eerder geselecteerde map. Open de bestanden om te bevestigen dat ze de opgenomen informatie bevatten. Real-time analyses en monitoring van het menselijk systeem. Voer de MATLAB, Python of andere code uit die de gestreamde gegevens ontvangt, verwerkt en vergroot. Voorbeeldcodes die overeenkomen met de representatieve voorbeelden die in de volgende secties worden beschreven, zijn hier te vinden: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE Genereren van de augmented sensorische feedback Produceer de sensorische uitgang met behulp van het juiste apparaat (bijv. luidsprekers, monitor, onder andere). 3. Experimentele procedure Volg de experimentele procedure die wordt gedefinieerd door de installatie, indien van toepassing.OPMERKING: De close-loop interfaces zijn ontworpen om intuïtief te worden verkend en geleerd. Meestal zijn er dus geen instructies nodig.

Representative Results

Er zijn verschillende interfaces die kunnen worden gebouwd op basis van het protocol dat in de vorige sectie is gepresenteerd en die voor tal van doeleinden op verschillende populaties kunnen worden toegepast. Enkele mogelijke variaties worden beschreven in de sectie “Variaties van de Presented Close-Loop Interface” van Aanvullend Materiaal. In deze sectie demonstreren we representatieve resultaten van 2 voorbeeld close-loop interfaces die het protocol volgen dat in de vorige sectie is beschreven. De opzet, de experimentele procedure en de deelnemers aan deze studies worden uitgebreid uitgelegd in secties “Voorbeeld 1: Audio Close-loop Interface of a Real Dyadic Interaction” en “Voorbeeld 2: Audio-visual Close-loop Interface of an Artificial Dyadic Interaction” van het Aanvullende Bestand. Resultaten van audio close-loop interface van een echte Dyadic interactieIn de studie van “Audio close-loop interface of a real dyadic interaction” (uitgebreid gepresenteerd in sectie “Voorbeeld 1: Audio Close-loop Interface of a Real Dyadic Interaction” van Aanvullend Materiaal), gebruikten we een proxy control interface, geïllustreerd in figuur 4, die het hartsignaal van de vrouwelijke danser gebruikt om de gedanste muziek te veranderen. In realtime voerden we signaalverwerking uit om de tijd van de hartslag te extraheren en streamden we deze informatie naar het Max-systeem om de snelheid van het uitgevoerde nummer te wijzigen. Op deze manier speelden we het nummer terug, veranderd door de biofysische signalen. Dit proces leidde tot verdere veranderingen van de bewegingen en hartslagsignalen. Figuur 4: De op audio gebaseerde close-loop interface. 1. Een ECG-HR wearable device monitort de activiteit van een salsadanseres tijdens de uitvoering van haar routines en voert de signalen naar de interface op 500Hz. 2. Onze interface analyseert de ECG-gegevens in realtime. In elk frame filtert het de onbewerkte gegevens, extraheert het de R-pieken van het QRS-complex; en streamt de piekdetectie naar MAX. 3. Een interface van derden combineert de snelheid van de audio met de snelheid van de hartslag. 4. Het gewijzigde nummer wordt teruggespeeld naar de dansers. Klik hier om een grotere versie van deze afbeelding te bekijken. Twee salsadansers communiceerden met de interface en voerden een goed ingestudeerde routine uit met een choreografie en een spontaan geïmproviseerde dans. De dansers moesten de originele versie van het nummer één keer uitvoeren en een versie mengde het oorspronkelijke tempo van het nummer met de real-time hartslagstroom. We verwijzen naar de latere versie die twee keer werd uitgevoerd als wijziging 1 en 2 van het nummer. In de onderstaande analyse gebruikten we het opgenomen hart- en audiosignaal. De pieken van de twee signalen die worden geëxtraheerd om MMS-treinen te schatten (zie de sectie “Microbewegingen Spikes” in aanvullend bestand), die hoogfrequente fluctuaties behouden zoals weergegeven in figuur 5. Figuur 5: Schatting van MMS-treinen van het audio-close-loopsysteem. ECG-tijdreeksen worden gebruikt om de RR-pieken en de amplitudeafwijkingen te extraheren van de totale (geschatte) gemiddelde amplitude van de verkregen R-pieken (gemiddelde verschoven gegevens). Vervolgens wordt normalisatie door vergelijking 1 (zie Aanvullend bestand, sectie “Micro-Movement Spikes”) gebruikt om de MMS-treinen te verkrijgen. Vergelijkbare methoden worden gebruikt om de audiogolfvormen te verwerken en het nummer af te spelen op basis van de realtime prestaties van de persoon. Klik hier om een grotere versie van deze afbeelding te bekijken. De MMS-treinen werden goed gekarakteriseerd als een continu willekeurig proces, goed vertegenwoordigd door de continue Gamma-familie van waarschijnlijkheidsverdelingen. MLE beschouwde deze continue distributiefamilie als de beste geschikt voor beide datasets (zie uitleg in de sectie “Gammaverdeling” van aanvullend materiaal en aanvullend figuur 2). Dit type willekeurig proces werd gebruikt om de verschuivingen in stochastische handtekeningen van de bioritmes zelf te volgen die zelf worden gegenereerd door biosignalen van het menselijke zenuwstelsel. Uit de empirisch geschatte vorm en schaal Gamma parameters, verkrijgen we de Gamma momenten, het gemiddelde, de variantie, de scheefheid, en de kurtosis (zie details van de analyse in sectie “Stochastische Analyse” van Aanvullend Materiaal). Vervolgens plotten we de geschatte PDF. Figuur 6 richt zich alleen op het hartsignaal en de muziek, maar de methoden zijn op dezelfde manier van toepassing op de andere bioritmes die worden gegenereerd door de kinematicasignalen in 41. De PDF van het hart- en muzieksignaal wordt weergegeven in figuur 6A-B, waar we de verschillen tussen de datasets van de twee aandoeningen, opzettelijke routine en spontane improvisatie, benadrukken. Voor elke voorwaarde onderstrepen we de verschuivingen in stochastische handtekeningen veroorzaakt door de temporele veranderingen van het lied. Aanvankelijk dansen ze op het originele nummer. Dan, als de hartslag ritmes in real time verandert, leiden de sonified fluctuaties in dit signaal de dansers ertoe om de temporele veranderingen van het lied te volgen. Dit zijn aangeduid met wijziging 1 en wijziging 2. Deze systematische verschuivingen worden beschreven door de Gamma parameters. Vervolgens hebben we met behulp van de empirisch geschatte vorm- en schaalparameters de vier overeenkomstige Gamma-momenten voor de hartslag en de nummers verkregen. Deze worden weergegeven in figuur 6C voor de signalen van het hart (boven) en het lied (onder). Figuur 6: Het induceren van systematische veranderingen in de empirisch geschatte Gamma PDF’s en hun stochastische trajecten van de Vier Gamma Momenten van de prestaties onder de proxy controle met behulp van het Audio Close-loop Systeem. (A) PDF’s van de MMS-treinen van elk van het gegevenstype (ECG boven- en audiobestand onder) voor elk van de danscontexten, spontane improvisatie en opzettelijke routine. Legenda’s zijn Imp Or (improvisatie origineel) die de basisvoorwaarde aan het begin van de sessie aanduidt; Imp Alt1 die de improvisatie aanduidt tijdens wijziging 1; Imp Alt2 duidt improvisatie aan tijdens wijziging 2. (B) Evenzo betekent Rout Or voor de opzettelijk ingestudeerde routine routine origineel; Rout Alt1 betekent routinewijziging 1; Rout Alt2 betekent routinewijziging 2. De panelen in (C) tonen de systematische verschuivingen in Gamma-momenten terwijl zowel de audiosignalen van de nummers als die van het hart in tandem en in realtime verschuiven. Klik hier om een grotere versie van deze afbeelding te bekijken. De verschuiving van de handtekeningen kan worden gewaardeerd in deze panelen (PDF- en Gamma-momentengrafieken), waardoor wordt aangetoond dat de gepresenteerde methoden de aanpassing van het hart aan de wijzigingen van het nummer dat de proxycontroller in realtime produceert, kunnen vastleggen. Naarmate de nummers ritmes verschuiven, veranderen ook de hart stochastische handtekeningen en is de overgang van de stochastische handtekeningen consistent in richting (wat ook een bevinding is in 41 waar we de vorm- en schaalparameters bestudeerden). Evenzo, als de handtekeningen van het hart verschuiven, veranderen ook de handtekeningen van het nummer. Deze spiegelende effecten – de ene beïnvloedt de andere en als de ene consequent naar een richting verschuift, volgt de andere dat ook – volg de close-loop-aard van deze proxycontrollerinterface. De resultaten onderstrepen het nut van deze opstelling en geven het bewijs van concept dat we systematisch de autonome bioritmes van de persoon kunnen verschuiven binnen de context van dyadische uitwisseling. Parallelle verschuivingen op de stochastische handtekeningen van zowel de liederen als de lichamelijke signalen, tonen aan dat de co-aanpassing van het hele systeem (deelnemer en interface) mogelijk is met behulp van de perifere signalen. Dit proces verloopt soepel onder het bewustzijn van de persoon en biedt een proof of concept voor de ideeën om de biosignalen van de persoon op afstand en systematisch te verschuiven in overeenstemming met de externe zintuiglijke feedback van keuze. Kortom, we kunnen de verschuiving van de stochastische handtekeningen begeleiden in dit continue willekeurige proces. De methoden maken het mogelijk om verandering en hun snelheid vast te leggen langs de stochastische trajecten die we in bijna realtime konden inbouwen. Om de statistische significantie in de ploegen te bepalen, gebruiken we de niet-parametrische ANOVA, Kruskal-Wallis test gevolgd door meerdere vergelijkingen post hoc test. We vergelijken de handtekeningen van de MMS van de hartgegevens met de zes aandoeningen. Figuur 7 toont de multi-vergelijking van de MMS-hartgegevens en de bijbehorende Kruskal-Wallis-tabel. Het multivergelijkingsplot geeft aan dat er een significant verschil is tussen de basisconditie van de oorspronkelijke routinedans (Rout. Of) en de basisconditie van de originele geïmproviseerde dans (Imp. Or). Het is ook belangrijk op te merken dat de eerste wijzigingen, Rout. Alt1 en Imp. Alt1, verschuiven naar distributies die vergelijkbare middelen delen en hetzelfde geldt voor de tweede wijzigingen, terwijl de variantie, scheefheid en kurtosis verschuiven op de Gamma-momentenruimte (Figuur 6C). Figuur 7: Resultaten van de niet-parametrische Kruskal-Wallis en meervoudige vergelijkingspost-hoctests. De resultaten van de niet-parametrische ANOVA (Kruskal-Wallis-test) werden toegepast op het MMS van de hartgegevens om de zes aandoeningen te vergelijken. Het plot toont de multi-vergelijking van de 6 gevallen, wat het significante verschil tussen de “Rout. Of” en “Imp. Of” voorwaarden. De tabel toont de resultaten van de Kruskal Wallis test. Klik hier om een grotere versie van deze afbeelding te bekijken. Resultaten van audiovisueel close-loop-interface van een kunstmatige Dyadische interactieIn de studie van “Audio-visuele close-loop interface van een kunstmatige dyadische interactie” (uitgebreid gepresenteerd in sectie “Voorbeeld 2: Audio-visuele close-loop Interface van een kunstmatige dyadische interactie” van Aanvullend Materiaal), interactie 6 deelnemers interactie met de interface, geïllustreerd in Figuren 8, die hun gespiegelde avatar maakt die de eigen bewegingen van de persoon weer geeft. De interface integreert positieafhankelijke geluiden binnen de regio rond de persoon tijdens de interactie. De deelnemers waren naïef over het doel van het onderzoek. Ze moesten door de kamer lopen en uitzoeken hoe ze het geluid moesten regelen dat verrassend zou ontstaan als ze langs een RoI (regio’s van belang) kwamen die de proxycontroller definieerde. Figuur 8: De visuele weergave van de audiovisuele interface. 1. Een motion-capture systeem wordt gebruikt voor het verkrijgen van de perifere kinematische gegevens. 2. Het systeem verzamelt de posities van de sensoren (in onze voorbeeld-LED’s) om de skeletpositie op de botten te schatten. 3. De botposities worden vervolgens uitgelijnd in onze MATLAB-ontwikkelde interface met behulp van ons eigen forward-kinematicamodel. 4. De uitgelijnde posities worden gebruikt om de skeletinformatie toe te passen op onze 3D-gerenderde avatar. 5. Het in kaart brengen van de gestreamde gegevens naar de avatar is in realtime, wat het gevoel creëert van het kijken naar het gespiegelde beeld van de persoon. Klik hier om een grotere versie van deze afbeelding te bekijken. Figuur 9 toont de resultaten van de audiovisuele interface van conditie 1 (zie Aanvullend bestand voor meer aandoeningen), waarbij de heuplocatie het nummer activeert wanneer het eerste zich in RoI bevindt. Deze figuur toont de PDF- en Gamma-handtekeningen (zie de sectie “Gegevenstypen en analyses” van aanvullend materiaal) van de heupsnelheidsgegevens van 6 verschillende controledeelnemers (C1 tot C6), wanneer ze zich binnen en buiten het RoI-volume waren. De hier gepresenteerde resultaten benadrukken de gepersonaliseerde verschillen in het aanpassingspercentage van de individuele deelnemers. Deze worden aangegeven door de verschuivingen van de stochastische handtekeningen en de individuele resultaten die binnen of buiten het RoI-volume naar voren komen. We kunnen bijvoorbeeld opmerken dat de PDF paste bij de frequentie histogrammen van het MMS afgeleid van de snelheidsamplitude van de heupen van C3 en C4, meer symmetrisch waren (hogere vormwaarde) en minder luidruchtig (lagere schaalwaarde) binnen het volume. De rest van de deelnemers vertoont daarentegen een tegengesteld patroon. Empirisch gezien hebben we ontdekt dat handtekeningen in de rechterbenedenhoek die van atleten en dansers zijn, die hoogopgeleide bewegingen uitvoeren. Handtekeningen liggen op de linkerbovenhoek, komen uit datasets van zenuwstelsels met pathologieën, zoals die met een diagnose van autismespectrumstoornissen ADHD22,32 en die van een gedeafferented deelnemer21. In de context van verschuivende patronen langs een stochastisch traject verkrijgen we de mediane waarden van de vorm en schaal om het rechter onderste kwadrant (RLQ) en het linker bovenste kwadrant (LUQ) te definiëren, waarbij we de algehele kwaliteit van de signaal-ruisverhouding volgen door deze informatie in de loop van de tijd op te accumuleren. Dit houdt rekening met het bijwerken van de mediane waarden die deze kwadranten dynamisch definiëren, aangezien de persoon zijn intern gegenereerde bioritmes co-aanpast aan die extern gecontroleerd door de proxy, maar afhankelijk is van de interne van de persoon. Figuur 9: Empirisch geschatte Gamma PDF’s en Gamma Handtekeningen van de lichaamsbioritmes tijdens interacties met behulp van het Audio-Visual Close-Loop System. Met behulp van de MMS-treinen afgeleid van de snelheid van de heupen van elke deelnemer (C1 – C6), gebruikten we MLE om de beste PDF te passen met 95% betrouwbaarheidsintervallen. Elke deelnemer wordt vertegenwoordigd door een ander symbool, terwijl de voorwaarden worden weergegeven door verschillende kleuren. Een familie van Gamma-PDF’s in het volume (in) verschilt van die buiten het volume (uit). Naast de gamma empirisch geschatte PDF’s, worden de geschatte gammavorm- en schaalparameters ook weergegeven voor elke persoon op het gammaparametervlak. Klik hier om een grotere versie van deze afbeelding te bekijken. Tabel 1 toont p-waarden verkregen uit ruwe (snelheid) en MMS-gegevens die het resultaat vergelijken tussen omstandigheden waarin het lichaamsdeel van de persoon zich in de RoI bevindt vs. buiten de RoI. De resultaten op de tabel zijn geschat met behulp van de niet-parametrische ANOVA Kruskal-Wallis-test. Kruskal Wallis-test Snelheidsgegevens Mms C1 0 1.34 e-05 C2 0 4.72E-15 C3 0 8.59E-34 C4 2.70e-21 3.16E-04 C5 0 1.11E-09 C6 0 5.95E-05 Tabel 1: Output van de niet-parametrische ANOAVA-Kruskal-Wallis-test. De resultaten van de Kruskal Wallis-test vergelijken de opnames van binnen versus buiten de Rol voor de MMS en de snelheidsgegevens. We passen de test afzonderlijk toe op de gegevens van elke deelnemer (C1 – C6). Aanvullende bestanden. Klik hier om deze bestanden te downloaden.

Discussion

Dit artikel introduceert het concept van proxybesturing via close-loop co-adaptieve, interactieve, multimodale interfaces die het perifere signaal van de persoon in de context van dyadische uitwisseling benutten, parametriseren en opnieuw parametriseren. We streefden ernaar om stochastische verschuivingen in de fluctuaties van de bioritmes van de persoon te karakteriseren en de verandering te parametreren. Verder hebben we ernaar gestreefd om de stochastische handtekeningen van hun bioritmes systematisch te sturen naar gerichte niveaus van ruis-naar-signaalregimes in bijna realtime.

We presenteerden een generiek protocol voor het bouwen van een close-loop interface die voldeed aan 5 kernelementen: 1) het verzamelen van meerdere lichaamsgegevens afkomstig van het CNS, PNS en ANS met behulp van verschillende instrumenten en technologieën; 2) de gesynchroniseerde opname en streaming van de gegevens; 3) de real-time analyse van de geselecteerde signalen; 4) het creëren van zintuiglijke augmentatie (audio, visueel, enz.) met behulp van fysiologische kenmerken die worden geëxtraheerd voor de lichamelijke signalen; en 5) de continue tracking van het menselijk systeem en parallelle zintuiglijke augmentatie sluit de lus van de interactie tussen de mens en het systeem.

Het algemene protocol is toegepast op twee voorbeeldinterfaces. De eerste onderzoekt de dyadische uitwisseling tussen twee menselijke agenten en de tweede tussen een mens en een avataragent. De twee soorten dyaden werden gebruikt om het concept te bewijzen dat het perifere signaal systematisch in realtime kan worden gewijzigd en dat deze stochastische veranderingen nauwkeurig kunnen worden gevolgd. De ene dyad bestond uit twee deelnemers die fysiek met elkaar communiceerden, terwijl de andere een deelnemer betrof die interactie had met een virtuele agent in de vorm van een 3D-gerenderde avatar begiftigd met de bewegingen van de persoon en met gewijzigde varianten van deze realtime bewegingen. Dergelijke veranderingen werden opgeroepen door interactieve manipulaties aangedreven door auditieve en/of visuele zintuiglijke ingangen in een setting van verhoogde sensaties. In zowel de echte dyad als de kunstmatige dyad hebben we de haalbaarheid aangetoond van het op afstand verschuiven van de perifere signalen, inclusief lichamelijke bioritmes en autonome signalen van de hartslag.

We presenteerden nieuwe experimentele protocollen om dergelijke verschuivingen in efferente motorische variabiliteit te onderzoeken terwijl de kinesthetische signaalstromen in bijna realtime worden gemanipuleerd en opnieuw worden geparametriseerd. Deze herintrede-informatie (kinesthetische reafference⁴⁸) bleek waardevol om de systeemprestaties in realtime te verschuiven. Ze bevatten informatie over de zintuiglijke gevolgen van de actie, die we nauwkeurig kunnen volgen met behulp van de methoden die we hier hebben gepresenteerd.

We toonden ook gegevenstypen en statistische methoden die vatbaar zijn om onze analyses te standaardiseren. We hebben meerdere visualisatietools geleverd om de real-time veranderingen in fysiologische activiteiten aan te tonen die zich van nature in verschillende contexten ontwikkelen, met empirisch geleide statistische gevolgtrekking die zich leent voor interpretatie van de zelfgegenereerde en zelfgestuurde signalen van het zenuwstelsel. Belangrijk is dat de veranderingen die door de proxycontroller werden opgeroepen soepel en toch kwantificeerbaar waren, waardoor het idee dat perifere activiteit op meer dan één manier nuttig is, werd ondersteund. Hoewel we deze methoden kunnen implementeren met behulp van in de handel verkrijgbare draadloze draagbare sensoren, kunnen we systematisch veranderingen in prestaties teweegbrengen die kunnen worden vastgelegd in de biofysische ritmes zonder het systeem te belasten. Het is belangrijk om onze methoden te vertalen naar de klinische arena en ze te gebruiken als testbed om nieuwe interventiemodellen te ontwikkelen (bijvoorbeeld bij het gebruik van augmented reality bij autisme ⁴⁹). In dergelijke modellen kunnen we de sensorische gevolgen van de naturalistische acties van de persoon volgen en kwantificeren, omdat de sensorische ingangen nauwkeurig worden gemanipuleerd en de uitvoer in bijna realtime wordt geparametriseerd en opnieuw geparametriseerd.

We bieden dit protocol aan als een algemeen model om verschillende bioritmische activiteiten te gebruiken die zelf worden gegenereerd door het menselijke zenuwstelsel en niet-invasief worden gebruikt met draadloze wearables. Hoewel we een reeks biosensoren gebruikten om EEG, ECG en kinematica in dit artikel te registreren, zijn de methoden voor het opnemen, synchroniseren en analyseren van de signalen algemeen. De interface kan dus andere technologieën bevatten. Bovendien kunnen de protocollen worden aangepast om andere naturalistische acties en contexten op te nemen die zich uitstrekken tot het medische veld. Omdat we gericht zijn op natuurlijk gedrag, kan de opstelling die we hebben ontwikkeld worden gebruikt in speelse omgevingen (bijv. met kinderen en ouders.)

Verschillende aandoeningen van het zenuwstelsel kunnen baat hebben bij dergelijke speelse benaderingen van het controleprobleem. In beide soorten dyadische interacties die we hier lieten zien, konden de deelnemers streven naar het bewust controleren van de muziek, terwijl de proxycontroller de perifere uitgang gebruikt om onbewust zijn handtekeningen te manipuleren en systematisch te verschuiven. Omdat wetenschappers jarenlang empirisch het Gamma parametervlak en de bijbehorende Gamma-momenten in kaart hebben gebracht in verschillende leeftijdsgroepen (pasgeborenen tot 78 jaar)¹⁹^,⁵⁰^,⁵¹, 52^,⁵³ en aandoeningen (autisme, de ziekte van Parkinson, beroerte, comatoestand en deafferentatie), voor verschillende niveaus van controle (vrijwillig, automatisch,^spontaan,onvrijwillig en autonoom)²⁵,⁴⁷,⁵⁴, hebben ze empirisch gemeten. Eerder onderzoek heeft ook aangetoond dat we weten waar de parameters zijn in de aanwezigheid van spontane willekeurige ruis afkomstig van de zelfgegenereerde ritmes van het menselijke zenuwstelsel⁷^,¹⁹^,⁵⁵^,⁵⁶. Binnen een optimalisatieschema dat bioritmische motoriek minimaliseert, kunnen we dus streven naar het aansturen van de signalen op een manier die de beoogde gebieden van de Gamma-ruimten bereikt waar de vorm en dispersiesignaturen van de familie van PDF’s van elke persoon bevorderlijk zijn voor een hoge signaal-ruisverhouding en voorspellende waarden. In die zin verliezen we geen brutogegevens en gebruiken we deze eerder effectief om het systeem in een bepaalde situatie naar wenselijke geluidsniveaus te drijven.

Dyadische interacties zijn alomtegenwoordig in klinische of trainingsomgevingen. Ze kunnen zich voordoen tussen de trainer en de stagiair; de arts en de patiënt; de klinisch therapeut en de patiënt; en ze kunnen ook voorkomen in onderzoeksinstellingen die translationele wetenschap betrekken en de onderzoeker en de deelnemer betrekken. Een van de voordelen van de huidige protocollen is dat ze, hoewel ze zijn ontworpen voor dyads, ook gepersonaliseerd zijn. Als zodanig is het mogelijk om de co-adaptieve interacties aan te passen aan de beste capaciteiten en aanleg van de persoon, afhankelijk van hun bewegingsbereiken, hun bereik van sensorische verwerkingstijden en terwijl rekening wordt gehouden met de bereiken in de amplitude van signalen over de functionele hiërarchie van het zenuwstelsel van de persoon. Naarmate het stochastische traject in de tijd ontstaat en evolueert, is het ook mogelijk om de kans op de handtekeningen vast te stellen en die tijdreeks te gebruiken om verschillende dreigende gebeurtenissen te voorspellen, samen met mogelijke zintuiglijke gevolgen.

Ten slotte kunnen close-loop interfaces zelfs worden gebruikt in de kunstwereld. Ze zouden uitvoerende kunstenaars nieuwe wegen kunnen bieden om computationeel gedreven vormen van moderne dansen, technologiedansen en nieuwe vormen van visualisatie en sonificatie van lichamelijke expressie te genereren. In dergelijke contexten kan het lichaam van de danser worden omgezet in een zintuiglijk aangedreven instrument om flexibel verschillende zintuiglijke modaliteiten te verkennen door sonificatie en visualisatie van de zelfgegenereerde bioritmische activiteiten, zoals blijkt uit eerder werk op dit gebied⁴⁰^,⁴¹^,⁴³^,⁴⁶. Een dergelijke voorstelling zou de rol van een danser op het podium kunnen vergroten en het publiek subtiele lichamelijke signalen kunnen laten ervaren die verder gaan dan zichtbare beweging.

Verschillende aspecten van deze technologie vereisen verdere ontwikkeling en testen om het gebruik ervan in realtime te optimaliseren. De synchrone streaming vereist hoge snelheid CPU / GPU-kracht en geheugencapaciteit om echt gebruik te maken van het idee om tijd te winnen en een stap voor te zijn bij het voorspellen van de sensorische gevolgen van de lopende motorcommando’s. De bemonsteringssnelheden van de apparatuur moeten vergelijkbaar zijn om de signalen echt op elkaar af te stemmen, een goede sensorische fusie uit te voeren en de overdracht van informatie via de verschillende kanalen van het zenuwstelsel te verkennen. Dit zijn enkele van de beperkingen die aanwezig zijn in deze nieuwe interface.

Al met al biedt dit werk een nieuw concept om de controle over ons lichaamssysteem te verbeteren, terwijl het subliminale middelen gebruikt die niettemin systematische gestandaardiseerde uitkomstmetingen van stochastische veranderingen mogelijk maken.

Divulgations

The authors have nothing to disclose.

Acknowledgements

We danken de studenten die hun tijd vrijwillig hebben aangeboden om te helpen bij het uitvoeren van dit onderzoek; Kan Anant en de PhaseSpace Inc. voor het leveren van afbeeldingen en video’s die nodig zijn om de installatie te beschrijven; en Neuroelectronics om ons in staat te stellen materiaal uit het kanaal te gebruiken www.youtube.com/c/neuroelectrics/ en hun handleidingen. Tot slot bedanken we prof. Thomas Papathomas van Rutgers Center for Cognitive Science voor professionele ondersteuning tijdens de inzendingsfasen van dit manuscript, Nancy Lurie Marks Family Foundation Career Development Award aan EBT en de Gerondelis Foundation Award aan VK.

Bijdragen
Conceptualisering, VK en EBT; methodologie, EBT; software, VK, EBT, SK.; validatie, VK en SK; formele analyse, VK; onderzoek, VK, EBT, SK; middelen, EBT; gegevenscuratie, VK; schrijven— originele ontwerpvoorbereiding, EBT; schrijven— beoordelen en bewerken, VK, SK.; visualisatie, VK en EBT.; toezicht, EBT.; projectadministratie, EBT.; financiering acquisitie, EBT Alle auteurs hebben de gepubliceerde versie van het manuscript gelezen en ermee ingestemd.

Materials

Enobio 32	Enobio	Hardware for EEG data collection
Enobio ECG Extention	Enobio	Hardware for ECG data collection
LabStreamingLayer (LSL)		Synchronization and streaming of data
Matlab	Mathwork	Analysis and processing of data
Max	Cycling'74	Sonification of bodily information
NIC.2	Enobio	Software for EEG and ECG data collection
PhaseSpace Impulse	PhaseSpace	Hardware for collection of the kinematic data (position, speed, acceleration)
Python3	Python	Analysis and processing of data
Recap	PhaseSpace	Software for collection of the kinematic data (position, speed, acceleration)

References

Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
Torres, E. B. . Theoretical Framework for the Study of Sensori-motor Integration. , (2001).
Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42 (2003).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson’s disease. PLoS One. 8 (7), 66757 (2013).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32 (2013).
Ryu, J., Vero, J., Torres, E. B. . MOCO ’17: Proceedings of the 4th International Conference on Movement Computing. , 1-8 (2017).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
Casadio, M., et al. . IEEE International Conference on Rehabilitation Robotics. , (2019).
Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. . 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , (2018).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Purves, D. . Neuroscience. Sixth edition. , (2018).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson’s disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
Torres, E. B. . Progress in Motor Control. , 229-254 (2016).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , (2020).
Kalampratsidou, V. . Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , (2018).
Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer’s heart. Sixth International Symposium on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9 (2016).
Von Holst, E., Mittelstaedt, H., Dodwell, P. C. . Perceptual Processing: Stimulus equivalence and pattern recognition. , 41-72 (1950).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Torres, E. B. . Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , (2018).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Citer Cet Article

Kalampratsidou, V., Kemper, S., Torres, E. B. Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface. J. Vis. Exp. (171), e61943, doi:10.3791/61943 (2021).