Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface

Vilelmini Kalampratsidou; Steven Kemper; Elizabeth B. Torres

doi:10.3791/61943

JoVE Journal > Behavior

Please note that all translations are automatically generated. Click here for the English version.

行为学

Yakın Döngü Arabirimi Kullanarak Yeniden Parametrelendirilmiş ÇevreSel Sinyallerin Gerçek Zamanlı Proxy Kontrolü

Published: May 08, 2021

doi:

10.3791/61943

Vilelmini Kalampratsidou^1,2, Steven Kemper³, Elizabeth B. Torres^1,2,4,5,6

¹Center for Cognitive Science,Rutgers University, ²Department of Computer Science,Rutgers University, ³Music Department, Mason Gross School of the Arts,Rutgers University, ⁴Psychology Department,Rutgers University, ⁵Sensory Motor Integration Lab,Rutgers University, ⁶Computational Biomedicine Imaging and Modelling Center,Rutgers University

Summary

İnsan vücudu ve kalp sinyallerini yakın döngüde yayınlayan, parametreleştiren, analiz eden ve değiştiren birlikte uyarlanabilir arayüzler oluşturmak için protokoller ve analiz yöntemleri sunuyoruz. Bu kurulum, biyofiziksel değişimi izlemeye yardımcı olmak için dış duyusal girişlerle kişinin periferik ve merkezi sinir sistemlerinden elde edilen sinyalleri arayüzler.

Abstract

Duyusal ikame ve duyusal büyütme için yöntemler geliştiren alanlar, merkezi sinir sistemlerinden (CNS) gelen sinyalleri kullanarak dış hedefleri kontrol etmeyi amaçlamaktadır. Bununla birlikte, daha az sıklıkta, hareket halindeki etkileşimli gövdeler tarafından kendi kendine oluşturulan dış sinyalleri güncelleştiren protokollerdir. Dyadik değişim sırasında başka bir hareketli ajanınkileri yönlendirmek için bir hareketli ajanın vücut-kalp-beyin biyoritmlerini birleştiren yöntemlerin azlığı vardır. Böyle bir başarıyı başarmanın zorluğunun bir parçası, farklı fiziksel birimlere, farklı zaman ölçeklerine ve değişken örnekleme frekanslarına sahip multimodal biyo-sinyaller kullanarak kurulumun karmaşıklığı olmuştur.

Son yıllarda, birden fazla sinyali birlikte invaziv olmayan bir şekilde kullanabilen giyilebilir biyo-sensörlerin ortaya çıkması, beyin ve/ veya vücut-makine arayüzlerini iyileştirmenin yanı sıra, etkileşime giren dyadların çevresel sinyallerini yeniden parametrelendirme ve güncelleme imkanını açmıştır. Burada biyosensörler kullanarak efferent somatik motor çıkışını (kinematik ve kalp atış hızı dahil) güncelleyen bir ko-uyarlanabilir arayüz sunuyoruz; stokastik biyo-sinyalleri parametreleştirir, bu çıkışı sonifiye eder ve visuo/audio-kinesthetic reafferent input olarak yeniden parametrelendirilmiş formda besler. Yöntemleri, biri iki insanı içeren, diğeri bir insan ve avatarının neredeyse gerçek zamanlı olarak etkileşime girdiği iki tür etkileşim kullanarak gösteriyoruz. Yeni yöntemleri, dış girişin iç somatik-duyusal motor kontrolü üzerindeki etkilerini ölçmenin olası yeni yolları bağlamında tartışıyoruz.

Introduction

Doğal Yakın Döngü Denetleyicisi
Duyusal motor bilgileri, iyi organize edilmiş, koordineli davranışlar üretmek için beyin ve vücut arasında sürekli olarak akar. Bu tür davranışlar, monolog tarzında olduğu gibi kişinin eylemlerine odaklanırken (Şekil 1A) veya diyalog tarzında olduğu gibi bir dyad’da iki ajan arasında paylaşılan karmaşık dinamik eylemler sırasında incelenebilir (Şekil 1B). Yine de, üçüncü bir seçenek, bu tür karmaşık etkileşimleri bir proxy denetleyicisi aracılığıyla, bir insan-bilgisayar yakın döngü arabirimi bağlamında değerlendirmektir (Şekil 1C). Bu arayüz, dyaddaki her bir ajanın katkıda bulunduğu anlık hareketlerin dalgalanmalarını ve senkronize etkileşimlerinden kendiliğinden ortaya çıkan uyum türüyle izleyebilir ve dyad’ın ritimlerini arzu edilen şekillerde yönlendirmeye yardımcı olur.

Şekil 1: Farklı kontrol biçimleri. (A) Kendi beyin kontrollü arayüzler, kişinin beyni ile kişinin kendi vücudu arasındaki yakın döngü ilişkilerine dayanır, bu da “monolog” tarzında kendini düzenleyebilir ve kendi kendine etkileşime girebilir. Bu mod kendi kendine oluşturulan hareketlerin kontrolünü denebilir veya harici cihazları da kontrol etmeyi amaçlayabilir. (B) “Diyalog” tarzı kontrol, birbirleriyle etkileşime giren iki dansçı için ve birbirlerinin hareketleri üzerinde kontrol elde etmek için fiziksel eğitim ve sıra alma yoluyla tanıtılır. (C) Dyad’ın “üçüncü taraf” diyalog kontrolü, her iki dansçıdan gelen biyo-sinyalleri birlikte kullanan, parametreleştiren ve duyusal rehberlik biçimleri olarak ses ve/veya görüş kullanarak yeniden parametrelendirilmiş biçimde dansçılara geri besleyen bir bilgisayar arayüzü tarafından aracılık edildiği şekilde tanıtılır. Burada sunulan örneklerde yeniden parametreleme, dansçılardan birinin diğerini etkilemek için gerçek zamanlı kinestetik motor çıkışı ile geliştirilmiş, görsel veya işitsel geri bildirim kullanılarak elde edilmiştir; ya da her iki dansçıdan da sırayla alternatif bir düzende. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Bu yöntemin genel amacı, hareket halindeki bedenlerin biyoritmik faaliyetlerindeki an-an dalgalanmalardan yararlanmanın, parametrelendirmenin ve yeniden parametrelendirmenin mümkün olduğunu göstermektir, çünkü iki ajan iki insanı veya bir insanı ve kendi kendini hareket eden avatarını içerebilecek dyadik alışverişe girer.

Beynin eylemleri nasıl kontrol edebileceği ve duyusal sonuçlarını nasıl tahmin edebileceğine dair araştırmalar, son 1^,²^,^3’te birçok teorik sorgu satırı oluşturmuş ve çeşitli nöromotor kontrol 4^,5^,⁶,⁷^,⁸modelleri üretilmiştir. Bu çok disiplinli alandaki bir araştırma hattı, yakın döngülü beyin-makine veya beyin-bilgisayar arayüzlerinin geliştirilmesini içermektedir. Bu tür kurulumlar, CNS sinyallerini robotik kol 9 , 10 , 11^,dış iskelet¹², bilgisayar ekranındaki bir^imleç¹³(diğerleri arasında) gibi harici bir cihazı kontrol etmek için kullanmanın ve uyarlamanın yollarını sunar. Tüm bu harici cihazlar, kendi zekalarına sahip olmadıkları özelliği paylaşır. Bunun yerine, onları kontrol etmeye çalışan beynin sahip olduğu ve beynin karşılaştığı sorunun bir kısmı, kinestetik reafference şeklinde genel duyusal motor geri bildirimine katkıda bulunan diğer destekleyici hareketler oluştururken, bu cihazlarda ürettiği hareketlerin sonuçlarını (örneğin, imlecin hareketleri, robotik kolun hareketleri vb.) nasıl tahmin etmeyi öğrenmektir. Çoğu zaman, bu arayüzlerin kapsamlı amacı, beynin arkasındaki kişinin bir yaralanmayı veya bozukluğu atlamasına yardımcı olmak, kasıtlı düşüncelerinin harici cihazın iradeyle kontrol edilen fiziksel eylemlerine dönüşümünü yeniden kazanmak olmuştur. Bununla birlikte, hareket halindeki bedenlerin hareketlerini yönlendirmeye çalışan arayüzlerin geliştirilmesi daha az yaygındır.

Beyin-makine arayüzleri üzerindeki orijinal araştırmaların çoğu, hedefe yönelik eylemleri gerçekleştirebilen vücut parçaları üzerinde merkezi sinir sisteminin (CNS) kontrolüne odaklanmaktadır⁹, 14^,¹⁵^,¹⁶^,¹⁷. Bununla birlikte, otonom sinir sistemlerinin (ANS)kiler de dahil olmak üzere periferik sinir sistemlerinin (PNS) faaliyetlerinden elde edilen sinyallerin kullanılmasının, başka bir insan veya avatar dahil olmak üzere, hatta etkileşime giren insanların (Şekil 1C’deolduğu gibi) dış ajanların sinyallerini etkileyecek ve yönlendirecek kadar bilgilendirici olduğu başka durumlar da vardır. Robotik bir kol veya imlecin aksine, bu durumda diğer ajan, bir beyin tarafından yönlendirilen zekaya sahiptir (kişinin hareketleriyle donatılmış avatar durumunda veya etkileşime giren bir insan boyası durumunda başka bir ajanın).

Dyadik değişim ile birlikte uyarlanabilir bir yakın döngü arayüzü ortamı yaratan bir kurulum, beynin CNS ve PNS arasındaki köprüyü fiziksel olarak kesmemesine rağmen, hareket halindeki kendi vücudunu iradeyle kontrol edemediği sinir sistemlerinin bozukluklarına müdahale etmek için kullanılabilir. Bu, beynin kendi ürettiği biyoritmleri sürekli olarak izlemesine ve ayarlamasına yardımcı olmak için geri bildirim döngülerinin bozulduğu gürültülü periferik sinyaller nedeniyle olabilir. Bu senaryo, Parkinson hastalığı¹⁸^,¹⁹olan hastalarda veya motor çıkışlarında fazla gürültü olan otizm spektrum bozukluğu olan katılımcılarda ortaya çıkar. Gerçekten de, her iki durumda da, amaçlanan hareketlerinin hızından elde edilen geri dönen kinestetik sinyallerde yüksek gürültü-sinyal oranı ölçtük²⁰^,²¹^,²² ve kalpten²³. Bu gibi durumlarda, dış sinyallerin beyin kontrolünde ustalaşmaya çalışmak, aynı zamanda hareket halindeki vücudu kontrol etmeye çalışmak, beynin çevredeki sürekli (efferent) motor akışından aldığı yeniden giren (yeniden afferent) bilgi akışından kendi kendine reaktif bir sinyalle sonuçlanabilir. Gerçekten de, bu tür kendi kendine oluşturulan efferent motor akışında mevcut olan an-an dalgalanmalar, amaçlı eylemlerin duyusal sonuçlarının tahminine yardımcı olmak için yararlı önemli bilgiler içerir²⁴. Bu geri bildirim gürültü nedeniyle bozulduğunda, kontrol sinyallerini tahmin edilebilir şekilde güncellemek ve kasıtlı planları fiziksel eylemlerle köprülemek zorlaşır.

Bu tür bir geri bildirim döngüsünü başka bir temsilciye genişletirsek ve kişinin ve temsilcinin etkileşimlerini üçüncü bir taraf aracılığıyla kontrol edersek (Şekil 1C), birbirimizin performanslarını neredeyse gerçek zamanlı olarak yönlendirme şansımız olabilir. Bu bize, zihinsel niyetten fiziksel iradenin zayıf bir şekilde gerçekleşmesiyle sonuçlanan sinir sistemlerinin bozukluklarını tedavi etmek için ortak uyarlanabilir beyin-vücut veya beyin-makine arayüzleri kavramını genişletmemiz gerektiğinin kanıtını sağlayacaktır.

Amaca yönelik eylemlerin, içeriğe bağımlı olan ve yüksek kesinlik ile zihinsel niyet seviyelerinin çıkarımını sağlayan motor stokastik imzalarla tam olarak karakterize edilen sonuçları vardır²⁵^,²⁶. Bu nedenle, beyin makinesine veya beyin bilgisayar arayüzlerine önceki kişi merkezli yaklaşımlara göre dyadik değişimden yararlanan yeni bir yöntemin bir avantajı, kontrol sinyallerini, büyük ölçüde kişinin farkındalığının altında, farklı niyet seviyeleri altında geçen bedensel ve kalp biyoritmlerini içerecek şekilde artırabilmemizdir. Bu şekilde, bilinçli kontrolün beyin imleci kontrolünü uyarlama sürecinde çağrıştırma eğiliminde olduğu reaktif paraziti sönümleriz¹⁷. Erişebileceğimiz çeşitli sinyalleri parametreleştirerek tahmin sürecine daha fazla kesinlik ekleyebiliriz. Bu hatlar boyunca, önceki çalışmalar 27^,^{28 , 29}ikilisinde beyin ve bedensel sinyaller kullanılarak^mevcuttur; ancak beyin-bedensel sinyaller tarafından yakalanan dyadik etkileşimleri içeren çalışmalar az kalır. Ayrıca, extant literatürü, tam farkındalık altında gerçekleştirilen eylemin kasıtlı kesimleri ile kasıtlı olanların sonucu olarak kendiliğinden meydana gelen geçiş hareketleri arasındaki ayrımı henüz tanımlamamıştır³⁰^,³¹. Burada bu ayrımı dyadik değişim bağlamında yapıyoruz ve bu ikilik³²‘yi incelemek için yeni yollar sunuyoruz Dans alanında koreografili (kasıtlı) ve doğaçlama (spontan) hareketlerden örnekler sunuyoruz.

Duyusal motor entegrasyon ve dönüşüm süreçlerindeki transdüksiyon ve iletim gecikmeleri nedeniyle³³, bu tür tahmine dayalı koda sahip olmak, yaklaşan duyusal girdiyi yüksek kesinlikle tahmin etmeyi öğrenmek gerekir. Bu amaçla, sürekli güncellenen kinestetik reafferent akışındaki sinyallerden elde edilen gürültü-sinyal oranının evrimini karakterize edebilmek önemlidir. Daha sonra motor değişkenliğindeki değişimi sistematik olarak ölçmek için protokollere ihtiyacımız var. Değişkenlik, giden efferent motor akışının an-an dalgalanmalarında doğal olarak^{mevcuttur 34}. Bu sinyaller sabit olmadığından ve bağlamsal varyasyonlara duyarlı olduğundan³⁵^,³⁶, görevlerin bağlamının değiştirilmesiyle oluşan değişiklikleri parametrelendirmek mümkündür. Bilinçli CNS kontrolünden çıkan reaktif sinyallerden kaynaklanan paraziti en aza indirmek ve efferent PNS motor akışında ölçülebilir değişiklikler uyandırmak için, burada, kişinin öz farkındalığının altında büyük ölçüde değişen çevresel sinyali işe alarak duyusal geri bildirimi dolaylı olarak değiştiren bir proxy yakın döngü arayüzü sunuyoruz. Daha sonra, proxy yakın döngü arayüzünün her iki ajanda da dolaylı olarak çağrıştırdığı işlemi görselleştirmek için uygun stokastik analizleri kullanarak duyusal manipülasyonları içeren değişimi sistematik olarak ölçmenin yollarını gösteriyoruz.

Proxy Yakın Döngü Denetleyicisine Giriş
Periferik sinyallerde bulunan duyusal motor değişkenliği, öğrenme, adaptasyon ve genelleme farklı bağlamlarda gerçekleşirken sinir sistemlerinin performansına rehberlik etmek için zengin bir bilgi kaynağı oluşturur³⁷. Bu sinyaller kısmen CNS’nin eylemleri hacimli bir şekilde kontrol etmeye çalışan bir yan ürünü olarak ortaya çıkar, ancak denetleyicinin doğrudan hedefi değildir. Kişi doğal olarak başkalarıyla etkileşime girdikçe, çevresel sinyaller kullanılabilir, standartlaştırılabilir ve yeniden parametrelendirilebilir; yani varyasyonları parametrelendirilebilir ve sistematik olarak kaydırılabilir, çünkü sisteme sürekli olarak kinestetik reafference olarak tekrar giren efferent motor akışını değiştirir. Bu tür ortamlarda, stokastik kaymaları görselleştirebilir, yüksek hassasiyetle daha geleneksel tekniklerin gerçekleştirdiği büyük ortalama türlerine kaybedilen zengin bir sinyal yakalayabiliriz.

Yeni istatistiksel platform altında değişimin karakterizasyonuna ulaşmak için, burada dış duyusal girdinin (işitsel ve görsel) dahili olarak kendi kendine oluşturulan motor sinyallerle entegrasyonuna izin veren protokoller, standart veri türleri ve analizler sunuyoruz, ancak kişi doğal olarak başka bir kişiyle veya kişinin avatar versiyonuyla etkileşime giriyor. Bu anlamda, çevresel sinyalleri kontrol etmeyi hedeflediğimiz için (CNS sinyallerini harici cihazı veya ortamı doğrudan kontrol etmek için değiştirmek yerine), bunu bir proxy yakın döngü arayüzü (Şekil 2). CNS’dekileri etkilediği için PNS’nin stokastik sinyallerindeki değişiklikleri karakterize etmeyi amaçlıyoruz.

Şekil 2: Yakın döngülü çok modlu arayüz kullanılarak bir dyadik etkileşimin proxy kontrolü. (A) Bir bilgisayar ortak uyarlanabilir arayüzü aracılığıyla iki dansçının (dans eden salsa) dolaylı kontrolü ve (B) periferik sinir sistemleri sinyallerinden yararlanarak ve ses ve / veya görsel giriş olarak yeniden parametrelendirerek kontrol edilen etkileşimli bir yapay kişi-avatar dyad. (C) Titreşimlere ve daha sonra sese dönüştürülen biyoritmik sinyal genlik / zamanlamadaki an be an dalgalanmalardan türetilen yeni bir standart veri türü (mikro hareket ani artışları, MMS) kullanılarak sonifikasyon kavramı. Fizikten, ölçülebilir titreşimler olarak bir ayar çatalı çıkış ses dalgası tarafından üretilen sıkıştırmalar ve nadir fiiller kavramlarını ödünç alıyoruz. Basınç olarak temsil edilen ses dalgalarının şemaları, sonifikasyon için ani konsantrasyonlara paralel olarak zaman içinde modüle edilir. MMS’den titreşimlere ve sonifikasyona kadar önerilen boru hattından geçmek için fiziksel bir sinyal örneği. Kalp atış hızı sinyalini arayüze giriş olarak kullanıyoruz. Bu, sinyalin genliğinde her 4 saniyede bir hareket başlangıcına hizalanmış dalgalanmalar alır ve titreşimleri temsil eden MMS trenleri oluşturur. MMS’den gelen çivili trenler [0,1] standartlaştırılmıştır. Renk çubuğuna göre sivri uçların rengi, sinyalin yoğunluğunu temsil eder. Daha sonra Max’i kullanarak bu titreşimleri sonifiz. Bu sonlaştırılmış sinyal, A’da oynatmak veya B’de avatarla etkileşimleri değiştirmek için kullanılabilir. Ayrıca, B’de sesi ortama gömmek ve sesi ilgi çekici bir bölgede (RoI) çalmak için gövde konumunu kullanmak veya roi’nin yanından geçerken, başka bir vücut parçasına tutturulmuş bir vücut parçasının RoI’ye olan mesafesinin, hızının veya hızlanmasının bir işlevi olarak ses özelliklerini modüle etmek mümkündür. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

PNS sinyalleri, otonomluktan gönüllü^32’yekadar sinir sistemlerinin farklı fonksiyonel katmanlarından çok modlu efferent akışlarını birlikte kaydeden giyilebilir algılama teknolojileriyle invaziv olmayan bir şekilde kullanılabilir. Daha sonra bu tür akışlardaki değişiklikleri neredeyse gerçek zamanlı olarak ölçebilir ve değişiklikleri sinyal-gürültü oranını artıranları seçebiliriz. Bu efferent motor sinyali daha sonra diğer duyusal rehberlik biçimleriyle (örneğin işitsel, görsel vb.) arttırılabilir. PNS günahın tam farkındalığını işaret ettiği için, çok fazla direnç olmadan manipüle etmek daha kolaydır ³⁸. Bu nedenle, kişinin performansını insan sistemi için daha az stresli olabilecek şekillerde yönlendirmeye yardımcı olmak için kullanırız.

Arabirimi Oluşturma
Yakın döngülü ortak uyarlanabilir multimodal arayüzün aracılık ettiği proxy kontrolünün tasarımını sunuyoruz. Bu arayüz, gerçek zamanlı çok sensörlü geri bildirimi yönlendiriyor. Şekil 3 genel tasarımı görüntüler.

Yakın döngü arayüzü 5 ana adımla karakterizedir. 1. adım, birden fazla giyilebilir enstrümandan çok modlu veri toplamadır. 2. adım, MoBI grubu ³⁹tarafından geliştirilen LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer) platformu üzerinden çok modlu akışların senkronizasyonudur. 3. adım, LSL veri yapısının sinyalleri entegre etmek ve fizyolojik özellikleri (deneysel kurulumumuzla ilgili) gerçek zamanlı olarak ampirik olarak parametrize etmek için bir Python, MATLAB veya diğer programlama dili arayüzüne akışıdır. 4. adım, çalışılan bedensel sinyalin sürekli akışından çıkarılan seçili özellikleri yeniden parametrelendirmek ve duyusal bir tercih edilen modalite (örneğin, görsel, işitsel, kinestetik vb.) kullanarak ses veya görsel şeklinde oynatmak, kişinin sinir sisteminde sorunlu olan duyusal modaliteyi artırmak, değiştirmek veya geliştirmektir. Son olarak, 5. Bu döngü, deney süresi boyunca seçilen sinyale odaklanarak sürekli olarak oynatılırken, sonraki analizler için tam performans depolanır (Şekil 3’ün şemalarında gösterildiği gibi ve posteriori analizleri için⁴⁰^,⁴¹^,⁴²^,⁴³^,⁴⁴^,⁴⁵^,⁴⁶^,^47’yi görün).

Şekil 3: Çok modlu çevresel tahrikli yakın döngü arabirim kavramının mimarisi. Çeşitli bedensel sinyaller toplanır – kinematik veriler, kalp ve beyin aktivitesi (adım 1). LSL, çeşitli ekipmanlardan gelen verileri eşzamanlı olarak birlikte kaydetmek ve arayüze akışa almak için kullanılır (adım 2). Python/MATLAB/C# kodu, sistemin belirsizliğini azaltmada en yeterli duyusal rehberlik kaynağını seçmeyi sağlayan standartlaştırılmış bir veri türü ve ortak ölçek kullanarak sinyallerdeki dalgalanmaları sürekli olarak parametrelendirmek için kullanılır (adım 3). Seçilen kanallar aracılığıyla sinyal iletiminin bu gerçek zamanlı olarak geliştirilmesi, daha sonra sürekli motor akışına entegre olmak ve kayıp veya bozuk giriş akışını geliştirmek için yeniden giriş duyusal sinyalin yeniden parametrelendirilmesine izin verir (duyusal değiştirme adımı 4). Sürekli yeniden değerlendirme döngüyü kapatır (adım 5) ve gelecekteki ek analizler için tüm verileri kaydederiz. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Aşağıdaki bölümlerde, bir yakın döngü arabiriminin nasıl oluşturulacağının genel protokolü (Şekil 3’teaçıklandığı gibi) ve iki dansçı (gerçek yakın döngü sistemi) arasındaki fiziksel dyadik etkileşimi ve bir kişi ile avatar arasındaki sanal dyadik etkileşimi (yapay yakın döngü sistemi) içeren iki deneysel arayüzün (Ek Materyalde ayrıntılı olarak sunulan) temsili sonuçlarını açıklar.

Protocol

Çalışma, Helsinki’nin ilanına uygun olarak Rutgers Kurumsal Çalışma Kurulu (IRB) tarafından onaylandı. 1. Katılımcılar Çalışılacak nüfusu tanımlayın ve çalışmaya katılmaya davet edin. Mevcut arayüz çeşitli popülasyonlarda kullanılabilir. Bu protokol ve kavram kanıtı sağlamak için burada kullanılan örnekler belirli bir grupla sınırlı değildir. Helsinki Bildirgesi’ne uygun olarak IRB onaylı protokolün yazılı bilgilendirilmiş onayını alın. Katılımcıdan veya veliden deneme başlamadan önce formu imzalamasını isteyin. 2. Yakın Döngü Arabiriminin Kurulumu Kinematik ekipman kurulumu-PNSKatılımcının, kullanılan hareket yakalama sistemine eşlik eden LED tabanlı hareket yakalama kostümünü (Şekil 3, adım 1 ve 5’te gösterilen gövde ve kafa) dikkatlice giymesine yardımcı olun. Kostümün LED işaretleyicileri, hareket eden gövdenin uzaydaki yerini tahmin etmek için sistemin kameraları tarafından izlenecek. Sistemin kablosuz LED denetleyicisini (LED sürücü ünitesi olarak da bilinir) uygun bağlantı noktasına takarak kostümün LED kablolarıyla bağlayın. Cihazı açın ve akış modunda ayarlayın. Hareket yakalama sisteminin sunucusunu açın. Bir web tarayıcısı açın, sunucu adresini ziyaret edin ve oturum açın (ürünü satın aldıktan sonra şirket tarafından oturum açma bilgileri sağlanmalıdır). Sistemi gerektiği gibi kalibre edin (örneğin, ekipmanı ilk kez kullanıyorsanız sistemi kalibre edin, aksi takdirde 2.1.17 adımına geçin). Hareket yakalama sisteminin kalibrasyon aracını açın ve Kalibrasyon Sihirbazı ‘nıseçin. Arabirimin sol-üst tarafındaki metin alanına sunucu numarasının girişinin doğru olduğundan emin olun ve Devam’ı tıklatın. Asayı LED denetleyicisinin ilk bağlantı noktasına bağlayın ve kumandayı AÇIP Devam’ı tıklatın. Asa bağlandıktan sonra LED işaretleyicileri açılacak ve ekranda kamera görüşlerinde görünecektir. Asayı kamera görüntüleme alanının ortasına yerleştirin, kameralar tarafından kaydedilebileceğini onaylayın ve Devam’ı tıklatın. Asayı dikey tutarak ve silindirler çizerek boşluk boyunca hareket ettirün. Hareketin her seferinde en az 3 kamera tarafından çekildiğinden ve yeşil hale getiren her kameranın görüş alanına kaydedildiklerinden emin olun. Bunu tüm kameralar için yap. Her kameranın görüş alanı tamamen kaydedildikten sonra (hepsi yeşil), Devam’ı tıklatın ve kalibrasyon hesaplamalarının yürütülmesini bekleyin.NOT: Kalibrasyon tamamlandıktan sonra, led işaretleyicilerle birlikte kamera konumu, fiziksel olarak odaya yerleştirildikleri için ekranda görülecektir. Bu noktada, kullanıcı yapıldığı için kalibrasyona devam edebilir veya sistemi hizalamaya devam edebilir. Asayı dikey olarak tutun ve LED’li tarafı, 3B alanın kaynağının ayarlandığı yerdeki asanın ucuna yakın yerleştirin (nokta (0,0,0)). Asayı kayıt olana kadar sabit tutun. Kaydolduktan sonra ekran yeşil yanıp söner. Arabirimde, alandaki referans çerçevesinin kaynağını gösteren bir nokta görünecek ve bir sonraki hizalama ekseni olan x ekseni yeşil olarak vurgulanacaktır. Asayı x ekseni noktasında aynı yönü koruyarak (dikey olarak) hareket ettirin ve kaydedilene kadar sabit tutun. z ekseni için yineleyin. Z ekseninin noktası kaydedildikten sonra kalibrasyon tamamlanır. Kalibrasyondan çıkmak için Son’u tıklatın. Hareket yakalama sisteminin arayüzünü açın ve LED işaretçilerinden veri akışına başlamak için Bağlan’ı tıklatın. Bağlantı kurulduktan sonra, işaretleyicilerin konumu arayüzün sanal dünyasında görüntülenecektir. Sanal iskeleti oluşturun (Şekil 8 adım2’degösterildiği gibi, kostümün LED işaretçilerinden toplanan konum verilerinden vücudun kemik konumlarını otomatik olarak tahmin edin). Pencerenin sağ tarafındaki İskeletler’e sağ tıklayın ve Yeni iskelet’i seçin. İşaretçi Eşleme’yi seçin ve ardından uygun dosyayı seçin (kullanılan arabirim sürümüne göre şirket tarafından sağlanır). Ardından, Tamam’ı tıklatın. Katılımcıdan T pozunda sabit kalmasını isteyin (yanlarda kollar açık düz duruş). İskelete sağ tıklayın ve Eğitim almadan iskelet oluştur ‘useçin. Tüm adımlar doğru şekilde yapılırsa iskelet oluşturulur. Katılımcıdan hareket etmesini isteyin ve sanal iskeletin katılımcının hareketlerini ne kadar doğru takip ederek izlediğini kontrol edin. İskelet verilerini LSL’ye akışa almak için ana menüden Ayarlar ve Seçenekler’i seçin. Baykuş öykünücüslerini açın ve “başlat” Canlı akış ‘ıtıklatın. EEG ekipmanlarının kurulumu – CNS Aynı katılımcının EEG başlık takmasına yardımcı olun. Jel elektrotları (EEG kafa kapağı ile kullanılan geleneksel jel bazlı elektrotlar) baş kapağına ve CMS ve DRL sensörleri için sağ kulağın arka tarafına 2 yapışkan elektrot (çıkartma gibi çalışan elektrotlar) yerleştirin. Sensör ve kafa derisi arasındaki iletkenliği artırmak için elektrotları gerektiğinde yüksek iletken jel ile doldurun. Elektrot kablolarını jel-trodes ve iki yapışkan elektrot üzerine bağlayın. Kablosuz monitörü baş kapağının arkasına yapıştırın ve elektrot kablolarını takın. Monitörü açın. EEG sisteminin arayüzünü açın. Wi-Fi aygıtı kullan’ı seçin ve Aygıtları tara ‘yıtıklatın. NE Wi-Fi’yi seçin ve Bu cihazı kullanın. Kafa simgesine tıklayın, 32 sensörün tümünü kaydetmeye izin veren bir protokol seçin ve Yükle ‘yitıklatın. Her kanalın akış verilerinin arabirimde görüntülendiğinden emin olun. EKG ekipmanlarının kurulumu- ANS 2.2’de sunulan adımları tam olarak izleyin, ancak kalp atış hızı (İk) uzantısına bağlanmak için kanal O1’i kullanın. Uzantının diğer ucunun sol göğüs kafesinin hemen altına yapıştırmak için yapışkan bir elektrot kullanın. Kinematik verilerin senkronize kaydedilme ve akışı için LSL hazırlanması. İlgili simgeyi çift tıklatarak hareket yakalama sistemi için LSL uygulamasını çalıştırın. Uygulamayı LSL klasörünün aşağıdaki yolunda bulun: LSL\labstreaminglayer-master\Apps\PhaseSpace. Arabirimde, uygun sunucu adresini ayarlayın. Ardından, Dosya ve Yük yapılandırması ‘nıseçin. Uygun yapılandırma dosyasını seçin (kullanılan ürün sürümüne göre şirket tarafından sağlanmalıdır) Bağlantı ‘yatıklayın. Hata yapılmazsa, hata iletisi görüntülenmez. EEG ve EKG verilerinin senkronize kaydedilme ve akışı için LSL’yi hazırlayın. Bu ekipman için ekstra adım gerekmez. LSL Kurulumu LSL klasörünün LSL\labstreaminglayer-master\Apps\LabRecorder yolunda bulunan dosyayı çift tıklatarak LabRecorder uygulamasını çalıştırın. Güncelleştir ‘itıklatın. Tüm talimatlar doğru şekilde yürütülürse, hareket yakalama ve EEG sisteminin tüm veri türleri akışlar için kayıt panelinde görülür. Depolama konumu panelinde veriler için dizin ve ad seçin. Başlat ‘ıtıklatın. Hareket yakalama ve EEG sisteminin veri toplaması senkronize olarak başlayacaktır. Kaydın sonunda Durdur ‘utıklatın. Kayıt başarılı olursa, veriler daha önce seçilen dizinde bulunur. Kaydedilen bilgileri içerdiklerini onaylamak için dosyaları açın. İnsan sisteminin gerçek zamanlı analizleri ve izlenmesi. MATLAB, Python veya akış verilerini alan, işleyen ve güçlendiren diğer kodu yürütün. Aşağıdaki bölümlerde açıklanan temsili örneklere karşılık gelen örnek kodları burada bulabilirsiniz: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE Artırılmış duyusal geri bildirimin üretilmesi Uygun cihazı (örneğin, hoparlörler, monitör, diğerleri arasında) kullanarak duyusal çıkışı üretin. 3. Deneysel prosedür Varsa, kurulum tarafından tanımlanan deneysel yordamı izleyin.NOT: Yakın döngü arayüzleri sezgisel olarak keşfedilmek ve öğrenilmek üzere tasarlanmıştır. Bu nedenle, çoğu zaman talimatlara gerek yoktur.

Representative Results

Önceki bölümde sunulan protokole göre oluşturulabilen ve çok sayıda amaç için farklı popülasyonlara uygulanabilen çeşitli arayüzler vardır. Bazı olası varyasyonlar EkMalzemenin ” Sunulan Yakın Döngü Arabiriminin Varyasyonları” bölümünde açıklanmıştır. Bu bölümde, önceki bölümde açıklanan protokolü izleyen 2 örnek yakın döngü arabiriminin temsili sonuçlarını gösteriyoruz. Bu çalışmaların kurulumu, deneysel prosedürü ve katılımcıları , Ek Dosyanın “Örnek 1: Gerçek Bir Dyadik Etkileşimin Ses Yakın Döngü Arayüzü” ve ” Örnek2: Yapay Bir Dyadik Etkileşimin Görsel-İşitsel Yakın Döngü Arabirimi” bölümlerinde derinlemesine açıklanmıştır. Gerçek Bir Dyadik Etkileşimin Ses Yakın Döngü Arayüzünün Sonuçları”Gerçek bir dyadik etkileşimin ses yakın döngü arayüzü” (ayrıntılı olarak sunulan “Örnek 1: Ek Materyalin Gerçek Bir Dyadik Etkileşimin Ses Yakın Döngü Arayüzü”çalışmasında), bir proxy kontrol arayüzü kullandık Şekil 4’te gösterilen , dans edilen müziği değiştirmek için kadın dansçının kalp sinyalini kullanan. Gerçek zamanlı olarak, kalp atışının zamanını çıkarmak için sinyal işleme gerçekleştirdik ve bu bilgileri seslendirilen şarkının hızını değiştirmek için Max sistemine akışı yaptık. Bu şekilde, biyofiziksel sinyallerle değiştirilmiş şarkıyı çaldık. Bu süreç, hareketlerin ve kalp atışı sinyallerinin daha fazla değişmesine yol açtı. Şekil 4: Ses tabanlı yakın döngü arayüzü. 1. EKG-HR giyilebilir cihaz, rutinlerinin performansı sırasında bir salsa dansçısının aktivitesini izler ve sinyalleri 500Hz. Arayüzümüz EKG verilerini gerçek zamanlı olarak analiz eder. Her karede, ham verileri filtreler, QRS kompleksinin R tepelerini çıkarır; ve tepe algılamasını MAX. 3’e akışa alır. Üçüncü taraf arayüzü, sesin hızını kalp atış hızıyla karıştırır. 4. Değiştirilen şarkı dansçılara geri çalınır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın. İki salsa dansçısı arayüzle etkileşime girdi ve iyi prova edilmiş bir rutin sahneleme bir koreografi ve kendiliğinden doğaçlama bir dans gerçekleştirdi. Dansçılar şarkının orijinal versiyonunu bir kez seslendirmek zorunda kaldılar ve bir versiyon şarkının orijinal temposunu gerçek zamanlı kalp atışı akışıyla harmanladı. Şarkının 1 ve 2’sine göre iki kez seslendirilen sonraki sürüme atıfta bulunuyoruz. Aşağıda sunulan analizde kaydedilen kalp ve ses sinyalini kullandık. MMS trenlerini tahmin etmek için çıkarılan iki sinyalin zirveleri (Şekil 5’tegösterildiği gibi yüksek frekans dalgalanmalarını koruyan Ek Dosyadaki “Mikro hareketler Ani Artışları” bölümüne bakın). Şekil 5: Ses yakın döngü sisteminin MMS trenlerinin tahmini. EKG zaman serileri, RR tepelerini ve elde edilen R tepelerinin genel (tahmini) ortalama genliğinden (ortalama kaydırılmış veriler) genlik sapmalarını ayıklamak için kullanılır. Daha sonra MMS trenlerini elde etmek için denklem 1 ile normalleştirme (bkz. Tamamlayıcı Dosya, bölüm “Mikro Hareket Ani artışları”) kullanılır. Ses dalga formlarını işlemek ve kişinin gerçek zamanlı performansına göre şarkıyı geri çalmak için benzer yöntemler kullanılır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın. MMS trenleri, sürekli gama olasılık dağılımları ailesi tarafından iyi temsil edilen sürekli rastgele bir süreç olarak nitelendirildi. MLE, bu sürekli dağıtım ailesini her iki veri kümesi için de en uygun olarak gördü (Ek Malzeme ve Tamamlayıcı Şekil 2’nin”Gama Dağılımı” bölümündeki açıklamaya bakın). Bu tür rastgele süreç, insan sinir sistemlerinden gelen biyo-sinyaller tarafından kendi kendine oluşturulan biyoritmlerin stokastik imzalarındaki kaymaları izlemek için kullanıldı. Ampirik olarak tahmin edilen şekil ve ölçek Gama parametrelerinden Gama anlarını, ortalamasını, varyansını, eğriliğini ve kurtozu elde ederiz (Ek Malzemenin “Stokastik Analizi” bölümündeki analizin ayrıntılarına bakın). Daha sonra tahmini PDF’nin grafiğini çizeceğiz. Şekil 6 sadece kalp sinyaline ve müziğe odaklanır, ancak yöntemler 41’de sunulan kinematik sinyaller tarafından üretilen diğer biyoritmlere benzer şekilde uygulanır. Kalp ve müzik sinyalinin PDF’si Şekil 6A-B’de gösterilmiştir, burada iki koşulun veri kümeleri, kasıtlı rutin ve spontan doğaçlama arasındaki farkları vurgularız. Her koşul için, şarkının zamansal değişikliklerinin neden olduğu stokastik imzalardaki kaymaların altını çiziyoruz. Başlangıçta, orijinal şarkıyla dans ederler. Daha sonra, kalp atışı gerçek zamanlı olarak ritimleri değiştirirken, bu sinyaldeki sonlaştırılmış dalgalanmalar dansçıları şarkının zamansal değişikliklerini takip etmeye yönlendirir. Bunlar, değişiklik 1 ve değişiklik 2 olarak gösterilir. Bu sistematik kaymalar Gama parametreleri ile tanımlanır. Daha sonra, ampirik olarak tahmin edilen şekil ve ölçek parametrelerini kullanarak, kalp atışı ve şarkılar için karşılık gelen dört Gama anını elde ettik. Bunlar kalp (üst) ve şarkı (alt) sinyalleri için Şekil 6C’de görüntülenir. Şekil 6: Ses Yakın Döngü Sistemi kullanılarak proxy kontrolü altındaki performanstanampirik olarak tahmin edilen Gama PDF’lerinde ve Dört Gama Anının stokastik yörüngelerinde sistematik değişikliklere neden olmak. (A) Dans bağlamlarının her biri, spontan doğaçlama ve kasıtlı rutin için veri türünün her birinin MMS trenlerinden (EKG üst ve ses dosyası alt) PDF’ler. Göstergeler, oturumun başındaki temel koşulu gösteren Imp Veya (doğaçlama orijinalidir); Imp Alt1, değişiklik sırasında doğaçlamayı açıklama 1; Imp Alt2, değişiklik sırasında doğaçlamayı açıklama 2. (B) Aynı şekilde, kasıtlı prova rutin için, Rout Or rutin orijinal anlamına gelir; Rout Alt1, rutin değişiklik 1 anlamına gelir; Rout Alt2, rutin değişiklik 2 anlamına gelir. (C)panelleri, Gama anlarındaki sistematik kaymaları hem şarkılardan gelen ses sinyallerini hem de kalpten gelenlerin birlikte ve gerçek zamanlı olarak kaydığını gösterir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın. İmzaların kayması bu panellerde (PDF ve Gama anları grafikleri) takdir edilebilir, böylece sunulan yöntemlerin kalbin proxy denetleyicisinin gerçek zamanlı olarak ürettiği şarkının değişikliklerine adaptasyonunu yakalayabileceğini gösterir. Şarkılar ritimleri değiştirirken, kalp stokastik imzaları ve stokastik imzaların geçişi de yönde tutarlıdır (bu aynı zamanda şekil ve ölçek parametrelerini incelediğimiz 41’de bir bulgudur). Aynı şekilde, kalbin imzaları değiştikçe, şarkının imzaları da değişir. Bu yansıtma efektleri -biri diğerini etkiler ve biri sürekli olarak bir yöne doğru kayarken, diğeri de- bu proxy denetleyicisi arabiriminin yakın döngü doğasını izler. Sonuçlar bu kurulumun faydasının altını çizer ve kişinin otonom biyoritmlerini dyadik değişim bağlamında sistematik olarak değiştirebileceğimize dair kavram kanıtı verir. Hem şarkıların hem de bedensel sinyallerin stokastik imzalarındaki paralel kaymalar, tüm sistemin (katılımcı ve arayüz) çevresel sinyaller kullanılarak birlikte adaptasyonunun mümkün olduğunu göstermektedir. Bu süreç, kişinin farkındalığının altında sorunsuz bir şekilde geçer ve fikirlerin, tercih eden dış duyusal geri bildirimle yazışmalarda kişinin biyo-sinyallerini uzaktan ve sistematik olarak kaydırması için kavram kanıtı sunar. Özetle, bu sürekli rastgele süreçte stokastik imzaların kaymasına rehberlik edebiliriz. Yöntemler, neredeyse gerçek zamanlı olarak inşa edebildiğimiz stokastik yörüngeler boyunca değişimi ve hızlarını yakalamayı sağlar. Vardiyalarda istatistiksel önemi belirlemek için parametrik olmayan ANOVA, Kruskal-Wallis testini ve ardından geçici test sonrası birden fazla karşılaştırmayı kullanıyoruz. Kalp verilerinin MMS imzalarını altı durum arasında karşılaştırıyoruz. Şekil 7, MMS kalp verilerinin çoklu karşılaştırmasını ve buna karşılık gelen Kruskal-Wallis tablosunu göstermektedir. Çoklu karşılaştırma çizimi, orijinal rutin dansın temel koşulu (Rout) arasında önemli bir fark olduğunu gösterir. Veya) ve orijinal doğaçlama dansın temel durumu (imp. veya). İlk değişikliklerin, Rout olduğunu da fark etmek önemlidir. Alt1 ve Imp. Alt1, karşılaştırılabilir araçları paylaşan dağıtımlara ve aynı şey ikinci değişiklikler için de geçerlidir, Gama anları alanında varyans, eğrilik ve kurtoz kayması ise (Şekil 6C). Şekil 7: Parametrik olmayan Kruskal-Wallis ve Çoklu karşılaştırma sonrası geçici testlerden elde edilen sonuçlar. Altı durumu karşılaştırmak için kalp verilerinin MMS’sine uygulanan parametrik olmayan ANOVA’nın (Kruskal-Wallis testi) sonuçları. Arsa, 6 kasanın çoklu karşılaştırmasını gösterir ve “Rout” arasındaki önemli farkı gösterir. Veya” ve “imp. veya” koşulları. Tablo Kruskal Wallis testinin sonuçlarını gösteriyor. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın. Yapay Bir Dinadik Etkileşimin Görsel-İşitsel Yakın Döngü Arayüzünün Sonuçları”Yapay bir dyadik etkileşimin görsel-işitsel yakın döngü arayüzü” (ayrıntılı olarak sunulan “Örnek 2: Yapay bir dyadik etkileşimin görsel-işitsel yakın döngü Arayüzü” ek materyali)çalışmasında, 6 katılımcı arayüzle etkileşime girdi, Şekil 8’de gösterilen, kişinin kendi hareketlerini oluşturan aynalı avatarlarını oluşturur. Arabirim, etkileşim sırasında kişiyi çevreleyen bölgeye konuma bağımlı sesler katıştırır. Katılımcılar çalışmanın amacına göre saftılar. Odanın etrafında dolaşmak ve proxy denetleyicisinin tanımladığı bir Yatırım Getirisi ‘nden (ilgi çekici bölgeler) geçerken şaşırtıcı bir şekilde ortaya çıkacak sesi nasıl kontrol edeceklerini bulmak zorunda kaldılar. Şekil 8: Görsel-İşitsel Arabirimin görsel gösterimi. 1. Çevresel kinematik verilerin eldei için bir hareket yakalama sistemi kullanılır. 2. Sistem, iskeleti tahmin etmek için sensörlerin konumlarını (örnek LED’lerde) toplar – kemikler üzerindeki konum. 3. Kemik konumları daha sonra kendi ileri kinematik modelimiz kullanılarak MATLAB tarafından geliştirilen arayüzümüzde hizalanır. 4. Hizalanmış konumlar, iskelet bilgilerini 3D işlenmiş avatarımızla eşlemek için kullanılır. 5. Akışa alınan verilerin avatarla eşlenişi gerçek zamanlıdır ve bu da kişinin yansıtılmış görüntüsüne bakma hissi yaratır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın. Şekil 9, 1 koşulunun görsel-işitsel arayüzünün sonuçlarını gösterir (daha fazla koşul için Ek Dosya’ya bakın), burada kalça konumu roi’de bulunduğunda şarkıyı etkinleştirir. Bu şekil, 6 farklı kontrol katılımcısının (C1’den C6’ya) kalça hızı verilerinin ROI hacminin içinde ve dışındayken PDF ve Gama imzalarını (Ek Materyalin “Veri Türleri ve Analizleri” bölümüne bakın) göstermektedir. Burada sunulan sonuçlar, bireysel katılımcıların adaptasyon oranı üzerindeki kişiselleştirilmiş farklılıkları vurgulamaktadır. Bunlar, stokastik imzaların kaymaları ve RoI hacminin içinde veya dışında ortaya çıkan bireysel sonuçlarla gösterilir. Örneğin, PDF’nin C3 ve C4 kalçalarının hız genliğinden elde edilen MMS’nin frekans histogramlarına uyduğunu, hacmin içinde daha simetrik (daha yüksek şekil değeri) ve daha az gürültülü (daha düşük ölçek değeri) olduğunu fark edebiliriz. Buna karşılık, katılımcıların geri kalanı ters bir desen gösterir. Ampirik olarak, sağ alt köşeye imzaların sporcuların ve dansçıların imzaları olduğunu ve son derece yetenekli hareketler yaptığını gördük. İmzalar sol üst bölgededir, otizm spektrum bozuklukları DEHB22,32 tanısı olanlar ve sağır bir katılımcınınkiler gibi patolojileri olan sinir sistemlerinin veri kümelerinden gelir21. Stokastik bir yörünge boyunca değişen desenler bağlamında, bu bilgileri zaman içinde biriktirerek sinyalin gürültü oranına genel kalitesini izlediğimiz sağ alt kadran (RLQ) ve sol üst kadranını (LUQ) tanımlamak için şekil ve ölçeğin ortanca değerlerini elde ediyoruz. Bu, bu kadranları dinamik olarak tanımlayan ortanca değerlerin güncellenmesini, kişinin dahili olarak ürettiği biyoritmleri proxy tarafından dışarıdan kontrol edilen ancak kişinin iç değerlerine bağlı olanlara birlikte uyarladığını düşünür. Şekil 9: Görsel-İşitsel Yakın Döngü Sistemi kullanılarak yapılan etkileşimler sırasında bedensel biyoritmlerin ampirik olarak tahmin edilen Gama PDF’leri ve Gama İmzaları. Her katılımcının kalça hızından (C1 – C6) elde edilen MMS trenlerini kullanarak, güven aralıklarıyla en iyi PDF’ye uyacak şekilde MLE’yi kullandık. Koşullar farklı renklerde temsil edilirken, her katılımcı farklı bir sembolle temsil edilir. Bir gama PDF ailesi, birimde (in) birimin dışındakinden (dışarıda) farklıdır. Gama ampirik olarak tahmin edilen PDF’lerin yanı sıra, gama parametre düzleminde her kişi için tahmini Gama şekli ve ölçek parametreleri de gösterilir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın. Tablo 1, ham (hız) ve MMS verilerinden elde edilen p değerlerini gösterir ve kişinin vücut kısmı RoI vs. içinde olduğunda koşullar arasında sonucu karşılaştırır. Yatırım evinin dışında. Tabloda gösterilen sonuçlar parametrik olmayan ANOVA Kruskal-Wallis testi kullanılarak tahmin edilmiştir. Kruskal Wallis Testi Hız verileri Mms C1 0 1.34 e-05 C2 0 4.72E-15 C3 0 8.59E-34 C4 2.70E-21 3.16E-04 C5 0 1.11E-09 C6 0 5,95E-05 Tablo 1: Parametrik olmayan ANOAVA-Kruskal-Wallis testinin çıktısı. Kruskal Wallis testinin sonuçları, MMS ve hız verileri için Rol dışındakilere karşı içerideki kayıtları karşılaştırıyor. Testi her katılımcının (C1 – C6) verilerine ayrı ayrı uygularız. Tamamlayıcı Dosyalar. Bu dosyaları indirmek için lütfen tıklayınız.

Discussion

Bu makale, dyadik değişim bağlamında kişinin çevresel sinyalini kullanan, parametreleştiren ve yeniden parametreleştiren yakın döngülü ortak uyarlanabilir, etkileşimli, çok modlu arayüzler aracılığıyla proxy kontrolü kavramını tanıtır. Kişinin biyoritmlerindeki dalgalanmalarda stokastik kaymaları karakterize etmeyi ve değişimi parametreleştirmeyi amaçladık. Ayrıca, biyoritmlerinin stokastik imzalarını neredeyse gerçek zamanlı olarak hedeflenen gürültüden sinyale rejim seviyelerine sistematik olarak yönlendirmeyi amaçladık.

5 temel öğeyi karşılayan yakın döngü arayüzü oluşturmak için genel bir protokol sunduk: 1) CNS, PNS ve ANS’den çeşitli araçlar ve teknolojiler kullanarak birden fazla bedensel verinin toplanması; 2) verilerin senkronize kaydı ve akışı; 3) seçilen sinyallerin gerçek zamanlı analizi; 4) bedensel sinyaller için çıkarılan fizyolojik özellikler kullanılarak duyusal büyütmenin (ses, görsel vb.) oluşturulması; ve 5) insan sisteminin sürekli izlenmesi ve paralel duyusal büyütme, insan ve sistem arasındaki etkileşim döngüsünü kapatır.

Genel iletişim kuralı iki örnek arabirime uygulandı. birincisi iki insan ajanı arasındaki dyadik alışverişi, ikincisi ise bir insan ve bir avatar ajanı arasındaki dyadik değişimi araştırır. İki tip dyad, periferik sinyalin gerçek zamanlı olarak sistematik olarak değiştirilebileceği ve bu stokastik değişikliklerin tam olarak izlenebileceğine dair kavram kanıtı sağlamak için kullanılmıştır. Bir dyad fiziksel olarak etkileşimde bulunan iki katılımcıdan oluşurken, diğeri bir katılımcının kişinin hareketleriyle ve bu gerçek zamanlı hareketlerin değiştirilmiş varyantlarıyla donatılmış 3D işlenmiş avatar şeklinde bir sanal ajanla etkileşime girmesini içeriyordu. Bu tür değişiklikler, artırılmış duyumlar ortamında işitsel ve/veya görsel duyusal girişler tarafından yönlendirilen etkileşimli manipülasyonlarla çağrıştırıldı. Hem gerçek dyad hem de yapay boyada, vücut biyoritmleri ve kalp atışından gelen otonomik sinyaller de dahil olmak üzere periferik sinyalleri uzaktan değiştirmenin fizibilitesini gösterdik.

Kinestetik sinyal akışları neredeyse gerçek zamanlı olarak manipüle edilir ve yeniden parametrelendirilirken, efferent motor değişkenliğindeki bu tür kaymaları araştırmak için yeni deneysel protokoller sunduk. Bu yeniden giriş bilgileri (kinestetik reafference^48),sistem performansını gerçek zamanlı olarak değiştirmek için değerliydi. Burada sunduğumuz yöntemler kullanılarak tam olarak izlenebileceğimiz eylemin duyusal sonuçları hakkında bilgi taşırlar.

Ayrıca, analizlerimizi standartlaştırmak için uygun veri türlerini ve istatistiksel yöntemleri gösterdik. Fizyolojik aktivitelerde doğal olarak farklı bağlamlarda gelişen gerçek zamanlı değişiklikleri göstermek için, kendi kendine üretilen ve kendi kendini kontrol eden sinir sistemleri sinyallerinin yorumlanmasına katkıda bulunan ampirik olarak yönlendirilmiş istatistiksel çıkarım ile birden fazla görselleştirme aracı sağladık. Daha da önemlisi, proxy denetleyicisi tarafından uyandırılan değişiklikler sorunsuz ve yine de ölçülebilirdi, böylece çevresel etkinliğin birden fazla şekilde yararlı olduğu fikrine destek verdi. Bu yöntemleri piyasada bulunan kablosuz giyilebilir sensörleri kullanarak uygulayabilirken, sistemi vurgulamadan biyofiziksel ritimlerde yakalanabilen performans değişikliklerini sistematik olarak teşvik edebiliriz. Yöntemlerimizi klinik arenaya çevirmek ve yeni müdahale modelleri geliştirmek için bir test yatağı olarak kullanmak önemlidir (örneğin, otizmde artırılmış gerçeklik kullanırken olduğu gibi ⁴⁹). Bu tür modellerde, duyusal girdiler hassas bir şekilde manipüle edildiği ve çıktı neredeyse gerçek zamanlı olarak parametreleştirildiği ve yeniden parametreleştirildiği için, kişinin doğal eylemlerinin duyusal sonuçlarını izleyip ölçebileceğiz.

Bu protokolü, insan sinir sistemleri tarafından kendi kendine oluşturulan ve kablosuz giyilebilir cihazlarla invaziv olmayan bir şekilde kullanılan çeşitli biyoritmik faaliyetlerden yararlanmak için genel bir model olarak sunuyoruz. Bu makaleye EEG, EKG ve kinematik kaydetmek için bir dizi biyosensör kullanmamıza rağmen, sinyalleri kaydetme, senkronize etme ve analiz etme yöntemleri geneldir. Arayüz böylece diğer teknolojileri de dahil edebilir. Ayrıca, protokoller tıbbi alana uzanan diğer doğal eylemleri ve bağlamları içerecek şekilde değiştirilebilir. Doğal davranışları hedeflediğimiz için, geliştirdiğimiz kurulum eğlenceli ortamlarda (örneğin, çocukları ve ebeveynleri içeren) kullanılabilir.

Sinir sistemlerinin çeşitli bozuklukları, kontrol sorununa bu tür eğlenceli yaklaşımlardan yararlanabilir. Burada gösterdiğimiz her iki dyadik etkileşim türünde, katılımcılar müziği bilinçli olarak kontrol etmeyi hedefleyebilirken, proxy denetleyicisi, imzalarını bilinçsizce manipüle etmek ve sistematik olarak değiştirmek için çevresel çıktıyı kullanır. Çünkü bilim adamları, gama parametre düzlemini ve buna karşılık gelen Gama anları uzayını farklı yaş grupları (yenidoğanlardan 78 yaşına kadar) 19 , 50 ,⁵¹^,⁵²^,⁵³ve koşullar (otizm, Parkinson hastalığı, inme, koma durumu ve sağırferentasyon), farklı kontrol seviyeleri için (gönüllü, otomatik, spontan, istemsiz ve otonomik)²⁵^,⁴⁷^,⁵⁴, gama alanlarında stochastic imzaların iyi bir tahmin kontrolü için nerede olması gerektiğini gösteren ampirik olarak ölçülen kriterlere sahiptirler. Önceki araştırmalar da, insan sinir sistemlerinin kendi kendine oluşturulan ritimlerinden gelen spontan rastgele gürültünün varlığında parametrelerin nerede olduğunu bildiğimizi göstermiştir⁷^,¹⁹^,⁵⁵^,⁵⁶. Biyoritmik motor gürültüsünü en aza indiren bir optimizasyon şemasında, sinyalleri, her bir kişinin PDF ailesinin şekil ve dağılım imzalarının yüksek sinyalden gürültü oranına ve tahmine dayalı değerlerden oluşan gama alanlarının hedeflenen alanlarına elde edecek şekilde kullanmayı hedefleyebiliriz. Bu anlamda, brüt verileri kaybetmeyiz ve sistemi belirli bir durumda istenen gürültü seviyelerine yönlendirmek için etkili bir şekilde kullanırız.

Dyadik etkileşimler klinik veya eğitim ortamlarında her yerde bulunur. Eğitmen ve stajyer arasında oluşabilir; hekim ve hasta; klinik terapist ve hasta; ve ayrıca çeviri bilimi içeren ve araştırmacı ve katılımcı ile etkileşime giren araştırma ortamlarında da ortaya çıkabilirler. Mevcut protokollerin avantajlarından biri, dyadlar için tasarlanmış olsalar da, aynı zamanda kişiselleştirilmiş olmalarıdır. Bu nedenle, ortak uyarlanabilir etkileşimleri, hareket aralıklarına, duyusal işlem sürelerine ve kişinin sinir sistemlerinin fonksiyonel hiyerarşisi boyunca sinyallerin genliğindeki aralıkları göz önünde bulundurarak, kişinin en iyi yeteneklerine ve yatkınlıklarına göre uyarlamak mümkündür. Stokastik yörünge ortaya çıktıkça ve zamanla geliştikçe, imzaların şans oranlarını belirlemek ve bu zaman serisini olası duyusal sonuçlarla birlikte yaklaşan birkaç olayı tahmin etmek için kullanmak da mümkündür.

Son olarak, yakın döngü arayüzleri sanat dünyasında bile kullanılabilir. Sanatçılara, hesaplama odaklı modern danslar, teknoloji dansları ve bedensel ifadenin yeni görselleştirme ve sonifikasyon biçimlerini oluşturmak için yeni yollar sunabilirler. Bu bağlamda, dansçının vücudu, bu alandaki önceki çalışmalarda gösterildiği gibi, kendi kendine oluşturulan biyoritmik aktivitelerin sonifikasyonu ve görselleştirilmesi yoluyla farklı duyusal yöntemleri esnek bir şekilde keşfetmek için duyusal güdümlü bir enstrümana dönüştürülebilir^{40 , 41}^,⁴³^,⁴⁶. Böyle bir performans, sahnede bir dansçının rolünü arttırabilir ve seyircinin görünür hareketin ötesinde ince bedensel sinyaller yaşamasına izin verebilir.

Bu teknolojinin çeşitli yönleri, gerçek zamanlı ortamlarda kullanımlarını optimize etmek için daha fazla geliştirme ve test gerektirir. Senkron akış, devam eden motor komutlarının duyusal sonuçlarını tahmin ederken zaman kazanma ve bir adım önde olma fikrinden gerçekten yararlanmak için yüksek hızlı CPU / GPU gücü ve bellek kapasitesi talep eder. Sinyalleri gerçekten hizalayabilmek, uygun duyusal füzyonu gerçekleştirebilmek ve sinir sisteminin farklı kanalları aracılığıyla bilgi aktarımını keşfetmek için ekipmanın örnekleme oranları karşılaştırılabilir olmalıdır. Bunlar, bu yeni arabirimde bulunan sınırlamalardan bazılarıdır.

Hepsi ve hepsi, bu çalışma, stochastic değişimin sistematik standartlaştırılmış sonuç ölçümlerine izin veren subliminal araçlar kullanırken bedensel sistemimizin kontrolünü geliştirmek için yeni bir konsept sunmaktadır.

Disclosures

The authors have nothing to disclose.

Acknowledgements

Bu araştırmanın yapılmasına yardımcı olmak için gönüllü olarak zaman geçiren öğrencilere teşekkür ederiz; Kan Anant ve PhaseSpace Inc., kurulumu tanımlamak için gerekli görüntü ve videoları bize sağladığı için; ve nöroelektronik, kanal www.youtube.com/c/neuroelectrics/ ve kılavuzlarındaki materyalleri kullanmamıza izin verdiği için. Son olarak, Rutgers Bilişsel Bilimler Merkezi’nden Prof. Thomas Papathomas’a bu makalenin teslim aşamalarında profesyonel destek için, Nancy Lurie Marks Aile Vakfı Kariyer Geliştirme Ödülü’ne EBT’ye ve Gerondelis Vakfı Ödülü VK’ya teşekkür ediyoruz.

Katkı
Kavramsallaştırma, VK ve EBT; metodoloji, EBT; yazılım, VK, EBT, SK.; doğrulama, VK ve SK; resmi analiz, VK; soruşturma, VK, EBT, SK; kaynaklar, EBT; veri kürasyonu, VK; yazma—orijinal taslak hazırlama, EBT; yazma—inceleme ve düzenleme, VK, SK.; görselleştirme, VK ve EBT.; denetim, EBT.; proje yönetimi, EBT.; fon edinimi, EBT Tüm yazarlar makalenin yayınlanan versiyonunu okudu ve kabul etti.

Materials

Enobio 32	Enobio	Hardware for EEG data collection
Enobio ECG Extention	Enobio	Hardware for ECG data collection
LabStreamingLayer (LSL)		Synchronization and streaming of data
Matlab	Mathwork	Analysis and processing of data
Max	Cycling'74	Sonification of bodily information
NIC.2	Enobio	Software for EEG and ECG data collection
PhaseSpace Impulse	PhaseSpace	Hardware for collection of the kinematic data (position, speed, acceleration)
Python3	Python	Analysis and processing of data
Recap	PhaseSpace	Software for collection of the kinematic data (position, speed, acceleration)

References

Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
Torres, E. B. . Theoretical Framework for the Study of Sensori-motor Integration. , (2001).
Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42 (2003).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson’s disease. PLoS One. 8 (7), 66757 (2013).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32 (2013).
Ryu, J., Vero, J., Torres, E. B. . MOCO ’17: Proceedings of the 4th International Conference on Movement Computing. , 1-8 (2017).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
Casadio, M., et al. . IEEE International Conference on Rehabilitation Robotics. , (2019).
Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. . 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , (2018).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Purves, D. . Neuroscience. Sixth edition. , (2018).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson’s disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
Torres, E. B. . Progress in Motor Control. , 229-254 (2016).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , (2020).
Kalampratsidou, V. . Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , (2018).
Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer’s heart. Sixth International Symposium on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9 (2016).
Von Holst, E., Mittelstaedt, H., Dodwell, P. C. . Perceptual Processing: Stimulus equivalence and pattern recognition. , 41-72 (1950).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Torres, E. B. . Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , (2018).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Kalampratsidou, V., Kemper, S., Torres, E. B. Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface. J. Vis. Exp. (171), e61943, doi:10.3791/61943 (2021).