Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface

Vilelmini Kalampratsidou; Steven Kemper; Elizabeth B. Torres

doi:10.3791/61943

JoVE Journal > Behavior

Please note that all translations are automatically generated. Click here for the English version.

行为学

Прокси-контроль повторно параметризированных периферийных сигналов в режиме реального времени с помощью интерфейса Close-Loop

Published: May 08, 2021

doi:

10.3791/61943

Vilelmini Kalampratsidou^1,2, Steven Kemper³, Elizabeth B. Torres^1,2,4,5,6

¹Center for Cognitive Science,Rutgers University, ²Department of Computer Science,Rutgers University, ³Music Department, Mason Gross School of the Arts,Rutgers University, ⁴Psychology Department,Rutgers University, ⁵Sensory Motor Integration Lab,Rutgers University, ⁶Computational Biomedicine Imaging and Modelling Center,Rutgers University

Summary

Мы представляем протоколы и методы анализа для создания ко адаптивных интерфейсов, которые поток, параметризировать, анализировать и изменять человеческое тело и сердце сигналов в тесном цикле. Эта настройка интерфейсов сигналов, полученных от периферической и центральной нервной системы человека с внешними сенсорными входами, чтобы помочь отслеживать биофизические изменения.

Abstract

Области, которые разрабатывают методы сенсорной замены и сенсорного увеличения, направлены на контроль внешних целей с помощью сигналов от центральной нервной системы (ЦНС). Менее частыми, однако, являются протоколы, которые обновляют внешние сигналы, генерируемые интерактивными телами в движении. Существует нехватка методов, которые сочетают в себе тело-сердце-мозг биоритмов одного движущийся агент направить те из другого движущийся агент во время диадичного обмена. Одной из задач для достижения такого подвига была сложность установки с использованием мультимодальных биосигналов с различными физическими единицами, разрозненными шкалами времени и переменными частотами выборки.

В последние годы появление носимых биосенсоров, которые могут неинвазивно использовать несколько сигналов в тандеме, открыло возможность повторной параметризации и обновления периферийных сигналов взаимодействующих диад, в дополнение к улучшению интерфейсов мозга и/или тела-машины. Здесь мы представляем ко-адаптивный интерфейс, который обновляет эфферентный соматический двигатель выход (в том числе кинематики и сердечного ритма) с помощью биосенсоров; параметризирует стохатические биосигналы, околяет этот выход и подает его обратно в повторной параметризированной форме в виде висуо/аудио-кинестоэтического реафферентного ввода. Мы иллюстристрм методы, использующие два типа взаимодействий, один из которых связан с двумя людьми, а другой с участием человека и его аватар взаимодействующих в почти реальном времени. Мы обсуждаем новые методы в контексте возможных новых способов измерения влияния внешнего ввода на внутренний соматический-сенсорный двигатель управления.

Introduction

Естественный контроллер близкого цикла
Сенсорно-моторная информация непрерывно течет между мозгом и телом для получения хорошо организованного, скоординированного поведения. Такое поведение можно изучать, сосредоточившись только на действиях человека, как в стиле монолога(рисунок 1A),так и во время сложных динамических действий, разделяемых между двумя агентами в диаде, как в стиле диалога(рисунок 1B). Тем не менее, третий вариант заключается в оценке таких сложных взаимодействий с помощью прокси-контроллера, в контексте человека-компьютера тесного цикла интерфейса(рисунок 1C). Такой интерфейс может отслеживать колебания движения по моментам, вносяые каждым агентом в диаду, и по типу сплоченности, которая возникает из их синхронных взаимодействий, помогая управлять ритмами диада желательными способами.

Рисунок 1: Различные формы контроля. (A) Self мозга контролируемых интерфейсов полагаться на тесной петли отношений между мозгом человека и собственного тела человека, который может самостоятельно регулировать и самостоятельно взаимодействовать в “монолог” стиль. Этот режим пытается контролировать самогенерированные движения, или он также может быть направлен на управление внешними устройствами. (B)“Диалог” стиль управления вводится для двух танцоров, которые взаимодействуют друг с другом и через физическое увлечение и поворот, чтобы достичь контроля над движениями друг друга. (C) “Третья сторона” диалог управления dyad вводится как опосредованный компьютерным интерфейсом, который использует в тандеме био-сигналы от обоих танцоров, параметризирует его и подает его обратно к танцорам в повторной параметризированной форме с использованием аудио и / или видение в качестве формы сенсорного руководства. Ремитастикизация в представленных здесь примерах была достигнута с помощью аудио- или визуальной обратной связи, усиленной кинестичным моторным выходом одного из танцоров в режиме реального времени для зрения другого; или обоих танцоров, по очереди в некоторых чередующихся шаблон. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.

Общая цель этого метода состоит в том, чтобы показать, что можно использовать, параметризировать и повторно параметризировать момент за моментом колебания биоритмической деятельности органов в движении, как два агента участвуют в дьядический обмен, который может включать двух людей, или человека и его / ее самостоятельно движущихся аватар.

Исследования о том, как мозг может контролировать действия и предсказывать их сенсорные последствия вызвали много линий^{теоретических запросов в последние 1,}^2,^{3 и} производится различные модели нейромоторного^{контроля 4,}^5,⁶^,⁷^,⁸. Одно из этапов исследований в этой многопрофильной области связано с разработкой интерфейсов мозг-машина или мозг-компьютер. Эти типы установок предлагают способы использования и адаптации сигналов ЦНС для управления внешним устройством, таким как^{роботизированная рука 9,}^10,¹¹, экзоскелет¹², курсор на экране компьютера¹³ (среди других). Все эти внешние устройства имеют свойство, что они не имеют собственного интеллекта. Вместо этого, мозг пытается контролировать их есть, и часть проблемы, что мозг сталкивается, чтобы узнать, как предсказать последствия движений, которые он генерирует в этих устройствах (например, движения курсора, движения роботизированной руки и т.д.), генерируя другие поддерживающие движения, которые способствуют общей сенсорной обратной связи двигателя в виде кинестетического референтности. Часто, главной целью этих интерфейсов было помочь человеку за что мозг обойти травму или расстройство, чтобы восстановить преобразование его / ее преднамеренные мысли в волей контролируемых физических актов внешнего устройства. Менее распространенным, однако, была разработка интерфейсов, которые пытаются направить движения тел в движении.

Большая часть оригинальных исследований по мозг-машина интерфейсы сосредоточены на контроле центральной нервной системы (ЦНС) над частями тела, которые могут выполнить целенаправленные действия^9,^14,¹⁵^,¹⁶^,¹⁷. Есть, однако, другие ситуации, когда использование сигналов, полученных от деятельности периферической нервной системы (PNS), в том числе вегетативной нервной системы (ANS), является достаточно информативным, чтобы влиять и направлять сигналы внешних агентов, в том числе другого человека или аватара, или даже взаимодействующих людей (как на рисунке 1C). В отличие от роботизированной руки или курсора, другой агент в данном случае имеет интеллект, управляемый мозгом (в случае аватара, который был наделен движениями человека, или другого агента, в случае взаимодействующих человеческих dyad).

Установка, которая создает среду совместно адаптивного интерфейса близкого цикла с диадичным обменом, может быть потуха для вмешательства в расстройства нервной системы, в результате которых мозг не может по воле контролировать собственное тело, несмотря на то, что физически не разорвал мост между ЦНС и PNS. Это может быть так из-за шумных периферийных сигналов, в результате которых обратная связь петли, чтобы помочь мозгу непрерывно контролировать и корректировать свои собственные собственные биоритмы, возможно, были нарушены. Этот сценарий возникает у пациентов с болезнью^{Паркинсона 18}^,¹⁹, или у участников с расстройствами аутистического спектра с избыточным шумом в их двигательной продукции. Действительно, в обоих случаях, мы количественно высокие уровни соотношения шума к сигналу в возвращающихся кинеститических сигналов, полученных от^{скорости их предполагаемых движений 20}^,²¹^,²² и от сердца²³. В таких случаях, пытаясь освоить мозг-контроль внешних сигналов, а также пытается контролировать тело в движении, может привести к самореактивный сигнал от повторного ва-абитуриента (повторно афферентный) поток информации, что мозг получает от непрерывного (эфферентного) потока двигателя на периферии. Действительно, момент за моментом колебания, присутствующие в таких самостоятельно генерируемых эфферентных потока двигателя содержат важную информацию, полезную, чтобы помочь предсказать сенсорные последствия целенаправленных^{действий 24}. Когда эта обратная связь повреждена шумом, становится трудно предсказуемо обновить сигналы управления и преодолеть преднамеренные планы с физическими действиями.

Если мы распространим такую петлю обратной связи на другого агента и будем контролировать взаимодействие человека и агента через третьюсторону (рисунок 1C),у нас может быть возможность управлять выступлениями друг друга в режиме реального времени. Это даст нам доказательство концепции, что мы должны были бы расширить понятие совместно адаптивного мозга тела или мозга-машины интерфейсы для лечения расстройств нервной системы, которые приводят к плохой реализации физической воли от психического намерения.

Целенаправленные действия имеют последствия, которые точно характеризуются моторными стохастичными сигнатурами, которые зависят от контекста и позволяют с высокой уверенностью сделать вывод об уровнях^{умственных намерений 25,}^26. Таким образом, преимущество нового метода, который использует диадичный обмен по сравнению с предыдущими человек-ориентированных подходов к мозгу машины или интерфейсов компьютера мозга, является то, что мы можем увеличить контрольные сигналы, чтобы включить телесные и сердечные биоритмы, которые происходят в значительной степени под осознание человека, под различными уровнями намерения. Таким образом, мы ослабляем реактивное вмешательство, которое сознательный контроль, как правило, вызывает в процессе адаптации контроля мозгового курсора^17. Мы можем добавить больше уверенности в прогностический процесс, параметризируя различные сигналы, которые мы можем получить доступ. В этом направлении, предыдущая работа существует с использованием мозга и телесных сигналов^{в тандеме 27}^,²⁸^,²⁹; однако работа, связанная с диадичными взаимодействиями, захваченными сигналами мозга и тела, остается скудной. Кроме того, в существующих литературы до сих пор не разграничить различие между преднамеренными сегментами действия, выполняемого при полной осведомленности и переходных движений, которые спонтанно происходят в^{результате преднамеренных из них 30}^,³¹. Здесь мы делаем это различие в контексте диадичного обмена, и предлагаем новые способы изучения этой^{дихотомии 32}, предоставляя примеры хореографии (преднамеренные) против импровизированных (спонтанных) движений в танцевальном пространстве.

Из-за задержки трансдукции и передачи в сенсорно-моторной^{интеграции и преобразования процессов 33}, необходимо иметь такой прогностический код на месте, чтобы научиться предвидеть предстоящие сенсорные ввода с высокой уверенностью. С этой целью важно уметь охарактеризовать эволюцию соотношения шума к сигналу, получаемого от сигналов в постоянно обновляемом кинестиметичном реафферентного потока. Затем нам нужны протоколы для систематического измерения изменения изменчивости двигателя. Изменчивость по своей сути присутствует в сиюминутных колебаниях исходящего шипущего моторного потока^34. Поскольку эти сигналы нестационарены и чувствительны к контекстуальным вариациям^35,^{36, можно}параметризировать изменения, которые происходят с изменением контекста задач. Чтобы свести к минимуму помехи от реактивных сигналов, которые возникают из сознательного контроля ЦНС, и вызвать количественные изменения в шипучих PNS поток двигателя, мы вводим здесь прокси тесного цикла интерфейс, который косвенно изменяет сенсорную обратную связь, путем набора периферийного сигнала, который меняется в значительной степени под самосознанием человека. Затем мы показываем способы систематического измерения изменений, которые вытекает из сенсорных манипуляций, используя стохастический анализ, подлежив визуализировать процесс, который прокси-интерфейс близкого цикла косвенно вызывает в обоих агентах.

Представляем контроллер прокси-тесной петли
Сенсорно-моторная изменчивость, присутствуют в периферийных сигналах, представляют собой богатый источник информации для руководства работой нервной системы во время обучения, адаптации и обобщения в различных^{контекстах 37}. Эти сигналы частично появляются как побочный продукт ЦНС, пытаются волей-то контролировать действия, но не являются прямой целью контроллера. По мере того как персона естественно взаимодействует с другими, периферийные сигналы можно использовать, стандартизировать и re-parameterized; это означает, что их вариации могут быть параметризированы и систематически сдвигаются, так как изменяется эфферентный моторный поток, который постоянно вновь входит в систему в качестве кинеститической референтности. В таких условиях мы можем визуализировать стохатические сдвиги, захватывая с высокой точностью богатый сигнал, который в противном случае теряется для типов grand averaging, что более традиционные методы выполняют.

Для достижения характеристики изменений в рамках новой статистической платформы, мы здесь вводим протоколы, стандартизированные типы данных и аналитики, которые позволяют интеграцию внешнего сенсорного ввода (слуховых и визуальных) с внутренне самостоятельно генерируемых двигательных сигналов, в то время как человек, естественно, взаимодействует с другим человеком, или с аватаром версии человека. В этом смысле, поскольку мы стремимся контролировать периферийные сигналы (а не изменять сигналы ЦНС, чтобы непосредственно контролировать внешнее устройство или средства массовой информации), мы придумали этот прокси-интерфейс с близкогоцикла (рисунок 2). Мы стремимся охарактеризовать изменения в стохастичных сигналах PNS, так как они влияют на сигналы ЦНС.

Рисунок 2: Прокси-контроль диадического взаимодействия с использованием тесного цикла мультимодального интерфейса. ( ) Косвенный контроль двух танцоров (танцы сальса) через компьютерный коадативный интерфейс против (B) интерактивный искусственный человек-аватар dyad контролируется с помощью периферийных сигналов нервной системы и повторно параметризации его как звуки и / или как визуальный вход. C)Концепция озвучивания с использованием нового стандартизированного типа данных (микро-движения шипы, MMS), полученных от момент за моментом колебания биоритмических сигналов амплитуды / времени преобразуется в вибрации, а затем звук. Из физики мы заимствуем понятия сжатия и редкости, производимые тюнинговой вилкой, выпроизводяую звуковую волну как измеримые вибрации. Схемы звуковых волн, представленные как давление, модулированные с течением времени параллельно с всплеском концентраций для озвучивания. Пример физического сигнала для прохождения предлагаемого трубопровода от MMS к вибрациям и солениям. Мы используем сигнал сердечного ритма в качестве ввода в интерфейс. Это принимает колебания амплитуды сигнала выровнены к движению начала каждые 4 секунды движения и строит MMS поезда, представляющие вибрации. Поезда-шипы от MMS стандартизированы от 0,1 евро. Цвет шипов в соответствии с цветовой полосой, представляет интенсивность сигнала. Затем мы соознаем эти вибрации с помощью Макса. Этот соифицированный сигнал может быть использован для воспроизведения в A или для изменения взаимодействия b с аватаром. Кроме того, в B можно вставлять звук в окружающую среду и использовать положение тела, чтобы играть звук обратно в области интереса (RoI), или модулировать аудио функции в качестве функции расстояния до RoI, скорость или ускорение части тела на якоре к другой части тела, при прохождении мимо RoI. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.

Сигналы PNS могут быть использованы неинвазивно с носимых технологий зондирования, которые совместно регистрировать мульти-модальных эфферентных потоков из различных функциональных слоев нервной системы, начиная от вегетативной^{до добровольной 32}. Затем мы можем измерить в режиме реального времени изменения в таких потоках и выбрать те, чьи изменения усиливают соотношение сигнала к шуму. Этот эфферентный моторный сигнал может быть дополнен другими формами сенсорного наведения (например, слуховым, визуальным и т.д.) Потому что PNS сигналы пейзаж полной осведомленности, они легче манипулировать без особого сопротивления ³⁸. Таким образом, мы используем их, чтобы помочь направить производительность человека таким образом, что может быть менее напряженным для человеческой системы.

Создание интерфейса
Представляем дизайн прокси-контроля при посредничестве тесного цикла совместно адаптивного мультимодального интерфейса. Этот интерфейс управляет мультисенсорной обратной связью в режиме реального времени. На рисунке 3 отображается общий дизайн.

Интерфейс близкого цикла характеризуется 5 основными шагами. Первым шагом является мультимодальный сбор данных с нескольких носимых инструментов. Второй шаг – это синхронизация мультимодальных потоков через платформу LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer), разработанную группой ^{MoBI 39.} Третьим шагом является потоковая передача структуры данных LSL в Python, MATLAB или другой интерфейс языка программирования для интеграции сигналов и эмпирически параметризации физиологических функций (соответствующих нашей экспериментальной установке) в режиме реального времени. 4-й шаг заключается в повторной параметризации выбранных функций, извлеченных из непрерывного потока изучаемого телесного сигнала, и дополнить его с помощью сенсорной модальности выбора (например, визуальной, слуховой, кинеститической и т.д.), чтобы отыграть его обратно в виде звуков или визуальных эффектов, увеличить, заменить или улучшить сенсорный механизм, который является проблематичным в нервной системе человека. Наконец, 5-й шаг заключается в повторной оценке стохастических подписей сигналов, генерируемых системой в режиме реального времени, чтобы выбрать, какой сенсорный способ приводит стохастические сдвиги телесных колебаний к режиму высокой определенности (минимизация шума) в прогнозировании сенсорных последствий предстоящего действия. Этот цикл играет непрерывно в течение всего эксперимента с акцентом на выбранный сигнал, сохраняя при этом полную производительность для последующего анализа (как по изображено в схемах рисунок 3 ^{и см. 40}^,⁴¹^,⁴²^,⁴³^,⁴⁴^,⁴⁵^,⁴⁶^,⁴⁷ для примера заднего анализов).

Рисунок 3: Архитектура мультимодальной периферийной концепции интерфейса с замком. Собираются различные телесные сигналы – кинематические данные, активность сердца и мозга (шаг 1). LSL используется для синхронной регистрации и передачи данных, поступающих из различных аппаратов в интерфейс (шаг 2). Код Python/MATLAB/C используется для непрерывной параметризации колебаний сигналов с использованием стандартизированного типа данных и общей шкалы, что позволяет наиболее адекватно выбирать источник сенсорного наведения для омрачения неопределенности системы (шаг 3). Это в режиме реального времени повышение передачи сигнала через выбранный канал (ы), то позволяет повторно параметризации повторного ввода сенсорного сигнала для интеграции в непрерывный поток двигателя и повышения потерянных или поврежденных входной поток (сенсорная замена шаг 4). Непрерывная перео том, что завершает цикл (шаг 5), и мы охвясым все данные для дополнительного анализа в будущем. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.

В следующих разделах представлен общий протокол о том, как построить интерфейс с замкнутым циклом (как описано на рисунке 3) и описывают репрезентативныерезультаты двух экспериментальных интерфейсов (подробно представленных в дополнительном материале), включающих физическое дьядное взаимодействие между двумя танцорами (реальная система тесного цикла) и виртуальное дьядическое взаимодействие между человеком и аватаром (искусственная система тесного цикла).

Protocol

Исследование было одобрено Советом по институциональным исследованиям Ратгерса (IRB) в соответствии с декларацией Хельсинки. 1. Участники Определите население, которое будет изучено, и пригласите его принять участие в исследовании. Настоящий интерфейс может быть использован в различных популяциях. Этот протокол и примеры, используемые здесь для доказательства концепции, не ограничиваются определенной группой. Получить письменное информированное согласие IRB утвержденного протокола в соответствии с Хельсинкской декларацией. Попросите участника или опекуна подписать форму до начала эксперимента. 2. Настройка интерфейса Close-Loop Установка кинематических оборудования-PNSПомогите участнику тщательно носить светодиодный костюм захвата движения (тело и голова, показанные на рисунке 3,шаг 1 и 5), сопровождающий используемую систему захвата движения. Светодиодные маркеры костюма будут отслеживаться камерами системы для оценки местоположения движущийся корпус в пространстве. Подключите беспроводной светодиодный контроллер (также известный как светодиодный блок драйвера) системы со светодиодными кабелями костюма, подключив его к надлежащему порту. Включите устройство и установите его в режим потоковой передачи. Включите сервер системы захвата движения. Откройте веб-браузер, посетите адрес сервера и войдь (информация о регистрации должна быть предоставлена компанией при покупке продукта). Калибруйте систему по мере необходимости (например, калибруйте систему, если это первый раз, когда используется оборудование, в противном случае перейти к шагу 2.1.17). Откройте инструмент калибровки системы захвата движения и выберите Мастера калибровки. Убедитесь, что ввод номера сервера в текстовом поле на левой-верхней стороне интерфейса является правильным и нажмите Продолжить. Подключите палочку к первому порту светодиода контроллера и включите ON контроллер и нажмите Продолжить. После подключения палочки, ее светодиодные маркеры будут включены и появится на дисплее, в видах камеры. Поместите палочку в центре поля зрения камеры, подтвердите, что она может быть записана камерами, и нажмите Продолжить. Перемещение палочки по всему пространству, сохраняя его вертикальной и рисунок цилиндров. Убедитесь, что движение захвачено по крайней мере 3 камерами каждый раз и регистрируется на поле просмотра каждой камеры, что делает его зеленым. Сделай это для всех камер. После того, как поле просмотра каждой камеры было полностью зарегистрировано (все это зеленый цвет), нажмите Продолжить и ждать калибровки вычислений, которые будут выполнены.ПРИМЕЧАНИЕ: После завершения калибровки, расположение камеры вместе со светодиодными маркерами будет видно на дисплее, так как они физически размещены в комнате. На этом этапе пользователь может возобновить калибровку, потому что это делается, или продолжить выравнивание системы. Держите палочку вертикально и поместите сторону со светодиодом ближе к концу палочки на землю, где происхождение 3D-пространства должно быть установлено (точка (0,0,0)). Держите палочку стабильной до регистрации. После регистрации экран мигает зеленым цветом. Точка, указывающая происхождение эталонного кадра на пространстве, появится на интерфейсе, а следующая ось выравнивания, x-axis, будет выделена зеленым цветом. Перемести палочку, сохраняя ту же ориентацию (вертикально), в точке x-оси и удерживайте ее стабильной до регистрации. Повторите для z-оси. После регистрации точки z-оси калибровка завершается. Нажмите Закончить, чтобы выйти калибровки. Откройте интерфейс системы захвата движения и нажмите Connect, чтобы начать потоковую передачу данных со светодиодных маркеров. Как только соединение установлено, положение маркеров будет отображаться в виртуальном мире интерфейса. Создайте виртуальный скелет (автоматически оценивайте положение костей тела из данных положения, собранных со светодиодных маркеров костюма, как показано на рисунке 8 step2). Право нажмите на скелеты на правой стороне окна и выберите Новый скелет. Выберите Маркер Картирование, а затем выберите правильный файл (предоставленный компанией на основе используемой версии интерфейса). Затем нажмите OK. Попросите участника оставаться стабильным на T-pose (прямая поза с открытыми руками по бокам). Нажмите правой кнопкой мыши на скелет и выберите скелет Generate без тренировки. Если все шаги выполнены правильно, скелет будет сгенерирован. Попросите участника двигаться и проверить, насколько точно виртуальный скелет следует движениям участника. Чтобы передавать данные скелета в LSL, выберите Настройки и Параметры из основного меню. Откройте эмулятор сова и нажмите кнопку “начать” Live потокового. Установка ЭЭГ оборудования – ЦНС Помогите одному и тому же участнику надеть ЕГЭ. Поместите гелеобразные электроды (традиционные электроды на основе геля, используемые с ЭЭГ головной колпачок) на головной колпачок и 2 липких электродов (электроды, которые работают как наклейки) на задней стороне правого уха для CMS и DRL датчиков. Заполните электроды высокопроводяющим гелем, по мере необходимости, для повышения проводимости между датчиком и кожей головы. Соедините электродные кабели на гель-троды и два липких электрода. Вставь беспроводной монитор на заднюю часть головной крышки и подключите электродные кабели. Включите монитор. Откройте интерфейс системы ЭЭГ. Выберите использовать устройство Wi-Fi и нажмите Scan для устройств. Выберите NE Wi-Fi и используйте это устройство. Нажмите на значок головы, выберите протокол, который позволяет записывать все 32 датчика, и нажмите Нагрузку. Убедитесь, что поток данные каждого канала отображаются на интерфейсе. Установка ЭКГ-оборудования- ANS Следуйте точные шаги, представленные в 2.2, но использовать канал O1 для подключения на пульсе (HR) расширение. Используйте липкий электрод, чтобы приклеить другой конец расширения прямо под левой грудной клеткой. Подготовка LSL для синхронной записи и потоковой передачи кинематических данных. Запустите приложение LSL для системы захвата движения, дважды нажав на соответствующий значок. Найдите приложение на следующем пути папки LSL, LSL-labstreaminglayer-master-Apps-PhaseSpace. На интерфейсе установите правильный адрес сервера. Затем выберите конфигурацию файла и загрузки. Выберите соответствующий файл конфигурации (он должен быть предоставлен компанией на основе используемой версии продукта) Нажмите на ссылку. Если ошибки не допущены, то сообщение об ошибке отображаться не будет. Подготовка LSL для синхронной записи и потоковой передачи данных ЭЭГ и ЭКГ. Дополнительные шаги для этого оборудования не требуются. Настройка LSL Запустите приложение LabRecorder, дважды нажав на файл, расположенный в LSL-labstreaminglayer-master-Apps-LabRecorder путь папки LSL. Нажмите Обновление. Если все инструкции выполнены правильно, все типы данных системы захвата движения и ЭЭГ будут видны на панели Запись потоков. Выберите каталог и имя для данных на панели местоположения хранилища. Нажмите Начало. Сбор данных системы захвата движения и ЭЭГ начнется синхронно. В конце записи нажмите Стоп. Если запись была успешной, данные будут расположены на каталоге, ранее выбранном. Откройте файлы, чтобы подтвердить, что они включают записанную информацию. Анализ и мониторинг человеческой системы в режиме реального времени. Выполняйте MATLAB, Python или другой код, который получает, обрабатывает и дополняет потоковые данные. Примеры кодов, соответствующих репрезентативным примерам, описанным в следующих разделах, можно найти здесь: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE Поколение дополненной сенсорной обратной связи Производить сенсорный выход с помощью надлежащего устройства (например, динамики, монитор, среди других). 3. Экспериментальная процедура Следуйте экспериментальной процедуре, которая определяется установкой, если таковые имеются.ПРИМЕЧАНИЕ: Интерфейсы с замкнутым циклом предназначены для интуитивного изучения и изучения. Таким образом, в большинстве случаев никаких инструкций не требуется.

Representative Results

Существуют различные интерфейсы, которые могут быть построены на основе протокола, представленного в предыдущем разделе и могут быть применены к различным популяциям для различных целей. Некоторые возможные вариации описаны вразделе «Вариации представленного интерфейса close-Loop»дополнительного материала. В этом разделе мы демонстрируем репрезентативные результаты 2 примеров интерфейсов замкнутого цикла, которые следуют протоколу, описаному в предыдущем разделе. Настройка, экспериментальная процедура и участники этих исследований подробно объясняются в разделах «Пример 1: Аудио Close-loop Интерфейс реальногодьядичного взаимодействия » и «Пример 2: Аудио-визуальный тесно-петлей интерфейс искусственного диадичноговзаимодействия » дополнительного файла. Результаты аудио Close-loop Интерфейс реального диадичного взаимодействияВ исследовании “Аудио тесно-петля интерфейс реального диадичного взаимодействия” (подробно представлен в разделе”Пример 1: Аудио Закрыть цикл Интерфейс реального Дьядиквзаимодействия” дополнительного материала), мы использовали прокси-интерфейс управления, иллюстрированный на рисунке 4, который использует сердечный сигнал танцовщицы, чтобы изменить музыку танцевали. В режиме реального времени мы выполнили обработку сигнала, чтобы извлечь время сердцебиения, и транслировали эту информацию в систему Max, чтобы изменить скорость исполненной песни. Таким образом, мы отыграли песню, измененную биофизическими сигналами. Этот процесс привел к дальнейшим изменениям движений и сигналов сердцебиения. Рисунок 4: Аудио на основе тесного цикла интерфейса. 1. ECG-HR носимое устройство отслеживает активность танцовщицы сальсы во время выполнения ее процедур и подает сигналы на интерфейс на 500 Гц. 2. Наш интерфейс анализирует данные ЭКГ в режиме реального времени. В каждом кадре он фильтрует необработанные данные, извлекает R пики комплекса RS; и потоков пик обнаружения на MAX. 3. Сторонний интерфейс сочетает скорость звука со скоростью сердечного приступа. 4. Измененная песня оты песня оты песня возвращается к танцорам. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры. Два танцора сальсы взаимодействовали с интерфейсом и исполнили хорошо отрепетированную рутинную постановку хореографии и спонтанно импровизированного танца. Танцоры должны были исполнить оригинальную версию песни один раз, и версия смешала оригинальный темп песни с потоком сердцебиения в реальном времени. Мы ссылаемся на более хихавую версию, которая была исполнена дважды, как изменение 1 и 2 песни. В анализе, представленном ниже, мы использовали сердце и звуковой сигнал записан. Пики двух сигналов, извлеченных для оценки поездов MMS (см. раздел “Микро-движения Спайкс” в дополнительном файле), которые сохраняют высокие колебания частоты, как показано на рисунке 5. Рисунок 5: Оценка MMS поездов аудио тесной петли системы. Серии времени ЭКГ используются для извлечения RR-пиков и отклонений амплитуды от общей (оценочной) амплитуды полученных R-пиков (средние сдвинутые данные). Затем для получения поездов MMS используется нормализация по уравнению 1 (см. Дополнительный файл, раздел “Микро-движение Шипы”). Аналогичные методы используются для обработки звуковых волновых форм и воспроизведения песни обратно в соответствии с производительностью человека в режиме реального времени. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры. Поезда MMS хорошо характеризуются как непрерывный случайный процесс, хорошо представленный непрерывным гамма-семейство распределения вероятностей. MLE считает, что это непрерывное семейство дистрибутивов лучше всего подходит для обоих наборов данных (см. объяснение в разделе “Гамма-распределение” дополнительного материала и дополнительной цифры 2). Этот тип случайного процесса был использован для отслеживания сдвигов в стохастические подписи биоритмов, генерируемых биосигналами из нервной системы человека. Из эмпирически оцененных параметров гаммы и масштабируемых параметров мы получаем гамма-моменты, среднее, дисперсию, перекос и куртоз (см. подробности анализа в разделе «Стохастический анализ» дополнительного материала). Затем мы помеем предполагаемый PDF. Рисунок 6 фокусируется только на сигнале сердца и музыке, но методы применяются аналогично другим биоритмам, генерируемым кинематических сигналов, представленных в 41. PDF сердца и музыкальный сигнал показаны на рисунке 6A-B, где мы подчеркиваем различия между наборами данных двух условий, преднамеренной рутины и спонтанной импровизации. Для каждого условия мы подчеркиваем сдвиги в стохастичных подписях, вызванных временными изменениями песни. Сначала они танцуют под оригинальную песню. Затем, когда сердцебиение меняет ритмы в режиме реального времени, сонифицированные колебания в этом сигнале приводят танцоров к тому, чтобы следить за временными изменениями песни. Они обозначаются изменением 1 и изменением 2. Эти систематические сдвиги описаны параметрами Гамма. Затем, используя эмпирически оцененные параметры формы и масштаба, мы получили четыре соответствующих гамма-момента для сердцебиения и песен. Они отображаются на рисунке 6C для сердца (вверху) и песни (внизу) сигналов. Рисунок 6: Индуцирование систематических изменений в эмпирически оцененных ГАММА PDF и их стохастических траекториях четырех гамма-моментов от производительности под прокси-контролем с помощью аудио close-loop System. (A) PDF-файлы из поездов MMS каждого типа данных (ECG верхней и аудио нижней части файла) для каждого из танцевальных контекстов, спонтанной импровизации и преднамеренной рутины. Легенды Imp Or (оригинал импровизации) обозначают исходное состояние в начале сессии; Imp Alt1, обозначающий импровизацию во время изменения 1; Imp Alt2 обмено импровизации во время изменения 2. (B)Аналогичным образом, для преднамеренной отрепетированной рутины, Rout Или означает обычный оригинал; Rout Alt1 означает обычное изменение 1; Rout Alt2 означает обычное изменение 2. Панели в ( C )показывают систематическиесдвиги в Гамма моменты, как и звуковые сигналы от песен и те, от сердца сдвиг в тандеме и в режиме реального времени. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры. Сдвиг подписей можно оценить в этих панелях (PDF и Gamma моменты графики), тем самым демонстрируя, что методы, представленные может захватить адаптации сердца к изменениям песни, что прокси контроллер производит в режиме реального времени. По мере того как песни сдвиг ритмы, так же сердце стохастических подписей и переход стохастических подписей является последовательным в направлении (который также является находкой в 41, где мы изучали форму и параметры масштаба). Точно так же, по мере смены подписей сердца, меняются и подписи песни. Это зеркальное отражение эффектов – один влияет на другой и, как один сдвиги последовательно в направлении так же другие-следовать тесному циклу характер этого прокси-интерфейс контроллера. Результаты подчеркивают полезность этой установки и дает доказательство концепции, что мы можем систематически сдвиг вегетативной биоритмов человека в контексте диадичного обмена. Параллельные сдвиги на стохастических подписях как песен, так и телесных сигналов показывают, что коадаптация всей системы (участника и интерфейса) возможна с помощью периферийных сигналов. Этот процесс плавно проходит под осознанием человека и предлагает доказательство концепции для идей удаленно и систематически сдвиг биосигналов человека в соответствии с внешней сенсорной обратной связи выбора. Таким образом, мы можем направлять перемещение стохастических подписей в этом непрерывном случайном процессе. Методы позволяют запечатлеть изменения и их скорость по стохастических траекториям, которые мы смогли построить в режиме реального времени. Для определения статистической значимости в сменах мы используем немарматический тест ANOVA, Kruskal-Wallis с последующим несколькими сравнениями после специального теста. Мы сравниваем подписи MMS данных сердца среди шести условий. На рисунке 7 показано несколько сравнений данных о сердце MMS и соответствующая таблица Крускаль-Уоллис. Многопрофиленный сюжет указывает на то, что существует существенная разница между базовым состоянием оригинального рутинного танца (Rout. Или) и базовое состояние оригинального импровизированного танца (Imp. Or). Важно также заметить, что первые изменения, Rout. Alt1 и Imp. Alt1, переход к распределениям, которые разделяют сопоставимые средства и то же самое относится ко вторым изменениям, в то время как дисперсия, перекос и куртоз сдвиг на гамма моменты пространства (Рисунок 6C). Рисунок 7: Результаты немарметрических Kruskal-Wallis и несколько сравнений после специальных тестов. Результаты немарметрического ANOVA (тест Крускаль-Уоллис) применяются на MMS данных сердца для сравнения шести условий. Сюжет демонстрирует многосовесление 6 случаев, что указывает на существенную разницу между “Rout. Или” и “Imp. Or” условия. В таблице показаны результаты теста Крускаль Валлиса. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры. Результаты аудиовизуальных тесно-петля интерфейс искусственного диадичного взаимодействияВ исследовании “Аудио-визуальный тесно-петлей интерфейс искусственного дьядного взаимодействия” (подробно представленный в разделе”Пример 2: Аудио-визуальный тесно-петлейинтерфейс искусственного диадичного взаимодействия” дополнительного материала),6 участников взаимодействовали с интерфейсом, иллюстрированным на рисунках 8, который создает их зеркальный аватар, оказывая собственные движения человека. Интерфейс встраивает зависящие от положения звуки в область, окружающую человека во время взаимодействия. Участники были наивны в отношении цели исследования. Они должны были ходить по комнате и выяснить, как контролировать звук, который будет удивительно возникают, как они прошли мимо RoI (регионы, представляющие интерес), что прокси контроллер определены. Рисунок 8: Визуальное представление аудио-визуального интерфейса. 1. Для получения периферийных кинематических данных используется система захвата движения. 2. Система собирает положения датчиков (в нашем примере светодиодов) для оценки скелета – положение на костях. 3. Положение костей затем выравнивается в нашем разработанном интерфейсе MATLAB с использованием нашей собственной модели форвард-кинематики. 4. Выровненные позиции используются для карты информации о скелете с нашим 3D-аватаром. 5. Отображение потоковых данных на аватар в режиме реального времени, что создает ощущение глядя на зеркальное отражение человека. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры. Рисунок 9 демонстрирует результаты аудио-визуального интерфейса состояния 1 (см. Дополнительный файл для более условий), где расположение бедра активирует песню, когда бывший находится в RoI. На этом рисунке показаны подписи PDF и Gamma (см. раздел “Типы данных и анализы” дополнительного материала) данных о скорости тазобедренного сустава 6 различных участников управления (C1 до C6), когда они находились внутри и за пределами объема RoI. Представленные здесь результаты подчеркивают индивидуальные различия в скорости адаптации отдельных участников. На них указывают сдвиги стохастичных подписей, а также индивидуальные результаты, возникающие внутри или за пределами объема ROI. Например, мы можем заметить, что PDF, пригодный для частотных гистограмм MMS, полученных от амплитуды скорости бедер C3 и C4, были более симметричными (более высокое значение формы) и менее шумными (нижнее значение масштаба) при внутри тома. В отличие от этого, остальные участники показывают противоположную картину. Эмпирически мы обнаружили, что подписи в нижнем правом углу – это подписи спортсменов и танцоров, выполняющих высококвалифицированные движения. Подписи лежат на верхнем левом регионе, приходят из наборов данных нервной системы с патологиями, такими как те, с диагнозом расстройства аутистическогоспектра СДВГ 22,32 и у глухонемого участника21. В контексте смещения шаблонов по стохастичной траектории мы получаем медианные значения формы и масштаба для определения правого нижнего квадранта (RL) и левого верхнего квадранта (LU), где мы отслеживаем общее качество соотношения сигнала к шуму, накапливая эту информацию с течением времени. При этом рассматривается обновление медианных значений, динамически определяющих эти квадранты по мере того, как человек совместно адаптирует свои внутренне генерируемые биоритмы к тем, которые внешне контролируются прокси, но зависят от внутренних значений человека. Рисунок 9: Эмпирически оцененные Гамма PDF и Гамма Подписи телесных биоритмов во время взаимодействий с помощью аудио-визуальной системы Close-Loop. Используя поезда MMS, полученные из скорости бедер каждого участника (C1 – C6), мы использовали MLE, чтобы соответствовать лучшим PDF с 95% интервалами доверия. Каждый участник представлен различным символом, в то время как условия представлены разными цветами. Семейство Гамма PDF, когда в объеме (в) отличается от того, за пределами объема (вне). Помимо эмпирически оцененных PDF-данных, для каждого человека на плоскости параметра Гамма показаны предполагаемые параметры гаммы и масштаб. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры. Таблица 1 показывает p-значения, полученные из необработанных (скорость) и MMS данных, сравнивающих результат в условиях, когда часть тела человека находится внутри RoI против. за пределами RoI. Результаты, изображенные на столе, были оценены с помощью немарметрического теста ANOVA Kruskal-Wallis. Тест Крускаль Уоллис Данные о скорости MMS C1 0 1.34 e-05 C2 0 4.72E-15 C3 0 8.59E-34 C4 2.70E-21 3.16E-04 C5 0 1.11E-09 C6 0 5.95E-05 Таблица 1: Выход непаметрического теста ANOAVA-Kruskal-Wallis. Результаты теста Kruskal Wallis сравнивая записи внутри по сравнению с за пределами Rol для MMS и скорости данных. Тест мы применяем на данных каждого участника (C1 – C6) отдельно. Дополнительные файлы. Пожалуйста, нажмите здесь, чтобы загрузить эти файлы.

Discussion

В настоящем документе вводится понятие прокси-контроля с помощью тесного цикла ко-адаптивных, интерактивных, мультимодальных интерфейсов, которые используют, параметризируют и ре-параметризируют периферийный сигнал человека в контексте диадического обмена. Мы стремились охарактеризовать стохастические сдвиги в колебаниях биоритмов человека и параметризировать изменения. Далее мы стремились систематически управлять стохастичными сигнатурами их биоритмов в направлении целевых уровней режимов шума к сигналу почти в режиме реального времени.

Мы представили общий протокол для создания интерфейса с замкнутой петлей, который удовлетворяли 5 основным элементам: 1) сбору многочисленных телесных данных, поступающих из ЦНС, PNS и ANS с использованием различных инструментов и технологий; 2) синхронизированная запись и потоковая передача данных; 3) анализ выбранных сигналов в режиме реального времени; 4) создание сенсорного увеличения (аудио, визуального и т.д.) с использованием физиологических функций, извлеченных для телесных сигналов; и 5) непрерывное отслеживание человеческой системы и параллельное сенсорное увеличение закрывает цикл взаимодействия между человеком и системой.

Общий протокол был применен на двух примерах интерфейсов. Первый исследует дьядный обмен между двумя человеческими агентами, а второй – между человеком и аватарным агентом. Эти два типа диад были использованы для доказательства концепции того, что периферийный сигнал может систематически меняться в режиме реального времени и что эти стохастические изменения можно точно отслеживать. Один диад состоял из двух участников, физически взаимодействующих, в то время как другой участвовал участник, взаимодействующий с виртуальным агентом в виде 3D-рендеринга аватара, наделенного движениями человека и с измененными вариантами этих движений в режиме реального времени. Такие изменения были вызваны интерактивными манипуляциями, вызванными слуховым и/или визуальными сенсорными входами в обстановке дополненных ощущений. Как в настоящей диаде, так и в искусственной диаде мы продемонстрировали целесообразность удаленного смещения периферийных сигналов, включая биоритмы организма и вегетативные сигналы от сердцебиения.

Мы представили новые экспериментальные протоколы для зондирования таких сдвигов в теплой изменчивости двигателя, поскольку кинестичные потоки сигнала манипулируются и ре-параметризируются в режиме почти реального времени. Эта информация о повторном входе (кинеститическая реафференция⁴⁸⁾оказалась ценной для изменения производительности систем в режиме реального времени. Они несут информацию о сенсорных последствиях действия, которые мы можем точно отслеживать с помощью методов, которые мы представили здесь.

Мы также показали типы данных и статистические методы, которые могут стандартизировать наш анализ. Мы предоставили несколько инструментов визуализации, чтобы продемонстрировать изменения в физиологической деятельности в реальном времени, естественно меняющиеся в различных контекстах, с эмпирически управляемым статистическим выводом, который поддается интерпретации сигналов самогенерированных и самоуправляемых нервных систем. Важно отметить, что изменения, вызванные прокси-контроллером, были плавными и в то же время поддались количественной оценке, что поддерживает идею о том, что периферийная деятельность полезна более чем одним способом. Хотя мы можем внедрить эти методы с помощью коммерчески доступных беспроводных носимых датчиков, мы можем систематически вызывать изменения в производительности, которые могут быть в биофизических ритмах, не подчеркивая системы. Важно перевести наши методы на клиническую арену и использовать их в качестве испытательного бедла для разработки новых моделей вмешательства (например, при использовании дополненной реальности при ^{аутизме 49).} В таких моделях мы сможем отслеживать и количественно оценить сенсорные последствия натуралистических действий человека, так как сенсорные входы точно манипулируются, а выход параметризируется и ре-параметризируется в режиме почти реального времени.

Мы предлагаем этот протокол в качестве общей модели для использования различных биоритмических видов деятельности, генерируемых нервной системой человека и неинвазивно использующих беспроводные носимые устройства. Хотя мы использовали набор биосенсоров для регистрации ЭЭГ, ЭКГ и кинематики в этой работе, методы записи, синхронизации и анализа сигналов являются общими. Интерфейс может таким образом включать другие технологии. Кроме того, протоколы могут быть изменены, чтобы включить другие натуралистические действия и контексты, которые распространяются на медицинскую сферу. Поскольку мы нацелены на естественное поведение, разработанная ими установка может быть использована в игривых настройках (например, с участием детей и родителей).

Некоторые расстройства нервной системы могли бы извлечь выгоду из таких игривых подходов к проблеме контроля. В обоих типах диадичных взаимодействий, которые мы показали здесь, участники могли бы стремиться сознательно контролировать музыку, в то время как прокси-контроллер использует периферийный выход для бессознательного манипулирования и систематического сдвига его подписей. Потому что ученые потратили годы эмпирически отображение гамма-параметр плоскости и соответствующие Гамма моменты пространства в различных возрастных группах (новорожденных до 78 лет)¹⁹^,⁵⁰^,⁵¹^,⁵²^,⁵³ и условия (аутизм, Болезнь Паркинсона, инсульт, состояние комы и глухоты), для различных уровней контроля (добровольный, автоматический, спонтанный, непроизвольный и вегетативный)²⁵^,⁴⁷^,⁵⁴, они эмпирически измеренных критериев, обозначающих, где на Гамма пространства стохастические подписи должны быть для хорошего прогностического контроля. Предыдущие исследования также показали, что мы^знаем,где параметры находятся в присутствии спонтанного случайного шума, исходя из самогенерированных^{ритмов нервной системы человека 7,}^19,⁵⁵^,⁵⁶. В рамках схемы оптимизации, минимизирующие биоритмический двигательный шум, мы можем таким образом стремиться к вождению сигналов таким образом, чтобы достичь целевых областей гамма-пространств, где формы и дисперсии подписей семьи PDFs каждого человека способствует высокому сигналу к шуму отношения и прогностических значений. В этом смысле мы не теряем валовых данных, а используем их эффективно, чтобы доводить систему до желаемого уровня шума в данной ситуации.

Диадичные взаимодействия широко распространены в клинических или тренировочных условиях. Они могут возникать между тренером и стажером; врач и пациент; клинический терапевт и пациент; и они могут также возникать в условиях исследований, которые включают трансляционной науки и привлечь исследователя и участника. Одним из преимуществ нынешних протоколов является то, что, хотя они предназначены для dyads, они также персонализированы. Таким образом, можно адаптировать ко-адаптивных взаимодействий к лучшим возможностям человека и предрасположенности, в зависимости от их диапазонов движения, их диапазоны сенсорной обработки времени и при рассмотрении диапазонов амплитуды сигналов по всей функциональной иерархии нервной системы человека. По мере того как стохастическая траектория вытекает и эволюционирует в времени, также по возможности установить тарифы шанса подписей и использовать тот ряд времени для того чтобы спрогнозировать несколько impending случаев вместе с по возможности сензорными последствиями.

Наконец, интерфейсы с замкнутой петлей могут быть даже использованы в мире искусства. Они могли бы предложить артистам новые возможности для создания вычислительно управляемых форм современных танцев, технологических танцев и новых форм визуализации и соления телесного выражения. В таких условиях тело танцовщицы может быть превращено в сенсорный инструмент для гибкого изучения различных сенсорных условий посредством осоления и визуализации самостоятельной биоритмической деятельности, о чем свидетельствует предыдущая^{работа в этой области 40,}⁴¹^,⁴³^,⁴⁶. Такое выступление могло бы увеличить роль танцовщицы на сцене и позволить зрителям испытывать тонкие телесные сигналы за пределами видимого движения.

Некоторые аспекты этой технологии требуют дальнейшей разработки и тестирования для оптимизации их использования в настройках в режиме реального времени. Синхронная потоковая передача требует высокоскоростной мощности процессора/GPU и емкости памяти, чтобы действительно использовать понятие получения времени и быть на шаг впереди при прогнозировании сенсорных последствий текущих команд двигателя. Скорость отбора проб оборудования должна быть сопоставима, с тем чтобы иметь возможность по-настоящему выровнять сигналы, выполнить надлежащее сенсорное слияние и изучить передачу информации по различным каналам нервной системы. Вот некоторые из ограничений, присутствующих в этом новом интерфейсе.

Все и все, эта работа предлагает новую концепцию для улучшения контроля над нашей телесной системы при использовании подсознание означает, что, тем не менее, позволяют систематические стандартизированные измерения результатов стохастические изменения.

Disclosures

The authors have nothing to disclose.

Acknowledgements

Мы благодарим студентов, которые добровольно свое время, чтобы помочь выполнить это исследование; Kan Anant и PhaseSpace Inc. за предоставление нам изображений и видео, необходимых для описания настройки; и нейроэлектроники для того, чтобы позволить нам использовать материал из www.youtube.com/c/neuroelectrics/ и их руководства. Наконец, мы благодарим профессора Томаса Папатомаса из Ратгерского центра когнитивных наук за профессиональную поддержку на этапах представления этой рукописи, премию Фонда развития карьеры Семьи Нэнси Лури Маркс в EBT и премию Фонда Джеронделиса ВКонтакте.

Взносы
Концептуализация, VK и EBT; методология, EBT; программное обеспечение, VK, EBT, SK.; проверка, VK и SK; формальный анализ, VK; расследование, VK, EBT, SK; ресурсы, EBT; кураторизация данных, VK; написание оригинального проекта подготовки, EBT; рецензирование и редактирование, VK, SK.; визуализация, VK и EBT.; надзор, EBT.; управление проектами, EBT.; финансирование приобретения, EBT Все авторы прочитали и согласились на опубликованную версию рукописи.

Materials

Enobio 32	Enobio	Hardware for EEG data collection
Enobio ECG Extention	Enobio	Hardware for ECG data collection
LabStreamingLayer (LSL)		Synchronization and streaming of data
Matlab	Mathwork	Analysis and processing of data
Max	Cycling'74	Sonification of bodily information
NIC.2	Enobio	Software for EEG and ECG data collection
PhaseSpace Impulse	PhaseSpace	Hardware for collection of the kinematic data (position, speed, acceleration)
Python3	Python	Analysis and processing of data
Recap	PhaseSpace	Software for collection of the kinematic data (position, speed, acceleration)

References

Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
Torres, E. B. . Theoretical Framework for the Study of Sensori-motor Integration. , (2001).
Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42 (2003).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson’s disease. PLoS One. 8 (7), 66757 (2013).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32 (2013).
Ryu, J., Vero, J., Torres, E. B. . MOCO ’17: Proceedings of the 4th International Conference on Movement Computing. , 1-8 (2017).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
Casadio, M., et al. . IEEE International Conference on Rehabilitation Robotics. , (2019).
Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. . 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , (2018).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Purves, D. . Neuroscience. Sixth edition. , (2018).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson’s disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
Torres, E. B. . Progress in Motor Control. , 229-254 (2016).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , (2020).
Kalampratsidou, V. . Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , (2018).
Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer’s heart. Sixth International Symposium on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9 (2016).
Von Holst, E., Mittelstaedt, H., Dodwell, P. C. . Perceptual Processing: Stimulus equivalence and pattern recognition. , 41-72 (1950).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Torres, E. B. . Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , (2018).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Kalampratsidou, V., Kemper, S., Torres, E. B. Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface. J. Vis. Exp. (171), e61943, doi:10.3791/61943 (2021).