使用闭环接口实时代理控制重新参数化的外围信号

自然闭环控制器
感官运动信息在大脑和身体之间不断流动，产生组织良好、协调良好的行为。这种行为可以研究，同时专注于个人的行动单独，如在独白风格（图1A），或在复杂的动态行动，在两个代理在dyad共享，如在对话风格（图1B）。然而，第三个选择是在人机闭环接口（图1C）的上下文中，通过代理控制器评估这种复杂的交互。这种界面可以跟踪dyad中每个代理所促成的瞬间运动波动，以及它们同步相互作用中自我产生的凝聚力类型，从而帮助以理想的方式引导dyad的节奏。

图1：不同形式的控制。 （A）自我大脑控制的界面依赖于人的大脑和人自身身体之间的闭环关系，这种关系可以以”独白”风格自我调节和自我互动。此模式尝试控制自生成的运动，或者它也可能旨在控制外部设备。（B） “对话”风格控制是针对两个相互互动的舞者，通过身体的束咒和转弯来控制彼此的动作。（C） dyad 的”第三方”对话控制由计算机界面进行调解，该界面利用两个舞者的生物信号，对生物信号进行参数化，并以音频和/或视觉作为感官指导的形式以重新参数化的形式反馈给舞者。此处介绍的例子中的重新参数化是使用音频或视觉反馈实现的，通过其中一个舞者的实时动感运动输出来影响另一个：或两个舞者，轮流在一些交替的模式。请单击此处查看此图的较大版本。

这种方法的总体目标是表明，有可能利用、参数化和重新参数化运动中身体生物恒湿活动的瞬间波动，因为两个制剂进行可能涉及两个人或一个人及其自我移动头像的dyadic交换。

在过去的^{1、2、3中，}对大脑如何控制行动和预测其感觉后果的调查产生了许多理论研究，并产生了各种神经运动控制模型^{4、5、6、7、8。}在这个多学科领域，有一项研究涉及开发闭环脑机或脑-计算机接口。这些类型的设置提供了利用和调整 CNS 信号以控制外部设备的方法，例如机械臂 9、10、11、外骨骼^12、计算机屏幕上的光标^13（除其他外）。所有这些外部设备共享它们没有自己的智能的属性。相反，大脑试图控制它们确实有，大脑面临的部分问题是学习如何预测它在这些设备中产生的运动的后果（例如光标的运动，机械臂的运动等），同时产生其他支持性运动，以动感再造的形式促进整体感官运动反馈。通常，这些界面的首要目标是帮助大脑背后的人绕过损伤或紊乱，恢复他/她有意的想法转化为外在装置的自愿控制的身体行为。然而，不太常见的是界面的发展，试图引导身体在运动中的运动。

最初对脑机界面的大部分研究都集中在中枢神经系统（CNS）对身体部位的控制上，这些部位可以完成目标导向动作^{9、14、15、16、17。}然而，还有其他情况，即使用来自外围神经系统 （PNS） 活动的信号，包括自体神经系统 （ANS） 的信号，其信息足以影响和引导外部代理的信号，包括另一个人类或头像，甚至相互作用的人类（如图 1C）。与机械臂或光标不同，本例中的另一个代理具有由大脑驱动的智能（在人与人运动或另一个代理的头像中，在相互作用的人类 dyad 的情况下）。

一种与dyadic交换形成共适应闭环接口的环境的设置可能可用于干预神经系统的紊乱，根据这些疾病，大脑无法自愿地控制自己的身体，尽管没有在物理上切断CNS和PNS之间的桥梁。这可能是由于嘈杂的外周信号，通过反馈回路，以帮助大脑不断监测和调整自己的自生生物律可能已被中断的情况。这种情况出现在帕金森病^{患者18，19，}或自闭症谱系障碍的参与者与多余的噪音在他们的运动输出。事实上，在这两种情况下，我们已量化了从^{20、21、22和心脏23}的预定动作速度中产生的返回动能信号中的噪声与信号比。在这种情况下，试图掌握外部信号的大脑控制，同时试图控制身体的运动，可能会导致从重新进入（再发音）的信息流的自我反应信号，大脑从连续（活泼的）运动流在外围接收。事实上，这种自生成的通风电机流中出现的瞬间波动包含着重要的信息，有助于预测有目的的行动的感官后果^。当此反馈被噪音损坏时，很难预测地更新控制信号，并使用物理行为桥接故意计划。

如果我们将这种反馈循环扩展到其他代理，并通过第三方（图 1C）控制人和代理的互动，我们可能有机会在近乎实时的情况下指导对方的性能。这将为我们提供概念的证明，即我们需要扩展共适应脑体或脑机界面的概念，以治疗神经系统的紊乱，这些疾病导致精神意图对身体意志的实现不佳。

有目的的行动有后果，其特点正是运动随机签名，是上下文依赖，并能够推断出心理意图的水平与高度肯定^25，26。因此，一种利用 dyadic 交换来交换以前以人为中心的方法来处理大脑机器或大脑计算机接口的新方法的一个优点是，我们可以增强控制信号，将主要在人意识之下、在不同意图水平下发生的身体和心脏生物节律包括在内。这样，我们抑制了在适应脑光^{标控制过程中}意识控制往往唤起的反应性干扰。我们可以通过对可以访问的各种信号进行参数化来增加预测过程的确定性。沿着这些路线，先前的工作是使用大脑和身体信号同时存在于^{27、28、29：}但是，由大脑身体信号捕获的dyadic相互作用的工作仍然很少。此外，现成的文献尚未界定在充分认识下进行的蓄意行动部分与因故意行动而自发发生的过渡性动议之间的^区别。在这里，我们在戏剧交流的背景下做出这种区分，并提供新的方法来研究这种二分法^32，同时提供舞蹈空间中编排（故意）与即兴（自发）动作的例子。

由于感官-电机集成和转换过程中的传导和传输延迟^，有必要建立这样的预测代码，学会以高度的确定性预测即将到来的感官输入。为此，重要的是能够描述在不断更新的动感再造流中从信号中产生的噪声与信号比率的演变。然后，我们需要制定协议，系统地测量电机变异性的变化。变化性在传出的通风电机流³⁴的瞬间波动中是固有的。由于这些信号是非静止的，对上下文变化^35，36敏感，因此可以对任务上下文的更改所发生的变化进行参数化。为了最大限度地减少来自有意识的 CNS 控制产生的反应信号的干扰，并唤起通风 PNS 电机流中的可量化变化，我们在此引入了一个代理闭环接口，通过招募主要在人的自我意识下发生变化的外围信号间接改变感官反馈。然后，我们展示如何系统地测量感官操作后发生的变化，使用可视化代理闭环接口间接唤起两个代理的过程的随机分析。

引入代理闭环控制器
外围信号中存在的感官-电机变异性构成了丰富的信息来源，可以指导神经系统的性能，同时在不同的上下文^中学习、适应和泛化。这些信号部分地成为 CNS 试图自愿控制行动的副产品，但并非控制器的直接目标。由于人与他人自然相互作用，外围信号可以被利用、标准化和重新参数化：这意味着，它们的变化可以参数化和系统地转移，因为一个改变的发泡电机流，不断重新进入系统作为动能重新调用。在这样的设置中，我们可以可视化随机变化，高精度地捕捉丰富的信号，否则将丢失给更传统的技术所表现的盛大平均值类型。

为了在新的统计平台下实现变化的特征，我们在这里引入了协议、标准化的数据类型和分析，允许外部感官输入（听觉和视觉）与内部自生成的电机信号集成，而此人则自然地与另一个人或与人的头像版本进行交互。从这个意义上说，因为我们的目标是控制外围信号（而不是修改CNS信号直接控制外部设备或介质），我们创造了一个代理闭环接口（图2）。我们的目标是描述 PNS 的随机信号的变化，因为它们会影响 CNS 中的变化。

图2：使用闭环多模态接口对两个舞者（舞蹈莎莎）进行代理控制，与（B）通过利用周围神经系统信号并将其重新参数化为声音和/或视觉输入来控制的互动人工人头像dyad。（C） 使用新的标准化数据类型（微运动峰值、彩信）的声化概念，源自生物恒湿信号振幅/定时转换为振动，然后转换为声音的瞬时波动。从物理学中，我们借用了调叉输出声波作为可测量振动产生的压缩和稀有事实的概念。声波的示意图表示压力随着时间的调整而与声化的峰值浓度平行调节。物理信号的示例，以接受从彩信到振动和声化的拟议管道。我们使用心率信号作为接口的输入。这需要信号振幅的波动，每 4 秒运动一次与运动开始对齐，并生成代表振动的彩信列车。彩信的尖峰列车从 [0，1] 标准化。尖峰的颜色根据色条，表示信号的强度。然后，我们使用 Max 对这些振动进行声子化。此声化信号可用于在 A 中播放，或在 B 中更改与头像的交互。此外，在 B 中，在通过 ROI 时，可以将声音嵌入环境中并使用身体位置在感兴趣的区域（ROI） 播放声音，或调节音频功能，作为与 RoI 的距离、锚定在另一身体部位的主体部分的速度或加速度的函数。请单击此处查看此图的较大版本。

PNS信号可以利用可穿戴传感技术进行非侵入性利用，该技术共同记录来自神经系统不同功能层的多模式透水流，从自主到自愿^32。然后，我们可以几乎实时测量此类流的变化，并选择那些更改可增强信号与噪声比的流。然后，这种发泡的电机信号可以通过其他形式的感官引导（如听觉、视觉等）来增强。因为 PNS 信号是完全意识的替罪羊，因此它们更容易操作，没有太大的阻力 ³⁸。因此，我们使用它们来帮助引导人的表现，以可能减轻对人类系统的压力的方式。

构建界面
我们介绍由闭环共适应多式联运接口调解的代理控制的设计。此接口引导实时多感官反馈。 图3 显示一般设计。

闭环接口的特点是5个主要步骤。第一步是从多个可穿戴仪器收集多模态数据。第二步是通过MoBI集团³⁹开发的实验室流层（LSL，https://github.com/sccn/labstreaminglayer）平台同步多模式流。第三步是将 LSL 数据结构流式传输到 Python、MATLAB 或其他编程语言界面，以集成信号，并实时对生理特征（与我们的实验设置相关）进行参数化。 第四步是重新参数化从研究的身体信号的连续流中提取的选定特征，并使用选择的感官模式（如视觉、听觉、动感等）增强它，以声音或视觉效果的形式播放，以增强、替换或增强患者神经系统中有问题的感官模式。最后，第五步是重新评估系统实时生成的信号的随机特征，选择在预测即将发生的动作的感官后果时，将身体波动的随机变化带到高度确定性（噪声最小化）的制度。 此循环在整个实验期间持续播放，重点是选定的信号，同时存储完整的性能供后续分析（如图 3的示意图所示，见 40、41、42、43、44、45、46、47，例如后分析）。

图3：多模态外围驱动的闭环接口概念的架构。 收集各种身体信号 – 运动数据，心脏和大脑活动（第1步）。LSL 用于同步共同注册和流式传输来自各种设备的数据到接口（第 2 步）。Python/MATLAB/C# 代码用于使用标准化的数据类型和通用比例连续参数化信号波动，从而能够选择最足以抑制系统不确定性的感官制导源（第 3 步）。通过选定的通道实时增强信号传输，然后允许重新参数化重新进入感官信号，以集成在连续电机流中，并增强丢失或损坏的输入流（感官替换步骤 4）。连续重新评估关闭循环（第 5 步），我们将所有数据保存以供将来进行其他分析。请单击此处查看此图的较大版本。

以下部分介绍了如何构建闭环接口的通用协议（ 如图 3所述），并描述了两个实验接口（详述在补充材料中呈现）的代表性结果，涉及两个舞者之间的物理 dyadic 交互（真正的闭环系统）和人和头像之间的虚拟 dyadic 交互（人工闭环系统）。