クローズループインタフェースを用いた再パラメータ化周辺信号のリアルタイムプロキシ制御

自然なクローズループコントローラ
感覚運動情報は脳と身体の間を連続的に流れ、よく組織化された協調的な行動を生み出す。このような行動は、モノローグスタイル(図1A)のように、人の行動だけに焦点を当てながら、または対話スタイルのように、ダイアド内の2つのエージェント間で共有される複雑な動的アクションの間に研究することができます(図1B)。しかし、第3の選択肢は、人間とコンピュータのクローズループインタフェースのコンテキスト内で、プロキシコントローラを介してこのような複雑な相互作用を評価することです(図1C)。このようなインターフェースは、ダイアドの各エージェントによって引き起こされる瞬間ごとの動きの変動を追跡することができ、同期相互作用から自己出現するまとまりのタイプによって、ダイアドのリズムを望ましい方法で操縦するのに役立ちます。

図1: 異なる形態の制御を行う( A)自己脳制御インターフェースは、人の脳と人の身体との密接な関係に依存しており、これは「モノローグ」スタイルで自己調節し、自己相互作用することができる。このモードは、自己生成モーションの制御を試みるか、外部デバイスの制御を目指す場合もあります。(B)「対話」スタイルコントロールは、お互いに相互作用し、物理的な入り込みとターンテイクを通じて、お互いの動きを制御するために、2人のダンサーのために導入されます。(C)ダイアドの「第三者」対話制御は、両方のダンサーからのバイオ信号を併用し、それをパラメータ化し、感覚ガイダンスの形態としてオーディオおよび/またはビジョンを使用して再パラメータ化された形でダンサーに送り返すコンピュータインターフェイスによって仲介されるように導入される。ここで示した例の再パラメータ化は、オーディオまたはビジュアルフィードバックを使用して達成され、ダンサーの一方のリアルタイム運動運動出力によって強化され、他方に影響を与えました。または両方のダンサーの、いくつかの交互のパターンで交代。この図の大きなバージョンを表示するには、ここをクリックしてください。

この方法の全体的な目標は、2人のエージェントが2人の人間、または人間と彼/彼女の自己移動アバターを含む可能性のあるダイアディック交換に従事するので、動いている身体の生体不整脈活動の瞬間的な変動を利用し、パラメータ化し、再パラメータ化することが可能であることを示す。

脳がどのように行動を制御し、その感覚的な結果を予測するかについての調査は、過去^1、2、3の理論的問い合わせの多くの行を生成し、神経運動制御^{4、5、6、7、8}の様々なモデル^を生成^した。この学際的な分野の研究の1つの行は、近ループ脳機械または脳コンピュータインターフェースの開発を含んでいます。これらのタイプのセットアップは、CNS信号を利用して適応させ、ロボットアーム^{9、10、11、}外骨格^12、コンピュータ画面¹³上のカーソル(とりわけ)などの外部デバイスを制御する方法を提供します。これらの外部デバイスはすべて、独自のインテリジェンスを持っていないというプロパティを共有しています。代わりに、それらを制御しようとする脳は持っており、脳が直面する問題の一部は、これらのデバイスで生成される動き(例えば、カーソルの動き、ロボットアームの動きなど)の結果を予測する方法を学びながら、運動性リファレンスの形で全体的な感覚運動フィードバックに寄与する他の支持運動を生成することです。多くの場合、これらのインターフェースの包括的な目的は、その脳の背後にある人が怪我や障害をバイパスし、意図的な思考を外部デバイスの意志制御された物理的行為に変容させることでした。しかし、あまり一般的ではないのは、動いている体の動きを操縦しようとするインターフェースの開発でした。

脳と機械のインターフェースに関する元の研究の多くは、目標指向の行動^{9、14、15、16、17}を達成することができる身体部分に対する中枢神経系(CNS)の制御に焦点^を当てています。しかし、自律神経系(ANS)の活動から導き出された信号を使用することは、外部エージェントの信号に影響を与え、操縦するのに十分な有益であり、別のヒトまたはアバターを含む、あるいは人間と相互作用する(図1Cのように)他の状況もある。ロボットアームやカーソルとは異なり、この場合、他のエージェントは、脳によって駆動される知性を有する(人の動きに恵まれたアバターの場合、または他のエージェントの場合、相互作用するヒトダイアドの場合)。

ダイアディック交換を伴う共適応的なクローズループインターフェースの環境を作り出すセットアップは、CNSとPNSの間の橋を物理的に切断していないにもかかわらず、脳が自発的に動いている自分の体を自力で制御できない神経系の障害に介入するのに役立つ可能性がある。これは、脳が継続的に監視し、独自の自己生成バイオリズムを調整するのを助けるためにフィードバックループが中断された可能性がある騒がしい周辺信号のために場合があります。このシナリオは、パーキンソン病^18、19、または運動出力に過剰な騒音を伴う自閉症スペクトラム障害を有する参加者に発生する。実際、どちらの場合も、意図した動き^20、21、22の速度から導き出された戻ってくる運動信号における高レベルのノイズ対信号比を、心臓²³から定量化した。このような場合、外部信号の脳制御を習得しようと、身体の運動を制御しようとする一方で、脳が周辺の連続(efferent)運動流から受け取る情報の再参入(再アフェレント)ストリームからの自己反応信号を生じる可能性がある。実際、このような自己生成型運動流に存在する瞬間的な変動は、意図的な行動²⁴の感覚的結果の予測を助けるために有用な重要な情報を含む。このフィードバックがノイズによって破壊されると、制御信号を予測的に更新し、意図的な計画を物理的な行為で橋渡しすることが困難になります。

このようなフィードバックループを別のエージェントに拡張し、第三者(図1C)を通じて人とエージェントのやり取りを制御する場合(図1C)、お互いのパフォーマンスをほぼリアルタイムで操縦する機会があるかもしれません。これは、精神的意図からの身体的意志の不十分な実現をもたらす神経系の障害を治療するために、共適応的な脳体または脳機械インターフェースの概念を拡張する必要があるという概念の証明を私たちに提供します。

意図的な行動は、コンテキストに依存し、高い確実性^25、26を持つ精神的意図のレベルの推論を可能にする運動確率的署名によって正確に特徴付けられる結果^を有する。したがって、脳機械や脳コンピュータインターフェースに対する以前の人中心のアプローチに対するダイアディック交換を活用する新しい方法の利点は、異なるレベルの意図の下で、主に人の意識の下に起こる身体および心臓のバイオリズムを含むように制御信号を増強できることである。このようにして、脳カーソル制御¹⁷を適応させる過程で意識的制御が呼び起こされがちな反応的干渉を抑える。アクセスできるさまざまなシグナルをパラメータ化することで、予測プロセスに確実性を加えることができます。これらの線に沿って、前の仕事は^{、27、28、29}の脳と身体信号を使用して存在します。しかし、脳と身体の信号によって捕捉されたダイアディック相互作用を含む作業は依然として乏しい。さらに、現存する文献は、意図的なもの^30,31の結果として自発的に起こる完全な認識と過渡的な動きの下で行われる行動の意図的なセグメントとの区別をまだ明確にしていない。ここでは、ダイアディック交換の文脈でその区別を行い、ダンス空間で振り付け(意図的)と即興(自発的な)動きの例を提供しながら、この二分法³²を研究する新しい方法を提供します。

官能運動の統合および変換プロセス³³における伝達および伝達遅延のために、そのような予測コードを整備し、今後の感覚入力を確実に予測することを学ぶ必要がある。そのためには、連続的に更新する運動性リーファフェレントストリームの信号から導き出されるノイズ対信号比の進化を特徴付けることができることが重要です。その後、モータ変動の変化を体系的に測定するためのプロトコルが必要です。変動性は、発信運動流³⁴の瞬間的な変動に本質的に存在する。これらの信号は非定常であり、文脈変動^35、36に敏感であるため^、タスクのコンテキストの変更によって生じる変化をパラメータ化することが可能である。意識的なCNS制御から出てくる反応性信号からの干渉を最小限に抑え、PNSモータストリームの定量的な変化を呼び起こすために、人の自己認識の下で大きく変化している周辺信号を募集することによって、感覚フィードバックを間接的に変化させるプロキシクローズループインターフェースをここに導入します。次に、確率的解析を使用して、両方のエージェントでプロキシクローズループインターフェイスが間接的に呼び起こすプロセスを視覚化することで、感覚操作にかかる変化を体系的に測定する方法を示します。

プロキシクローズループコントローラの導入
周辺信号に存在する感覚運動変動は、学習、適応および一般化が異なる文脈³⁷にわたって行われながら神経系の性能を導く豊富な情報源を構成する。これらの信号は、アクションを制御しようとするCNSの副産物として部分的に現れますが、コントローラの直接的な目標ではありません。人が自然に他の人と対話するように、周辺信号を利用し、標準化し、再パラメータ化することができます。つまり、そのバリエーションは、運動性の再評価としてシステムに連続的に再入するエフェレントモーターストリームを変更するので、パラメータ化され、体系的にシフトすることができます。このような設定では、確率的なシフトを視覚化し、より伝統的な技術が実行するグランド平均の種類に失われるリッチな信号を高精度にキャプチャすることができます。

新しい統計プラットフォームの下で変化の特徴付けを達成するために、ここでは、外部感覚入力(聴覚および視覚)と内部自己生成モーター信号の統合を可能にするプロトコル、標準化されたデータ型および分析を導入し、その人は自然に他の人と相互作用し、またはアバターバージョンの人と交流します。この意味で、我々は(外部デバイスまたはメディアを直接制御するためにCNS信号を変更するのではなく)周辺信号の制御を目指しているので、このプロキシのクローズループインタフェースを作る(図2)。PNSの確率的信号の変化がCNSに影響を与えるため、その変化を特徴付けることを目指しています。

図2:接近ループマルチモーダルインタフェースを用いたダイアディック相互作用のプロキシ制御(A)コンピュータ共適応インタフェースを介した2人のダンサー(ダンスサルサ)の間接的制御と、末梢神経系信号を利用して制御されるインタラクティブな人工人アバターダイアド(B)を、音や視覚入力として再パラメータ化する。(C)バイオリズム信号の瞬間変動に由来する新しい標準化されたデータ型(マイクロムーブメントスパイク、MMS)を用いたソニフィケーションの概念は、振動に変換され、次に音に変換される。物理学から、音波を測定可能な振動として出力する音叉によって生じる圧縮と希薄化の概念を借りています。音響化のためのスパイク濃度に平行して時間の経過とともに変調された圧力として表される音波の概略図。MMSから振動およびソニア化に提案されたパイプラインを受ける物理信号の例。私たちは、インターフェイスへの入力として心拍数信号を使用します。これは、動きの4秒ごとに動きの発症に合わせて信号の振幅の変動を取り、振動を表すMMS列車を構築します。MMSからのスパイク列車は[0,1]から標準化されています。カラーバーに従ってスパイクの色は、信号の強度を表す。その後、マックスを使用してこれらの振動をソネリ化します。このソニファイド信号は、Aで再生したり、アバターとの相互作用をBで変更するために使用できます。また、Bでは、環境内に音を埋め込み、身体位置を使用して対象領域(RoI)で音を再生したり、RoIに固定された身体部分の速度または加速を、RoIを通すときに、RoIまでの距離の関数としてオーディオ機能を調節することが可能である。この図の大きなバージョンを表示するには、ここをクリックしてください。

PNS信号は、自律神経から自主的な³²に至るまで、神経系の異なる機能層からのマルチモーダルエフェレントストリームを共同登録するウェアラブルセンシング技術で非侵襲的に利用することができる。その後、このようなストリームの変化をほぼリアルタイムで測定し、その変化が信号対雑音比を高めるものを選択することができます。この運動信号は、他の形態の感覚ガイダンス(例えば、聴覚、視覚など)で増強することができる。PNS信号は完全な認識をスケープするので、彼らは多くの抵抗 ³⁸なしで操作することが容易です。したがって、私たちは、人間のシステムにストレスが少ないかもしれない方法で人のパフォーマンスを操縦するためにそれらを使用しています。

インターフェイスの構築
近接ループ共適応型マルチモーダルインタフェースによって仲介されるプロキシコントロールの設計を提示する。このインターフェイスは、リアルタイムの多感覚フィードバックを導きます。 図 3 は 、一般的な設計を示しています。

クローズ・ループ・インターフェースは、5 つの主要ステップによって特徴付けられています。第1ステップは、複数のウェアラブル機器からのマルチモーダルデータ収集です。2 番目の手順は、MoBI グループ³⁹によって開発された LabStreamingLayer (LSL、https://github.com/sccn/labstreaminglayer) のプラットフォームを介したマルチモーダル ストリームの同期です。第3のステップは、信号を統合し、リアルタイムで生理学的特徴(我々の実験的なセットアップに関連する)を経験的にパラメトリゼするために、Python、MATLABまたは他のプログラミング言語インタフェースへのLSLデータ構造のストリーミングです。第4のステップは、研究された身体信号の連続的な流れから抽出された選択された特徴を再パラメータ化し、選択した感覚的モダリティ(例えば、視覚、聴覚、運動麻酔など)を使用して、音や視覚の形でそれを再生し、人の神経系に問題のある感覚モダルリティを増強、代替または増強することです。最後に、第5のステップは、システムによって生成された信号の確率的シグネチャをリアルタイムで再評価し、差し迫った作用の感覚結果の予測において、身体変動の確率的変化を高い確実性(ノイズ最小化)のレジームに持ち込む感覚的なモダリティを選択することです。 このループは、実験の全期間を通して連続的に再生され、その後の解析のフルパフォーマンスを保存します(図3の図の図に示すように、後処理解析の例については40、41、42、44、45、46、47を参照)。

図3:マルチモーダル周辺駆動のクローズループインタフェース概念のアーキテクチャ 運動学的データ、心臓および脳活動(ステップ1)は、様々な身体信号を収集する。LSL は、さまざまな機器からインターフェイスにデータを同期的に登録し、ストリームするために使用されます (手順 2)。Python/MATLAB/C#コードは、標準化されたデータ型と共通のスケールを使用して信号の変動を継続的にパラメータ化するために使用され、システムの不確実性を減衰するのに最も適した感覚ガイダンスのソースを選択することができます(ステップ3)。選択されたチャネルを介した信号伝送のこのリアルタイムの強化は、連続的なモータストリームに統合し、失われたまたは破損した入力ストリームを強化するために、再参入官能の知覚信号の再パラメータ化を可能にします(感覚置換ステップ4)。継続的な再評価はループを閉じ(ステップ5)、追加の将来の分析のためにすべてのデータを保存します。この図の大きなバージョンを表示するには、ここをクリックしてください。

以下のセクションでは、クローズループインタフェースを構築する方法の一般的なプロトコルを示し ( 図 3を参照)、2 人のダンサー(実際のクローズループシステム)と人とアバター(人工クローズループシステム)間の物理的なダイアディック相互作用を含む2つの実験的なインタフェース(補足的な材料で詳細に提示)の代表的な結果を説明します。