التحكم الوكيل في الوقت الحقيقي للإشارات الطرفية ذات المعلمات باستخدام واجهة الحلقة القريبة
Summary
نقدم بروتوكولات وطرق التحليلات لبناء واجهات متكيفة تقوم بتدفق إشارات جسم الإنسان والقلب ووضع معلمات لها وتحليلها وتعديلها في حلقة قريبة. هذا الإعداد واجهات إشارات مستمدة من الجهاز العصبي الطرفية والمركزية للشخص مع المدخلات الحسية الخارجية للمساعدة في تتبع التغير الحيوي.
Abstract
تهدف المجالات التي تطور أساليب الاستبدال الحسي والزيادة الحسية إلى التحكم في الأهداف الخارجية باستخدام إشارات من الجهاز العصبي المركزي (CNS). ومع ذلك، أقل تواترا، هي البروتوكولات التي تحديث الإشارات الخارجية الذاتي ولدت من قبل الهيئات التفاعلية في الحركة. هناك ندرة في الأساليب التي تجمع بين الإيقاعات الحيوية بين الجسم والقلب والدماغ من عامل واحد متحرك لتوجيه تلك التي من عامل آخر يتحرك خلال تبادل dyadic. وكان جزء من التحدي الذي يواجه إنجاز هذا الإنجاز هو تعقيد الإعداد باستخدام إشارات بيولوجية متعددة الوسائط مع وحدات فيزيائية مختلفة، وجداول زمنية متباينة وترددات أخذ عينات متغيرة.
في السنوات الأخيرة ، وظهور أجهزة الاستشعار الحيوية التي يمكن ارتداؤها التي يمكن تسخير إشارات متعددة غير الغازية جنبا إلى جنب ، وفتح إمكانية لإعادة تحديد المعلمات وتحديث الإشارات الطرفية من dyads التفاعل ، بالإضافة إلى تحسين الدماغ و / أو واجهات الجسم والآلة. هنا نقدم واجهة التكيف المشترك الذي يقوم بتحديث الإخراج الجسدي الحركي الفوارة (بما في ذلك الحركية ومعدل ضربات القلب) باستخدام أجهزة الاستشعار الحيوية. معلمات الإشارات الحيوية العشوائية، سونوسيفيس هذا الإخراج، ويغذي مرة أخرى في شكل إعادة معلمات كما visuo / الصوت الحركية reafferent المدخلات. نحن نوضح الطرق باستخدام نوعين من التفاعلات ، واحدة تشمل اثنين من البشر وأخرى تنطوي على الإنسان والرمزية التفاعل في الوقت الحقيقي تقريبا. نناقش الأساليب الجديدة في سياق الطرق الجديدة الممكنة لقياس تأثيرات المدخلات الخارجية على التحكم الداخلي الجسدي الحسي الحركي.
Introduction
وحدة التحكم الحلقة القريبة الطبيعية
تتدفق المعلومات الحسية الحركية باستمرار بين الدماغ والجسم لإنتاج سلوكيات منسقة ومنظمة تنظيما جيدا. يمكن دراسة مثل هذه السلوكيات مع التركيز على تصرفات الشخص وحده ، كما هو الحال في أسلوب المونولوج(الشكل 1A)، أو أثناء الإجراءات الديناميكية المعقدة المشتركة بين اثنين من الوكلاء في dyad ، كما هو الحال في أسلوب الحوار(الشكل 1B). ومع ذلك ، فإن الخيار الثالث هو تقييم هذه التفاعلات المعقدة من خلال وحدة تحكم وكيل ، في سياق واجهة حلقة قريبة بين الإنسان والكمبيوتر(الشكل 1C). يمكن لمثل هذه الواجهة تتبع تقلبات الحركات لحظة بلحظة التي يساهم بها كل وكيل في الدياد ، ونوع التماسك الذي يخرج ذاتيا من تفاعلاته المتزامنة ، مما يساعد على توجيه إيقاعات الدياد بطرق مرغوبة.
الشكل 1: أشكال مختلفة من السيطرة. (أ) تعتمد الواجهات الذاتية التي يسيطر عليها الدماغ على العلاقات الوثيقة الحلقة بين دماغ الشخص وجسم الشخص نفسه ، والتي يمكن أن تنظم نفسها وتتفاعل ذاتيا بأسلوب “مونولوج”. يحاول هذا الوضع التحكم في الحركات ذاتية المنشأ، أو قد يهدف أيضا إلى التحكم في الأجهزة الخارجية. (ب)يتم إدخال “الحوار” التحكم نمط لاثنين من الراقصين التي تتفاعل مع بعضها البعض ومن خلال entrainment المادية وأخذ بدوره لتحقيق السيطرة على حركات بعضهم البعض. (ج)“طرف ثالث” الحوار السيطرة على dyad كما هو مقدم بوساطة واجهة الكمبيوتر التي تسخر جنبا إلى جنب مع الإشارات الحيوية من كل من الراقصين ، parameterizes ذلك ويغذي مرة أخرى إلى الراقصين في شكل إعادة المعلمات باستخدام الصوت و / أو الرؤية كأشكال من التوجيه الحسي. تم تحقيق إعادة تحديد المعلمات في الأمثلة المعروضة هنا باستخدام ردود الفعل السمعية أو البصرية ، معززة بالإخراج الحركي الحركي في الوقت الحقيقي لأحد الراقصين للتأثير على الآخر ؛ أو من كلا الراقصين ، يتناوبون في بعض نمط بالتناوب. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
والهدف العام لهذه الطريقة هو إظهار أنه من الممكن تسخير، وتجسيد وإعادة تحديد المعلمات التقلبات لحظة بلحظة في الأنشطة الإيقاعات الحيوية للأجسام في الحركة، واثنين من وكلاء الانخراط في تبادل ثنائي الأبعاد التي قد تنطوي على اثنين من البشر، أو الإنسان والرمزية له / لها الذاتي تتحرك.
وقد ولدت التحقيقات حول كيفية الدماغ قد السيطرة على الإجراءات والتنبؤ عواقبها الحسية العديد من خطوط الاستفسارات النظرية في الماضي1،2،3 وأنتجت نماذج مختلفة من السيطرة العصبيةالحركية 4،5،6،7،8. وقد انطوى أحد خطوط البحث في هذا المجال المتعدد التخصصات على تطوير واجهات بين الدماغ والآلة أو الدماغ والكمبيوتر. هذه الأنواع من الاجهزة تقدم سبلا لتسخير وتكييف إشارات الجهاز العصبي المركزي للسيطرة على جهاز خارجي، مثل الذراع الروبوتية9،10،11،هيكل خارجي12،المؤشر على شاشة الكمبيوتر13 (من بين أمور أخرى). تشترك كل هذه الأجهزة الخارجية في الخاصية التي ليس لديها ذكاء خاص بها. بدلا من ذلك ، فإن الدماغ الذي يحاول السيطرة عليها لديه ، وجزء من المشكلة التي يواجهها الدماغ هو تعلم كيفية التنبؤ بعواقب الحركات التي يولدها في هذه الأجهزة (على سبيل المثال ، حركات المؤشر ، وحركات الذراع الروبوتية ، وما إلى ذلك) مع توليد حركات داعمة أخرى تساهم في ردود الفعل الحركية الحسية الشاملة في شكل إعادة الاتساق الحركي. في كثير من الأحيان ، كان الهدف الشامل لهذه الواجهات هو مساعدة الشخص الذي يقف وراء ذلك الدماغ على تجاوز إصابة أو اضطراب ، لاستعادة تحويل أفكاره المتعمدة إلى أفعال جسدية يتم التحكم فيها بإرادة الجهاز الخارجي. ومع ذلك كان أقل شيوعا تطوير واجهات التي تحاول توجيه تحركات الهيئات في الحركة.
الكثير من البحوث الأصلية على واجهات الدماغ والآلة التركيز على السيطرة على الجهاز العصبي المركزي (CNS) على أجزاء الجسم التي يمكن أن تنجز الإجراءات الموجهة نحو الهدف9،14،15،16،17. ومع ذلك، هناك حالات أخرى يكون فيها استخدام الإشارات المستمدة من أنشطة الجهاز العصبي المحيطي (PNS)، بما في ذلك أنشطة الجهاز العصبي اللاإرادي (ANS)، مفيدا بما يكفي للتأثير على إشارات العوامل الخارجية وتوجيهها، بما في ذلك الإنسان أو الصورة الرمزية الأخرى، أو حتى البشر المتفاعلين (كما هو الحال في الشكل 1C). على عكس الذراع الروبوتية أو المؤشر ، فإن العميل الآخر في هذه الحالة ، لديه ذكاء يقوده دماغ (في حالة الصورة الرمزية التي وهبت بحركات الشخص ، أو عميل آخر ، في حالة وجود ثني بشري متفاعل).
الإعداد الذي يخلق بيئة من التفاعل بين حلقة قريبة التكيف المشترك مع تبادل dyadic قد تكون ذات فائدة للتدخل في اضطرابات الجهاز العصبي حيث الدماغ لا يمكن السيطرة بإرادة الجسم نفسه في الحركة في الإرادة، على الرغم من عدم وجود قطع جسديا الجسر بين الجهاز العصبي المركزي وPNS. قد يكون هذا هو الحال بسبب الإشارات الطرفية الصاخبة حيث حلقات التغذية المرتدة لمساعدة الدماغ رصد مستمر وضبط الإيقاعات الحيوية الذاتية المولدة الخاصة بها قد تعطلت. هذا السيناريو ينشأ في المرضى الذين يعانون من مرض باركنسون18,19, أو في المشاركين الذين يعانون من اضطرابات طيف التوحد مع الضوضاء الزائدة في إخراجها الحركي. في الواقع، في كلتا الحالتين، قمنا بقياس مستويات عالية من نسبة الضوضاء إلى الإشارة في الإشارات الحركية العائدة المستمدة من سرعة حركاتها المقصودة20و21و22 ومن القلب23. في مثل هذه الحالات، قد تؤدي محاولة السيطرة على الدماغ للإشارات الخارجية، مع محاولة التحكم في الجسم في الحركة، إلى إشارة ذاتية التفاعل من تيار المعلومات (إعادة الارتجاف) الذي يتلقى الدماغ من تيار المحرك المستمر (الفوار) في المحيط. في الواقع ، فإن التقلبات لحظة بلحظة موجودة في مثل هذا التيار الحركي الفوار الذاتي المولدة تحتوي على معلومات مهمة مفيدة للمساعدة في التنبؤ بالعواقب الحسية للإجراءات الهادفة24. عندما تلف هذه التغذية المرتدة من الضوضاء، يصبح من الصعب تحديث إشارات التحكم بشكل متوقع وجسر الخطط المتعمدة مع الأفعال المادية.
إذا كان لنا أن تمديد هذه التغذية المرتدة حلقة إلى وكيل آخر والسيطرة على تفاعلات الشخص والوكيل من خلال طرف ثالث (الشكل 1C)، قد يكون لدينا فرصة لتوجيه أداء بعضها البعض في الوقت الحقيقي القريب. وهذا من شأنه أن يوفر لنا دليلا على المفهوم بأننا سنحتاج إلى توسيع مفهوم الواجهات بين الدماغ والجسم أو الدماغ والآلة التكيفية المشتركة لعلاج اضطرابات الجهاز العصبي التي تؤدي إلى ضعف إدراك الإرادة البدنية من النية العقلية.
الإجراءات الهادفة لها عواقب، والتي تتميز بدقة من قبل التوقيعات العشوائية الحركية التي تعتمد على السياق وتمكين الاستدلال على مستويات النية العقلية مع اليقين العالي25،26. وبالتالي ، فإن ميزة الطريقة الجديدة التي تستفيد من التبادل الديادي على النهج السابقة التي تركز على الشخص لآلة الدماغ أو واجهات الكمبيوتر في الدماغ ، هي أنه يمكننا زيادة إشارات التحكم لتشمل الإيقاعات الحيوية الجسدية والقلبية التي تمر إلى حد كبير تحت وعي الشخص ، تحت مستويات مختلفة من النية. وبهذه الطريقة، ونحن تخفيف التدخل التفاعلي أن السيطرة واعية يميل إلى استحضار في عملية التكيف مع الدماغ المؤشر السيطرة17. ويمكننا أن نضيف المزيد من اليقين إلى العملية التنبؤية من خلال تحديد المعلمات المختلفة للإشارات التي يمكننا الوصول إليها. على هذا المنوال، يوجد العمل السابق باستخدام إشارات الدماغ والذات في جنبا إلى جنب27،28،29؛ ولكن العمل الذي ينطوي على التفاعلات dyadic التي استولت عليها إشارات الدماغ الجسم لا تزال نادرة. علاوة على ذلك ، فإن الأدب موجود لم يحدد بعد التمييز بين الأجزاء المتعمدة من العمل الذي يتم تنفيذه تحت الوعي الكامل والحركات الانتقالية التي تحدث تلقائيا نتيجة للحركات المتعمدة30،31. هنا نقوم بهذا التمييز في سياق التبادل الديادي ، ونقدم طرقا جديدة لدراسة هذا الانقسام32، مع تقديم أمثلة على حركات مصممة رقصات (متعمدة) مقابل حركات مرتجلة (عفوية) في مساحة الرقص.
بسبب تأخير النقل والنقل في التكامل الحسي الحركي وعمليات التحول33، فمن الضروري أن يكون مثل هذا الرمز التنبؤي في مكان ، لتعلم توقع المدخلات الحسية القادمة مع اليقين العالي. وتحقيقا لتلك هذا الأمر، من المهم أن نكون قادرين على توصيف تطور نسبة الضوضاء إلى الإشارة المستمدة من الإشارات في تيار إعادة الالتواء الحركي الذي يجري تحديثه باستمرار. ثم نحتاج إلى بروتوكولات لقياس التغير في التغير الحركي بشكل منهجي. التباين موجود بطبيعته في التقلبات لحظة بلحظة من تيار المحرك فويرنت المنتهية ولايته34. وبما أن هذه الإشارات غير ثابتة وحساسة للاختلافات السياقية35،36، فمن الممكن تحديد التغيرات التي تحدث مع تعديلات في سياق المهام. لتقليل التداخل من الإشارات التفاعلية التي تنشأ من التحكم في CNS الواعي ، واستحضار تغييرات قابلة للقياس الكمي في تيار PNS الحركي الفوار ، نقدم هنا واجهة حلقة قريبة بالوكالة تغير بشكل غير مباشر ردود الفعل الحسية ، من خلال تجنيد الإشارة الطرفية التي تتغير إلى حد كبير تحت الوعي الذاتي للشخص. ثم نعرض طرقا لقياس التغيير الذي يترتب على التلاعب الحسي بشكل منهجي ، باستخدام التحليلات العشوائية القابلة لتصور العملية التي تثيرها واجهة الحلقة القريبة الوكيلة بشكل غير مباشر في كلا العميلين.
تقديم وحدة تحكم حلقة إغلاق الوكيل
التغيرات الحسية الحركية الموجودة في الإشارات الطرفية تشكل مصدرا غنيا للمعلومات لتوجيه أداء الجهاز العصبي في حين التعلم والتكيف والتعميم تجري عبر سياقات مختلفة37. تظهر هذه الإشارات جزئيا كمنتج ثانوي ل CNS في محاولة للتحكم في الإجراءات بمحض إرادتها ولكنها ليست الهدف المباشر لوحدة التحكم. وبما أن الشخص يتفاعل بشكل طبيعي مع الآخرين، يمكن تسخير الإشارات الطرفية وتوحيدها وإعادة تحديد معلماتها؛ وهذا يعني أن الاختلافات يمكن أن تكون ذات معلمات وتحول بشكل منهجي، كما يغير المرء تيار المحرك فوير الذي يدخل باستمرار النظام كما reafference الحركية. في مثل هذه الإعدادات، يمكننا تصور التحولات العشوائية، والتقاط بدقة عالية إشارة غنية التي فقدت خلاف ذلك لأنواع من المتوسط الكبير أن التقنيات التقليدية أكثر أداء.
لتحقيق توصيف التغيير في إطار النظام الأساسي الإحصائي الجديد ، نقدم هنا بروتوكولات وأنواع بيانات موحدة وتحليلات تسمح بدمج المدخلات الحسية الخارجية (السمعية والبصرية) مع الإشارات الحركية ذاتية الإنشاء داخليا ، في حين يتفاعل الشخص بشكل طبيعي مع شخص آخر ، أو مع نسخة رمزية من الشخص. في هذا المعنى، لأننا نهدف إلى السيطرة على الإشارات الطرفية (بدلا من تعديل إشارات CNS للتحكم مباشرة في الجهاز الخارجي أو وسائل الإعلام)، ونحن عملة هذا الوكيل واجهة حلقة قريبة(الشكل 2). ونحن نهدف إلى وصف التغيرات في الإشارات العشوائية ل PNS، لأنها تؤثر على تلك الموجودة في الجهاز العصبي المركزي.
الشكل 2: التحكم بالوكالة من التفاعل dyadic باستخدام حلقة وثيقة واجهة متعددة مشروط. (أ) السيطرة غير المباشرة على اثنين من الراقصين (الرقص السالسا) عن طريق واجهة الكمبيوتر التكيفية المشتركة مقابل (ب) ثنائي الأبعاد الاصطناعية التفاعلية شخص الرمزية التي تسيطر عليها تسخير إشارات الجهاز العصبي المحيطي وإعادة المعلمة على أنها أصوات و / أو كمدخلات بصرية. (ج)مفهوم السونيشن باستخدام نوع بيانات موحد جديد (طفرات الحركة الصغرى، MMS) المستمدة من التقلبات لحظة بلحظة في سعة الإشارات البهائية الحيوية / توقيت تحويلها إلى اهتزازات ومن ثم إلى الصوت. من الفيزياء ، ونحن نستعير مفاهيم الضغط والنادرة التي تنتجها شوكة ضبط إخراج soundwave والاهتزازات قابلة للقياس. مخططات الموجات الصوتية ممثلة بالضغط المعدل مع مرور الوقت بالتوازي مع تركيزات الارتفاع للتسونية. مثال على إشارة مادية للخضوع لخط الأنابيب المقترح من MMS إلى الاهتزازات والسوناتة. نحن نستخدم إشارة معدل ضربات القلب كمدخل إلى الواجهة. وهذا يأخذ التقلبات في اتساع الإشارة محاذاة لبداية الحركة كل 4 ثوان من الحركة ويبني القطارات MMS تمثل الاهتزازات. يتم توحيد القطارات ارتفاع من MMS من [0,1]. لون المسامير وفقا لشريط الألوان، يمثل كثافة الإشارة. ثم نقوم بتجسيد هذه الاهتزازات باستخدام Max. يمكن استخدام هذه الإشارة sonified للعب مرة أخرى في A، أو لتغيير في B التفاعلات مع الصورة الرمزية. علاوة على ذلك ، في B ، من الممكن تضمين الصوت في البيئة واستخدام موضع الجسم لتشغيل الصوت مرة أخرى في منطقة الاهتمام (RoI) ، أو تعديل ميزات الصوت كدالة للمسافة إلى RoI أو سرعة أو تسريع جزء من الجسم يرتكز على جزء آخر من الجسم ، عند المرور من قبل RoI. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
يمكن تسخير إشارات PNS غير الغازية مع تقنيات الاستشعار التي يمكن ارتداؤها التي تشارك في تسجيل تيارات متعددة الوسائط من طبقات وظيفية مختلفة من الجهاز العصبي ، بدءا من اللاإرادي إلىالطوعي 32. يمكننا بعد ذلك قياس التغيرات في مثل هذه الجداول في الوقت الحقيقي تقريبا واختيار أولئك الذين تعزز تغييراتهم نسبة الإشارة إلى الضوضاء. ويمكن بعد ذلك زيادة هذه الإشارة الحركية الفوارة بأشكال أخرى من التوجيه الحسي (على سبيل المثال، السمعية والبصرية، وما إلى ذلك) لأن إشارات PNS سكيب الوعي الكامل، فهي أسهل للتلاعب دون مقاومة كبيرة 38. على هذا النحو، ونحن نستخدمها للمساعدة في توجيه أداء الشخص بطرق قد تكون أقل إرهاقا للنظام البشري.
بناء واجهة
نقدم تصميم التحكم الوكيل بوساطة واجهة متعددة الوسائط متعددة الوسائط متعددة التكيف. هذه الواجهة توجه ردود الفعل متعددة الآراء في الوقت الحقيقي. يعرض الشكل 3 التصميم العام.
تتميز واجهة الحلقة القريبة ب 5 خطوات رئيسية. الخطوة الأولى هي جمع البيانات متعددة الوسائط من أدوات متعددة يمكن ارتداؤها. الخطوة الثانية هي تزامن تيارات متعددة الوسائط من خلال النظام الأساسي LabStreamingLayer (LSL، https://github.com/sccn/labstreaminglayer) التي وضعتها مجموعة MoBI 39. الخطوة الثالثة هي تدفق بنية بيانات LSL إلى Python أو MATLAB أو واجهة لغة برمجة أخرى لدمج الإشارات وتجريب الميزات الفسيولوجية (ذات الصلة بإعدادنا التجريبي) في الوقت الفعلي. الخطوة الرابعة هي إعادة تحديد المعالم المختارة المستخرجة من التدفق المستمر للإشارة الجسدية التي تمت دراستها وزدها باستخدام طريقة اختيار حسية (على سبيل المثال ، البصرية والسمعية والحركية ، وما إلى ذلك) لتشغيلها مرة أخرى في شكل أصوات أو صور ، لزيادة أو استبدال أو تعزيز الطريقة الحسية التي تمثل مشكلة في الجهاز العصبي للشخص. وأخيرا، فإن الخطوة الخامسة هي إعادة تقييم التوقيعات العشوائية للإشارات التي يولدها النظام في الوقت الحقيقي، لتحديد الطريقة الحسية التي تجلب التحولات العشوائية للتقلبات الجسدية إلى نظام من اليقين العالي (تقليل الضوضاء) في التنبؤ بالعواقب الحسية للعمل الوشيك. يتم تشغيل هذه الحلقة بشكل مستمر طوال مدة التجربة مع التركيز على الإشارة المختارة ، مع تخزين الأداء الكامل للتحليلات اللاحقة (كما هو موضح في مخططات الشكل 3 وانظر40،41،42،43،44،45،46،47 كمثال على التحليلات الخلفية).
الشكل 3: بنية مفهوم واجهة الحلقة القريبة متعددة الوسائط. يتم جمع إشارات جسدية مختلفة – البيانات الحركية، ونشاط القلب والدماغ (الخطوة 1). يستخدم LSL لتسجيل البيانات الواردة من معدات مختلفة إلى الواجهة (الخطوة 2) بشكل متزامن. يستخدم بيثون/ماتلاب/C# رمز لتحديد التقلبات في الإشارات باستمرار باستخدام نوع بيانات موحد ومقياس مشترك يمكن من اختيار مصدر التوجيه الحسي الأكثر ملاءمة للحد من عدم اليقين في النظام (الخطوة 3). هذا التعزيز في الوقت الحقيقي من إرسال إشارة من خلال قناة (ق) مختارة ثم يسمح إعادة تحديد المعلمة للإشارة الحسية إعادة الداخل لدمج في تيار المحرك المستمر وتعزيز تيار المدخلات المفقودة أو التالفة (استبدال الحسية الخطوة 4). إعادة التقييم المستمر يغلق الحلقة (الخطوة 5) ونحفظ جميع البيانات للتحليلات المستقبلية الإضافية. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.
تعرض الأقسام التالية البروتوكول العام لكيفية بناء واجهة حلقية قريبة (كما هو موضح في الشكل 3)وتصف النتائج التمثيلية لواجهات تجريبية اثنين (معروضة بشكل متقن في المواد التكميلية) تتضمن التفاعل ثنائي الحلقة المادي بين راقصين (نظام حلقة قريبة حقيقي) والتفاعل ثنائي الحلقة الظاهري بين الشخص والرمزية (نظام الحلقة القريبة الاصطناعية).
Protocol
Representative Results
Discussion
تقدم هذه الورقة مفهوم التحكم بالوكالة عبر واجهات تفاعلية متعددة الوسائط ، تفاعلية ، متكيفة ، تعمل على تسخير الإشارة الطرفية للشخص ووضع معلمات عليها وإعادة تحديد معلماتها في سياق التبادل الديادي. لقد استهدفنا وصف التحولات العشوائية في تقلبات الإيقاعات الحيوية للشخص ووضع معلمات للتغيير. كما أننا استهدفنا توجيه التوقيعات العشوائية لإيقاعاتها الحيوية بشكل منهجي نحو مستويات مستهدفة من أنظمة الضوضاء إلى الإشارة في الوقت الحقيقي تقريبا.
قدمنا بروتوكولا عاما لبناء واجهة حلقية قريبة تلبي 5 عناصر أساسية: 1) جمع بيانات جسدية متعددة قادمة من CNS وPNS و ANS باستخدام أدوات وتقنيات مختلفة؛ 2) جمع البيانات الجسدية المتعددة من CNS وPNS و ANS باستخدام أدوات وتقنيات مختلفة؛ 2) 2) تسجيل وبث البيانات المتزامنة؛ 3) تحليل الوقت الحقيقي للإشارات المختارة؛ 4) إنشاء زيادة الحسية (الصوت والبصرية، وما إلى ذلك) باستخدام الميزات الفسيولوجية المستخرجة للإشارات الجسدية؛ و 5) التتبع المستمر للنظام البشري و زيادة الحسية المتوازية يغلق حلقة التفاعل بين الإنسان و النظام.
تم تطبيق البروتوكول العام على واجهتين مثال. الأول يحقق في التبادل الديادي بين عميلين بشريين والثاني بين عميل بشري وعميل رمزي. تم استخدام نوعين من dyads لتوفير دليل على مفهوم أن الإشارة الطرفية يمكن تغييرها بشكل منهجي في الوقت الحقيقي وأنه يمكن تتبع هذه التغييرات العشوائية بدقة. ويتكون أحد الدياد من مشاركين يتفاعلان جسديا، بينما كان الآخر ينطوي على مشارك يتفاعل مع وكيل افتراضي في شكل صورة رمزية ثلاثية الأبعاد تمنح بحركات الشخص وبتغيرات متغيرة من هذه الحركات في الوقت الحقيقي. وقد أثارت هذه التعديلات التلاعبات التفاعلية التي تحركها المدخلات السمعية و / أو البصرية الحسية في إطار من الأحاسيس المعززة. في كل من dyad الحقيقي و dyad الاصطناعية ، أظهرنا جدوى تحويل الإشارات الطرفية عن بعد ، بما في ذلك الإيقاعات الحيوية الجسدية والإشارات اللاإرادية من ضربات القلب.
قدمنا بروتوكولات تجريبية جديدة للتحقيق في مثل هذه التحولات في تقلب المحرك الفوارة حيث يتم التلاعب بتيارات الإشارات الحركية وإعادة تحديد المعلمات في الوقت الحقيقي تقريبا. وقد أثبتت هذه المعلومات التي أعيد دخولها (reafference48الحركي) قيمتها في تغيير أداء الأنظمة في الوقت الحقيقي. أنها تحمل معلومات عن العواقب الحسية للعمل، والتي يمكن تتبعها بدقة باستخدام الأساليب التي قدمناها هنا.
كما أظهرنا أنواع البيانات والأساليب الإحصائية القابلة لتوحيد تحليلاتنا. قدمنا أدوات تصور متعددة لإظهار التغيرات في الوقت الحقيقي في الأنشطة الفسيولوجية التي تتطور بشكل طبيعي في سياقات مختلفة ، مع استنتاج إحصائي موجه تجريبيا يفسح المجال لتفسير إشارات الجهاز العصبي ذاتية التوليد والتحكم الذاتي. والأهم من ذلك أن التغييرات التي أثارها المراقب المالي بالوكالة كانت سلسة ولكنها قابلة للقياس الكمي، مما يدعم الفكرة القائلة بأن النشاط الهامشي مفيد بأكثر من طريقة. في حين يمكننا تنفيذ هذه الأساليب باستخدام أجهزة الاستشعار اللاسلكية القابلة للارتداء المتاحة تجاريا، يمكننا أن نحفز بشكل منهجي تغييرات في الأداء التي يمكن التقاطها في الإيقاعات الفيزيائية الحيوية دون التأكيد على النظام. من المهم ترجمة أساليبنا إلى الساحة السريرية واستخدامها كدمى اختبار لتطوير نماذج تدخل جديدة (على سبيل المثال ، كما هو الحال عند استخدام الواقع المعزز في التوحد 49). في مثل هذه النماذج، سوف نكون قادرين على تتبع وقياس العواقب الحسية للإجراءات الطبيعية للشخص، كما يتم التلاعب بدقة المدخلات الحسية، ويتم المعلمة الإخراج وإعادة المعلمة في الوقت الحقيقي تقريبا.
نحن نقدم هذا البروتوكول كنموذج عام للاستفادة من مختلف الأنشطة الحيوية التي تولدها الأجهزة العصبية البشرية وتسخيرها بشكل غير الغازية مع الأجهزة اللاسلكية القابلة للارتداء. على الرغم من أننا استخدمنا مجموعة من أجهزة الاستشعار الحيوية لتسجيل تخطيط كهربية الدماغ و ECG و kinematics في هذه الورقة ، فإن طرق تسجيل الإشارات ومزامنتها وتحليلها عامة. وبالتالي يمكن للواجهة دمج تقنيات أخرى. وعلاوة على ذلك، يمكن تعديل البروتوكولات لتشمل إجراءات وسياقات طبيعية أخرى تمتد إلى المجال الطبي. ولأننا استهدفنا السلوكيات الطبيعية، يمكن استخدام الإعداد الذي طورناه في البيئات المرحة (على سبيل المثال، إشراك الأطفال والآباء).
يمكن أن تستفيد العديد من اضطرابات الجهاز العصبي من مثل هذه النهج المرحة لمشكلة التحكم. في كلا النوعين من التفاعلات dyadic التي أظهرناها هنا ، يمكن للمشاركين أن يهدفوا إلى التحكم بوعي في الموسيقى ، في حين أن وحدة التحكم الوكيلة تستخدم الإخراج المحيطي للتلاعب دون وعي وتحويل توقيعاتها بشكل منهجي. لأن العلماء قضوا سنوات تجريبية رسم خرائط الطائرة المعلمة غاما ولحظات غاما المقابلة الفضاء عبر مختلف الفئات العمرية (حديثي الولادة إلى 78 سنة من العمر)19،50،51،52،53 والظروف (التوحد ، مرض باركنسون، والسكتة الدماغية، وحالة غيبوبة والصم)، لمستويات مختلفة من السيطرة (الطوعية، التلقائية، عفوية، اللاإرادية والاستقلالية)25،47،54، لديهم معايير قياس تجريبيا تشير إلى أين على مساحات غاما يجب أن تكون التوقيعات العشوائية للسيطرة التنبؤية جيدة. كما أظهرت الأبحاث السابقة أننا نعرف أين المعلمات في وجود ضوضاء عشوائية عفوية قادمة من الإيقاعات ذاتية المولدة للجهاز العصبي البشري7و19و55و56. ضمن مخطط التحسين التقليل من الضوضاء الحركية الإيقاعات الحيوية، يمكننا أن نهدف بالتالي إلى قيادة الإشارات بطريقة تصل إلى المناطق المستهدفة من مساحات غاما حيث شكل وتشتت التوقيعات من عائلة PDF من كل شخص يؤدي إلى إشارة عالية إلى نسبة الضوضاء والقيم التنبؤية. وبهذا المعنى، لا نفقد البيانات الإجمالية بل نستخدمها بفعالية لدفع النظام نحو مستويات مرغوبة من الضوضاء في حالة معينة.
التفاعلات Dyadic موجودة في كل مكان في البيئات السريرية أو التدريب. قد تحدث بين المدرب والمتدرب. الطبيب والمريض؛ المعالج السريري والمريض. وقد تحدث أيضا في بيئات بحثية تنطوي على علوم ترجمة وتشرك الباحث والمشارك. واحدة من مزايا البروتوكولات الحالية هي أنه في حين أنها مصممة ل dyads ، فهي أيضا شخصية. على هذا النحو ، فمن الممكن لتكييف التفاعلات التكيفية المشتركة لأفضل قدرات الشخص والاستعداد ، وفقا لنطاقات الحركة ، ونطاقات أوقات المعالجة الحسية ، وبينما تنظر في نطاقات في اتساع الإشارات عبر التسلسل الهرمي الوظيفي للجهاز العصبي للشخص. ومع ظهور المسار العشوائي وتطوره بمرور الوقت، من الممكن أيضا التأكد من معدلات فرصة التوقيعات واستخدام تلك السلسلة الزمنية للتنبؤ بعدة أحداث وشيكة إلى جانب العواقب الحسية المحتملة.
وأخيرا، يمكن استخدام واجهات الحلقة القريبة حتى في عالم الفن. ويمكن أن توفر للفنانين الأدائيين سبلا جديدة لتوليد أشكال مدفوعة حسابيا من الرقصات الحديثة والرقصات التكنولوجية وأشكال جديدة من التصور وسونيشن التعبير الجسدي. في مثل هذه السياقات ، يمكن تحويل جسم الراقصة إلى أداة حسية لاستكشاف الطرائق الحسية المختلفة بمرونة من خلال السونيشن والتصور للأنشطة البهائية الذاتية المولدة ، كما هو موضح في العمل السابق في هذا المجال40،41،43،46. مثل هذا الأداء يمكن أن يزيد من دور راقصة على خشبة المسرح والسماح للجمهور تجربة إشارات جسدية خفية وراء الحركة المرئية.
تتطلب عدة جوانب من هذه التكنولوجيا المزيد من التطوير والاختبار لتحسين استخدامها في البيئات في الوقت الحقيقي. يتطلب البث المتزامن طاقة وحدة المعالجة المركزية / وحدة معالجة الرسومات عالية السرعة وقدرة الذاكرة لاستغلال فكرة كسب الوقت والخطوة إلى الأمام عند التنبؤ بالعواقب الحسية للأوامر الحركية الجارية. وينبغي أن تكون معدلات أخذ العينات من المعدات قابلة للمقارنة من أجل أن تكون قادرة على محاذاة الإشارات حقا، وإجراء الانصهار الحسي السليم واستكشاف نقل المعلومات من خلال قنوات مختلفة من الجهاز العصبي. هذه هي بعض القيود الموجودة في هذه الواجهة الجديدة.
كل شيء، وهذا العمل يقدم مفهوما جديدا لتحسين السيطرة على نظامنا الجسدي مع استخدام وسائل مموهة التي تسمح مع ذلك لقياسات النتائج الموحدة المنهجية للتغيير العشوائي.
Disclosures
The authors have nothing to disclose.
Acknowledgements
نشكر الطلاب الذين تطوعوا بوقتهم للمساعدة في إجراء هذا البحث. كان أنانت وشركة PhaseSpace لتزويدنا بالصور ومقاطع الفيديو اللازمة لوصف الإعداد؛ والإلكترونيات العصبية للسماح لنا باستخدام المواد من قناة www.youtube.com/c/neuroelectrics/ وأدلة. وأخيرا، نشكر البروفيسور توماس باباثوماس من مركز روتجرز للعلوم المعرفية على الدعم المهني خلال مراحل تقديم هذه المخطوطة، وجائزة نانسي لوري ماركس للتطوير الوظيفي لمؤسسة الأسرة إلى EBT وجائزة مؤسسة جيرونديليس ل VK.
المساهمات
التصور، VK و EBT؛ المنهجية، EBT؛ البرمجيات، VK، EBT، SK.; التحقق من الصحة، VK و SK؛ التحليل الرسمي، VK؛ التحقيق، VK، EBT، SK؛ الموارد، EBT؛ معالجة البيانات، VK؛ الكتابة — إعداد المسودة الأصلية، EBT؛ الكتابة والمراجعة والتحرير، VK، SK.; التصور، VK وEBT.; الإشراف، EBT.; إدارة المشروع، EBT.; تمويل اقتناء ، EBT جميع المؤلفين قد قرأت ووافقت على النسخة المنشورة من المخطوطة.
Materials
| Enobio 32 | Enobio | Hardware for EEG data collection | |
| Enobio ECG Extention | Enobio | Hardware for ECG data collection | |
| LabStreamingLayer (LSL) | Synchronization and streaming of data | ||
| Matlab | Mathwork | Analysis and processing of data | |
| Max | Cycling'74 | Sonification of bodily information | |
| NIC.2 | Enobio | Software for EEG and ECG data collection | |
| PhaseSpace Impulse | PhaseSpace | Hardware for collection of the kinematic data (position, speed, acceleration) | |
| Python3 | Python | Analysis and processing of data | |
| Recap | PhaseSpace | Software for collection of the kinematic data (position, speed, acceleration) |
References
- Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
- Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
- Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
- Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
- Torres, E. B. . Theoretical Framework for the Study of Sensori-motor Integration. , (2001).
- Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
- Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
- Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42 (2003).
- Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
- Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
- Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
- Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
- Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
- Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
- Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
- Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
- Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson’s disease. PLoS One. 8 (7), 66757 (2013).
- Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
- Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
- Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
- Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32 (2013).
- Ryu, J., Vero, J., Torres, E. B. . MOCO ’17: Proceedings of the 4th International Conference on Movement Computing. , 1-8 (2017).
- Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
- Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
- Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
- Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
- Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
- Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
- Casadio, M., et al. . IEEE International Conference on Rehabilitation Robotics. , (2019).
- Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. . 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , (2018).
- Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
- Purves, D. . Neuroscience. Sixth edition. , (2018).
- Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
- Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson’s disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
- Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
- Torres, E. B. . Progress in Motor Control. , 229-254 (2016).
- Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
- Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
- Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
- Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , (2020).
- Kalampratsidou, V. . Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , (2018).
- Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
- Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
- Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
- Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer’s heart. Sixth International Symposium on Movement and Computing. , (2019).
- Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9 (2016).
- Von Holst, E., Mittelstaedt, H., Dodwell, P. C. . Perceptual Processing: Stimulus equivalence and pattern recognition. , 41-72 (1950).
- Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
- Torres, E. B. . Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , (2018).
- Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
- Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
- Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
- Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
- Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
- Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).
