Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface

Vilelmini Kalampratsidou; Steven Kemper; Elizabeth B. Torres

doi:10.3791/61943

JoVE Journal > Behavior

Please note that all translations are automatically generated. Click here for the English version.

行为学

בקרת Proxy בזמן אמת של אותות היקפיים עם פרמטרים מחדש באמצעות ממשק לולאה קרובה

Published: May 08, 2021

doi:

10.3791/61943

Vilelmini Kalampratsidou^1,2, Steven Kemper³, Elizabeth B. Torres^1,2,4,5,6

¹Center for Cognitive Science,Rutgers University, ²Department of Computer Science,Rutgers University, ³Music Department, Mason Gross School of the Arts,Rutgers University, ⁴Psychology Department,Rutgers University, ⁵Sensory Motor Integration Lab,Rutgers University, ⁶Computational Biomedicine Imaging and Modelling Center,Rutgers University

Summary

אנו מציגים פרוטוקולים ושיטות של ניתוחים לבניית ממשקים אדפטיביים משותפים הזורמים, מתפרצים, מנתחים ומשנים אותות גוף ולב אנושיים בלולאה קרובה. התקנה זו ממשקים אותות נגזר ממערכות העצבים ההיקפיות והמרכזיות של האדם עם כניסות חושיות חיצוניות כדי לסייע במעקב אחר שינוי ביופיזי.

Abstract

השדות המפתחים שיטות להחלפה חושית והגדלה חושית נועדו לשלוט במטרות חיצוניות באמצעות אותות ממערכות העצבים המרכזיות (CNS). עם זאת, בתדירות נמוכה יותר, הם פרוטוקולים המעדכנים אותות חיצוניים הנוצרים באופן עצמי על-ידי גופים אינטראקטיביים בתנועה. יש מחסור בשיטות המשלבות את הביוריתמים של הגוף-לב-מוח של סוכן נע אחד כדי לנווט את אלה של סוכן נע אחר במהלך חילופי דיאדי. חלק מהאתגר להשיג הישג כזה היה המורכבות של ההתקנה באמצעות אותות ביולוגיים רב-מודאליים עם יחידות פיזיקליות שונות, סולמות זמן שונים ותדרי דגימה משתנים.

בשנים האחרונות, הופעתם של חיישנים ביולוגיים לבישים שיכולים לרתום באופן לא פולשני אותות מרובים במקביל, פתחה את האפשרות לפרמטרים מחדש ולעדכן את האותות ההיקפיים של דיאדות אינטראקציה, בנוסף לשיפור ממשקי המוח ו/או גוף-מכונה. כאן אנו מציגים ממשק הסתגלותי המעדכן תפוקה סומטית-מוטורית תוססת (כולל קינמטיקה וקצב לב) באמצעות ביוסנסורים; יוצר פרמטרים של אותות ביולוגיים סטוכסטיים, מציין פלט זה ומאכיל אותו בחזרה בצורת פרמטרים מחדש כקלט ויסואו/אודיו-קינסטטי. אנו ממחישים את השיטות באמצעות שני סוגים של אינטראקציות, אחד מעורבים שני בני אדם והשני מעורב אדם האווטאר שלה אינטראקציה בזמן אמת כמעט. אנו דנים בשיטות החדשות בהקשר של דרכים חדשות אפשריות למדוד את ההשפעות של קלט חיצוני על בקרה סומטית-חושית-מוטורית פנימית.

Introduction

בקר לולאה קרובה טבעי
מידע חושי-מוטורי זורם ברציפות בין המוח לגוף כדי לייצר התנהגויות מאורגנות ומתואמות היטב. התנהגויות כאלה ניתן ללמוד תוך התמקדות בפעולותיו של האדם בלבד, כמו בסגנון מונולוג (איור 1A), או במהלך פעולות דינמיות מורכבות המשותפות לשני סוכנים בדיאד, כמו בסגנון דיאלוג (איור 1B). עם זאת, אפשרות שלישית היא להעריך אינטראקציות מורכבות כאלה באמצעות בקר פרוקסי, בהקשר של ממשק לולאה קרובה בין אדם למחשב (איור 1C). ממשק כזה יכול לעקוב אחר התנודות של תנועות רגע אחר רגע שנתרמו על ידי כל סוכן בדיאד, ועל ידי סוג של לכידות כי עצמי עולה מן האינטראקציות הסינכרוניות שלהם, עוזר לנווט את המקצבים של dyad בדרכים רצויות.

איור 1: צורות שונות של שליטה. (A) ממשקים הנשלטים על ידי המוח מסתמכים על יחסי הלולאה הקרובה בין מוחו של האדם לבין גופו של האדם, אשר יכול לווסת את עצמו ולקיים אינטראקציה עצמית בסגנון “מונולוג”. מצב זה מנסה לשלוט בתנועות שנוצרו על-ידי עצמו, או שהוא עשוי גם לשאוף לשלוט בהתקנים חיצוניים. (B)שליטה בסגנון “דיאלוג” מוצגת עבור שני רקדנים המקיימים אינטראקציה זה עם זה ובאמצעות התמזגות פיזית ולוקח תורות כדי להשיג שליטה על תנועותיו של זה. (ג)בקרת דיאלוג “צד שלישי” של הדיאד מוצגת כמתווכת על ידי ממשק מחשב אשר רותם יחד את האותות הביולוגיים משני הרקדנים, מציין אותו ומאכיל אותו בחזרה לרקדנים בצורה מחודשת באמצעות אודיו ו / או ראייה כצורות של הדרכה חושית. הפרמטרציה המחודשת בדוגמאות שהוצגו כאן הושגה באמצעות משוב קולי או ויזואלי, משופרת על ידי הפלט המוטורי הקינסתטי בזמן אמת של אחד הרקדנים כדי להשפיע על האחר; או של שני הרקדנים, בתורות בתבנית לסירוגין. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

המטרה הכוללת של שיטה זו היא להראות כי ניתן לרתום, לפרמטרים ולפרמטרים מחדש את התנודות מרגע לרגע בפעילויות הביוריתמיות של גופים בתנועה, שכן שני סוכנים עוסקים בחילופי דיאדיים שעשויים לכלול שני בני אדם, או אווטאר אנושי ושהוא / שלה הנעה עצמית.

חקירות על איך המוח עשוי לשלוט בפעולות ולחזות את ההשלכות החושיות שלהם יצרו קווים רבים של בירורים תיאורטיים בעבר¹^,²^,³ והפיקו מודלים שונים של שליטה נוירומוטורית⁴^,⁵^,⁶^,⁷^,⁸. שורה אחת של מחקרים בתחום רב-תחומי זה כללה פיתוח של ממשקי מוח-מכונה או מוח-מחשב בעלי לולאה קרובה. סוגים אלה של הגדרות מציעים דרכים לרתום ולהתאים את אותות מערכת העצבים המרכזית כדי לשלוט במכשיר חיצוני, כגון זרוע רובוטית⁹^,¹⁰^,¹¹, שלד חיצוני¹², סמן על מסך מחשב^{13 (בין} היתר). כל המכשירים החיצוניים האלה חולקים את המאפיין שאין להם אינטליגנציה משלו. במקום זאת, למוח שמנסה לשלוט בהם יש, וחלק מהבעיה שהמוח מתמודד איתה הוא ללמוד כיצד לחזות את ההשלכות של התנועות שהוא מייצר במכשירים אלה (למשל, תנועות הסמן, תנועות הזרוע הרובוטית וכו ‘) תוך יצירת תנועות תומכות אחרות התורמות למשוב המוטורי החושי הכולל בצורה של התחדשות קינסטטית. לעתים קרובות, מטרת העל של ממשקים אלה הייתה לעזור לאדם שמאחורי המוח לעקוף פציעה או הפרעה, כדי להחזיר את הטרנספורמציה של המחשבות המכוונות שלו למעשים פיזיים מבוקרים מרצון של המכשיר החיצוני. פחות נפוץ עם זאת היה פיתוח ממשקים המנסים לנווט את תנועות הגופים בתנועה.

רוב המחקר המקורי על ממשקי מוח-מכונה מתמקד בשליטה של מערכת העצבים המרכזית (CNS) על חלקי גוף שיכולים להשיג פעולות מכוונות מטרה⁹^,¹⁴^,¹⁵^,¹⁶^,¹⁷. עם זאת, ישנם מצבים אחרים שבהם שימוש באותות הנגזרים מפעילות של מערכות העצבים ההיקפיות (PNS), כולל אלה של מערכות העצבים האוטונומיות (ANS), הוא אינפורמטיבי מספיק כדי להשפיע ולנווט את האותות של סוכנים חיצוניים, כולל אדם אחר או אווטאר, או אפילו בני אדם אינטראקציה (כמו באיור 1C). שלא כמו עם זרוע רובוטית או סמן, הסוכן האחר במקרה זה, יש אינטליגנציה מונעת על ידי המוח (במקרה של גלגול כי כבר ניחן עם תנועותיו של האדם, או של סוכן אחר, במקרה של דיאד אנושי אינטראקציה).

התקנה שיוצרת סביבה של ממשק לולאה קרובה אדפטיבית משותפת עם חילופי דיאדי עשויה להיות שימושית להתערב בהפרעות של מערכות העצבים לפיה המוח אינו יכול לשלוט מרצונו בגוף שלו בתנועה בתנועה, למרות שלא ניתק פיזית את הגשר בין מערכת העצבים המרכזית לבין מערכת העצבים המרכזית. זה יכול להיות המקרה בשל אותות היקפיים רועשים לפיה לולאות משוב כדי לסייע למוח ברציפות לפקח ולהתאים biorhythms שנוצר עצמית שלה אולי שובשו. תרחיש זה מתעורר בחולים עם מחלת פרקינסון¹⁸^,¹⁹, או אצל משתתפים עם הפרעות בספקטרום האוטיזם עם רעש עודף בתפוקה המוטורית שלהם. ואכן, בשני המקרים כימתנו רמות גבוהות של יחס רעש לאות באותות הקינסתטיים החוזרים הנגזרים ממהירות תנועותיהם המיועדות²⁰^,²¹^,²² ומהלב²³. במקרים כאלה, ניסיון לשלוט בשליטה מוחית של אותות חיצוניים, ובמקביל לנסות לשלוט בגוף בתנועה, עלול לגרום לאות תגובתי עצמי מזרם המידע החוזר (מחדש) שהמוח מקבל מהזרם המוטורי המתמשך (efferent) בפריפריה. ואכן, התנודות מרגע לרגע הקיימות בזרם מוטורי תוסס שנוצר על ידי עצמו מכילות מידע חשוב שימושי כדי לסייע בחיזוי ההשלכות החושיות של פעולות תכליתיות²⁴. כאשר משוב זה פגום על ידי רעש, קשה כצפוי לעדכן את אותות הבקרה ולגשר על תוכניות מכוונות עם מעשים פיזיים.

אם היינו מרחיבים לולאת משוב כזו לסוכן אחר ושולטים באינטראקציות של האדם והסוכן באמצעות צד שלישי (איור 1C), ייתכן שתהיה לנו הזדמנות לנווט את ההופעות אחד של השני בזמן אמת. זה יספק לנו את הוכחת הרעיון שנצטרך להרחיב את הרעיון של ממשקי מוח-גוף או מוח-מכונה מסתגלים כדי לטפל בהפרעות של מערכות העצבים שגורמות למימוש לקוי של רצון פיזי מתוך כוונה נפשית.

לפעולות תכליתיות יש השלכות, המאופיינות במדויק בחתימות סטוכסטיות מוטוריות התלויות בהקשר ומאפשרות הסקה של רמות כוונה נפשית בוודאות גבוהה²⁵^,²⁶. לכן, יתרון של שיטה חדשה הממנפת חילופי דיאדי על פני גישות קודמות המתמקדות באדם למכונת המוח או לממשקי המחשב במוח, הוא שאנחנו יכולים להגדיל את אותות הבקרה כדי לכלול את biorhythms הגוף והלב המתרחשים במידה רבה מתחת למודעות של האדם, תחת רמות שונות של כוונה. בדרך זו, אנו מעמעמים הפרעות תגובתיות כי שליטה מודעת נוטה לעורר בתהליך של התאמת המוח-הסמן שליטה¹⁷. אנחנו יכולים להוסיף יותר ודאות לתהליך החיזוי על ידי פרמטרים האותות השונים שאנחנו יכולים לגשת. לאורך קווים אלה, עבודה קודמת קיימת באמצעות אותות המוח והגוף יחד²⁷^,²⁸^,²⁹; אך עבודה הכוללת אינטראקציות דיאדיות שנלכדו על-ידי אותות מוחיים-גופניים נותרה נדירה. יתר על כן, הספרות הקיימות טרם קבעה את ההבחנה בין קטעים מכוונים של הפעולה המבוצעת תחת מודעות מלאה ותנועות מעבר המתרחשות באופן ספונטני כתוצאה של אלה המכוונים³⁰^,³¹. כאן אנו עושים את ההבחנה בהקשר של חילופי דיאדי, ומציעים דרכים חדשות ללמוד דיכוטומיה זו³², תוך מתן דוגמאות של כוריאוגרפיה (מכוונת) לעומת תנועות מאולתרות (ספונטניות) בחלל הריקוד.

בגלל עיכובים בתת-תעתיק והעברה בתהליכי האינטגרציה והטרנספורמציה החושית-מוטורית³³, יש צורך בקוד חיזוי כזה במקום, כדי ללמוד לצפות את הקלט החושי הקרוב בוודאות גבוהה. לצורך כך, חשוב להיות מסוגלים לאפיין את האבולוציה של יחס הרעש לאות הנגזר מאותות בזרם הקינסתטי המעדכן באופן רציף. לאחר מכן אנו זקוקים לפרוטוקולים כדי למדוד באופן שיטתי שינוי בשונות המוטורית. השונות נוכחת מטבעה בתנודות רגע אחר רגע של זרם המנוע היוצא³⁴. מכיוון שאותות אלה אינם נייחים ורגישים לווריאציות הקשריות³⁵^,³⁶, ניתן לתמלאל שינויים המתרחשים עם שינויים בהקשר של המשימות. כדי למזער את ההפרעה מאותות תגובתיים העולים מבקרת מערכת העצבים המרכזית המודעת, ולעורר שינויים הניתנים לכימות בזרם המנועים של PNS, אנו מציגים כאן ממשק פרוקסי בעל לולאת סגירה המשנה בעקיפין את המשוב החושי, על ידי גיוס האות ההיקפי המשתנה במידה רבה מתחת למודעות העצמית של האדם. לאחר מכן אנו מראים דרכים למדוד באופן שיטתי את השינוי הנובע מהמניפולציות החושיות, באמצעות ניתוחים סטוכסטיים הניתנים להמחשה של התהליך שממשק הפרוקסי לולאה קרובה מעורר בעקיפין בשני הסוכנים.

הצגת בקר לולאה סוגרת Proxy
השונות החושית-מוטורית הקיימת באותות ההיקפיים מהווה מקור מידע עשיר המנחה את ביצועי מערכות העצבים תוך כדי למידה, הסתגלות והכללה מתרחשים בהקשרים שונים³⁷. אותות אלה מתגלים בחלקם כתוצר לוואי של מערכת העצבים המרכזית המנסה לשלוט באופן רצוני בפעולות אך אינם המטרה הישירה של הבקר. כמו האדם באופן טבעי אינטראקציה עם אחרים, אותות היקפיים ניתן לרתום, סטנדרטי מחדש פרמטרים; כלומר, ניתן לשנות את הווריאציות שלהם באופן שיטתי, כאשר אחד משנה את הזרם המוטורי התוסס שנכנס מחדש למערכת באופן רציף כחידוש קינסתטי. בהגדרות כאלה, אנו יכולים לדמיין את השינויים הסטוצ’סטיים, לכידת בדיוק גבוה אות עשיר כי הוא איבד אחרת את סוגי ממוצע גדול כי טכניקות מסורתיות יותר לבצע.

כדי להשיג אפיון של שינוי תחת הפלטפורמה הסטטיסטית החדשה, אנו מציגים כאן פרוטוקולים, סוגי נתונים סטנדרטיים וניתוח המאפשרים שילוב של קלט חושי חיצוני (שמיעתי וויזואלי) עם אותות מוטוריים פנימיים הנוצרים על ידי עצמם, בעוד שהאדם מקיים אינטראקציה טבעית עם אדם אחר, או עם גרסת גלגול של האדם. במובן זה, מכיוון שאנו שואפים לשלוט באותות ההיקפיים (במקום לשנות את אותות מערכת העצבים המרכזית כדי לשלוט ישירות במכשיר החיצוני או במדיה החיצונית), אנו מטבע זה ממשק פרוקסי קרוב לולאה (איור 2). אנו שואפים לאפיין את השינויים באותות הסטוצ’סטיים של מערכת העצבים המרכזית, שכן הם משפיעים על אלה במערכת העצבים המרכזית.

איור 2: בקרת פרוקסי של אינטראקציה דיאדית באמצעות ממשק רב-מודאלי בלולאה קרובה. (A) שליטה עקיפה של שני רקדנים (סלסה רוקדת) באמצעות ממשק אדפטיבי למחשב לעומת (B) דיאד מלאכותי אינטראקטיבי של אדם-אווטר הנשלט על ידי רתימת אותות מערכות העצבים ההיקפיות ופרמטרים מחדש אותו כצלילים ו / או כקלט חזותי. (C) הרעיון של sonification באמצעות סוג נתונים מתוקנן חדש (קוצים מיקרו תנועה, MMS) נגזר תנודות מרגע לרגע באותות biorhythmic משרעת / תזמון המרה ויברציות ולאחר מכן לצליל. מפיזיקה, אנו שואלים את המושגים של דחיסות ו rarefactions המיוצר על ידי מזלג כוונון פלט גלי קול כמו תנודות מדידות. שרטוטים של גלי קול המיוצגים כלחץ מווסת לאורך זמן במקביל לריכוזי ספייק לסוניפיקציה. דוגמה לאות פיזי לעבור את הצינור המוצע מ- MMS לתנודות וסוניפיקציה. אנו משתמשים באות הדופק כקלט לממשק. זה לוקח תנודות משרעת של האות מיושר לתחילת התנועה כל 4 שניות של תנועה ובונה רכבות MMS המייצגות את התנודות. רכבות הזינוק מ-MMS מתוקננות מ-[0,1]. צבע הקוצים לפי סרגל הצבע, מייצג את עוצמת האות. לאחר מכן אנו sonify תנודות אלה באמצעות מקס. אות sonified זה יכול לשמש כדי לשחק בחזרה ב- A, או לשנות ב B האינטראקציות עם האווטאר. כמו כן, ב- B ניתן להטמיע את הצליל בסביבה ולהשתמש בתנוחת הגוף כדי להשמיע את הצליל בחזרה באזור מעניין (RoI), או לווסת את תכונות השמע כפונקציה של מרחק RoI, מהירות או האצה של חלק גוף מעוגן לחלק גוף אחר, כאשר עובר על ידי RoI. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

אותות PNS ניתן לרתום באופן לא פולשני עם טכנולוגיות חישה לביש כי שיתוף לרשום זרמים efferent רב מודאלי משכבות פונקציונליות שונות של מערכות העצבים, החל אוטונומית מרצון³². לאחר מכן נוכל למדוד בזמן אמת את השינויים בזרמים כאלה ולבחור את אלה שהשינויים שלהם משפרים את יחס האות לרעש. לאחר מכן ניתן להגדיל אות מנוע תוסס זה עם צורות אחרות של הדרכה חושית (למשל, שמיעתי, חזותי וכו ‘) בגלל אותות PNS scape מודעות מלאה, הם קלים יותר לתפעל ללא התנגדות רבה ³⁸. ככזה, אנו משתמשים בהם כדי לעזור לנווט את הביצועים של האדם בדרכים שעשויות להיות פחות מלחיצות למערכת האנושית.

בניית הממשק
אנו מציגים את העיצוב של בקרת פרוקסי בתיווך ממשק מרובה אדפטיבי לולאה קרובה. ממשק זה מנווט את המשוב הרב-חושי בזמן אמת. איור 3 מציג את העיצוב הכללי.

ממשק הלולאה הצמודה מאופיין ב- 5 שלבים עיקריים. השלב הראשון הוא איסוף הנתונים הרב-מודאליים ממכשירים לבישים מרובים. השלב השני הוא הסנכרון של הזרמים הרב-מודאליים דרך הפלטפורמה של LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer) שפותחה על ידי קבוצת MoBI ³⁹. השלב השלישי הוא הזרמת מבנה הנתונים של LSL לפייתון, MATLAB או ממשק שפת תכנות אחר כדי לשלב את האותות ול parametrize אמפירי תכונות פיזיולוגיות (רלוונטי ההתקנה הניסיונית שלנו) בזמן אמת. השלב הרביעי הוא לתמחר מחדש את התכונות שנבחרו שחולצו מהזרם הרציף של האות הגופני שנחקר ולהגדיל אותו באמצעות שיטה חושית של בחירה (למשל, חזותית, שמיעתית, קינסתטית וכו ‘) כדי לנגן אותו בחזרה בצורה של צלילים או חזותיים, כדי להגדיל, להחליף או לשפר את השיטה החושית הבעייתית במערכת העצבים של האדם. לבסוף, השלב החמישי הוא להעריך מחדש את החתימות הסטוצ’סטיות של האותות הנוצרים על ידי המערכת בזמן אמת, כדי לבחור אילו מודאליות חושית מביאה את התזוזות הסטוצ’סטיות של תנודות הגוף למשטר של ודאות גבוהה (מזעור רעש) בחיזוי ההשלכות החושיות של הפעולה הממשמשת ובאה. לולאה זו מתנגנת ברציפות לאורך כל תקופת הניסוי עם ההתמקדות באות שנבחר, תוך אחסון הביצועים המלאים לניתוחים הבאים (כמתואר בשרטוטים של איור 3 ולראות⁴⁰^,⁴¹^,⁴²^,⁴³^,⁴⁴^,⁴⁵^,⁴⁶^,⁴⁷ לדוגמה של ניתוחים אחוריים).

איור 3: הארכיטקטורה של מושג ממשק לולאה קרובה מונחה היקפית מרובה מודאליות. אותות גוף שונים נאספים – נתונים קינמטיים, פעילות הלב והמוח (שלב 1). LSL משמש לרישום סינכרוני ולהזרמת הנתונים המגיעים מציוד שונה לממשק (שלב 2). פייתון / MATLAB / C # קוד משמש ברציפות פרמטרים התנודות באותות באמצעות סוג נתונים סטנדרטי בקנה מידה משותף המאפשר בחירת המקור של הדרכה חושית המתאים ביותר כדי לעמעם את חוסר הוודאות של המערכת (שלב 3). שיפור זה בזמן אמת של שידור אותות דרך ערוצים נבחרים מאפשר פרמטרים מחדש של האות החושי המתחרה מחדש להשתלב בזרם המנוע הרציף ולשפר את זרם הקלט האבוד או הפגום (שלב החלפה חושית 4). הערכה מחדש רציפה סוגרת את הלולאה (שלב 5) ואנו שומרים את כל הנתונים לניתוחים עתידיים נוספים. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.

הסעיפים הבאים מציגים את הפרוטוקול הגנרי של כיצד לבנות ממשק לולאה קרובה (כמתואר באיור 3) ומתארים תוצאות מייצגות של שני ממשקים ניסיוניים (המוצגים בהרחבה בחומר משלים) הכוללים אינטראקציה דיאדית פיזית בין שני רקדנים (מערכת לולאה קרובה אמיתית) ואינטראקציה דיאדית וירטואלית בין אדם לאווטאר (מערכת לולאת סגירה מלאכותית).

Protocol

המחקר אושר על ידי מועצת המחקר המוסדית של רטגרס (IRB) בהתאם להצהרת הלסינקי. 1. משתתפים הגדר את האוכלוסייה שיש ללמוד והזמן אותם להשתתף במחקר. הממשק הנוכחי יכול לשמש באוכלוסיות שונות. פרוטוקול זה והדוגמאות המשמשות כאן כדי לספק הוכחת רעיון אינם מוגבלים לקבוצה ספציפית. השג הסכמה מדעת בכתב של פרוטוקול IRB שאושר בהתאם להצהרת הלסינקי. בקש מהמשתתף או מהאפוטרופוס לחתום על הטופס לפני תחילת הניסוי. 2. הגדרת ממשק לולאה קרובה התקנת ציוד קינמטי-PNSעזור למשתתף ללבוש בזהירות את תחפושת לכידת התנועה מבוססת ה-LED (גוף וראש, המוצגת באיור 3, שלב 1 ו-5) המלווה את מערכת לכידת התנועה בה נעשה שימוש. סמני LED של התחפושת יהיה במעקב על ידי המצלמות של המערכת כדי להעריך את המיקום של הגוף נע בחלל. חבר את בקר ה- LED האלחוטי (הידוע גם כיחידת מנהל ההתקן LED) של המערכת עם כבלי ה- LED של התחפושת על-ידי חיבורו ליציאה המתאימה. הפעל את ההתקן והגדר אותו במצב הזרמה. הפעל את השרת של מערכת לכידת התנועה. פתח דפדפן אינטרנט, בקר בכתובת השרת והיכנס (פרטי הכניסה חייבים להינתן על ידי החברה בעת רכישת המוצר). כייל את המערכת לפי הצורך (לדוגמה, כייל את המערכת אם זו הפעם הראשונה להשתמש בציוד, אחרת עבור לשלב 2.1.17). פתחו את כלי הכיול של מערכת לכידת התנועה ובחרו ‘אשף הכיול’. ודא שהזנת מספר השרת בשדה הטקסט בצד הימני-עליון של הממשק נכונה ולחץ על המשך. חבר את השרביט ליציאה הראשונה של בקר ה- LED והפעל את הבקר ולחץ על המשך. לאחר חיבור השרביט, סמני ה-LED שלו יופעלו ויופיעו בתצוגה, בתצוגות המצלמה. מקם את השרביט במרכז שדה התצוגה של המצלמה, ודא שהמצלמות יכולות להקליט אותו ולחץ על המשך. הזז את השרביט לאורך כל החלל על-ידי שמירה עליו אנכי וציור צילינדרים. ודא כי התנועה נתפסת על ידי לפחות 3 מצלמות בכל פעם והוא רשום בשדה התצוגה של כל מצלמה מה שהופך אותו ירוק. תעשה את זה בשביל כל המצלמות. לאחר רישום מלא של שדה התצוגה של כל מצלמה (הכל ירוק), לחץ על המשך והמתן לביצוע חישובי כיול.הערה: לאחר השלמת הכיול, מיקום המצלמה יחד עם סמני ה-LED ייראו בתצוגה, מכיוון שהם ממוקמים פיזית בחדר. בשלב זה, המשתמש עשוי לחדש את הכיול מכיוון שהדבר נעשה, או להמשיך ליישר את המערכת. החזיקו את השרביט אנכית והניחו את הצד עם נורית ה-LED קרוב יותר לקצה השרביט על הקרקע, שם יש להגדיר את מקור החלל בתלת-ממד (נקודה (0,0,0)). החזק את השרביט יציב עד לרישום. לאחר הרישום, המסך מהבהב בירוק. נקודה המציינת את מקור מסגרת ההפניה בשטח תופיע בממשק וציר היישור הבא, ציר x, יסומן בירוק. הזז את השרביט, תוך שמירה על אותו כיוון (אנכית), בנקודת ציר ה- x והחזק אותו יציב עד לרישום. חזור על הפעולה עבור ציר z. לאחר רישום נקודת ציר z, הכיול הושלם. לחץ על סיום כדי לצאת מהלכיול. פתח את הממשק של מערכת לכידת התנועה ולחץ על התחבר כדי להתחיל להזרים את הנתונים מסמני ה- LED. לאחר יצירת החיבור, מיקום הסמנים יוצג בעולם הווירטואלי של הממשק. צור את השלד הווירטואלי (הערך באופן אוטומטי את תנוחות העצם של הגוף מנתוני המיקום שנאספו מסמני ה- LED של התחפושת, כפי שמוצג באיור 8 שלב2). לחץ באמצעות לחצן העכבר הימני על שלדים בצד ימין של החלון ובחר שלד חדש. בחר מיפוי סמן ולאחר מכן בחר את הקובץ המתאים (שסופק על-ידי החברה בהתבסס על גירסת הממשק בה נעשה שימוש). לאחר מכן, לחץ על אישור. בקשו מהמשתתף להישאר יציב בתנוחת ה-T (תנוחה ישרה עם זרועות פתוחות בצדדים). לחץ באמצעות לחצן העכבר הימני על השלד ובחר צור שלד ללא הכשרה. אם כל השלבים מבוצעים כראוי השלד ייווצר. בקש מהמשתתף לזוז ולבדוק באיזו דיוק השלד הווירטואלי עוקב אחר תנועות המשתתפים. כדי להזרים את נתוני השלד ל- LSL, בחר הגדרות ואפשרויות מהתפריט הראשי. פתח אמולטור ינשוף ולחץ על “התחל” הזרמה בשידור חי. התקנת ציוד EEG – מערכת העצבים המרכזית עזור לאותו משתתף לחבוש את כובע הראש של EEG. מניחים את אלקטרודות הג’ל (האלקטרודות המסורתיות המבוססות על ג’ל המשמשות עם כובע הראש של EEG) על מכסה הראש ו-2 אלקטרודות דביקות (אלקטרודות שעובדות כמו מדבקות) בצד האחורי של האוזן הימנית עבור חיישני CMS ו- DRL. מלא אלקטרודות בג’ל מוליך גבוה, לפי הצורך, כדי לשפר את המוליכות בין החיישן לקרקפת. חבר את כבלי האלקטרודה על הג’ל-טרודים ואת שתי האלקטרודות הדביקות. תדביק את הצג האלחוטי בגב מכסה הראש ותחבר את כבלי האלקטרודה. הפעל את הצג. פתח את הממשק של מערכת EEG. בחרו ‘השתמש בהתקן Wi-Fi’ ולחצו על ‘סרוק לאיתור מכשירים’. בחר NE Wi-Fi והשתמש בהתקן זה. לחץ על סמל הראש, בחר פרוטוקול המאפשר הקלטה של כל 32 החיישנים ולחץ על טען. ודא שהנתונים המוזרמים של כל ערוץ מוצגים בממשק. התקנת ציוד א.ק.ג. בצע את השלבים המדויקים המוצגים ב- 2.2 אך השתמש בערוץ O1 כדי להתחבר להרחבת הדופק (HR). השתמש באלקטרודה דביקה כדי לתקוע את הקצה השני של ההרחבה ממש מתחת לבית החזה השמאלי. הכנת LSL להקלטה מסונכרנת והזרמה של נתונים קינמטיים. הפעל את יישום LSL עבור מערכת לכידת תנועה על ידי לחיצה כפולה על הסמל המתאים. אתר את היישום בנתיב הבא של התיקיה LSL, LSL\labstreaminglayer-master\Apps\PhaseSpace. בממשק, הגדר את כתובת השרת המתאימה. לאחר מכן, בחר תצורת קובץ וטעינה. בחר את קובץ התצורה המתאים (החברה חייבת לספק אותו בהתבסס על גירסת המוצר הנמצאת בשימוש) לחץ על קישור. אם לא בוצעו טעויות, לא תוצג הודעת שגיאה. הכן LSL להקלטה מסונכרנת והזרמה של נתוני EEG ו- ECG. אין צורך בצעדים נוספים עבור ציוד זה. כיוונון LSL הפעל את יישום LabRecorder על-ידי לחיצה כפולה על הקובץ הממוקם בנתיב LSL\labstreaminglayer-master\Apps\LabRecorder של תיקיית LSL. לחץ על עדכן. אם כל ההוראות מבוצעות כראוי, כל סוגי הנתונים של לכידת תנועה ומערכת EEG ייראו בלוח רשומה עבור זרמים. בחר ספריה ושם עבור הנתונים בלוח מיקום האחסון. לחץ על התחל. איסוף הנתונים של מערכת לכידת התנועה וה- EEG יתחיל באופן סינכרוני. בסוף ההקלטה לחץ על עצור. אם ההקלטה הצליחה, הנתונים ימוקמו בספריה שנבחרה קודם לכן. פתח את הקבצים כדי לאשר שהם כוללים את המידע המוקלט. ניתוחים בזמן אמת וניטור של המערכת האנושית. בצע את ה- MATLAB, פייתון או קוד אחר המקבל, מעבד ומגדיל את הנתונים המוזרמים. קודים לדוגמה המתאימים לדוגמאות המייצגות המתוארות בסעיפים הבאים ניתן למצוא כאן: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE יצירת המשוב החושי המוגבר הפק את הפלט החושי באמצעות ההתקן הנכון (למשל, רמקולים, צג, בין היתר). 3. הליך ניסיוני בצע את ההליך הניסיוני המוגדר על-ידי ההתקנה, אם קיים.הערה: ממשקי הלולאה הצמודה מתוכננים להיחקר וללמוד באופן אינטואיטיבי. לכן, רוב הפעמים אין צורך בהוראות.

Representative Results

ישנם ממשקים שונים שניתן לבנות על סמך הפרוטוקול שהוצג בסעיף הקודם וניתן ליישם על אוכלוסיות שונות למטרות רבות. וריאציות אפשריות מסוימות מתוארות בסעיף “וריאציות של ממשק הלולאה הצמודה המוצג” של חומר משלים. בסעיף זה אנו מדגימים תוצאות מייצגות של 2 ממשקי לולאה קרובה לדוגמה העוקבים אחר הפרוטוקול המתואר בסעיף הקודם. ההתקנה, ההליך הניסיוני והמשתתפים במחקרים אלה מוסברים לעומק בסעיפים “דוגמה 1: ממשק לולאה קרובה אודיו של אינטראקציה דיאדית אמיתית” ו “דוגמה 2: ממשק לולאה סגורה אודיו-ויזואלית של אינטראקציה דיאדית מלאכותית” של הקובץ המשלים. תוצאות ממשק לולאה סגורה אודיו של אינטראקציה דיאדית אמיתיתבמחקר של “ממשק אודיו קרוב לולאה של אינטראקציה דיאדית אמיתית” (מוצג בהרחבה בסעיף “דוגמה 1: ממשק אודיו לולאה סגורה של אינטראקציה דיאדית אמיתית” של חומר משלים), השתמשנו בממשק בקרת פרוקסי, מאויר באיור 4, המשתמש באות הלב של הרקדנית הנשית כדי לשנות את המוזיקה רקדה. בזמן אמת, ביצענו עיבוד אותות כדי לחלץ את הזמן של פעימות הלב והזרמנו את המידע הזה למערכת Max כדי לשנות את המהירות של השיר שבוצע. בדרך זו, אנחנו שיחקנו את השיר בחזרה, השתנה על ידי אותות ביופיזיים. תהליך זה הוביל לשינויים נוספים בתנועות ובאותות פעימות הלב. איור 4: ממשק לולאה קרובה מבוסס שמע. 1. מכשיר לביש א.ק.ג.ש מנטר את פעילותה של רקדנית סלסה במהלך ביצוע השגרה שלה ומאכיל את האותות לממשק ב-500Hz. 2. הממשק שלנו מנתח את נתוני ה-ECG בזמן אמת. בכל מסגרת, הוא מסנן את הנתונים הגולמיים, מחלץ את פסגות R של קומפלקס QRS; ומזרים את זיהוי השיא למקסימום 3. ממשק של צד שלישי משלב את מהירות השמע עם מהירות קצב הלב. 4. השיר שהשתנה מושמע בחזרה לרקדנים. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה. שני רקדני סלסה קיימו אינטראקציה עם הממשק וביצעו שגרה חזרות טובה לביים כוריאוגרפיה וריקוד מאולתר באופן ספונטני. הרקדנים נאלצו לבצע את הגרסה המקורית של השיר פעם אחת וגרסה שילבה את הקצב המקורי של השיר עם זרם פעימות הלב בזמן אמת. אנו מתייחסים לגרסה המאוחרת יותר שבוצעה כפליים כשינוי 1 ו-2 של השיר. בניתוח המוצג להלן, השתמשנו בלב ובאות השמע שהוקלטו. הפסגות של שני האותות שחולצו להערכת רכבות MMS (ראו סעיף “קפיצות מיקרו-תנועות” בקובץ משלים), המשמרות תנודות בתדר גבוה כפי שמוצג באיור 5. איור 5: הערכת רכבות MMS של מערכת לולאת השמע הצמודה. סדרת הזמן של א.ק.ג משמשת לחילוץ פסגות ה-RR וסטיות משרעת מהמגבר הכולל (המשוער) של פסגות ה-R שהושגו (נתונים ממוצעים). לאחר מכן נורמליזציה על ידי משוואה 1 (ראה קובץ משלים, סעיף “מיקרו תנועה קוצים”) משמש להשגת רכבות MMS. שיטות דומות משמשות לטיפול בצורות הגל של השמע ולנגן את השיר בחזרה בהתאם לביצועים בזמן אמת של האדם. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה. רכבות MMS התאפיינו היטב כתהליך אקראי מתמשך, המיוצג היטב על ידי משפחת גמא הרציפה של התפלגות ההסתברות. MLE החשיבה את משפחת ההפצות הרציפה הזו כמתאימה ביותר לשתי ערכות הנתונים (ראה הסבר בסעיף “הפצת גמא” של חומר משלים ואיור משלים 2). סוג זה של תהליך אקראי שימש כדי לעקוב אחר השינויים בחתימות סטוכסטיות של biorhythms עצמית שנוצר על ידי אותות ביולוגיים ממערכות העצבים האנושיות. מפרמטרים של גמא, המוערך באופן אמפירי, אנו מקבלים את רגעי הגמא, הממוצע, השונות, ההטיה והקורטוזיס (ראה פרטי הניתוח בסעיף “ניתוח סטוכסטי” של חומר משלים). לאחר מכן אנו מתווה את PDF המשוער. איור 6 מתמקד רק באות הלב ובמוסיקה, אך השיטות חלות באופן דומה על הביו-רתמים האחרים הנוצרים על ידי אותות הקינטיקה המוצגים ב- 41. מסמך PDF של אות הלב והמוזיקה מוצג באיור 6A-B, שם אנו מדגישים את ההבדלים בין ערכות הנתונים של שני התנאים, שגרה מכוונת ואלתור ספונטני. עבור כל תנאי, אנו מדגישים את השינויים בחתימות סטוכסטיות הנגרמות על ידי השינויים הזמניים של השיר. בתחילה, הם רוקדים לשיר המקורי. ואז, כאשר פעימות הלב משתנות בזמן אמת, התנודות המנומנמות באות זה מובילות את הרקדנים לעקוב אחר השינויים הזמניים של השיר. אלה מסומנים שינוי 1 ושינוי 2. שינויים שיטתיים אלה מתוארים על ידי הפרמטרים של גאמה. לאחר מכן, באמצעות הפרמטרים של הצורה והקנה מידה המשוערים באופן אמפירי, השגנו את ארבעת רגעי הגמא המתאימים לפעימות הלב ולשירים. אלה מוצגים באיור 6C עבור אותות הלב (למעלה) והשיר (התחתון). איור 6: גרימת שינויים שיטתיים במסמכי PDF של גמא המוערכים באופן אמפירי ובמסלולים הסטוצ’סטיים שלהם של ארבעת רגעי הגמא מהביצועים תחת בקרת הפרוקסי באמצעות מערכת לולאת השמע. (A) מסמכי PDF מרכבות MMS של כל אחד מסוגי הנתונים (קובץ א.ק.ג. וקובץ שמע למטה) עבור כל אחד מהקשרי הריקוד, אלתור ספונטני ושגרה מכוונת. מקרא הוא Imp Or (מקור אלתור) המציין את התנאי הבסיסי בתחילת ההפעלה; Imp Alt1 המציין את האלתור במהלך שינוי 1; Imp Alt2 המציין אלתור במהלך שינוי 2. (ב)כמו כן, עבור השגרה חזרות מכוונות, Rout אור פירושו שגרה מקורית; Rout Alt1 פירושו שינוי שגרתי 1; רוט Alt2 פירושו שינוי שגרתי 2. הלוחות ב-( C) מראים את השינויים השיטתיים ברגעי גמא הן כאותות השמע מהשירים והן אלה מהלב זזים יחד ובזמן אמת. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה. ניתן להעריך את שינוי החתימות בלוחות אלה (גרפי רגעי PDF וגאמה), ובכך להוכיח כי השיטות המוצגות יכולות ללכוד את התאמת הלב לשינויים של השיר שבקר הפרוקסי מייצר בזמן אמת. ככל שהשירים משנים מקצבים, כך גם החתימות הסטוצ’סטיות של הלב והמעבר של החתימות הסטוצ’סטיות עקבי בכיוון (שהוא גם ממצא ב -41 שבו למדנו את הפרמטרים של הצורה והקנה מידה). כמו כן, כאשר החתימות של הלב משתנות, כך גם החתימות של השיר. אפקט שיקוף זה – האחד משפיע על השני וכאחד נע באופן עקבי לכיוון כך גם אחר – בצע את אופי הלולאה הקרובה של ממשק בקר פרוקסי זה. התוצאות מדגישות את התועלת של התקנה זו ונותנות הוכחת רעיון לכך שאנו יכולים להסיט באופן שיטתי את הביו-רתמים האוטונומיים של האדם בהקשר של חילופי דיאדיים. שינויים מקבילים בחתימות הסטוצ’סטיות של השירים ושל אותות הגוף, מראים כי התאמה משותפת של המערכת כולה (משתתף וממשק) אפשרית באמצעות האותות ההיקפיים. תהליך זה מתרחש בצורה חלקה מתחת למודעותו של האדם ומציע הוכחת רעיון לרעיונות להסיט מרחוק ובשיטתיות את האותות הביולוגיים של האדם בהתאם למשוב החושי החיצוני של הבחירה. לסיכום, אנו יכולים להנחות את הסטת החתימות הסטוצ’סטיות בתהליך אקראי מתמשך זה. השיטות מאפשרות ללכוד את השינוי ואת הקצב שלהם לאורך המסלולים הסטוצ’סטיים שהצלחנו לבנות בזמן אמת כמעט. כדי לברר מובהקות סטטיסטית במשמרות, אנו משתמשים במבחן ANOVA הלא פרמטרי, Kruskal-Wallis ואחריו השוואות מרובות לאחר בדיקת הוק. אנו משווים את החתימות של MMS של נתוני הלב בין ששת התנאים. איור 7 מציג את ריבוי ההשוואות של נתוני הלב של MMS ושל הטבלה המתאימה Kruskal-Wallis. העלילה מרובת ההשוואות מצביעה על כך שקיים הבדל משמעותי בין מצב הבסיס של הריקוד השגרתי המקורי (Rout). או) ומצב הבסיס של הריקוד המאולתר המקורי (Imp. Or). חשוב גם לשים לב כי השינויים הראשונים, Rout. Alt1 ו- Imp. Alt1, עבור להפצות בעלות אמצעים דומים ואותו הדבר חל על השינויים השניים, בעוד השונות, ההטיה והקורטוזיס זזים במרחב רגעי הגאמה (איור 6C). איור 7: תוצאות הבדיקות הלא פרמטריות Kruskal-Wallis והשוואה מרובה לאחר הבדיקות. התוצאות של ANOVA הלא פרמטרי (מבחן Kruskal-Wallis) להחיל על MMS של נתוני הלב כדי להשוות את ששת התנאים. העלילה מדגימה את ריבוי ההשוואות בין 6 המקרים, מה שמצביע על ההבדל המשמעותי בין “המהלך”. או” ו “Imp. או” תנאים. הטבלה מציגה את תוצאות מבחן קרוסקל וואליס. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה. תוצאות ממשק לולאה סגורה אורקולי של אינטראקציה דיאדית מלאכותיתבמחקר של “ממשק לולאה קרובה אודיו-ויזואלית של אינטראקציה דיאדית מלאכותית” (מוצג בהרחבה בסעיף “דוגמה 2: ממשק לולאה קרובה אודיו-ויזואלית של אינטראקציה דיאדית מלאכותית” של חומר משלים), 6 משתתפים קיימו אינטראקציה עם הממשק, מאויר באיורים 8, אשר יוצר גלגול המראה שלהם עיבוד תנועותיו של האדם עצמו. הממשק מטביע צלילים תלויי מיקום בתוך האזור המקיף את האדם במהלך האינטראקציה. המשתתפים היו תמימים באשר למטרת המחקר. הם היו צריכים להסתובב בחדר ולהבין כיצד לשלוט בצליל שיצוץ באופן מפתיע כשהם עוברים ליד RoI (אזורי עניין) שבקר הפרוקסי הגדיר. איור 8: הייצוג החזותי של הממשק האודיו-ויזואלי. 1. מערכת לכידת תנועה מנוצלת לרכישת הנתונים הקינטמטיים ההיקפיים. 2. המערכת אוספת את עמדות החיישנים (בדוגמה שלנו LED) כדי להעריך את השלד – מיקום על העצמות. 3. תנוחות העצם מיושרות לאחר מכן בממשק שפותח על ידי MATLAB שלנו באמצעות מודל קדימה-קינמטיקה משלנו. 4. העמדות המיושרות משמשות למיפוי מידע השלד לאווטאר שלנו שניתנו תלת מימדי. 5. המיפוי של הנתונים המוזרמים לאווטאר הוא בזמן אמת אשר יוצר את התחושה של התבוננות בתמונה המראה של האדם. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה. איור 9 מדגים את התוצאות של הממשק האורקולי של תנאי 1 (ראה קובץ משלים לקבלת תנאים נוספים), שבו מיקום הירך מפעיל את השיר כאשר הראשון נמצא ב- RoI. איור זה מציג את חתימות PDF ו- Gamma (ראה סעיף “סוגי נתונים וניתוחים” של חומר משלים) של נתוני מהירות הירך של 6 משתתפי בקרה שונים (C1 עד C6), כאשר הם היו בתוך ומחוץ לנפח RoI. התוצאות המוצגות כאן מדגישות את ההבדלים המותאמים אישית בשיעור ההסתגלות של המשתתפים הבודדים. אלה מסומנים על ידי התזוזות של החתימות הסטוצ’סטיות, והתוצאות האישיות המתעוררות בתוך או מחוץ לנפח RoI. לדוגמה, אנו יכולים להבחין כי PDF להתאים היסטוגרמות התדר של MMS נגזר משרעת המהירות של הירכיים של C3 ו- C4, היו סימטריים יותר (ערך צורה גבוה יותר) ופחות רועש (ערך בקנה מידה נמוך יותר) כאשר בתוך עוצמת הקול. לעומת זאת, שאר המשתתפים מראים דפוס הפוך. באופן אמפירי, מצאנו שחתימות לפינה הימנית התחתונה הן של ספורטאים ורקדנים, המבצעים תנועות מיומנים ביותר. חתימות נמצאות באזור השמאלי העליון, מגיעות מערכות נתונים של מערכות עצבים עם פתולוגיות, כגון אלה עם אבחנה של הפרעות בספקטרום האוטיזם ADHD22,32 ואלה של משתתף חירש21. בהקשר של הסטת דפוסים לאורך מסלול סטוכסטי, אנו משיגים את הערכים החציוניים של הצורה והקנה מידה כדי להגדיר את הרבע הימני התחתון (RLQ) ואת הרבע העליון השמאלי (LUQ) שבו אנו עוקבים אחר האיכות הכוללת של יחס האות לרעש על ידי צבירת מידע זה לאורך זמן. הדבר מתייחס לעדכון הערכים החציוניים המגדירים באופן דינמי את הרבעים הללו, שכן האדם מתאים במשותף את הביו-רתמים הפנימיים שלו לאלה הנשלטים חיצונית על-ידי הפרוקסי אך תלויים ברבעים הפנימיים של האדם. איור 9: מסמכי גמא וחתימות גמא משוערים באופן אמפירי של הביו-פתמות הגופניות במהלך אינטראקציות באמצעות מערכת לולאה קרובה אורקולית. באמצעות רכבות MMS הנגזרות ממהירות הירכיים של כל משתתף (C1 – C6), השתמשנו ב- MLE כדי להתאים ל- PDF הטוב ביותר עם מרווחי ביטחון של 95%. כל משתתף מיוצג על-ידי סמל אחר בעוד שהתנאים מיוצגים על-ידי צבעים שונים. משפחה של מסמכי PDF של גמא כאשר בעוצמת הקול (ב) שונה מזו שמחוץ לעוצמת הקול (אאוט). מלבד מסמכי PDF משוערים אמפירית גאמה, הצורה המשוערת גמא ופרמטרים קנה מידה מוצגים גם עבור כל אדם במישור פרמטר גמא. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה. טבלה 1 מציגה ערכי p המתקבלים מנתוני RAW (מהירות) ו- MMS המשווים את התוצאה בין תנאים כאשר חלק הגוף של האדם נמצא בתוך RoI לעומת. מחוץ לרו.איי. התוצאות המתוארות על השולחן הוערכו באמצעות מבחן ANOVA Kruskal-Wallis שאינו פרמטרי. מבחן קרוסקל ווליס מהירות נתונים MMS (לא כולל) C1 0 1.34 e-05 C2 0 4.72E-15 C3 0 8.59E-34 C4 2.70E-21 3.16E-04 C5 0 1.11E-09 C6 0 5.95E-05 טבלה 1: תפוקה של מבחן ANOAVA-קרוסקל-וואליס שאינו פרמטרי. תוצאות הבדיקה Kruskal Wallis השוואת ההקלטות של בפנים לעומת מחוץ רול עבור MMS ואת נתוני המהירות. אנו מיישמים את הבדיקה על הנתונים של כל משתתף (C1 – C6) בנפרד. קבצים משלימים. אנא לחץ כאן כדי להוריד קבצים אלה.

Discussion

נייר זה מציג את הרעיון של שליטה פרוקסי באמצעות לולאה קרובה שיתוף אדפטיבי, אינטראקטיבי, ממשקים רב מודאליים לרתום, פרמטרים מחדש פרמטרים האות ההיקפי של האדם בהקשר של חילופי דיאדית. אנו שואפים לאפיין שינויים סטוכסטיים בתנודות של הביוריתמים של האדם ולפרמטרים של השינוי. בהמשך, אנו שואפים לנווט באופן שיטתי את החתימות הסטוצ’סטיות של הביו-היתמים שלהם לעבר רמות ממוקדות של משטרי רעש לאותות בזמן אמת.

הצגנו פרוטוקול גנרי לבניית ממשק לולאה קרובה אשר סיפק 5 אלמנטים מרכזיים: 1) איסוף של נתונים גופניים מרובים המגיעים מערכת העצבים המרכזית, מערכת העצבים המרכזית, ו ANS באמצעות מכשירים וטכנולוגיות שונות; 2) ההקלטה וההזרמה המסונכרנות של הנתונים; 3) ניתוח בזמן אמת של האותות שנבחרו; 4) יצירת הגדלה חושית (אודיו, חזותי וכו ‘) באמצעות תכונות פיזיולוגיות שחולצו עבור אותות הגוף; ו-5) המעקב המתמשך אחר המערכת האנושית והגדלה חושית מקבילה סוגרים את לולאת האינטראקציה בין האדם למערכת.

הפרוטוקול הכללי הוחל על שני ממשקים לדוגמה. הראשון חוקר את חילופי הדיאדיים בין שני סוכנים אנושיים והשני בין אדם לסוכן אווטר. שני סוגי הדיאדות שימשו כדי לספק הוכחת מושג כי האות ההיקפי יכול להשתנות באופן שיטתי בזמן אמת וכי שינויים סטוכסטיים אלה ניתן לעקוב במדויק. דיאד אחד היה מורכב משני משתתפים אינטראקציה פיזית, בעוד השני מעורב משתתף אינטראקציה עם סוכן וירטואלי בצורה של גלגול שניתנו 3D ניחן בתנועות של האדם עם גרסאות שונות של תנועות אלה בזמן אמת. שינויים כאלה עוררו מניפולציות אינטראקטיביות המונעות על ידי תשומות שמיעתיות ו/או חושיות חזותיות בסביבה של תחושות מוגברות. הן בדיאד האמיתי והן בדיאד המלאכותי, הדגמנו את ההיתכנות של הסטה מרחוק של האותות ההיקפיים, כולל ביו-היתמים גופניים ואותות אוטונומיים מפעימות הלב.

הצגנו פרוטוקולים ניסיוניים חדשים כדי לחקור שינויים כאלה בשונות מוטורית אדישה כמו זרמי האות הקינסתטיים מתומרנים ומתואמים מחדש בזמן אמת. מידע מתחרה מחדש זה (reafference קינסתטי⁴⁸) הוכיח ערך כדי לשנות את ביצועי המערכות בזמן אמת. הם נושאים מידע על ההשלכות החושיות של הפעולה, אשר אנו יכולים להיות במעקב מדויק באמצעות השיטות שהצגנו כאן.

הראינו גם סוגי נתונים ושיטות סטטיסטיות שניתן לתקנן את הניתוחים שלנו. סיפקנו כלי הדמיה מרובים כדי להדגים את השינויים בזמן אמת בפעילויות פיזיולוגיות המתפתחות באופן טבעי בהקשרים שונים, עם מסקנה סטטיסטית מונחית אמפירית המעניקה את עצמה לפרשנות של אותות מערכות העצבים העצמיות והשליטה העצמית. חשוב לציין, השינויים שעורר בקר הפרוקסי היו חלקים ועם זאת ניתנים לכימות, ובכך השאילו תמיכה לרעיון שפעילות היקפית שימושית ביותר מדרך אחת. בעוד שאנו יכולים ליישם שיטות אלה באמצעות חיישנים לבישים אלחוטיים זמינים מסחרית, אנו יכולים לגרום באופן שיטתי לשינויים בביצועים הניתנים ללכידה במקצבים הביופיזיים מבלי להדגיש את המערכת. חשוב לתרגם את השיטות שלנו לזירה הקלינית ולהשתמש בהן כמבחן לפיתוח מודלים חדשים להתערבות (למשל, כמו בעת שימוש במציאות רבודה באוטיזם ⁴⁹). במודלים כאלה, נוכל לעקוב ולכמת את ההשלכות החושיות של פעולות הנטורליסטיות של האדם, שכן התשומות החושיות מתומרנות במדויק, והפלט הוא פרמטרים ופרמטרים מחדש בזמן אמת כמעט.

אנו מציעים פרוטוקול זה כמודל כללי כדי לנצל פעילויות biorhythmic שונות עצמית שנוצר על ידי מערכות העצבים האנושיות רתום באופן לא פולשני עם לבישים אלחוטיים. למרות שהשתמשנו בסט של ביוסנסורים כדי לרשום EEG, א.ק.ג. וקינאמטיקה במאמר זה, שיטות ההקלטה, הסנכרון והניתוח של האותות הן כלליות. הממשק יכול אפוא לשלב טכנולוגיות אחרות. יתר על כן, ניתן לשנות את הפרוטוקולים כך שיכללו פעולות והקשרים נטורליסטיים אחרים המשתרעים לתחום הרפואי. מכיוון שהתכוונו להתנהגויות טבעיות, ההתקנה שפיתחנו יכולה לשמש בהגדרות שובבות (למשל, מעורבים ילדים והורים.)

מספר הפרעות של מערכות העצבים יכול להפיק תועלת גישות שובבות כאלה לבעיית הבקרה. בשני סוגי האינטראקציות הדיאדיות שהראינו כאן, המשתתפים יכולים לשאוף לשלוט במודע במוזיקה, בעוד בקר הפרוקסי משתמש בתפוקה ההיקפית כדי לתפעל באופן לא מודע ולהזיז באופן שיטתי את חתימותיו. מכיוון שמדענים בילו שנים במיפוי אמפירי של מישור הפרמטרים של גמא וברגעי הגמא המתאימים בחלל בין קבוצות גיל שונות (יאוהמים עד גיל 78)¹⁹^,⁵⁰^,⁵¹^,⁵²^,53 ותנאים^{(אוטיזם,} מחלת פרקינסון, שבץ מוחי, מצב תרדמת וחירשים), עבור רמות שונות של שליטה (התנדבותי, אוטומטי, ספונטני, לא רצוני ואוטונומי)²⁵^,⁴⁷^,⁵⁴, הם מדדו באופן אמפירי קריטריונים המציינים היכן על מרחבי גמא החתימות הסטוצ’סטיות צריכות להיות לשליטה חיזוי טובה. מחקרים קודמים הראו גם כי אנו יודעים היכן הפרמטרים נמצאים בנוכחות רעש אקראי ספונטני המגיע מהמקצבים העצמיים של מערכות העצבים האנושיות⁷^,¹⁹^,⁵⁵^,⁵⁶. בתוך סכימת אופטימיזציה הממזערת את הרעש המוטורי הביוריתמי, אנו יכולים לכוון את האותות באופן שיהגיע לאזורים הממוקדים בחללי גמא שבהם חתימות הצורה והפיזור של משפחת מסמכי PDF של כל אדם תורמות ליחס אות גבוה לרעש ולערכים חזויים. במובן זה, אנחנו לא מאבדים נתונים ברוטו אלא להשתמש בו ביעילות כדי להניע את המערכת לכיוון רמות רצויות של רעש בתוך מצב נתון.

אינטראקציות דיאדיות נמצאות בכל מקום בהגדרות קליניות או אימון. הם עשויים להתרחש בין המאמן לבין המתאמן; הרופא והמטופל; המטפל הקליני והמטופל; והם עשויים להתרחש גם בהגדרות מחקר המערבות מדע תרגום ולהעסיק את החוקר ואת המשתתף. אחד היתרונות של הפרוטוקולים הנוכחיים הוא שבעוד שהם מיועדים לדיאדות, הם גם מותאמים אישית. ככזה, ניתן להתאים את האינטראקציות המסתגלות המשותפות ליכולות ולנטיות הטובות ביותר של האדם, בהתאם לטווחי התנועה שלהם, לטווחי זמני העיבוד החושיים שלהם ותוך התחשבות בטווחים במשרעת האותות על פני ההיררכיה התפקודית של מערכות העצבים של האדם. ככל שהמסלול הסטוצ’סטי מתגלה ומתפתח עם הזמן, ניתן גם לברר את שיעורי הסיכוי לחתימות ולהשתמש בסדרת זמן זו כדי לחזות מספר אירועים מתקרבים יחד עם השלכות חושיות אפשריות.

לבסוף, ממשקי לולאה קרובה יכולים לשמש אפילו בעולם האמנות. הם יכולים להציע לאמנים מבצעים אפיקים חדשים כדי ליצור צורות מונחות חישובית של ריקודים מודרניים, ריקודים טכנולוגיים וצורות חדשות של הדמיה ובוניפיקציה של ביטוי גופני. בהקשרים כאלה, ניתן להפוך את גופו של הרקדן לכלי מונחה חושים כדי לחקור בגמישות אופנים חושיים שונים באמצעות sonification והדמיה של פעילויות biorhythmic שנוצר על ידי עצמו, כפי שמוצג על ידי עבודה קודמת באזור זה⁴⁰^,⁴¹^,⁴³^,⁴⁶. ביצועים כאלה יכולים להגדיל את תפקידה של רקדנית על הבמה ולתת לקהל לחוות אותות גוף עדינים מעבר לתנועה הנראית לעין.

מספר היבטים של טכנולוגיה זו דורשים פיתוח נוסף ובדיקות כדי לייעל את השימוש בהם בהגדרות בזמן אמת. הזרימה הסינכרונית דורשת קיבולת כוח וזיכרון במהירות גבוהה של המעבד המרכזי/GPU כדי לנצל באמת את הרעיון של צובר זמן ולהיות צעד אחד קדימה בעת חיזוי ההשלכות החושיות של הפקודות המוטוריות המתמשכות. שיעורי הדגימה של הציוד צריכים להיות דומים על מנת להיות מסוגל באמת ליישר את האותות, לבצע היתוך חושי נאות ולחקור את העברת המידע דרך הערוצים השונים של מערכת העצבים. אלה הן חלק מהמגבלות הקיימות בממשק חדש זה.

כל, עבודה זו מציעה מושג חדש כדי לשפר את השליטה של מערכת הגוף שלנו תוך שימוש באמצעים subliminal כי בכל זאת לאפשר מדידות תוצאה סטנדרטיות שיטתית של שינוי סטוכסטי.

Disclosures

The authors have nothing to disclose.

Acknowledgements

אנו מודים לסטודנטים שהתנדבו מזמנם לסייע בביצוע מחקר זה; קאן Anant ו PhaseSpace Inc. עבור מתן לנו תמונות וקטעי וידאו הדרושים כדי לתאר את ההגדרה; ונוירואלקטרוניקה המאפשרת לנו להשתמש בחומר מהערוץ www.youtube.com/c/neuroelectrics/ והמדריכים שלהם. לבסוף, אנו מודים לפרופ’ תומאס פאפאתומאס ממרכז רטגרס למדע קוגניטיבי על תמיכה מקצועית בשלבי ההגשה של כתב יד זה, פרס פיתוח הקריירה של קרן המשפחה ע”ש ננסי לוריא מרקס ל-EBT ופרס קרן גרונדליס ל-VK.

תרומות
תפיסה, VK ו- EBT; מתודולוגיה, EBT; תוכנה, VK, EBT, SK.; אימות, VK ו- SK; ניתוח רשמי, VK; חקירה, VK, EBT, SK; משאבים, EBT; אוצרות נתונים, VK; כתיבה – הכנת טיוטה מקורית, EBT; כתיבה – סקירה ועריכה, VK, SK.; תצוגה חזותית, VK ו- EBT.; פיקוח, EBT.; ניהול פרויקטים, EBT.; רכישת מימון, EBT כל המחברים קראו והסכימו לגרסה שפורסמה של כתב היד.

Materials

Enobio 32	Enobio	Hardware for EEG data collection
Enobio ECG Extention	Enobio	Hardware for ECG data collection
LabStreamingLayer (LSL)		Synchronization and streaming of data
Matlab	Mathwork	Analysis and processing of data
Max	Cycling'74	Sonification of bodily information
NIC.2	Enobio	Software for EEG and ECG data collection
PhaseSpace Impulse	PhaseSpace	Hardware for collection of the kinematic data (position, speed, acceleration)
Python3	Python	Analysis and processing of data
Recap	PhaseSpace	Software for collection of the kinematic data (position, speed, acceleration)

References

Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
Torres, E. B. . Theoretical Framework for the Study of Sensori-motor Integration. , (2001).
Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42 (2003).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson’s disease. PLoS One. 8 (7), 66757 (2013).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson’s disease. Frontiers in Human Neuroscience. 8, 823 (2014).
Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32 (2013).
Ryu, J., Vero, J., Torres, E. B. . MOCO ’17: Proceedings of the 4th International Conference on Movement Computing. , 1-8 (2017).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
Casadio, M., et al. . IEEE International Conference on Rehabilitation Robotics. , (2019).
Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. . 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , (2018).
Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Purves, D. . Neuroscience. Sixth edition. , (2018).
Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson’s disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
Torres, E. B. . Progress in Motor Control. , 229-254 (2016).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , (2020).
Kalampratsidou, V. . Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , (2018).
Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer’s heart. Sixth International Symposium on Movement and Computing. , (2019).
Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9 (2016).
Von Holst, E., Mittelstaedt, H., Dodwell, P. C. . Perceptual Processing: Stimulus equivalence and pattern recognition. , 41-72 (1950).
Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
Torres, E. B. . Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , (2018).
Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Kalampratsidou, V., Kemper, S., Torres, E. B. Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface. J. Vis. Exp. (171), e61943, doi:10.3791/61943 (2021).