In this paper, an experimental framework to perform closed-loop experiments is presented, in which information processing (i.e., coding and decoding) and learning of neuronal assemblies are studied during the continuous interaction with a robotic body.
Information coding in the Central Nervous System (CNS) remains unexplored. There is mounting evidence that, even at a very low level, the representation of a given stimulus might be dependent on context and history. If this is actually the case, bi-directional interactions between the brain (or if need be a reduced model of it) and sensory-motor system can shed a light on how encoding and decoding of information is performed. Here an experimental system is introduced and described in which the activity of a neuronal element (i.e., a network of neurons extracted from embryonic mammalian hippocampi) is given context and used to control the movement of an artificial agent, while environmental information is fed back to the culture as a sequence of electrical stimuli. This architecture allows a quick selection of diverse encoding, decoding, and learning algorithms to test different hypotheses on the computational properties of neuronal networks.
תכונות של תפקוד מוח רבות בלתי אפשריות כיום לשכפל במערכת מלאכותית. יכולתו של המוח לעבד במהירות מידע חושי מורכב וליצור, בתגובה, פקודות מוטוריות מדויקות היא בעצמו כבר מעבר ל- the-art המדינה של הנוכחי. אבל יכולתה להסתגל לתנאים שונים על ידי למידה מניסיון העבר עושה את זה כל כך עדיף בהרבה על מערכות בקרה שפותח אנושיות. עד כה, ניסיונות לשכפל או לנצל פלסטיות זו נפגשה הצלחה קטנה, וההבנה של המנגנון הפנימי של המוח חמקה האחיזה של חוקרים. אחד הנושאים העיקריים תוך חוקר את הקשר בין המוח וההתנהגות היא חוסר היכולת לגשת כראוי את כל המשתנים במערכת: באופן אידיאלי, התקנה ניסיונית אופטימלית תאפשר הקלטה וגירוי בו זמנית למספר גדול של תאי עצב, יציבות לטווח ארוך , ניטור של עמדות סינפסות ומשקולות, ודו-directio שליטהאינטראקציה סופית עם הסביבה. הקושי במעקב אחר כל אלה משתנים בו זמנית הוביל למחקר של קשר המוח-ההתנהגות בשני סולמות שונים מאוד: או עם התנהגות בעלי חיים, ללא בקרה טובה על תנאי ניסוי 1-7 או עם חלקים קטנים, מבודדים, כגון חלקים מ רקמה עצבית, ללא ראייה כוללת של מערכת 8. במקרה האחרון, בזמן שאין הגדרת ניסוי פיתחה מאפשרת ניטור של כל הפרמטרים המעורבים בפעולתו של אף רשת עצבית פשוטה המלא, trade-off טוב מסופק על ידי נוירונים ניתק גדלו עם מיקרו-אלקטרודה מערכי 9 (MEAs). התקנים אלה, שנולדו בסוף שנתי ה -70 10, יש לי מספר יתרונות על פני שיטות מסורתיות אלקטרופיזיולוגיה: ראשית, האפשרות להקלטה וגירוי רשת עצבית במקומות רבים ושונים בו-זמנית (בדרך כלל 60 אלקטרודות). יתר על כן, הצימוד של MEAs עם תאים הוא כמעט בלתי פולשנית, המאפשר התבוננות באותה הרשת לפרקי זמן ארוכים, עד מספר חודשים 11. ההשפעות הפיזיולוגיות של גירוי חשמלי בתרבויות ניתקו נחקרו רבות הודות למכשירים אלה, חושפים כי נכסים רבים שנצפו בקני מידה גבוהות יותר (כגון, למשל, גמישות וזיכרון פשוט מעבד 12-14) השתמרו למרות האובדן של אדריכלות. במהלך צמיחת התרבות, רשתות אלה יתחילו להראות פעילות ספונטנית בכ -7 ימים במבחנה (DIV) 15,16. פעילות רשת נוטה להשתנות באופן קיצוני עם המשך צמיחה; ראשון כקוצים בודדים לאסוף לפרצים (לקראת סוף השבוע השני) 17, מאוחר יותר כפי שהוא הופך לדפוס מורכב ביותר של מסונכרן רשת, שאינה תקופתית פורץ 18, המייצג את המדינה הבוגרת של רשת. זה כבר הציע 19 שהתנהגות סינכרוני זה, דומה במקצת לזה שנצפה בשיא in vivoציורים על בעלי חיים ישנים, נגרמים על ידי חוסר הקלט חושי.
גישה שונה ניסתה להשיג הבנה טובה יותר של קידוד מידע נלקחת על ידי ביצוע ניסויים בלולאה סגורה, שבו סוגים שונים של אותות משמשים לשליטה על הגירוי של העצבית הרשת עצמה 11,20-23. בניסויים אלה, סוכן חיצוני מסוגל אינטראקציה עם הסביבה נעשה שימוש כדי ליצור מידע חושי המוזן לרשת העצבית, אשר, בתורו, המיוצרת על פקודות מוטוריות למנגנון מפעיל. זה אפשר תצפיות של כמה תכונות דינמיות וגמישות של מערכות עצביות התפתחו בתגובה לשינויים הנגרמים בסביבה.
התקנה לבצע 'גלומה נוירופיזיולוגיה' ניסויים פותחו, שבו פלטפורמת גלגלי חיישן (רובוט פיזי או המודל הווירטואלי שלה) נע על בזירה ופרופילי המהירות שלו נקבעים על ידי הפעילות של נוירוניםמערכת (כלומר, אוכלוסייה של נוירונים בתרבית חולדה על MEA). הרובוט מאופיין בפרופילי המהירות של שני הגלגלים שלה באופן עצמאי בשליטה ועל ידי הקריאה הנוכחית של חיישני המרחק. הטבע של חיישני המרחק המדויק אינו רלוונטי; הם עשויים להיות אקטיביים או פסיביים חיישנים אופטיים או חיישני אולטרא-סאונד. ברור, נושא זה אינו חל במקרה של רובוטים וירטואליים, שבו חיישנים עשויים להיות מתוכננים עם כל תכונה רצויה.
בניסויים שתוארו במסמך זה, הרובוט המשמש הוא תמיד היישום הווירטואלי, עם 6 חיישני מרחק מצביעים על 30 מעלות, 60 מעלות ו -90 מעלות מהרובוט הולך בשני הכיוונים. הפעילות של שלושה חיישני שמאל וימין היא בממוצע והפעילות של התרבות הביולוגית היא מונעת על ידי המידע שנאסף על ידי "סופר-חיישנים 'כזה (שפשוט יהיה מכונים" שמאל "וחיישנים" נכון "במנוחה על עבודה זו). פרוטוcol תאר בפועל עשוי להיות מיושם על הרובוט הפיזי עם התאמות קיקיוניות למדי. המידע שנאסף על ידי הרובוט (בין אם פיזי או וירטואלי) מקודד בסדרה של גירויים המשמשים כדי לתפעל את הפעילות של הרשת העצבית הביולוגית, אשר מופרדת מבחינה פיזית על ידי הרובוט. הגירויים עצמם כולם זהים ולכן אינו קוד כל מידע. מה שרלוונטי הוא התדר שלהם: העלאות ריבית גירוי כאשר הרובוט מתקרב מכשול, עם אתרים שונים משלוח קידוד מידע חושי מ'העיניים 'שמאל וימין של הרובוט. הרשת העצבית תציג תגובות שונות לרכבת הנכנסת של גירויים: המשימה של אלגוריתם הפענוח היא לתרגם את פעילות רשת וכתוצאה מכך לפקודות המשמשות לשליטה הגלגלים של הרובוט. בהתחשב בהתנהגות רשת 'מושלמת' (כלומר, עם אמין ולגמרי מופרדים תגובות לגירויים מאלקטרודות שונות), זה היה Result ברובוט נהיגה בזירה שלה מבלי להכות כל מכשולים. רוב הרשתות נוכחי התנהגות שונות מאוד מאידיאלית, ולכן פרוטוקול למידה פשוט הוא הציג: גירוי כאשר מופעל, tetanic (התקפים קצרים של גירוי בתדר גבוה, 20 הרץ לגירוי 2 שניות, בהשראת הפרוטוקולים המתוארים ב24,25) הבאים התנגשות עם מכשול מועברת. אם תוצאות גירוי tetanic בחיזוק מקומי של קישוריות לרשת, זה יגרמו לעלייה הדרגתית ביכולות הניווט של הרובוט.
HyBrainWare2, גרסה משופרת של התוכנה המותאמת אישית שפורסמה ב -26, היא ארכיטקטורת הליבה שפותחה לטיפול בשליטה של ההתקנים השונים של המערכת (ממריץ, רכישת נתונים, עיבוד והדמיה, תקשורת רובוט או סימולציה). תוכנה זו פותחה במעבדה שלנו, והוא זמין באופן חופשי על פי בקשה. תוכנה זו מספקת ממשק עםלוח רכישת נתונים: לאחר שהמשתמש מתחיל רכישת נתונים מGUI, התוכנה שולטת בלוח הרכישה להתחיל הדגימה והמרת A / D של נתונים המגיעים מאלקטרודות ההקלטה. נתונים אלה לאחר מכן ניתן להקליט, מוצגים מסך או מנותח בזמן אמת כדי לזהות קוצים, בהתאם לאפשרויות שנקבעו על ידי המשתמש (ראה סעיף נוהל לפרטים נוספים). יתר על כן, בתוך התוכנה, יש לציין אלגוריתמי ההגדרה של קידוד (תרגום של מידע חושי לגירוי חשמלי) ופענוח (תרגום של פעילות מוקלטת לפקודות מוטוריות לרובוט). בפרט, ההגדרה שלנו היא יחסית ידידותי למשתמש בהשוואה למערכות דומות שנועדו בעבר 27, מאז ניתן לגשת כמעט לכל המשתנים על ידי המשתמש נכון לפני תחילת הניסוי בפועל, ואילו את כל המידע המוקלט נשמר באופן אוטומטי בתבנית תואמת ל ארגז כלים לניתוח נתונים עצביים 28.
סעיף ההליך הבא מתאר ניסוי למידה על תרבויות בהיפוקמפוס חולדה ניתק: כל culturing והפרמטרים ניסיוניים ניתנים להכנה המסוימת הזה וייתכן שיהיה הצורך לשנות אם מצע ביולוגי שונה הוא לשמש. בדומה לכך, הניסוי המתואר מנצל את ארכיטקטורת הלולאה הסגורה כדי לחקור את השפעת הלמידה של גירוי tetanic, אבל הארכיטקטורה עצמו היא גמישה מספיק כדי לשמש במחקר של תכונות שונות של רשתות עצביות ניתקו. גרסאות עיקריות של הניסוי המוצע מוסברות בהרחבה בסעיף הדיון.
במאמר זה ארכיטקטורת נוירו-רובוטית המבוססת על בקר עצבי (כלומר, רשת של תאי עצב המגיעים מקליפת המוח או ההיפוקמפוס של חולדות עובריים), מחוברת דו directionally לרובוט וירטואלי, מוצג. הרובוט, שבו יש חיישנים וגלגלים, הוא נאלץ לעבור בזירת סטטי עם מכשולים ומשימותיה מורכבת מהימנעות התנגשויות.
ההיבט הראשון, ואולי הקריטי ביותר של ההליך המתואר הוא ההכנה של התרבויות עצמם, כפי ששיעור הכישלון נוטה להיות משמעותי גם במיטב תנאים טכניים. תיאור מפורט של culturing טכניקות, לעומת זאת, מחוץ להיקף העבודה הנוכחית. כקו מנחה כללי, הקלטות צריכה להתרחש כאשר קצב ירי הרשת מגיע לרמה יציבה, בדרך כלל לאחר 3 שבועות במבחנה. אינדיקציה גסה של תרבויות בריאים היא הנוכחות של פעילות אלקטרו הספונטנית בכמה chann הקלטהאלס (לפחות 20 ערוצים מעל 60 זמינים). תרבויות אלה מתאפיינות ברמה גבוהה של קישוריות בין-עצבית. בתנאים כאלה, פעילות עצבית בדרך כלל הופכת חזקה מסונכרנת, ולעתים, הוא מציג אירועי epileptiform, עם spiking האינטנסיבי ואחרי דקות ארוכות-תקופות שקטות 37. שתי תכונות אלו מהוות בעיה: סנכרון מוגזם יעשה את זה אי אפשר להבחין תגובות לגירויים מאלקטרודות שונות, בעוד תרבויות מציגות פעילות epileptiform תגיב לגירוי הראשון מוצג עם התפרצות ארוכה של פעילות, ואחרי תקופה שקטה, ללא קשר ל כל גירוי רצוף נמסר. שני נושאים אלה יכולים להשתפר במידה רבה מהתעסוקה של תרבויות בדוגמת 35, שבו האוכלוסייה העצבית מחולקת לשתיים או יותר בחולשה תת-קבוצות מקושרות.
בעיה נוספת היא שתגובות עצביות מאוד תלויות על חלוקת Stimul הנכנסאני 38,39. בניסוי לולאה סגורה, הגירוי מועבר היא פונקציה של קריאות החיישן, אשר, בתורו, הן תוצאה של תנועת הרובוט ולכן של התגובות העצביות עצמם. משמעות הדבר הוא כי אין דרך קלה של ההקמה מראש מה יהיה תגובות שנצפו במהלך הניסוי בפועל. כתוצאה מכך, הבחירה של אלקטרודות קלט-פלט חייבת לסמוך על קירובים רצופים. בפרוטוקול המתואר, תהליך בן שני שלבים (כלומר, על השלבים 5.5 ו -6.4) מיושם כדי לנסות לקבוע מפת חיבור. בשלב הראשון, רצף קבוע של גירויים מועבר ותגובות לגירויים כאלה המשמשים לחישוב מפת חיבור ראשונה וסט זמני של ערוצי הקלטה. תצורה זו משמשת אז לבצע נסיעת המבחן מתוארת בשלב 6.4 ובחר את ערוצי ההקלטה שיהיה פיקוח במהלך הניסוי בפועל.
בסעיף התוצאות, מיל ניווט נציגult והשיפורים המיידיים הביאו על ידי כניסתה של פרדיגמה למידה מוצגים. לאורך כל תיאור הפרוטוקול, כמה גרסאות ניסיוניות אפשריות אחרות מוזכרות. לדוגמא, שתי מערכות העיקריות הקידוד מיושמות בHyBrainWare2 (ליניארי וסטוכסטיים) שבו פותחו כדי לחקור את תפקידו המדויק של השתנות קלט זמנית על הקוד העצבי 38. במקרה ליניארית, שיעור גירוי מיידי הוא פונקציה של פרמטרים המוגדר על ידי משתמש והקלטות חיישני רובוט. במקרה סטוכסטיים, יש כל מופע זמן הסתברות נתונה להיבחר כדי לספק גירוי. הסתברות כזו מחושבת באופן אוטומטי על ידי HyBrainWare2 כך ששיעורי הגירוי הצפויים להתאים לזה של המקרה הקודם. האפשרות להוסיף להתעצבן לקידוד ליניארי מספק מעבר חלק בין שני המקרים שתוארו לעיל. באותו אופן, לחקור שילובים שונים של פרמטרים בסעיף הפענוח עשוי לעזור לשפוך אור על preciתפקיד se של מתפרץ במבחנת רשתות עצביות. מהירותו של כל גלגל של הרובוט מגדילה באופן יחסי לפרמטר המשקל בכל פעם שאירוע הוא זוהה באזור הפלט המתאים, ואילו מקדם ההכחדה מציינת כמה זמן, בשניות, אחת התרומות לוקח לאבד 50% מערכו . הריקבון הוא פשוט מעריכי. גרסאות אלה שכבר נלקחו בחשבון בעיצוב הנוכחי של HyBrainWare2, אבל יותר אפשרויות מחקר רבות פתוחות אם יכולים להיות הציגו שינויים נוספים בתוכנה או התקנה ניסיונית.
הגבלה משמעותית למדי של הפרוטוקול שתואר כאן היא הדרישה של התוכנה שפותחה המותאמת אישית, HyBrainWare2 (זמינה באופן חופשי על פי בקשה לכל המשתמשים המעוניינים). תוכנה זו תוכננה עבור קבוצה של התקנים (ממריץ, רכישת לוח, מגבר MEA) של מודל ויצרן ספציפי. למרות שזה אכן אפשרי כדי להתאים אותה לעבודה בdisetups fferent, ההמרה תיקח קצת מיומנות תכנות. בדומה לכך, האופציה הכלולה לכסות סט מוגבל של כל השאלות הניסיוניות שיכול להיחקר באמצעות התקנה כזו. לדוגמא, אלגוריתם זיהוי ספייק מיושם בארכיטקטורה הוצגה (זיהוי ספייק זמן מדויק 40) מוגדר לחלוטין על ידי מספר פרמטרים בקידוד קשיח שצריכים להיות שונה אם הנושא של רישום הוא שונה מאוד מרשתות עצביות ניתקו (למשל, תאי לב או פרוסות). לבסוף, פרוטוקול הלמידה מורכב מהמסירה קצרה בתדירות גבוהה, (2 שניות של 20 גירוי Hz, דופק בכל גירוי זהה לאלו המשמשים לקוד חושי מידע) גירוי לאחר כל מכת מכשול. אם הרובוט פוגע מכשול עם הצד הימני שלה, גירוי tetanic מועבר לאלקטרודה, כי בדרך כלל קודים לצד מידע נכון והדבר נכון גם עבור צד להיטי שמאל. פרוטוקול זה הוא בקידוד קשיח ולא יכול בדואר השתנה על ידי המשתמש מבלי לשנות תוכנת יציאה.
למרות שהעיצוב שהוצג כאן היא לא המערכת שלבשה הגוף הראשונה לניסויים היברידיים, לולאה סגורה 20,23,27,41,42, אלה שנועדו בעבר התמקדו בתזה אחת נתמכת על ידי נתונים ממספר מצומצם של הכנות מקבילות . מצד השני, ההתקנה המתוארת הייתה בשימוש כבר מספר רב של ניסויים (יותר מ -100 תרבויות נרשמו מאז 2012) בהכנות שונות למודולריות ומוצא, ואילו הניסויים עצמם עסקו בנושאים שונים (לדוגמא: השפעה של גירוי tetanic ו רלוונטי של התפוצצות, כפי שהוצג בתוצאות). בעתיד הקרוב, הפעלות ניסיוניות חדשות צפויות כדי לאמת את ההשפעות הארוכות הטווח של שני גירוי tetanic ולולאה סגורה ומערכת היחסים בין סדירות גירוי ונצפו תגובות. נושא נוסף שיש לדון בה הוא הקשר בין פעילות הספונטנית ונצפית, עםהרעיון של הוספת אלגוריתם פענוח חדש שלוקח בחשבון את ההיסטוריה של פעילות וגירוי 43 האחרונים.
The authors have nothing to disclose.
המחברים מבקשים דוקטורט תודה סטודנט Marta Bisio לculturing ותחזוקת רשתות עצביות על מיקרו-אלקטרודה מערכים וד"ר מרינה נאני וד"ר קלאודיה Chiabrera מNBT-IIT לסיוע הטכני לנהלים לנתיחה וניתוק. המחקר שיוביל לתוצאות אלה קיבל מימון מתכנית המסגרת השביעית של האיחוד האירופי (ICT-FET FP7 / 2007-2013, FET צעיר סיירים תכנית) על פי הסכם מענק n ° BOW 284,772 המוח (www.brainbowproject.eu). המחברים גם רוצים להודות לסילביה Chiappalone על עזרתה בהפקת הגרפיקה המשמשת במבוא.
Name of Reagent/Material | Company |
Stimulus Generator 4002 | Multi Channel Systems |
MEA1060-Inv-BC | Multi Channel Systems |
TC02 | Multi Channel Systems |
NI 6255 Acquisition Card | National Instruments |
Microsoft Visual Studio 2008 | Microsoft |
2078P Multichannel System-National Instruments adapter board | Developed at University of Genova (Italy) |
Matlab 2010 | Mathworks |