In this paper, an experimental framework to perform closed-loop experiments is presented, in which information processing (i.e., coding and decoding) and learning of neuronal assemblies are studied during the continuous interaction with a robotic body.
Information coding in the Central Nervous System (CNS) remains unexplored. There is mounting evidence that, even at a very low level, the representation of a given stimulus might be dependent on context and history. If this is actually the case, bi-directional interactions between the brain (or if need be a reduced model of it) and sensory-motor system can shed a light on how encoding and decoding of information is performed. Here an experimental system is introduced and described in which the activity of a neuronal element (i.e., a network of neurons extracted from embryonic mammalian hippocampi) is given context and used to control the movement of an artificial agent, while environmental information is fed back to the culture as a sequence of electrical stimuli. This architecture allows a quick selection of diverse encoding, decoding, and learning algorithms to test different hypotheses on the computational properties of neuronal networks.
Viele Funktionen der Hirnfunktion sind derzeit nicht möglich, ein künstliches System replizieren. Die Fähigkeit des Gehirns, um schnell zu verarbeiten komplexe sensorische Informationen und zur Erzeugung, in der Antwort, ist präzise motorische Befehle an sich bereits über die aktuelle state-of-the-art. Aber seine Fähigkeit, unterschiedlichen Bedingungen durch das Lernen aus den Erfahrungen der Vergangenheit anzupassen, macht es so weit überlegen menschliche entwickelten Steuerungssysteme. Bisher versucht zu replizieren oder nutzen diese Plastizität haben wenig Erfolg, und das Verständnis für das Innenleben des Gehirns hat das Verständnis der Forscher entgangen. Eines der Hauptprobleme bei der Untersuchung der Beziehung zwischen Gehirn und Verhalten ist die Unfähigkeit, richtig greifen alle Variablen im System: im Idealfall eine optimale Versuchsaufbau würde gleichzeitige Aufnahme und Stimulation zu einer großen Anzahl von Nervenzellen ermöglichen, langfristige Stabilität , Überwachung von Synapsen Positionen und Gewichte, und kontrollierbar bi-directional Wechselwirkung mit der Umgebung. Die Schwierigkeit bei der gleichzeitigen Verfolgung all diese Variablen führte zur Untersuchung von Gehirn-Verhalten Beziehung zu zwei sehr unterschiedlichen Skalen: entweder mit lebenden Tier, ohne eine genaue Kontrolle über Versuchsbedingungen 1-7 oder mit kleinen, isolierten Teile, wie Teile der neuronales Gewebe, ohne Gesamtansicht des Systems 8. Im letzteren Fall, wenn kein entwickelt Versuchsaufbau ermöglicht die komplette Überwachung aller in der Arbeitsweise auch ein einfaches neuronales Netz beteiligten Parameter, ein guter Kompromiss wird von dissoziierten Neuronen über Micro-Elektroden Arrays (MEAs) 9 gewachsen ist. Diese Geräte am Ende der 70-er 10 geboren haben mehrere Vorteile gegenüber herkömmlichen Elektrotechniken: erstens die Möglichkeit der Aufzeichnung und Stimulieren einer neuralen Netzwerk an vielen verschiedenen Stellen auf einmal (gewöhnlich 60 Elektroden). Außerdem ist die Kopplung von MEAs mit Zellen fast nicht invasiveUnd ermöglicht die Beobachtung des gleichen Netzes für längere Zeiträume bis zu mehreren Monaten 11. Die physiologischen Wirkungen der elektrischen Stimulation auf dissoziierte Kulturen wurden ausgiebig dank dieser Vorrichtungen untersucht und zeigt, daß viele Eigenschaften bei höheren Skalen beobachtet (wie beispielsweise Plastizität und einfache Speicher verarbeitet 12-14) sind trotz des Verlustes von Architektur erhalten. Während der Kulturwachstum, beginnen diese Netzwerke, die Spontanaktivität bei etwa 7 Tage in vitro (DIV) 15,16. Netzwerkaktivität eher radikal mit weiterem Wachstum zu ändern; zunächst als Einzelspitzen sammeln nicht in Bursts (gegen Ende der zweiten Woche) 17, der später als sie sich ändert in ein hoch komplexes Muster synchronisiert ist, nicht-periodische Netzwerk Bursts 18, die das reife Zustand eines Netzwerks darstellt. Es wurde vorgeschlagen, 19, dass diese Synchron-Verhalten, ähnlich dem in in vivo Aufzeichnung beobachtetIngs auf schlafenden Tiere wird durch den Mangel an Sinnes verursacht.
Ein anderer Ansatz versucht, ein besseres Verständnis des Informationscodierung wird durch Ausführen einer Closed-Loop-Experimente, in denen verschiedene Arten von Signalen verwendet, um die Stimulation der neuronalen Netzwerk selbst 11,20-23 Steuerung übernommen gewinnen. In diesen Experimenten wurde ein externes Mittel, das zur Wechselwirkung mit der Umgebung verwendet worden ist, um sensorische Information an das neuronale Netz, die wiederum hergestellten Kraftbefehlen für einen auslösenden Mechanismus gespeist erzeugen. Dies ermöglichte Beobachtungen, wie dynamische und adaptive Eigenschaften neuronaler Systeme als Antwort auf induzierte Veränderungen in der Umwelt entwickelt.
Ein Setup ausführen "verkörpert Neurophysiologie Experimente entwickelt, wo eine Sensorplattform mit Rädern (eine physische Roboter oder virtuellen Modell) bewegt sich in einer Arena und ihre Geschwindigkeitsprofile werden durch die Aktivität eines neuronalen bestimmtSystem (dh, eine Bevölkerung von Rattenneuronen über eine MEA kultiviert). Der Roboter wird durch die Geschwindigkeitsprofile der zwei unabhängig gesteuerte Räder und durch die Strommesswerte der Abstandssensoren sind. Die genaue Art der Abstandssensoren ist nicht relevant; sie können aktive oder passive optische Sensoren oder Ultraschallsensoren sein. Es ist klar, tritt dieses Problem nicht im Fall der virtuelle Roboter, in dem Sensoren können mit einer beliebigen Funktion ausgelegt werden gelten.
In den Experimenten, die hier beschrieben wird, ist der Roboter verwendet immer die virtuelle Umsetzung mit 6 Abstandssensoren, der auf 30 °, 60 ° und 90 ° von der Roboter Position in beiden Richtungen. Die Aktivität der drei linken und rechten Sensoren gemittelt wird und die Aktivität der biologischen Kultur wird durch die von solchen "Super-Sensoren (die nur als" links "und" rechts "Sensoren im Rest bezeichnet wird gesammelten Informationen angetrieben dieser Arbeit). Die Protocol beschrieben tatsächlich in die physische Roboter mit relativ geringfügigen Anpassungen verwendet werden. Die von dem Roboter (entweder physisch oder virtuell) gesammelten Informationen werden in einer Reihe von Stimuli, die verwendet werden, um die Aktivität des biologischen neuronalen Netzwerk, die physikalisch von dem Roboter getrennten manipulieren kodiert. Die Reize selbst sind alle identisch und somit keine Informationen zu codieren. Entscheidend ist ihre Häufigkeit: Stimulationsfrequenz erhöht sich, wenn der Roboter auf ein Hindernis nähert, mit unterschiedlichen Liefer Websites Codierung sensorischer Information aus dem linken und rechten "Augen" des Roboters. Das neuronale Netz wird unterschiedliche Antworten auf den ankommenden Zug von Reizen präsentiert: Die Aufgabe des Decodierungsalgorithmus, um die resultierende Netzwerkaktivität in Befehle verwendet, um die Räder des Roboters steuern, umzusetzen. Bei einer "perfekten" Netzwerkverhalten (dh mit einer zuverlässigen und völlig getrennt von Reaktionen auf verschiedene Reize Elektroden), würde dies Result in der Roboterfahr in seiner Arena, ohne auf jedes Hindernis. Die meisten Netzwerke vorhanden ein Verhalten sehr verschieden von Idealität, also eine einfache Lern Protokoll wird eingeführt: wenn aktiviert, tetanische Stimulation (kurze Phasen der Hochfrequenzstimulation, 20 Hz-Stimulation für 2 Sekunden, inspiriert von in 24,25 beschriebenen Protokolle) im Anschluss an eine Kollision mit einem Hindernis wird ausgeliefert. Wenn die tetanische Stimulation führt zu einer lokalen Verstärkung der Netzwerkverbindung, führt dies zu einer Progression der Navigationsfähigkeiten des Roboters führen.
HyBrainWare2, eine verbesserte Version der kundenspezifische Software in 26 veröffentlicht wurde, ist die Core-Architektur entwickelt, um die Steuerung der verschiedenen Geräte des Systems (Stimulator, Datenerfassung, Verarbeitung und Visualisierung, Kommunikation oder Robotersimulation) zu behandeln. Diese Software wurde in unserem Labor entwickelt und ist auf Anfrage frei verfügbar. Diese Software stellt die Schnittstelle mitdie Datenerfassungskarte: sobald der Benutzer beginnt die Datenerfassung von der GUI steuert die Software die Erfassungskarte, die Probenahme und A / D-Wandlung der Daten, die von den Aufzeichnungselektroden starten. Diese Daten können dann aufgezeichnet, angezeigt Bild oder in Echtzeit analysiert, um Spannungsspitzen zu erkennen, entsprechend den vom Benutzer eingestellten Optionen (siehe Vorgehensweise Abschnitt). Weiterhin in der Software, die Definition Codierung (Übersetzung von sensorischer Information in ein elektrisches Stimulations) und Decodieren (Übersetzen von Aktivität in Kraftbefehle für den Roboter) Algorithmen angegeben werden. Insbesondere ist unser Setup relativ benutzerfreundlich im Vergleich zu ähnlichen Systemen in der Vergangenheit 27 ausgebildet ist, da fast alle Variablen können vom Anwender aufgerufen werden kurz vor Beginn der eigentlichen Experiment, während alle aufgezeichneten Informationen werden automatisch in einem Format mit kompatiblen gespeichert ein neuronales Datenanalyse-Toolbox 28.
Der folgende Abschnitt beschreibt ein Verfahren Lernversuch dissoziierten Ratten-Hippocampus-Kulturen: alle die Kultivierung und Versuchsparameter sind für dieses bestimmte Zubereitung zur Verfügung gestellt und kann geändert werden müssen, wenn eine andere biologische Substrat verwendet werden soll. In ähnlicher Weise erfolgt die beschriebene Experiment Vorteil der closed-loop-Architektur, um den Lerneffekt tetanische Stimulation untersucht, aber die Architektur selbst ist flexibel genug, um bei der Untersuchung der verschiedenen Funktionen von dissoziierten neuronalen Netzwerken verwendet werden. Hauptvarianten des vorgeschlagenen Experiments sind weiter in der Diskussion Abschnitt erklärt.
In diesem Artikel wird eine Neuro-Architektur Roboter auf einem neuronalen Steuerung (dh ein Netz von Neuronen aus dem Kortex oder des Hippokampus von embryonalen Ratten) bidirektional an einen virtuellen Roboter verbunden basiert, wird vorgestellt. Der Roboter, der Sensoren und Räder hat, ist gezwungen, in einem statischen Arena mit Hindernisse bewegen und ihre Aufgabe besteht darin, Vermeidung von Kollisionen.
Der erste und vielleicht wichtigste Aspekt des beschriebenen Verfahrens ist die Herstellung der Kulturen selbst, da die Fehlerrate dazu neigen, signifikant sogar in den besten technischen Bedingungen. Eine detaillierte Beschreibung der Techniken, die Kultivierung wird jedoch außerhalb des Umfangs der vorliegenden Arbeit. Als allgemeine Regel sollte die Aufnahmen auf, wenn die Netzwerk-Feuerungsrate erreicht einen stabilen Pegel, in der Regel nach 3 Wochen in vitro. Eine grobe Angabe der gesunden Kulturen ist das Vorhandensein von spontanen elektrophysiologische Aktivität in mehreren Aufnahme channels (mindestens 20 Kanäle über 60 verfügbar). Solche Kulturen sind durch einen hohen Grad der neuronalen Interkonnektivität gekennzeichnet. Unter solchen Bedingungen wird die neuronale Aktivität in der Regel wird stark synchronisiert und in Zeiten, zeigt es epileptiforme Ereignissen, mit intensiven spiking gefolgt von Minuten langen Ruheperioden 37. Beide Funktionen stellen ein Problem: exzessive Synchronisation wird es unmöglich machen, Reaktionen auf Reize aus verschiedenen Elektroden zu unterscheiden, während Kulturen epileptiforme Aktivität zeigt, wird auf den ersten Reiz mit einer langen Ausbruch von Aktivität vorgestellt, gefolgt von einer Ruhephase zu reagieren, unabhängig davon, jede aufeinanderfolgende Impulse geliefert. Beide diese Probleme stark durch die Verwendung von gemusterten Kulturen 35, in welcher das neuronale Population in zwei oder mehrere schwach miteinander verbundenen Untergruppen aufgeteilt gelindert werden.
Ein weiteres Problem ist, dass neuronale Reaktionen hängen stark von der Verteilung eingehender stimuli 38,39. In einem Closed-Loop-Experiment wird die gelieferten Stimulations eine Funktion der Sensorwerte, die ihrerseits eine Folge von Roboterbewegung und damit der neuronalen Antworten selbst. Dies impliziert, daß es keine einfache Möglichkeit, vorab festzustellen, was Antworten werden während des eigentlichen Experiments beobachtet werden. Infolgedessen muss die Auswahl des Eingabe-Ausgabe-Elektroden auf sukzessive Approximationen verlassen. In dem beschriebenen Protokoll kann ein zweistufiges Verfahren (nämlich die Schritte 5.5 und 6.4) durchgeführt wird, um zu versuchen, eine Verbindung der Karte zu bestimmen. Im ersten Schritt wird eine reguläre Folge von Stimulationen geliefert und Antworten auf solche Stimuli verwendet, um eine erste Verbindungskarte und eine temporäre Menge von Aufzeichnungskanälen abzuleiten. Dann wird diese Konfiguration verwendet, um die in Schritt 6.4 beschrieben Probefahrt durchführen und wählen Sie die Aufnahmekanäle, die während des eigentlichen Experiments überwacht wird.
Im Ergebnisbereich, ein Vertreter Navigations result und die sofortige Verbesserungen durch die Einführung eines Lernparadigma gebracht werden vorgestellt. Während der Protokollbeschreibung sind mehrere andere mögliche Versuchsvarianten erwähnt. Zum Beispiel können die in HyBrainWare2 implementiert zwei Haupt Codiersysteme (linear und stochastische) wobei entwickelt die genaue Rolle der zeitlichen Eingangs Variabilität auf dem neuronalen Code 38 zu untersuchen. Im linearen Fall, erfolgt sofort Stimulationsrate in Abhängigkeit von benutzerdefinierten Parametern und Robotersensoren Aufnahmen. In der stochastischen Fall wird jedes Mal, beispielsweise eine vorgegebene Wahrscheinlichkeit, gewählt, um einen Anreiz zu liefern. Solchen Wahrscheinlichkeit wird automatisch durch HyBrainWare2 berechnet, so dass die erwarteten Stimulationsraten übereinstimmen, für den ersten Fall. Die Möglichkeit, Jitter in den linearen Codierung bietet einen reibungslosen Übergang zwischen den beiden oben beschriebenen Fällen. In der gleichen Weise, sich mit verschiedenen Kombinationen von Parametern in der Decodierabschnitt helfen könnte Aufschluss über die precise Rolle platzt in in vitro neuronale Netze. Die Geschwindigkeit von jedem Rad des Roboters erhöht sich proportional zur Gewichtsparameter jedesmal, wenn ein Ereignis in dem entsprechenden Ausgangsbereich erfaßt wird, während der Extinktionskoeffizient zeigt an, wie viel Zeit in Sekunden, die einer der Beiträge nimmt auf 50% seines Wertes verlieren . Der Zerfall ist eine einfache Exponentialfunktion. Diese Varianten wurden bereits berücksichtigt in das aktuelle Design der HyBrainWare2 genommen worden, aber viele weitere Forschungsmöglichkeiten sind offen, wenn weitere Änderungen in der Software oder Versuchsaufbau eingebracht werden kann.
Ein ziemlich erhebliche Einschränkung der hier beschriebene Protokoll ist die Forderung der entwickelt kundenspezifische Software, HyBrainWare2 (auf Anfrage frei verfügbar für alle interessierten Nutzer). Diese Software wurde für eine Reihe von Geräten (Stimulator, Erfassungskarte, MEA-Verstärker) an ein bestimmtes Modell und Hersteller konzipiert. Zwar ist es möglich, passen sie auf di arbeitenfferent Setups, wird die Konvertierung einige Programmierkenntnisse zu nehmen. Ebenso decken die enthaltenen Optionen nur eine begrenzte Menge aller experimentellen Fragen, die durch ein solches Setup untersucht werden konnte. Beispielsweise wird die Spitzendetektionsalgorithmus in der dargestellten Architektur implementiert (genaue Zeit Spitzendetektions 40) vollständig durch mehrere hartcodierte Parameter, die geändert werden müssen, wenn der Gegenstand der Anmeldung ist sehr verschieden von dissoziierten neuronalen Netzen (zB Herzzellen definiert oder Scheiben). Schließlich wird der Lern Protokoll besteht aus der Lieferung eines kurzen Hochfrequenz (2 sec mit 20 Hz Anregung jedes Auslöseimpulses ist die gleiche wie jene, die zur sensorischen Informationscode) Stimulation nach jedem Hindernis treffen. Wenn der Roboter auf ein Hindernis trifft mit seiner rechten Seite wird das tetanische Stimulation auf der Elektrode, die in der Regel-Codes für die rechte Seite Informationen und das gleiche gilt für die linke Seite Ergebnisse geliefert. Dieses Protokoll ist fest codiert und können nicht bohne Modifizierung austretenden Software e durch den Benutzer geändert wird.
Während die Einstellung hier dargestellt ist nicht die erste verkörperten System für Hybrid geschlossener Schleife Experimenten 20,23,27,41,42, waren diejenigen, die in der Vergangenheit entwickelt, auf einem einzigen Dissertation von Daten aus einer begrenzten Anzahl von analogen Zubereitungen unterstützt fokussiert . Auf der anderen Seite hat sich die beschriebene Einrichtung für eine große Anzahl von Experimenten (mehr als 100 Kulturen haben seit 2012 aufgenommen wurden) mit den Vorbereitungen für die unterschiedlichen Modularität und Herkunft verwendet wurden, während die Experimente selbst adressierten verschiedenen Themen (zB Auswirkungen der tetanischen Stimulation und Relevanz von Platzen, wie in den Ergebnissen vorgelegt). In naher Zukunft werden neue experimentelle Sitzungen vorgesehen, um die anhaltende Wirkung der beiden tetanische und Closed-Loop-Stimulation und die Beziehung zwischen Stimulation Ordnungsmäßigkeit zu überprüfen und beobachteten Reaktionen. Eine weitere Problemstellung ist die Verbindung zwischen spontanen und beobachtete Aktivität, mitdie Idee, das Hinzufügen eines neuen Decodieralgorithmus, die berücksichtigt, die Geschichte der letzten Aktivität und Stimulation 43.
The authors have nothing to disclose.
Die Autoren möchten sich dank Ph.D. Student Marta Bisio zur Kultivierung und Pflege von neuronalen Netzwerken auf Mikroelektrodenarrays und Dr. Marina Nanni und Dr. Claudia Chiabrera von NBT-IIT für die technische Hilfe für die Dissektion und Dissoziation Verfahren. Die Forschung, die zu diesen Ergebnissen geführt Mittel aus dem Siebten Rahmenprogramm der Europäischen Union erhalten (ICT-FET FP7 / 2007-2013, FET Young Explorers Schema) unter Finanzhilfevereinbarung Nr 284.772 BRAIN BOW ( www.brainbowproject.eu ). Die Autoren möchten auch Silvia Chiappalone für ihre Hilfe bei der Erstellung der in der Einleitung verwendeten Grafiken danken.
Name of Reagent/Material | Company |
Stimulus Generator 4002 | Multi Channel Systems |
MEA1060-Inv-BC | Multi Channel Systems |
TC02 | Multi Channel Systems |
NI 6255 Acquisition Card | National Instruments |
Microsoft Visual Studio 2008 | Microsoft |
2078P Multichannel System-National Instruments adapter board | Developed at University of Genova (Italy) |
Matlab 2010 | Mathworks |