In this paper, an experimental framework to perform closed-loop experiments is presented, in which information processing (i.e., coding and decoding) and learning of neuronal assemblies are studied during the continuous interaction with a robotic body.
Information coding in the Central Nervous System (CNS) remains unexplored. There is mounting evidence that, even at a very low level, the representation of a given stimulus might be dependent on context and history. If this is actually the case, bi-directional interactions between the brain (or if need be a reduced model of it) and sensory-motor system can shed a light on how encoding and decoding of information is performed. Here an experimental system is introduced and described in which the activity of a neuronal element (i.e., a network of neurons extracted from embryonic mammalian hippocampi) is given context and used to control the movement of an artificial agent, while environmental information is fed back to the culture as a sequence of electrical stimuli. This architecture allows a quick selection of diverse encoding, decoding, and learning algorithms to test different hypotheses on the computational properties of neuronal networks.
Molte caratteristiche di funzionamento del cervello sono attualmente impossibili da replicare in un sistema artificiale. La capacità del cervello di elaborare rapidamente le informazioni sensoriali complesse e di generare, in risposta, comandi precisi motore è di per sé già oltre lo stato-of-the-art attuale. Ma la sua capacità di adattarsi a condizioni diverse da imparare dalle esperienze passate rende così di gran lunga superiori ai sistemi di controllo umani sviluppati. Finora, i tentativi di replicare o sfruttare questa plasticità incontrato poco successo, e la comprensione del funzionamento interno del cervello ha eluso la comprensione dei ricercatori. Uno dei principali problemi mentre indaga il rapporto tra cervello e comportamento è l'impossibilità di accedere correttamente tutte le variabili del sistema: idealmente, un apparato sperimentale ottimale permetterebbe la registrazione simultanea e la stimolazione di un gran numero di neuroni, stabilità a lungo termine , monitoraggio delle sinapsi posizioni e pesi, e controllabili bi-directional interazione con l'ambiente. La difficoltà nel rintracciare tutte quelle variabili simultaneamente portato allo studio del rapporto cervello-comportamento a due scale molto diverse: o con comportarsi animali, senza controllo fine condizioni sperimentali 1-7 o con piccole parti isolate, come porzioni di tessuto neuronale, senza vista generale del sistema 8. In quest'ultimo caso, mentre nessun apparato sperimentale messo a punto consente il monitoraggio completo di tutti i parametri coinvolti nel funzionamento di anche una semplice rete neurale, un buon trade-off è fornito da neuroni dissociati adulti over-Micro Electrode Array (MEA) 9. Tali dispositivi, nati alla fine degli anni 70 del 10, hanno diversi vantaggi rispetto alle tecniche di elettrofisiologia tradizionali: in primo luogo, la possibilità di registrare e stimolare una rete neurale in molti luoghi diversi in una sola volta (di solito 60 elettrodi). Inoltre, l'accoppiamento di MEA con cellule è quasi non invasiva, Permettendo l'osservazione della stessa rete per lunghi periodi di tempo, fino a diversi mesi 11. Gli effetti fisiologici della stimolazione elettrica su colture dissociate sono state ampiamente studiate grazie a tali dispositivi, rivelando che molte proprietà osservate su scale superiori (quali, ad esempio, la plasticità e la memoria semplici processi 12-14) sono conservati nonostante la perdita di architettura. Durante la crescita della cultura, quelle reti iniziano mostrando attività spontanea in circa 7 giorni in vitro (DIV) 15,16. Attività di rete tende a cambiare radicalmente con l'ulteriore crescita; prima come singoli picchi raccolgono in burst (verso la fine della seconda settimana) 17, in seguito come cambia in un modello altamente complesso di sincronizzato, rete non periodico scoppia 18, che rappresenta lo stato maturo di una rete. È stato suggerito 19 che questo comportamento sincrono, in qualche modo simile a quello osservato in atto in vivoIngs su animali a pelo, è causata dalla mancanza di input sensoriali.
Un diverso approccio ha tentato di acquisire una migliore comprensione delle informazioni codifica è stata presa eseguendo esperimenti a circuito chiuso, in cui sono stati utilizzati diversi tipi di segnali per controllare la stimolazione della stessa 11,20-23 rete neuronale. In questi esperimenti, un agente esterno capace di interazione con l'ambiente è stato usato per generare informazioni sensoriali alimentato alla rete neurale, che, a sua volta, produce comandi motori per un meccanismo effettore. Questo ha permesso osservazioni come proprietà dinamiche e di adattamento dei sistemi neurali evoluti in risposta ai cambiamenti indotti nell'ambiente.
Una configurazione di effettuare 'incarnato neurofisiologia "esperimenti è stato sviluppato, in cui una piattaforma ruote sensore (un robot fisico o il suo modello virtuale) si muove in un'arena e dei suoi profili di velocità sono determinati dalla attività di una neuronalesistema (cioè, una popolazione di neuroni di ratto coltivate su un MEA). Il robot è caratterizzato dai profili di velocità delle sue due ruote indipendenti e controllati dalle attuali letture dei sensori di distanza. La natura esatta dei sensori di distanza non è rilevante; essi possono essere sensori ottici o sensori ad ultrasuoni attiva o passiva. Chiaramente, questo problema non si applica nel caso di robot virtuali, in cui i sensori possono essere progettati con qualsiasi funzione desiderata.
Negli esperimenti qui descritti, il robot utilizzato è sempre la realizzazione virtuale, con 6 sensori di distanza che punta a 30 °, 60 ° e 90 ° dalla direzione in entrambe le direzioni robot. L'attività dei tre sensori sinistro e destro è media e l'attività biologica della cultura è guidato dalle informazioni raccolte da tali "super-sensori (che sarà solo essere indicati come 'sinistra' e 'destra' sensori nel resto di questo lavoro). Il protocol descritto può essere effettivamente applicata al robot fisico con aggiustamenti piuttosto piccole. Le informazioni raccolte dal robot (reali o virtuali) è codificato in una serie di stimoli che vengono utilizzati per manipolare l'attività della rete neurale biologica, che è fisicamente separato dal robot. Gli stimoli stessi sono tutti identici e pertanto non codificare informazioni. Ciò che conta è la loro frequenza: aumenti dei tassi di stimolazione quando il robot si avvicina ad un ostacolo, con i siti di recapito diversi codifica le informazioni sensoriali dagli 'occhi' sinistro e destro del robot. La rete neurale presenterà diverse risposte al treno in arrivo di stimolazioni: compito dell'algoritmo di decodifica è tradurre l'attività di rete risultante in comandi utilizzati per controllare le ruote del robot. Dato un 'perfetto' il comportamento della rete (ad esempio, con affidabile e totalmente le risposte agli stimoli provenienti da diversi elettrodi separati), questo sarebbe Result nel robot di guida nella scena senza colpire alcun ostacolo. La maggior parte delle reti presenti un comportamento molto diverso da idealità, quindi viene introdotto un semplice protocollo di apprendimento: una volta attivato, stimolazione tetanica (brevi periodi di stimolazione ad alta frequenza, 20 Hz stimolazione per 2 secondi, ispirato da protocolli descritti in 24,25) a seguito di una collisione con un ostacolo viene consegnato. Se i risultati stimolazione tetanica in un rafforzamento locale di connettività di rete, questo si tradurrà in un aumento progressivo delle capacità di navigazione del robot.
HyBrainWare2, una versione migliorata del software personalizzato pubblicato in 26, è l'architettura di base sviluppata per gestire il controllo dei diversi dispositivi del sistema (stimolatore, acquisizione dati, elaborazione e visualizzazione, la comunicazione robot o simulazione). Questo software è stato sviluppato presso il nostro laboratorio, ed è disponibile gratuitamente su richiesta. Questo software fornisce l'interfaccia conla scheda di acquisizione dati: una volta che l'utente avvia acquisizione dati dalla GUI, il software controlla la scheda di acquisizione per avviare il campionamento e conversione A / D dei dati provenienti dagli elettrodi di registrazione. Questi dati possono essere registrati, visualizzato a schermo o analizzati in tempo reale per rilevare picchi, secondo le opzioni impostate dall'utente (vedere la sezione Procedura per i dettagli). Inoltre, all'interno del software, la definizione di codifica (conversione delle informazioni sensoriali in una stimolazione elettrica) e decodifica (definizione di attività registrata in comandi motore per il robot) algoritmi deve essere specificato. In particolare, la nostra messa a punto è relativamente facile da usare rispetto ai sistemi analoghi progettati in passato 27, dal momento che quasi tutte le variabili sono accessibili dall'utente destra prima di iniziare l'esperimento vero e proprio, mentre tutte le informazioni registrate vengono automaticamente salvati in un formato compatibile con un'analisi toolbox dati neurale 28.
La sezione seguente procedura descrive un esperimento di apprendimento su colture ippocampali di ratto dissociata: tutta la coltura e parametri sperimentali sono forniti per questo particolare preparazione e possono avere bisogno di essere modificata se un substrato biologico diverso deve essere utilizzato. Analogamente, l'esperimento descritto sfrutta l'architettura ad anello chiuso per studiare l'effetto della stimolazione tetanica apprendimento, ma la stessa architettura è sufficientemente flessibile per essere utilizzato nello studio di diverse caratteristiche di reti neurali dissociate. Le principali varianti dell'esperimento proposto sono ulteriormente spiegate nella sezione di discussione.
In questo documento un'architettura neuro-robotica basa su un controller neurale (cioè, una rete di neuroni provenienti dalla corteccia o l'ippocampo di ratti embrionali), bidirezionalmente collegata ad un robot virtuale, viene presentato. Il robot, che ha sensori e ruote, è costretto a muoversi in un'arena statico con ostacoli ed il suo compito consiste di evitare collisioni.
Il primo e forse più critico aspetto della procedura descritta è la preparazione delle culture stesse, come il tasso di fallimento tenderà ad essere significativo anche nelle migliori condizioni tecniche. Una descrizione dettagliata delle tecniche di coltura, tuttavia, al di fuori del campo di applicazione del presente lavoro. Come regola generale, le registrazioni dovrebbero verificarsi quando la frequenza di scarica della rete raggiunge un livello stabile, di solito dopo 3 settimane in vitro. Una indicazione di massima delle culture sani è la presenza di attività elettrofisiologica spontanea in vari chann registrazioneEls (almeno 20 canali oltre 60 disponibili). Tali colture sono caratterizzati da un elevato grado di neuronale interconnettività. In tali condizioni, l'attività neurale di solito viene fortemente sincronizzato e, a volte, visualizzare gli eventi epilettiformi, con chiodare intenso seguito da minuti-lunghi periodi di silenzio 37. Entrambe queste caratteristiche presentano un problema: sincronizzazione eccessiva renderà impossibile distinguere risposte a stimoli di diversi elettrodi, mentre le culture espongono attività epilettiforme risponderanno al primo stimolo di un lungo sfogo di attività, seguito da un periodo di silenzio, indipendentemente qualsiasi stimoli successiva consegna. Entrambi questi problemi possono essere fortemente migliorati con l'impiego di colture fantasia 35, in cui la popolazione neurale è diviso in due o più debolmente sottogruppi interconnessi.
Un altro problema è che le risposte neurali dipendono in larga misura la distribuzione del stimul arrivoi 38,39. In un esperimento anello chiuso, la stimolazione erogata è una funzione delle letture del sensore, che, a loro volta, sono una conseguenza del movimento del robot e quindi delle risposte neurali stessi. Ciò implica che non vi è alcun modo semplice di stabilire in anticipo quali risposte saranno osservati durante l'esperimento vero e proprio. Di conseguenza, la selezione di elettrodi di ingresso-uscita deve contare su approssimazioni successive. Nel protocollo descritto, un processo a due stadi (cioè, i punti 5.5 e 6.4) viene implementato per cercare di determinare una mappa connessione. Nella prima fase, una sequenza regolare di stimolazioni viene fornito e risposte a tali stimoli sono utilizzati per ricavare una prima mappa connessione e un insieme di canali di registrazione temporanea. Questa configurazione viene quindi utilizzato per eseguire il test drive descritto al punto 6.4 e selezionare i canali di registrazione che saranno monitorati durante l'esperimento vero e proprio.
Nella sezione Risultati, un rappresentante res navigazioneult e miglioramenti immediati apportati dall'introduzione di un paradigma di apprendimento sono presentati. Durante la descrizione di protocollo, diverse altre possibili varianti sperimentali sono menzionati. Ad esempio, i due principali sistemi di codifica implementati in HyBrainWare2 (lineari e stocastici) dove sviluppati per indagare il ruolo esatto di temporale variabilità ingresso sul codice neurale 38. Nel caso lineare, frequenza di stimolazione istantanea è una funzione di parametri definiti dall'utente e sensori robot registrazioni. Nel caso stocastico, ogni istanza tempo ha una data probabilità di essere scelto per fornire uno stimolo. Tale probabilità è calcolata automaticamente dal HyBrainWare2 in modo che i tassi di stimolazione attesi corrisponde a quello del primo caso. La possibilità di aggiungere jitter di codifica lineare fornisce una transizione tra i due casi sopra descritti. Allo stesso modo, esplorando diverse combinazioni di parametri nella sezione di decodifica potrebbe aiutare a far luce sulla preciruolo se di scoppiare in reti neurali in vitro. La velocità di ciascuna ruota del robot aumenta proporzionalmente al parametro peso ogni volta che un evento viene rilevato nell'area di uscita corrispondente, mentre il coefficiente di estinzione indica il tempo, in secondi, uno dei contributi prende a perdere 50% del suo valore . Il decadimento è un semplice esponenziale. Queste varianti sono già state prese in considerazione nella progettazione attuale di HyBrainWare2, ma molte più possibilità di ricerca sono aperti se si possono introdurre ulteriori modifiche nel software o setup sperimentale.
Una limitazione piuttosto significativo del protocollo qui descritto è il requisito del software sviluppato personalizzato, HyBrainWare2 (disponibile gratuitamente su richiesta a tutti gli utenti interessati). Questo software è stato progettato per un insieme di dispositivi (stimolatore, scheda di acquisizione, amplificatore MEA) di un modello e produttore specifico. Mentre è infatti possibile adattarlo a lavorare su diconfigurazioni fferent, la conversione avrà una certa abilità di programmazione. Allo stesso modo, le opzioni incluse coprono solo una serie limitata di tutte le domande sperimentali che potrebbero essere indagati attraverso una tale impostazione. Ad esempio, l'algoritmo di rilevamento picco implementato nell'architettura presentato (tempo preciso rilevamento picco 40) è completamente definita da diversi parametri hard-coded che devono essere cambiato se il soggetto di registrazione è molto diverso da reti neurali dissociate (ad esempio, cellule cardiache o fette). Infine, il protocollo apprendimento consiste nella fornitura di un corta, ad alta frequenza (2 sec di stimolo 20 Hz, ogni impulso stimolo è lo stesso di quelli utilizzati per codificare le informazioni sensoriali) stimolazione dopo ciascuna hit ostacolo. Se il robot incontra un ostacolo con il suo lato destro, la stimolazione tetanica viene consegnato l'elettrodo che di solito i codici di informazione a destra e lo stesso vale per i colpi del lato sinistro. Questo protocollo è hardcoded e non può be variata dall'utente senza modificare il software uscire.
Mentre la configurazione qui presentata non è il primo sistema incarnato per esperimenti ibridi, a circuito chiuso 20,23,27,41,42, quelli progettati in passato si sono concentrati su un singolo tesi sostenuta da dati provenienti da un numero limitato di preparati analoghi . D'altra parte, la configurazione descritta è stato utilizzato per un gran numero di esperimenti (più di 100 culture sono stati registrati dal 2012) con preparazioni diverse per modularità e di origine, mentre gli esperimenti stessi affrontati diversi problemi (es impatto della stimolazione tetanica e pertinenza di scoppio, come presentato nei risultati). Nel prossimo futuro, le nuove sessioni sperimentali sono previsti per verificare gli effetti duraturi sia stimolazione tetanica e regolazione e la relazione tra stimolazione regolarità e osservate risposte. Un altro problema da affrontare è il legame tra l'attività spontanea e osservata, conl'idea di aggiungere un nuovo algoritmo di decodifica che tiene conto della storia passata e di attività di stimolazione 43.
The authors have nothing to disclose.
Gli autori desiderano ringraziare Ph.D. studente Marta Bisio per la coltura e manutenzione di reti neuronali oltre Micro-elettrodi Array e Dr. Marina Nanni e Dr. Claudia Chiabrera di NBT-IIT per l'assistenza tecnica per le procedure di dissezione e di dissociazione. La ricerca che ha portato a questi risultati ha ricevuto finanziamenti dal Settimo Programma Quadro dell'Unione Europea (ICT-FET FP7 / 2007-2013 FET giovani esploratori regime), contratto di sovvenzione n ° 284772 BRAIN BOW ( www.brainbowproject.eu ). Gli autori desiderano inoltre ringraziare Silvia Chiappalone per il suo aiuto nel produrre la grafica utilizzata nell'introduzione.
Name of Reagent/Material | Company |
Stimulus Generator 4002 | Multi Channel Systems |
MEA1060-Inv-BC | Multi Channel Systems |
TC02 | Multi Channel Systems |
NI 6255 Acquisition Card | National Instruments |
Microsoft Visual Studio 2008 | Microsoft |
2078P Multichannel System-National Instruments adapter board | Developed at University of Genova (Italy) |
Matlab 2010 | Mathworks |