Замкнутые нервно-роботов экспериментов, чтобы проверить Вычислительные Свойства нейронных сетей
Summary
In this paper, an experimental framework to perform closed-loop experiments is presented, in which information processing (i.e., coding and decoding) and learning of neuronal assemblies are studied during the continuous interaction with a robotic body.
Abstract
Information coding in the Central Nervous System (CNS) remains unexplored. There is mounting evidence that, even at a very low level, the representation of a given stimulus might be dependent on context and history. If this is actually the case, bi-directional interactions between the brain (or if need be a reduced model of it) and sensory-motor system can shed a light on how encoding and decoding of information is performed. Here an experimental system is introduced and described in which the activity of a neuronal element (i.e., a network of neurons extracted from embryonic mammalian hippocampi) is given context and used to control the movement of an artificial agent, while environmental information is fed back to the culture as a sequence of electrical stimuli. This architecture allows a quick selection of diverse encoding, decoding, and learning algorithms to test different hypotheses on the computational properties of neuronal networks.
Introduction
Многие функции функции головного мозга в настоящее время невозможно повторить в искусственную систему. Способность мозга быстро обрабатывать сложные сенсорную информацию и генерировать в ответ, точные моторных команд само по себе уже за пределами текущего государственно-оф-искусства. Но его способность адаптироваться к различным условиям путем изучения прошлого опыта делает это так намного превосходят систем управления человеческими развита. До сих пор попытки повторить или использовать эта пластичность встретились большого успеха, и понимание внутренней работы мозга ускользает схватывание исследователей. Один из главных вопросов при исследовании взаимоотношений между мозгом и поведением является неспособность правильно получить доступ ко всем переменным в системе: в идеале, оптимальный Экспериментальная установка позволит одновременную запись и стимулирование к большим количеством нейронов, долгосрочная стабильность мониторинг синапсов позиций и веса, контролируемой би-directioнал взаимодействие с окружающей средой. Трудность в отслеживании все эти переменные одновременно привело к изучению мозга поведения отношений в двух очень разных масштабах: либо с себя животных, без точного контроля над экспериментальных условиях 1-7 или с небольших изолированных частей, таких как частей нервной ткани, без общее представление о системе 8. В последнем случае, в то время как не разработаны экспериментальные установки не позволяет осуществлять полный контроль всех параметров, участвующих в функционировании даже простой нейронной сети, хорошо компромисс обеспечивается диссоциированных нейронов, выращенных в течение Micro-матриц электродов (МПС) 9. Эти устройства, рожденные в конце 70-х годов 10, имеют ряд преимуществ по сравнению с традиционными методами электрофизиологии: во-первых, возможность записи и стимуляции нейронных сетей в разных местах одновременно (как правило, 60 электродов). Кроме того, связь с МПС клеток почти неинвазивным, Позволяет наблюдать в той же сети в течение длительных периодов времени, до нескольких месяцев 11. Физиологические эффекты электрической стимуляции на диссоциированных культур были тщательно изучены благодаря этим устройствам, показывая, что многие свойства наблюдаются при более высокой шкалы (как, например, пластичности и обрабатывает простой памяти 12-14) сохраняются, несмотря на потерю архитектуры. Во время роста культуры, эти сети начинают показывать спонтанную активность около 7 дней в пробирке (DIV) 15,16. Сетевая активность, как правило, радикально меняться при дальнейшем росте; сначала одиночные всплески собрать в пачки (к концу второй недели) 17, а затем, как он меняется в очень сложной схеме синхронизации непериодических сети врывается 18, который представляет собой зрелого состояния сети. Было высказано предположение, что это 19 синхронно поведение, несколько похожа на что наблюдается в записи в естественных условияхь на спящих животных, обусловлено отсутствием сенсорного ввода.
Другой подход попытались получить лучшее понимание кодирования информации было принято проведении экспериментов в замкнутой системе, в которой различные типы сигналов были использованы для контроля стимуляции самой 11,20-23 нейронной сети. В этих экспериментах, внешний агент, способный взаимодействия с окружающей средой был использован для генерации сенсорную информацию, подаваемого в нейронной сети, которая, в свою очередь, полученного моторные команды для механизма эффекторной. Это позволило замечания о том, как динамические и адаптивные свойства нервной системы развивались в ответ на индуцированные изменения в окружающей среде.
Установка для выполнения воплотилась нейрофизиологии эксперименты была разработана, где колесная платформа датчика (физическое робот или его виртуальная модель) движется на арене и его профили скорости определяются активностью нейроновсистема (т.е., население крыс нейронов культивировали в течение МЭА). Робот характеризуется скоростью профилей двух независимо контролируемых колес и текущих показаний датчиков расстояния. Точная природа датчиков расстояния не относится; они могут быть активными или пассивными оптические датчики или ультразвуковые датчики. Очевидно, что этот вопрос не применяется в случае виртуальных роботов, в которых датчики могут быть разработаны с любой нужной функции.
В экспериментах, описанных в данном документе, робот всегда используется виртуальный реализации, с 6 датчиков расстояния, указывая на 30 °, 60 ° и 90 ° от робота движется в обоих направлениях. Деятельность трех левых и правых датчиков усредняются и деятельность биологического культуры обусловлен информации, собранной таких «супер-датчиков" (которая как раз и будет, называемых «левых» и «правых» датчиков в остальной этой работы). Прото-кол описано на самом деле может быть применен к физической робота с довольно незначительными изменениями. Информация, собранная с помощью робота (либо физической или виртуальной) кодируется в серии раздражителей, которые используются для управления активностью биологической нейронной сети, которая физически отделена от робота. Сами раздражители являются идентичными и, следовательно, не кодировать любую информацию. Что имеет отношение является их периодичность: Увеличивает шанс стимуляция, когда робот приближается к препятствию, с различных сайтов, доставки кодирования сенсорной информации от левого и правого глаза »робота. Нейронная сеть будет представлять различные ответы на входящем поезде раздражений: задача алгоритма декодирования, чтобы перевести полученную сетевую активность в команды, используемые для управления колеса робота. Учитывая «идеальной» поведение сети (то есть, с надежным и полностью отделены реакций на стимулы из разных электродов), это Расулат в роботе вождения в арене, не задев никаких препятствий. Большинство сетей присутствует поведение очень отличается от идеальности, поэтому простой протокол обучения введены: при активации, тетаническое стимуляции (краткие заклинания высокочастотной стимуляции, 20 Гц стимуляции в течение 2 секунд, вдохновленный протоколов, описанных в 24,25) следующие столкновение с препятствием будет доставлено. Если спутанностью стимуляция приводит к локальной укрепления подключения к сети, то это приведет к постепенному увеличению навигационные возможности робота.
HyBrainWare2, улучшенная версия программного обеспечения на заказ, опубликованной в 26, является архитектура ядра разработаны для работы с контролем различных устройств системы (стимулятор, сбора, обработки и визуализации, робот связи или моделирования). Это программное обеспечение было разработано в нашей лаборатории и свободно доступны по запросу. Это программное обеспечение обеспечивает интерфейс сплата сбора данных: как только пользователь начинает сбор данных с помощью графического интерфейса, программного обеспечения управляет сбора платы, чтобы начать отбор проб и / D преобразование данных, поступающих от регистрирующих электродов. Эти данные могут быть записаны, отображается экран или анализироваться в реальном времени, чтобы обнаружить спайки, в соответствии с параметрами, установленными пользователем (см раздел Процедура для деталей). Кроме того, в программном обеспечении, определение кодирования (перевод сенсорной информации в электростимуляции) и декодирование (перевод записанной деятельности в моторных команд для робота) алгоритмов должен быть указан. В частности, наша установка относительно удобно по сравнению с аналогичными системами, разработанными в прошлом 27, так как почти все переменные могут быть доступны пользователю непосредственно перед началом фактической эксперимент, в то время как все записанная информация автоматически сохраняется в формате, совместимом с анализ инструментов нейронная данных 28.
Следующий раздел Процедура описывает обучения эксперимент по гиппокампа культур диссоциированный крыса: все культивирования и экспериментальные параметры предназначены для этого конкретного препарата и, возможно, потребуется изменить, если отличается биологического субстрата, будет использоваться. Аналогичным образом, описанный опыт использует преимущества архитектуры с обратной связью, чтобы исследовать эффект обучения тетанической стимуляции, но сама архитектура является достаточно гибкой, чтобы быть использованы при исследовании различных особенностей диссоциированных нейронных сетей. Основные варианты предлагаемого эксперимента дополнительно описано в разделе обсуждения.
Protocol
Representative Results
Discussion
В этой статье нейро-роботов архитектура, основанная на нейронной контроллера (например, сеть нейронов, идущих от коры головного мозга или гиппокампа эмбрионов крыс) с двунаправленным, подключенного к виртуальной робота, представлен. Робот, который имеет датчики и колеса, вынужден переехать в статическом арене с препятствиями и его задача состоит в том, избегая столкновений.
Первый и, возможно, наиболее важным аспектом описанной процедуры является получение культур сами, а интенсивность отказов будет, как правило, значительное даже в лучших технических условий. Подробное описание методов культивирования, однако, выходит за рамки настоящей работы. В качестве общего принципа, записи должно происходить, когда скорость в сети стрельбы достигает стабильного уровня, как правило, после 3 недель в пробирке. Приблизительное представление здоровых культур при спонтанном электрофизиологических активности в различных записи Channселей (по крайней мере, 20 каналов по 60 доступна). Такие культуры характеризуются высокой степенью нейронов для подключения. В таких условиях, нейронная активность, как правило, становится сильно синхронизированы и, порой, он отображает эпилептиформные события, с интенсивным пики с последующим минут длиной периодов молчания 37. Обе эти функции представляют собой проблему: чрезмерное синхронизации сделает невозможным, чтобы отличить реакции на раздражители из разных электродов, в то время как культуры, обладающие активностью эпилептиформная будет реагировать на первый стимул представленной с длинной вспышки активности, за которым следует период молчания, независимо от того, последовательные стимулы доставлено. Оба эти проблемы могут быть сильно улучшены по занятости узорчатых культур 35, в котором нейронная популяция разделяется на две или более слабо связанных между собой подгрупп.
Другая проблема заключается в том, что нейронные реакции сильно зависит от распределения поступающей Стимуля 38,39. В эксперименте с обратной связью, доставляются стимуляции является функцией от показаний датчиков, которые, в свою очередь, являются следствием движения робота и, следовательно, самих нейронных ответов. Это означает, что нет простой способ создания заранее, какие ответы будут наблюдаться при реальном эксперименте. В результате, выбор ввода-вывода электродов должны полагаться на последовательных приближений. В описываемом протокола, двухступенчатый процесс (а именно, шаги 5,5 и 6,4) реализован, чтобы попытаться определить карту соединения. На первой стадии, регулярная последовательность раздражений и доставляется в ответ на стимулы, такие используются для получения первой карты соединения и временный набор каналов записи. Эта конфигурация используется для выполнения тест-драйв, описанные в шаге 6.4 и выбора каналов записи, которое будет контролировать в течение реального эксперимента.
В разделе Результаты, представитель Навигация Резии и немедленного улучшения, вызванные введением обучения парадигмы представлены. В описании протокола, несколько других возможных вариантах опыта упоминаются. Например, два основных системы кодирования, реализованные в HyBrainWare2 (линейные и стохастические), где разработаны, чтобы исследовать, какую роль играет изменчивости временного ввода на нервной код 38. В линейном случае, мгновенная скорость стимуляции функции пользовательских параметров и датчиков робот записей. В стохастическом случае каждый момент времени имеет заданную вероятность быть выбран, чтобы доставить стимул. Такая вероятность вычисляется автоматически по HyBrainWare2 так, что ожидаемые темпы стимуляции совпадать с первом случае. Возможность добавления джиттера линейного кодирования обеспечивает плавный переход между этими двумя случаями, описанными выше. Таким же образом, исследуя различные комбинации параметров в разделе декодирования может помочь пролить свет на PreciSE роль разрыва в в пробирке нейронных сетей. Скорость каждого колеса робота возрастает пропорционально параметра веса каждый раз обнаружении события в соответствующей области вывода, в то время как коэффициент экстинкции указывает, сколько времени в секундах, один из вкладов принимает потерять 50% своей стоимости , Распад простой экспоненты. Те варианты уже были учтены в текущей конструкции HyBrainWare2, но многие другие научно-исследовательские возможности открыты, если дополнительные изменения в программном обеспечении или экспериментальной установки могут быть введены.
А существенное ограничение протокола описанного здесь является требование развитого программного обеспечения на заказ, HyBrainWare2 (в свободном доступе по запросу всем заинтересованным пользователям). Это программное обеспечение было разработано для набора устройств (стимулятора, приобретение борту, усилитель MEA) от конкретной модели и производителя. Хотя это действительно возможно, чтобы адаптировать его к работе над диразличны х установок, преобразование займет некоторое навыков программирования. Аналогичным образом, в вариантах охватывают лишь ограниченный набор всех экспериментальных вопросов, которые могут быть исследованы с помощью таких установок. Например, алгоритм обнаружения шип реализован в представленной архитектуры (точное время обнаружения шип 40) полностью определяется несколько жестко закодированных параметров, которые должны быть изменены, если объект регистрации очень отличается от диссоциированных нейронных сетей (например, сердечных клеток или ломтики). И, наконец, протокол обучения состоит из доставке короткого, высокой частоты (2 сек 20 Гц стимуляции, каждый импульс стимул является таким же, как те, которые используются для кодирования сенсорной информации) после стимуляции каждой препятствий удара. Если робот встречает препятствие с правой стороны, тетаническое стимуляция поставляется с электродом, что обычно коды для правой стороны информации и то же самое справедливо и для левой стороны хитов. Этот протокол является жестко и не может бе изменено пользователем без изменения, выходящего программного обеспечения.
В то время как установка представленные здесь, не первый воплощённый система гибридного замкнутого цикла экспериментов 20,23,27,41,42, те, предназначенные в прошлом были сосредоточены на одном диссертации подтверждается данными из ограниченного числа аналогичных препаратов , С другой стороны, описано установка была использована для большого количества экспериментов (более 100 культур были зарегистрированы с 2012) с препаратами разной для модульности и происхождения, а сами эксперименты рассмотрены различные проблемы (например, воздействие тетанической стимуляции и Актуальность разрыва, как представлено в результатах). В ближайшее время новые экспериментальные занятия предусмотрены для проверки долгосрочные последствия как тетанической и замкнутым контуром стимуляции и отношения между стимуляции регулярности и наблюдается ответов. Другой вопрос, который необходимо рассмотреть, является связующим звеном между спонтанной и наблюдаемой деятельности, сИдея добавления нового алгоритма декодирования, которая принимает во внимание историю прошлой деятельности и стимулирования 43.
Divulgaciones
The authors have nothing to disclose.
Acknowledgements
Авторы благодарности кандидат студент Марта Bisio для культивирования и поддержания нейронных сетей с микро-матриц электродов и д-р Марина Нанни и д-р Клаудиа Chiabrera из НСТ-ИИТ за техническую помощь для процедур рассечение и диссоциации. Научных исследований, ведущих к этим результатам получил финансирование от Седьмой рамочной программы Европейского Союза (ИКТ-FET FP7 / 2007-2013, FET Young Explorers схема) под грантового соглашения N ° 284772 BRAIN носа ( www.brainbowproject.eu ). Авторы также хотели бы поблагодарить Сильвия Chiappalone за помощь в создании графики, используемые во введении.
Materials
| Name of Reagent/Material | Company |
| Stimulus Generator 4002 | Multi Channel Systems |
| MEA1060-Inv-BC | Multi Channel Systems |
| TC02 | Multi Channel Systems |
| NI 6255 Acquisition Card | National Instruments |
| Microsoft Visual Studio 2008 | Microsoft |
| 2078P Multichannel System-National Instruments adapter board | Developed at University of Genova (Italy) |
| Matlab 2010 | Mathworks |
Referencias
- Fetz, E. E. Volitional control of neural activity: implications for brain–computer interfaces. The Journal of Physiology. 579 (3), 571-579 (2007).
- Carmena, J. M., et al. Learning to control a brain–machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), e42 (2003).
- Azin, M., Guggenmos, D. J., Barbay, S., Nudo, R. J., Mohseni, P. A miniaturized system for spike-triggered intracortical microstimulation in an ambulatory rat. Biomedical Engineering, IEEE Transactions on. 58 (9), 2589-2597 (2011).
- Angotzi, G. N., Boi, F., Zordan, S., Bonfanti, A., Vato, A. A programmable closed-loop recording and stimulating wireless system for behaving small laboratory animals. Scientific Reports. 4, (2014).
- Maher, M., Pine, J., Wright, J., Tai, Y. -. C. The neurochip: a new multielectrode device for stimulating and recording from cultured neurons. Journal of Neuroscience. 87 (1), 45-56 (1999).
- Olsson, R. H., Buhl, D. L., Sirota, A. M., Buzsaki, G., Wise, K. D. Band-tunable and multiplexed integrated circuits for simultaneous recording and stimulation with microelectrode arrays. Biomedical Engineering, IEEE Transactions on. 52 (7), 1303-1311 (2005).
- Zanos, S., Richardson, A. G., Shupe, L., Miles, F. P., Fetz, E. E. The Neurochip-2: an autonomous head-fixed computer for recording and stimulating in freely behaving monkeys. Neural Systems and Rehabilitation Engineering. IEEE Transactions on. 19 (4), 427-435 (2011).
- Reger, B. D., Fleming, K. M., Sanguineti, V., Alford, S., Mussa-Ivaldi, F. A. Connecting brains to robots: an artificial body for studying the computational properties of neural tissues. Artificial Life. 6 (4), 307-324 (2000).
- Hales, C. M., Roston, J. D., Potter, S. M. How to culture, record and stimulate neuronal networks on micro-electrode arrays (MEAs). Journal of Visualized Experiments. (39), 2056 (2010).
- Gross, G., Rieske, E., Kreutzberg, G., Meyer, A. A new fixed-array multi-microelectrode system designed for long-term monitoring of extracellular single unit neuronal activity in vitro. Neurosci Lett. 6 (2), 101-105 (1977).
- Potter, S. M., DeMarse, T. B. A new approach to neural cell culture for long-term studies. Journal of Neuroscience Methods. 110 (1), 17-24 (2001).
- le Feber, J., Stegenga, J., Rutten, W. L. The effect of slow electrical stimuli to achieve learning in cultured networks of rat cortical neurons. PLoS One. 5 (1), e8871 (2010).
- Marom, S., Shahaf, G. Development learning and memory in large random networks of cortical neurons: lessons beyond anatomy. Quarterly reviews of biophysics. 35 (1), 63-87 (2002).
- Shahaf, G., Marom, S. Learning in networks of cortical neurons. The Journal of Neuroscience. 21 (22), 8782-8788 (2001).
- Pelt, J., Vajda, I., Wolters, P. S., Corner, M. A., Ramakers, G. J. Dynamics and plasticity in developing neuronal networks in vitro. Progress in Brain Research. 147, 171-188 (2005).
- Chiappalone, M., Bove, M., Vato, A., Tedesco, M., Martinoia, S. Dissociated cortical networks show spontaneously correlated activity patterns during in vitro development. Brain Research. 1093 (1), 41-53 (2006).
- Tateno, T., Jimbo, Y., Robinson, H. Spatio-temporal cholinergic modulation in cultured networks of rat cortical neurons: spontaneous activity. Neurociencias. 134 (2), 425-437 (2005).
- Masquelier, T., Deco, G. Network bursting dynamics in excitatory cortical neuron cultures results from the combination of different adaptive mechanism. PLoS One. 8 (10), e75824 (2013).
- Wagenaar, D. A., Madhavan, R., Pine, J., Potter, S. M. Controlling bursting in cortical cultures with closed-loop multi-electrode stimulation. The Journal of Neuroscience. 25 (3), 680-688 (2005).
- Martinoia, S., et al. Towards an embodied in vitro electrophysiology: the NeuroBIT project. Neurocomputing. 58-60, 1065-1072 (2004).
- Mussa-Ivaldi, F. A., et al. New perspectives on the dialogue between brains and machines. Frontiers in Neuroscience. 4 (1), 44 (2010).
- Warwick, K., et al. Controlling a Mobile Robot with a Biological Brain. Defence Science Journal. 60 (1), (2010).
- Kudoh, S. N., et al. Vitroid–the robot system with an interface between a living neuronal network and outer world. International Journal of Mechatronics and Manufacturing Systems. 4 (2), 135-149 (2011).
- Jimbo, Y., Tateno, T., Robinson, H. Simultaneous induction of pathway-specific potentiation and depression in networks of cortical neurons. Biophysical Journal. 76 (2), 670-678 (1999).
- Chiappalone, M., Massobrio, P., Martinoia, S. Network plasticity in cortical assemblies. European Journal of Neuroscience. 28 (1), 221-237 (2008).
- Mulas, M., Massobrio, P., Martinoia, S., Chiappalone, M. A simulated neuro-robotic environment for bi-directional closed-loop experiments. Paladyn. 1 (3), 179-186 (2010).
- Novellino, A., et al. Connecting neurons to a mobile robot: an in vitro bidirectional neural interface. Computational Intelligence and Neuroscience. 2007 (12725), 1-13 (2007).
- Bologna, L. L., et al. Investigating neuronal activity by SPYCODE multichannel data analyzer. Neural Networks. 23 (6), 685-697 (2010).
- Frega, M., et al. Cortical cultures coupled to micro-electrode arrays: a novel approach to perform in vitro excitotoxicity testing. Neurotoxicology and Teratology. 34 (1), 116-127 (2012).
- Quian Quiroga, R., Panzeri, S. Extracting information from neuronal populations: information theory and decoding approaches. Nature Reviews Neuroscience. 10 (3), 173-185 (2009).
- Donoho, D. L., Johnstone, J. M. Ideal spatial adaptation by wavelet shrinkage. Biometrika. 81 (3), 425-455 (1994).
- Martinez, J., Pedreira, C., Ison, M. J., Quian Quiroga, R. Realistic simulation of extracellular recordings. Journal of neuroscience methods. 184 (2), 285-293 (2009).
- Wagenaar, D. A., Pine, J., Potter, S. M. Effective parameters for stimulation of dissociated cultures using multi-electrode arrays. Journal of Neuroscience Methods. 138 (1-2), 27-37 (2004).
- Tessadori, J., Mulas, M., Martinoia, S., Chiappalone, M. . Biomedical Robotics and Biomechatronics (BioRob), 2012 4th IEEE RAS & EMBS International Conference on. , 332-337 (2012).
- Tessadori, J., Bisio, M., Martinoia, S., Chiappalone, M. Modular neuronal assemblies embodied in a closed-loop environment: toward future integration of brains and machines. Frontiers in Neural Circuits. 6, (2012).
- Tessadori, J., et al. Neural Engineering (NER). , 899-902 (2013).
- Colombi, I., Mahajani, S., Frega, M., Gasparini, L., Chiappalone, M. Effects of antiepileptic drugs on hippocampal neurons coupled to micro-electrode arrays. Frontiers in Neuroengineering. 6, 10 (2013).
- Gal, A., Marom, S. Entrainment of the intrinsic dynamics of single isolated neurons by natural-like input. Journal of Neuroscience. 33 (18), 7912-7918 (2013).
- Mainen, Z. F., Sejnowski, T. J. Reliability of spike timing in neocortical neurons. Science. 268 (5216), 1503-1506 (1995).
- Maccione, A., et al. A novel algorithm for precise identification of spikes in extracellularly recorded neuronal signals. Journal of neuroscience methods. 177 (1), 241-249 (2009).
- DeMarse, T. B., Wagenaar, D. A., Blau, A. W., Potter, S. M. The neurally controlled animat: biological brains acting with simulated bodies. Autonomous Robots. 11 (3), 305-310 (1023).
- Bakkum, D. J., Chao, Z. C., Potter, S. M. Spatio-temporal electrical stimuli shape behavior of an embodied cortical network in a goal-directed learning task. Journal of Neural Engineering. 5 (3), 310-323 (2008).
- Truccolo, W., Hochberg, L. R., Donoghue, J. P. Collective dynamics in huma and monkey sensorimotor cortex: predicting single neuron spikes. Nature Neuroscience. 13 (1), 105-111 (2010).
