Operante protocolos para avaliar o custo-benefício durante a tomada de decisão reforçada por roedores
Summary
Uma análise de custo-benefício é uma abordagem de escala pesando que o cérebro executa no decurso da tomada de decisão. Aqui, propomos um protocolo para treinar os ratos em uma paradigma de tomada de decisão baseada em operante onde ratos escolhem maiores recompensas em detrimento à espera de 15 s para recebê-los.
Abstract
Tomada de decisão orientada para o reforço é a capacidade de escolher entre concorrentes cursos de ação com base no valor relativo dos benefícios e suas consequências. Este processo é parte integrante do comportamento humano normal e foi mostrado para ser interrompida por desordens neurológicas e psiquiátricas como vício, esquizofrenia e depressão. Roedores têm sido muito utilizados para descobrir a neurobiologia da cognição humana. Para este efeito, foram desenvolvidas várias tarefas comportamentais; no entanto, a maioria é não-automatizados e é trabalhosas. O desenvolvimento recente do microcontrolador aberto permitiu aos investigadores automatizar tarefas baseadas em operante para avaliar uma variedade de tarefas cognitivas, padronizar a apresentação do estímulo, melhorar a gravação de dados e consequentemente, melhorar a a saída da pesquisa. Aqui, descrevemos uma baseado em atraso orientada para o reforço de decisão tarefa automatizada, usando um operante ZIF controlado por programas de software personalizados. Usando essas tarefas de tomada de decisão, nós mostramos as mudanças nas atividades potenciais locais de campo no córtex cingulado anterior de um rato enquanto ele executa uma tarefa de tomada de decisão baseada em atraso e custo-benefício.
Introduction
Tomada de decisão é o processo de reconhecimento e selecionando opções com base nos valores e preferências do tomador de decisão e as consequências da ação selecionada1. Embora a tomada de decisão foi estudada extensivamente em campos diferentes (ou seja, economia, psicologia e neurociência), mecanismos neurais subjacentes a tais habilidades cognitivas não são ainda totalmente compreendidos. Duas subcategorias de tomada de decisão são perceptivas de tomada de decisões e tomada de decisão orientada por reforço. Embora eles incorporam conceitos e elementos de sobreposição consideráveis, perceptual de tomada de decisões se baseia em informações sensoriais disponíveis1,2, Considerando que a tomada de decisões guiadas reforço lida com o valor relativo de ações adquirida ao longo de uma escala de tempo específico3. Um aspecto importante do processo de decisão reforçado é a análise de custo-benefício que é intuitivamente realizada pelo cérebro computação os benefícios das escolhas determinados e subtraindo os custos associados de cada alternativa1.
A ZIF (ou a variante Y-labirinto) é um dos labirintos mais utilizados em experiências cognitivas usando roedores. Os animais são colocados no início (a base do T) braço e autorizados a escolher o braço de gol (um dos braços do lado). Tarefas como uma alternância forçada ou discriminação esquerda-direita são usadas principalmente com roedores na ZIF para testar a memória de referência e trabalho4. T-labirintos são também amplamente utilizados em experiências de tomada de decisão5,6,7. O design mais simples, a recompensa é colocada no braço de apenas um gol. A escolha é previsível, e os animais certamente preferiria a recompensa ao invés de nada, independentemente do valor da recompensa. Outra opção é colocar recompensas em ambos os braços do objetivo e então deixar os animais uma escolha de qual caminho tomar, dependendo de vários parâmetros(ou seja, a preferência natural do animal, a diferença do valor das recompensas e os custos a pagar). Na concepção baseada em valor, a tarefa é mais complicada por ter propriedades de escala pesando. Desta forma, um animal recebe recompensas valorizadas de forma diferente, escolhendo entre as duas alternativas, bem como entre os custos das ações [ou seja, a quantidade de espera (baseado em atraso) ou a quantidade de esforço (baseada no esforço) necessários para receber recompensas], cada contribuindo para a decisão que é feita de5,6.
Tradicional baseado em atraso ZIF na tomada de decisão, os animais são treinados para selecionar o braço de alta recompensa (HRA) e evitar o oposto braço baixa recompensa (LRA). Os lados do HRA e LRA permanecem inalterados durante todo o experimento. Embora a tarefa descrita acima tem sido bem documentada na literatura, sofre várias desvantagens processuais. Em primeiro lugar, por ter um braço de objetivo fixo, o animal sabe qual braço escolher desde o início de cada julgamento. Neste cenário, animais podem selecionar o braço objetivo baseado na sua memória, em vez de tomada de decisão. Portanto, em um paradigma de tomada de decisão baseada em atraso, se um animal seleciona a recompensa baixa por causa da intervenção de estudo, não ficará claro se isto é devido a uma perda de memória ou para a estudo de intervenção. Pode ser considerado um grupo de controle de memória para segregar o comportamento observado com o problema de memória, mas isto encargos pesquisadores e animais parecidos devido o trabalho adicional de7. Uma segunda preocupação é o momento de tomada de decisão pelo animal: uma vez animais chegarem à zona de decisão (a junção de todas as três armas), eles geralmente olhar à esquerda e à direita, pesar os custos e benefícios em relação a cada braço e então tomar sua decisão. No entanto, após alguns ensaios, executar tal um cálculo antes de chegar na zona de decisão e simplesmente vão directamente para o braço de recompensa. Como resultado, estes dois inconvenientes — um pre-viés para um braço e encontrar o momento de tomada de decisão — ambos altamente interromper a interpretação de eletrofisiológicos e dados de neuroimagem.
No método explicado neste artigo, o braço preferencial (HRA) é preparado por um sinal auditivo e pode variar de um julgamento para o julgamento. Animais iniciar os ensaios ao entrar na zona de teste (Figura 1) e acionar o sinal auditivo pelo “nariz-cutucando” uma porta de infravermelha que foi colocada na junção das três armas. O sinal de áudio (20 dB, entre 500 e 1.000 ms) é jogado de um alto-falante no final do braço do objetivo.
Protocol
Representative Results
Discussion
Roedores têm sido muito utilizados em estudos neurocientíficos que lidam com temas diferentes, desde as habilidades cognitivas como a aprendizagem e memória2,14 e comportamento reforçado7,15,16 para o controle central de órgãos17,18 e Neurofarmacologia19,…
Divulgations
The authors have nothing to disclose.
Acknowledgements
Esta pesquisa foi apoiada pela Fundação de neurociência RMH, Austrália; a Fundação australiana do cérebro; o RACP Thyne Reid Fellowship, Austrália; e por um projeto de concessão da ciências cognitivas e do Conselho de tecnologias, Irã de Abbas Haghparast.
Materials
| T-maze | Self made | ||
| Dustless Precision Sugar Pellets | TSE Systems Intl. Group | F0023 | 45 mg, Sucrose |
| Ketamine Hydrochloride Injection, USP | Sigma-Aldrich | 6740-87-0 | |
| Xylazine | Sigma-Aldrich | 7361-61-7 | |
| stereotaxic device | Stoelting | ||
| Isofluran | Santa Cruz Biotechnology | sc-363629Rx | |
| PFA-coated stainless-steel wires | A-M systems | ||
| acrylic cement | Vertex, MA, USA | ||
| (wooden or PVC (polyvinyl chloride)-made) | local suppliers | ||
| Mini-Fit Power Connector | Molex | 15243048 | |
| ethannol 70% | Local suppliers | ||
| buprenorphine | diamondback drugs | ||
| Arduino UNO | Arduino | https://www.arduino.cc/ | |
| Infrared emitting diode | Sharp | GL480E00000F | http://www.sharp-world.com/ |
| Chronux Toolbox | Chronux.org | ||
| Arduino codes | https://github.com/dechuans/arduino-maze |
References
- Gold, J. I., Shadlen, M. N. The neural basis of decision making. Annual Review of Neuroscience. 30, 535-574 (2007).
- Shi, Z., Müller, H. J. Multisensory perception and action: development, decision-making, and neural mechanisms. Frontiers in Integrative Neuroscience. 7, 81 (2013).
- Sutton, R. S., Barto, A. G. . Reinforcement Learning: An Introduction. 1, (1998).
- Khani, A., Rainer, G. Neural and neurochemical basis of reinforcement-guided decision making. Journal of Neurophysiology. 116, 724-741 (2016).
- Fatahi, Z., Haghparast, A., Khani, A., Kermani, M. Functional connectivity between anterior cingulate cortex and orbitofrontal cortex during value-based decision making. Neurobiology of Learning and Memory. 147, 74-78 (2018).
- Khani, A., et al. Activation of cannabinoid system in anterior cingulate cortex and orbitofrontal cortex modulates cost-benefit decision making. Psychopharmacology. 232, 2097-2112 (2015).
- Rudebeck, P. H., Walton, M. E., Smyth, A. N., Bannerman, D. M., Rushworth, M. F. Separate neural pathways process different decision costs. Nature Neuroscience. 9, 1161-1168 (2006).
- Gage, G. J., et al. Surgical implantation of chronic neural electrodes for recording single unit activity and electrocorticographic signals. Journal of Visualized Experiments. (60), e3565 (2012).
- Paxinos, G., Watson, C. . The Rat Brain in Stereotaxic Coordinates. , (1998).
- Bokil, H., Andrews, P., Kulkarni, J. E., Mehta, S., Mitra, P. P. Chronux: a platform for analyzing neural signals. Journal of Neuroscience Methods. 192, 146-151 (2010).
- Cohen, M. X. . Analyzing Neural Time Series Data: Theory and Practice. , (2014).
- Luk, C. -. H., Wallis, J. D. Choice coding in frontal cortex during stimulus-guided or action-guided decision-making. Journal of Neuroscience. 33, 1864-1871 (2013).
- Rudebeck, P. H., et al. Frontal cortex subregions play distinct roles in choices between actions and stimuli. Journal of Neuroscience. 28, 13775-13785 (2008).
- Goshadrou, F., Kermani, M., Ronaghi, A., Sajjadi, S. The effect of ghrelin on MK-801 induced memory impairment in rats. Peptides. 44, 60-65 (2013).
- Haghparast, A., et al. Intrahippocampal administration of D2 but not D1 dopamine receptor antagonist suppresses the expression of conditioned place preference induced by morphine in the ventral tegmental area. Neuroscience Letters. 541, 138-143 (2013).
- Esmaeili, M. -. H., Kermani, M., Parvishan, A., Haghparast, A. Role of D1/D2 dopamine receptors in the CA1 region of the rat hippocampus in the rewarding effects of morphine administered into the ventral tegmental area. Behavioural Brain Research. 231, 111-115 (2012).
- Chaleek, N., Kermani, M., Eliassi, A., Haghparast, A. Effects of orexin and glucose microinjected into the hypothalamic paraventricular nucleus on gastric acid secretion in conscious rats. Neurogastroenterology & Motility. 24, e94-e102 (2012).
- Kermani, M., Eliassi, A. Gastric acid secretion induced by paraventricular nucleus microinjection of orexin A is mediated through activation of neuropeptide Yergic system. Neurosciences. 226, 81-88 (2012).
- Kermani, M., Azizi, P., Haghparast, A. The role of nitric oxide in the effects of cumin (Cuminum Cyminum L.) fruit essential oil on the acquisition of morphine-induced conditioned place preference in adult male mice. Chinese Journal of Integrative Medicine. , 1-6 (2012).
- Ahmadi, A., et al. Synthesis and antinociceptive behaviors of new methyl and hydroxyl derivatives of phencyclidine. Current Medicinal Chemistry. 19, 763-769 (2012).
