Rastreamento de pernas totalmente automatizado em insetos em movimento livre usando segmentação e rastreamento de pernas de aprendizagem de recursos (FLLIT)
Summary
Descrevemos protocolos detalhados para o uso do FLLIT, um método de aprendizado de máquina totalmente automatizado para rastreamento de movimento de garras de perna em movimento livre mente drosophila melanogaster e outros insetos. Esses protocolos podem ser usados para medir quantitativamente movimentos sutis de marcha ambulante em moscas do tipo selvagem, moscas mutantes e modelos de moscas de neurodegeneração.
Abstract
O modelo de Drosophila tem sido inestimável para o estudo da função neurológica e para a compreensão dos mecanismos moleculares e celulares que sustentam a neurodegeneração. Embora as técnicas de mosca para a manipulação e o estudo de subconjuntos neuronais tenham se tornado cada vez mais sofisticadas, a riqueza dos fenótipos comportamentais resultantes não foi capturada em um detalhe semelhante. Para ser capaz de estudar movimentos sutis das pernas de mosca para comparação entre os mutantes requer a capacidade de medir e quantificar automaticamente movimentos de alta velocidade e rápidas das pernas. Por isso, desenvolvemos um algoritmo de aprendizagem de máquina para rastreamento automatizado de garras de pernas em moscas andando livremente, segmentação e rastreamento de membros baseados em aprendizagem de recursos (FLLIT). Ao contrário da maioria dos métodos de aprendizagem profunda, o FLLIT é totalmente automatizado e gera seus próprios conjuntos de treinamento sem a necessidade de anotação do usuário, usando parâmetros morfológicos incorporados no algoritmo de aprendizagem. Este artigo descreve um protocolo em profundidade para a realização de análise de marcha usando FLLIT. Ele detalha os procedimentos para configuração da câmera, construção da arena, gravação de vídeo, segmentação de pernas e rastreamento de garras de perna. Ele também dá uma visão geral dos dados produzidos pelo FLLIT, que inclui posições brutas de corpo e perna rastreadas em cada quadro de vídeo, 20 parâmetros de marcha, 5 parcelas e um vídeo rastreado. Para demonstrar o uso do FLLIT, quantificamos parâmetros relevantes de marcha doente em um modelo de mosca da ataxia spinocerebellar 3.
Introduction
Nas últimas décadas, doenças neurodegenerativas e distúrbios de movimento têm se tornado mais prevalentes em nossas populações envelhecidas. Embora nossa compreensão de muitas doenças neurodegenerativas tenha avançado a nível molecular e celular, características fundamentais do circuito neuronal afetado permanecem mal compreendidas. Recentemente desenvolvidas ferramentas de rastreamento comportamental1,2,3,4 agora permitem estudar anormalidades de movimento em modelos de doençaanimal, a fim de identificar a desregulação molecular, celular e de circuito subjacente à doença.
As vias moleculares envolvidas em muitas doenças neurodegenerativas são conservadas na mosca-da-fruta Drosophila melanogaster, e os modelos da doença de Drosophila ajudaram a elucidar mecanismos fundamentais subjacentes à neurodegeneração5,6. Recentemente, mostramos que os modelos de mosca susceptíveis de Doença de Parkinson (DP) e ataxia spinocerebelar 3 (SCA3) exibem assinaturas de marcha distintas e conservadas que se assemelham às das respectivas doenças humanas1,demonstrando que o modelo de mosca pode ser usado para entender mecanismos de circuito subjacentes à disfunção do movimento em distúrbios de movimento específicos. O rico e continuamente crescente arsenal de ferramentas no modelo de mosca para manipulação e visualização direcionada de neurônios no único gene e nível de célula única7,,8,9,10 faz da mosca um modelo ideal para sondar a relação entre caminhos da doença, circuitos neuronais e manifestação pheotípica comportamental in vivo. Para permitir uma análise precisa e automatizada da marcha de insetos, desenvolvemos recentemente um método de aprendizagem de máquina, feature Learning-based LImb segmentação e racking T(FLLIT)1.
FLLIT consiste em um algoritmo multiestágio totalmente automatizado que primeiro segmenta os pixels da perna, que são posteriormente usados para localizar e rastrear as garras de perna correspondentes. FLLIT emprega um algoritmo de impulsionamento para segmentação, em contraste com algoritmos de aprendizagem profunda usados em trabalhos recentes2,3. Existem algumas semelhanças com redes neurais convolucionais em que, para ambas as estruturas, a extração de recursos é feita automaticamente através do aprendizado de núcleos convolucionais. O primeiro passo no FLLIT envolve o uso de operações morfológicas (borda e esquelização) para gerar automaticamente amostras de treinamento positivas (pixels nas pernas) e negativas (fundo ou pixels no corpo da mosca) com alta confiança. Portanto, o FLLIT é totalmente automatizado e não requer amostras de treinamento anotadas pelo usuário. Usando as amostras de treinamento acima, um classificador é então treinado na estrutura de um algoritmo de impulso. Um conjunto de classificadores fracos é aprendido iterativamente, com cada um consistindo em um conjunto de núcleos convolucionais para extração de características e uma árvore de decisão. O classificador aprendido final é então usado para segmentação de pernas e é capaz de discernir melhor regiões difíceis/amostras duras melhor do que operações morfológicas, produzindo uma segmentação geral muito mais precisa para o rastreamento1. A partir das pernas segmentadas, localizamos as pontas e as rastreamos usando o algoritmo húngaro: combinando dicas entre quadros de tal forma que a soma da distância movida por cada ponta seja minimizada. FLLIT pode lidar com casos de oclusão lembrando o último local visto (em coordenadas centradas em mosca) de modo que uma ponta da perna é recuperada uma vez que não está mais sob oclusão.
Nós mostramos anteriormente que o FLLIT pode rastrear automaticamente e com precisão os movimentos das pernas e analisar a marcha em uma mosca ou aranha não marcada, livremente em movimento, a partir de vídeo de alta velocidade1; O FLLIT deve, portanto, ser amplamente aplicável para o rastreamento de pernas de artrópodes. Ao extrair conjuntos de treinamento de aprendizagem de máquina usando parâmetros morfológicos, o FLLIT treina-se automaticamente para segmentar e rastrear pernas de insetos sem a necessidade de anotação manual trabalhosa, que é necessária para a maioria dos métodos de aprendizagem profunda. O FLLIT é, portanto, totalmente automatizado. Após a segmentação e rastreamento da perna, o FLLIT produz automaticamente posições cruas do corpo e das pernas em cada quadro de vídeo, 20 parâmetros de marcha, 5 parcelas e um vídeo rastreado para análise da marcha e visualização dos movimentos da marcha. Este protocolo fornece um guia passo-a-passo para o uso do FLLIT.
Protocol
Representative Results
Discussion
Neste manuscrito, descrevemos em detalhes as etapas envolvidas no uso do FLLIT, um programa automatizado de aprendizagem de máquina1,para analisar a marcha em Drosophilalivremente ambulante . Após o rastreamento e análise de dados, o FLLIT gera automaticamente dados brutos para as informações posicionais das garras do corpo e das pernas, produzindo vinte recursos de corpo e marcha, bem como um vídeo da mosca rastreada para permitir a visualização da marcha.
Existem agora uma série de métodos para o rastreamento do movimento das pernas de Drosophila e outros animais1,2,3,4,14,15,16, dando aos pesquisadores uma ampla gama de opções dependendo dos objetivos do experimento. Algumas delas são abordagens baseadas em impressão de pé, que são altamente precisas, mas que relatam apenas pontos de contato com a superfície de detecção4,14. Por outro lado, abordagens recentes de deep learning2,3,16 são altamente versáteis, permitindo a análise de comportamentos que requerem o rastreamento de articulações da perna e outras partes do corpo em qualquer animal, com a ressalva de que os algoritmos precisam ser treinados primeiro com conjuntos de dados anotados pelo usuário. Um terceiro tipo de abordagem usa morfologia ou métodos baseados em contraste de imagem1,,15,17 para encontrar o contorno de cada perna para identificar posições de garra. Em geral, esses métodos lidam mal com comportamentos em que as pernas se cruzam (por exemplo, durante o preparo). FLLIT combina a segunda e terceira abordagens, usando parâmetros morfológicos para treinar um algoritmo de impulso para segmentação de pernas. Isso permite que o FLLIT contorne a tarefa trabalhosa da anotação do usuário para gerar o conjunto de dados de treinamento, ao mesmo tempo em que aumenta a precisão usando aprendizado de máquina. Melhorias futuras no FLLIT terão que lidar com casos em que as pernas se cruzam, para permitir a análise de comportamentos mais complexos.
FLLIT é robusto para pequenas alterações na iluminação, resolução de gravação e velocidade do quadro1. No entanto, a velocidade de quadro dos vídeos gravados não deve cair abaixo de 250 fps, e FLLIT funciona de forma ideal para vídeos gravados a 1000 fps. Se houver desfoque de movimento nas imagens, de tal forma que é desafiador para um anotador humano identificar a posição da perna, o FLLIT não será capaz de identificar com precisão as pontas das pernas nesses quadros. Diante disso, é essencial que a câmera seja focada bruscamente nas pontas das pernas. Para evitar artefatos de segmentação, a arena deve ser completamente limpa e não deve ser movida durante a gravação. Para uma subtração de fundo precisa e segmentação limpa, a mosca deve mover pelo menos um comprimento do corpo durante a gravação, sem pausar. Após a segmentação automática e o rastreamento da rotulagem de todas as pernas devem ser verificados. Se a marcha voadora não for rastreada ou rastreada de forma errada, o arquivo deve ser rerastreado manualmente usando a opção Rastreamento iniciado manualmente (etapa 5.2.7 – 5.2.10).
Doenças neurodegenerativas e distúrbios de movimento são cada vez mais prevalentes em nossas sociedades envelhecidas. Modelos de neurodegeneração de moscas têm sido estudados por mais de duas décadas, durante os quais foram feitos avanços em relação aos aspectos moleculares e celulares da fisiopatologia da doença. No entanto, as consequências comportamentais específicas da doença têm sido tecnicamente difíceis de avaliar. Por exemplo, embora tenham sido feitos relatos de movimentos trêmulos na mosca18,19, estes não tinham sido estudados quantitativamente até recentemente1. O ensaio de escalada tem sido uma medida útil e quantitativa, mas relativamente grosseira6. Esse déficit técnico também dificultou a análise de movimento de alta resolução em outros modelos animais. O advento de novas ferramentas para a análise comportamental, portanto, tem prometido rejuvenescer o campo dos distúrbios de movimento para permitir que os pesquisadores estudem como mecanismos moleculares e celulares de doenças neuromusculares levam a desfechos comportamentais específicos em modelos animais. Neste artigo e em nosso trabalho anterior1,mostramos usando FLLIT que modelos de mosca sca3 exibem uma marcha ataxic hipercinética, enquanto os modelos de moscas pd exibem uma marcha rígida hipocinética, recapitulando marcas de movimento das respectivas doenças humanas1. A análise da marcha também nos permitiu identificar populações neuronais distintas subjacentes a disfunções específicas de movimento. Daqui para frente, a análise detalhada dos movimentos, combinada com as poderosas ferramentas de imagem e funcionais disponíveis na mosca, nos permitirá obter uma nova visão sobre os mecanismos de disfunção locomotor, iluminando nossa compreensão de doenças neurodegenerativas em relação aos mecanismos de circuito.
O FLLIT deve ser amplamente aplicável ao estudo da marcha em outros pequenos artrópodes, pois foi demonstrado anteriormente ser altamente preciso para o rastreamento dos movimentos das pernas das aranhas1. Enquanto focamos aqui no uso de fenotipagem de movimento detalhado para quantificar a marcha patogênica e seus circuitos subjacentes, os avanços no rastreamento de movimentos já revolucionaram, e terão impacto contínuo sobre a compreensão da coordenação e marcha de caminhada normal e seus circuitos subjacentes, especialmente em vários ramos da árvore evolutiva.
Divulgations
The authors have nothing to disclose.
Acknowledgements
Os autores gostariam de agradecer a Moumita Chatterjee e Alice Liu pelo apoio técnico, e ao Bloomington Drosophila Stock Centre (Indiana, EUA) por disponibilizar as cepas de Drosophila usadas neste trabalho. Este trabalho foi apoiado pelo Instituto de Biologia Molecular e Celular, em Cingapura; o Instituto de Bioinformática, Cingapura; a Organização do Conselho Conjunto da Agência de Tecnologia da Ciência e Pesquisa (bolsa número 15302FG149 à SA e LC); o Programa De Pesquisa Clínica (Doença de Parkinson) administrado pelo Conselho Nacional de Pesquisa Médica do Ministério da Saúde de Cingapura (número de subvenção NMRC/TCR/013-NNI/2014 para SA), a Universidade de Alberta (bolsa de startup para LC) e o Conselho de Pesquisa de Ciências Naturais e Engenharia do Canadá (NSERC) Discovery Grant (número de subvenção RGPIN-2019-04575 à LC).
Materials
| Acrylic Sheets | Dama | 1.6 mm thickness, Clear sheets | Singapore, Singapore |
| Clear Glass slides | Biomedia | BMH 880101 | Singapore, Singapore |
| High speed camera | Photron | Fastcam MC2.1 | Tokyo, Japan. A shutter speed of 1 msec or faster is ideal to reduce motion blur of captured images |
| Infra Red LED | Any – Generic from hardware store | 940nm Infrared Light Board | Singapore, Singapore |
| Kimwipe | Kimberly Clark | 34155-01LS | Irving, Texas, USA |
References
- Wu, S., et al. Fully automated leg tracking of Drosophila neurodegeneration models reveals distinct conserved movement signatures. PLoS Biology. 17 (6), 3000346 (2019).
- Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 19, 1281-1289 (2018).
- Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nature Methods. 16 (1), 117-125 (2019).
- Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G., Carey, M. R. A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice. eLife. 4, (2015).
- Lu, B., Vogel, H. Drosophila models of neurodegenerative diseases. Annual Reviews in Pathology. 4, 315-342 (2009).
- McGurk, L., Berson, A., Bonini, N. M. Drosophila as an In Vivo Model for Human Neurodegenerative Disease. Génétique. 201 (2), 377-402 (2015).
- Dionne, H., Hibbard, K., Cavallaro, A., Kao, J. -. C., Rubin, G. M. Genetic reagents for making split-GAL4 lines in Drosophila. bioRxiv. , (2017).
- Cande, J., et al. Optogenetic dissection of descending behavioral control in Drosophila. eLife. 7, (2018).
- Nern, A., Pfeiffer, B. D., Rubin, G. M. Optimized tools for multicolor stochastic labeling reveal diverse stereotyped cell arrangements in the fly visual system. Proceedings of the National Academy of Sciences of the United States of America. 112 (22), 2967-2976 (2015).
- Xie, T., et al. A Genetic Toolkit for Dissecting Dopamine Circuit Function in Drosophila. Cell Reports. 23 (2), 652-665 (2018).
- Warrick, J. M., et al. Ataxin-3 suppresses polyglutamine neurodegeneration in Drosophila by a ubiquitin-associated mechanism. Molecular Cell. 18 (1), 37-48 (2005).
- Ebersbach, G., et al. Comparative analysis of gait in Parkinson’s disease, cerebellar ataxia and subcortical arteriosclerotic encephalopathy. Brain. 122 (7), 1349-1355 (1999).
- Stolze, H., et al. Typical features of cerebellar ataxic gait. Journal of Neurology, Neurosurgery and Psychiatry. 73 (3), 310-312 (2002).
- Mendes, C. S., Bartos, I., Akay, T., Marka, S., Mann, R. S. Quantification of gait parameters in freely walking wild type and sensory deprived Drosophila melanogaster. eLife. 2, 00231 (2013).
- DeAngelis, B. D., Zavatone-Veth, J. A., Clark, D. A. The manifold structure of limb coordination in walking Drosophila. eLife. 8, (2019).
- Gunel, S., et al. DeepFly3D, a deep learning-based approach for 3D limb and appendage tracking in tethered, adult Drosophila. eLife. 8, (2019).
- Isakov, A., et al. Recovery of locomotion after injury in Drosophila melanogaster depends on proprioception. The Journal of Experimental Biology. 219, 1760-1771 (2016).
- Aw, S. S., Lim, I. K. H., Tang, M. X. M., Cohen, S. M. A Glio-Protective Role of mir-263a by Tuning Sensitivity to Glutamate. Cell Reports. 19 (9), 1783-1793 (2017).
- Eberl, D. F., Duyk, G. M., Perrimon, N. A genetic screen for mutations that disrupt an auditory response in Drosophila melanogaster. Proceedings of the National Academy of Sciences of the United States of America. 94 (26), 14837-14842 (1997).
