Suivi entièrement automatisé des jambes chez les insectes en mouvement libre à l’aide de la segmentation et du suivi des jambes d’apprentissage des fonctionnalités (FLLIT)
Summary
Nous décrivons des protocoles détaillés pour l’utilisation de FLLIT, une méthode d’apprentissage automatique entièrement automatisée pour le suivi du mouvement des griffes des jambes dans le déplacement libre de Drosophila melanogaster et d’autres insectes. Ces protocoles peuvent être utilisés pour mesurer quantitativement les mouvements subtils de la marche dans les mouches sauvages de type, les mouches mutantes et les modèles de mouche de la neurodégénérescence.
Abstract
Le modèle Drosophila a été inestimable pour l’étude de la fonction neurologique et pour comprendre les mécanismes moléculaires et cellulaires qui sous-tendent la neurodégénérescence. Tandis que les techniques de mouche pour la manipulation et l’étude des sous-ensembles neuronaux sont devenues de plus en plus sophistiquées, la richesse des phénotypes comportementaux résultants n’a pas été capturée à un détail semblable. Pour être en mesure d’étudier les mouvements subtils des jambes volantes pour la comparaison entre les mutants nécessite la capacité de mesurer et de quantifier automatiquement les mouvements rapides et rapides des jambes. Par conséquent, nous avons développé un algorithme d’apprentissage automatique des griffes de jambe pour le suivi automatisé des griffes des jambes dans les mouches à marche libre, la segmentation des membres basée sur l’apprentissage des fonctionnalités et le suivi (FLLIT). Contrairement à la plupart des méthodes d’apprentissage profond, FLLIT est entièrement automatisé et génère ses propres ensembles de formation sans besoin d’annotation utilisateur, en utilisant des paramètres morphologiques intégrés dans l’algorithme d’apprentissage. Cet article décrit un protocole en profondeur pour effectuer l’analyse de la démarche à l’aide de FLLIT. Il détaille les procédures pour la configuration de la caméra, la construction de l’arène, l’enregistrement vidéo, la segmentation des jambes et le suivi des griffes de jambe. Il donne également un aperçu des données produites par FLLIT, qui comprend des positions brutes du corps et des jambes dans chaque cadre vidéo, 20 paramètres de démarche, 5 parcelles et une vidéo suivie. Pour démontrer l’utilisation de FLLIT, nous quantifions les paramètres de démarche malades pertinents dans un modèle de mouche de Spinocerebellar ataxia 3.
Introduction
Au cours des dernières décennies, les maladies neurodégénératives et les troubles du mouvement sont devenus plus répandus dans nos populations vieillissantes. Bien que notre compréhension de nombreuses maladies neurodégénératives ait progressé au niveau moléculaire et cellulaire, les caractéristiques fondamentales des circuits neuronaux affectés sous-jacents à la maladie demeurent mal comprises. Les outils de suivi comportemental récemment développés1,2,3,4 nous permettent maintenant d’étudier les anomalies de mouvement dans les modèles de maladies animales afin d’identifier la dysrégulation moléculaire, cellulaire et de circuit maladie sous-jacente.
Les voies moléculaires impliquées dans beaucoup de maladies neurodégénératives sont conservées dans la mouche des fruits Drosophila melanogaster, et les modèles de maladie de Drosophila ont aidé à élucider les mécanismes fondamentaux sous-jacents neurodegeneration5,6. Nous avons récemment montré que les modèles de mouche de la maladie de Parkinson (PD) et Spinocerebellar ataxia 3 (SCA3) présentent des signatures distinctes et conservées de démarche qui ressemblent à celles des maladies humaines respectives1, démontrant que le modèle de mouche peut être utilisé pour comprendre les mécanismes de circuit sous-jacents au dysfonctionnement du mouvement dans des désordres spécifiques de mouvement. L’arsenal riche et sans cesse croissant d’outils dans le modèle de mouche pour la manipulation ciblée et la visualisation des neurones au seul gène et le niveau unique de cellules7,8,9,10 fait de la mouche un modèle idéal pour sonder la relation entre les voies de la maladie, les circuits neuronaux et la manifestation phénotypique comportementale in vivo. Pour permettre une analyse précise et automatisée de la démarche des insectes, nous avons récemment mis au point une méthode d’apprentissage automatique, lasegmentation LImb à base de gains F eature Let le rackage T(FLLIT)1.
FLLIT se compose d’un algorithme multi-étapes entièrement automatisé qui segmente les premiers segments des pixels de jambe, qui sont ensuite utilisés pour localiser et suivre les griffes correspondantes de jambe. FLLIT utilise un algorithme de stimulation pour la segmentation, contrairement aux algorithmes d’apprentissage profond utilisés dans les travaux récents2,3. Il existe certaines similitudes avec les réseaux neuronaux convolutionnels en ce que pour les deux cadres, l’extraction des fonctionnalités se fait automatiquement par l’apprentissage des grains convolutionnels. La première étape de FLLIT consiste à utiliser des opérations morphologiques (bord et squelettisation) pour générer automatiquement des échantillons positifs (pixels sur les jambes) et négatifs (fond ou pixels sur le corps de mouche) avec une grande confiance. Par conséquent, FLLIT est entièrement automatisé et ne nécessite pas d’échantillons de formation annotés par l’utilisateur. À l’aide des échantillons de formation ci-dessus, un classificateur est ensuite formé dans le cadre d’un algorithme de stimulation. Un ensemble de classificateurs faibles est itérativement appris, avec chacun composé d’un ensemble de grains convolutionnels pour l’extraction des caractéristiques et un arbre de décision. Le classificateur final appris est ensuite utilisé pour la segmentation des jambes et est en mesure de mieux discerner les régions difficiles / échantillons durs mieux que les opérations morphologiques, produisant une segmentation globale beaucoup plus précise pour le suivi1. Des jambes segmentées, nous localisons les bouts et les suivons à l’aide de l’algorithme hongrois : en faisant correspondre les conseils sur les cadres de telle sorte que la somme de la distance parcourue par chaque pointe soit réduite au minimum. FLLIT peut gérer les cas d’occlusion en se souvenant du dernier endroit vu (dans les coordonnées centrées sur la mouche) de sorte qu’une pointe de jambe est récupérée une fois qu’elle n’est plus sous occlusion.
Nous avons déjà montré que FLLIT peut suivre automatiquement et avec précision les mouvements des jambes et analyser la démarche dans une mouche ou une araignée banale et libre en mouvement de la vidéo à grande vitesse1; FLLIT devrait donc être largement applicable pour le suivi des jambes arthropodes. En extrayant des ensembles de formation d’apprentissage automatique à l’aide de paramètres morphologiques, FLLIT s’entraîne automatiquement à segmenter et à suivre les pattes d’insectes sans avoir besoin d’annotation manuelle laborieuse, ce qui est nécessaire pour la plupart des méthodes d’apprentissage profond. FLLIT est donc entièrement automatisé. Après la segmentation et le suivi des jambes, FLLIT produit automatiquement des positions brutes du corps et des jambes dans chaque cadre vidéo, 20 paramètres de démarche, 5 parcelles et une vidéo suivie pour l’analyse de la démarche et la visualisation des mouvements de la démarche. Ce protocole fournit un guide étape par étape pour l’utilisation de FLLIT.
Protocol
Representative Results
Discussion
Dans ce manuscrit, nous décrivons en détail les étapes impliquées dans l’utilisation de FLLIT, un programme automatisé d’apprentissage automatique1, pour analyser la démarche dans la marche libre Drosophila. Après le suivi et l’analyse des données, FLLIT génère automatiquement des données brutes pour les informations de position du corps et des griffes des jambes, produisant vingt caractéristiques du corps et de la démarche ainsi qu’une vidéo de la mouche suivie pour permettre la visualisation de la démarche.
Il existe maintenant un certain nombre de méthodes pour le suivi du mouvement des jambes de Drosophila et d’autres animaux1,2,3,4,14,15,16, donnant aux chercheurs un large éventail d’options en fonction des objectifs de l’expérience. Certaines d’entre elles sont des approches basées sur l’impression des pieds, qui sont très précises mais qui ne rapportent que des points de contact de griffe avec la surface de détection4,14. D’autre part, les approches récentes d’apprentissage profond2,3,16 sont très polyvalents, permettant l’analyse des comportements qui nécessitent le suivi des articulations des jambes et d’autres parties du corps dans n’importe quel animal, avec la mise en garde que les algorithmes doivent d’abord être formés avec les jeux de données annotés de l’utilisateur. Un troisième type d’approche utilise la morphologie ou les méthodes basées sur l’image-contraste1,15,17 pour trouver le contour de chaque jambe pour identifier les positions de griffe. En général, ces méthodes traitent mal les comportements où les jambes se croisent (par exemple pendant le toilettage). FLLIT combine les deuxième et troisième approches, en utilisant des paramètres morphologiques pour former un algorithme de stimulation pour la segmentation des jambes. Cela permet à FLLIT de contourner la tâche laborieuse de l’annotation de l’utilisateur pour générer le jeu de données de formation, tout en améliorant la précision à l’aide de l’apprentissage automatique. Les améliorations futures à FLLIT devront faire face à des cas où les jambes se croisent, pour permettre l’analyse de comportements plus complexes.
FLLIT est robuste à de légers changements dans l’éclairage, la résolution d’enregistrement et la vitesse de cadre1. Cependant, la vitesse de cadre des vidéos enregistrées ne devrait pas tomber en dessous de 250 fps, et FLLIT fonctionne de manière optimale pour les vidéos enregistrées à 1000 fps. S’il y a flou de mouvement dans les images, de sorte qu’il est difficile pour un annotateur humain d’identifier la position de jambe, FLLIT ne sera pas en mesure d’identifier avec précision les bouts de jambe dans ces cadres. À la lumière de cela, il est essentiel que la caméra soit fortement concentrée sur les pointes de jambe. Pour éviter les artefacts de segmentation, l’aréna doit être nettoyé à fond et ne doit pas être déplacé pendant l’enregistrement. Pour une soustraction précise de fond et une segmentation propre, la mouche doit déplacer au moins une longueur du corps pendant l’enregistrement, sans s’arrêter. Après la segmentation automatique et le suivi de l’étiquetage de toutes les jambes doivent être vérifiés. Si la démarche de vol n’est pas suivie ou mal suivie, le fichier doit être retracé manuellement à l’aide de l’option de suivi manuel (étape 5.2.7 – 5.2.10).
Les maladies neurodégénératives et les troubles du mouvement sont de plus en plus répandus dans nos sociétés vieillissantes. Les modèles de mouche de la neurodégénérescence ont été étudiés pendant plus de 2 décennies, au cours desquelles des progrès ont été réalisés concernant les aspects moléculaires et cellulaires de la pathophysiologie de la maladie. Cependant, les conséquences comportementales spécifiques de la maladie ont été techniquement difficiles à évaluer. Par exemple, alors que les rapports de mouvements tremblants à la mouche ont été faites18,19, ceux-ci n’avaient pas été quantitativement étudiés jusqu’à récemment1. L’essai d’escalade a été une mesure utile et quantitative, mais relativement grossière6. Ce déficit technique a également entravé l’analyse des mouvements à haute résolution dans d’autres modèles animaux. L’avènement de nouveaux outils d’analyse comportementale, par conséquent, a promis de rajeunir le domaine des troubles du mouvement pour permettre aux chercheurs d’étudier comment les mécanismes moléculaires et cellulaires des maladies neuromusculaires mènent à des résultats comportementaux spécifiques dans les modèles animaux. Dans cet article et dans notre travail précédent1, nous avons montré en utilisant FLLIT que les modèles de mouche de SCA3 présentent une démarche ataxique hyperkinétique, tandis que les modèles de mouche présentent une démarche rigide hypokinétique, récapitulant les marques de mouvement des maladies humaines respectives1. L’analyse de la démarche nous a également permis d’identifier des populations neuronales distinctes sous-jacentes à des dysfonctionnements spécifiques du mouvement. À l’avenir, l’analyse détaillée des mouvements, combinée avec les puissants outils d’imagerie et fonctionnels disponibles à la mouche, nous permettra d’obtenir un aperçu nouveau des mécanismes de dysfonctionnement locomoteur, illuminant notre compréhension des maladies neurodégénératives en ce qui concerne les mécanismes de circuit.
FLLIT devrait être largement applicable à étudier la démarche dans d’autres petits arthropodes, car il a été précédemment démontré pour être très précis pour le suivi des mouvements des pattes d’araignée1. Alors que nous nous concentrons ici sur l’utilisation de phénotypage de mouvement détaillé pour quantifier la démarche pathogène et ses circuits sous-jacents, les progrès dans le suivi des mouvements ont déjà révolutionné, et auront un impact continu sur, la compréhension de la coordination de la marche normale et la démarche et ses circuits sous-jacents, en particulier dans une myriade de branches différentes de l’arbre évolutionnaire.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Les auteurs souhaitent remercier Moumita Chatterjee et Alice Liu pour leur soutien technique, et le Bloomington Drosophila Stock Centre (Indiana, Usa) d’avoir mis à disposition les souches Drosophila utilisées dans ce travail. Ces travaux ont été soutenus par l’Institute of Molecular and Cell Biology, Singapour; l’Institut de bioinformatique, Singapour; l’Agence pour la technologie scientifique et la recherche Joint Council Organization (subvention numéro 15302FG149 à SA et LC); le Programme phare de recherche clinique (maladie de Parkinson) administré par le Conseil national de recherches médicales du ministère de la Santé de Singapour (numéro de subvention NMRC/TCR/013-NNI/2014 à SA), l’Université de l’Alberta (subvention de démarrage à LC) et le Conseil de recherches en sciences naturelles et en génie du Canada (NSERC) (numéro de subvention RGPIN-2019-04575 à LC).
Materials
| Acrylic Sheets | Dama | 1.6 mm thickness, Clear sheets | Singapore, Singapore |
| Clear Glass slides | Biomedia | BMH 880101 | Singapore, Singapore |
| High speed camera | Photron | Fastcam MC2.1 | Tokyo, Japan. A shutter speed of 1 msec or faster is ideal to reduce motion blur of captured images |
| Infra Red LED | Any – Generic from hardware store | 940nm Infrared Light Board | Singapore, Singapore |
| Kimwipe | Kimberly Clark | 34155-01LS | Irving, Texas, USA |
References
- Wu, S., et al. Fully automated leg tracking of Drosophila neurodegeneration models reveals distinct conserved movement signatures. PLoS Biology. 17 (6), 3000346 (2019).
- Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 19, 1281-1289 (2018).
- Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nature Methods. 16 (1), 117-125 (2019).
- Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G., Carey, M. R. A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice. eLife. 4, (2015).
- Lu, B., Vogel, H. Drosophila models of neurodegenerative diseases. Annual Reviews in Pathology. 4, 315-342 (2009).
- McGurk, L., Berson, A., Bonini, N. M. Drosophila as an In Vivo Model for Human Neurodegenerative Disease. 유전학. 201 (2), 377-402 (2015).
- Dionne, H., Hibbard, K., Cavallaro, A., Kao, J. -. C., Rubin, G. M. Genetic reagents for making split-GAL4 lines in Drosophila. bioRxiv. , (2017).
- Cande, J., et al. Optogenetic dissection of descending behavioral control in Drosophila. eLife. 7, (2018).
- Nern, A., Pfeiffer, B. D., Rubin, G. M. Optimized tools for multicolor stochastic labeling reveal diverse stereotyped cell arrangements in the fly visual system. Proceedings of the National Academy of Sciences of the United States of America. 112 (22), 2967-2976 (2015).
- Xie, T., et al. A Genetic Toolkit for Dissecting Dopamine Circuit Function in Drosophila. Cell Reports. 23 (2), 652-665 (2018).
- Warrick, J. M., et al. Ataxin-3 suppresses polyglutamine neurodegeneration in Drosophila by a ubiquitin-associated mechanism. Molecular Cell. 18 (1), 37-48 (2005).
- Ebersbach, G., et al. Comparative analysis of gait in Parkinson’s disease, cerebellar ataxia and subcortical arteriosclerotic encephalopathy. Brain. 122 (7), 1349-1355 (1999).
- Stolze, H., et al. Typical features of cerebellar ataxic gait. Journal of Neurology, Neurosurgery and Psychiatry. 73 (3), 310-312 (2002).
- Mendes, C. S., Bartos, I., Akay, T., Marka, S., Mann, R. S. Quantification of gait parameters in freely walking wild type and sensory deprived Drosophila melanogaster. eLife. 2, 00231 (2013).
- DeAngelis, B. D., Zavatone-Veth, J. A., Clark, D. A. The manifold structure of limb coordination in walking Drosophila. eLife. 8, (2019).
- Gunel, S., et al. DeepFly3D, a deep learning-based approach for 3D limb and appendage tracking in tethered, adult Drosophila. eLife. 8, (2019).
- Isakov, A., et al. Recovery of locomotion after injury in Drosophila melanogaster depends on proprioception. The Journal of Experimental Biology. 219, 1760-1771 (2016).
- Aw, S. S., Lim, I. K. H., Tang, M. X. M., Cohen, S. M. A Glio-Protective Role of mir-263a by Tuning Sensitivity to Glutamate. Cell Reports. 19 (9), 1783-1793 (2017).
- Eberl, D. F., Duyk, G. M., Perrimon, N. A genetic screen for mutations that disrupt an auditory response in Drosophila melanogaster. Proceedings of the National Academy of Sciences of the United States of America. 94 (26), 14837-14842 (1997).
