Volledig geautomatiseerde leg tracking in vrij bewegende insecten met behulp van Feature Learning Leg Segmentation and Tracking (FLLIT)
Summary
We beschrijven gedetailleerde protocollen voor het gebruik van FLLIT, een volledig geautomatiseerde machine learning-methode voor het volgen van beenklauwen bij het vrij bewegende Drosophila melanogaster en andere insecten. Deze protocollen kunnen worden gebruikt om kwantitatief te meten subtiele loopbewegingen in wilde type vliegen, mutant vliegen en vliegen modellen van neurodegeneratie.
Abstract
Het Drosophila-model is van onschatbare waarde geweest voor de studie van de neurologische functie en voor het begrijpen van de moleculaire en cellulaire mechanismen die ten grondslag liggen aan neurodegeneratie. Terwijl vliegtechnieken voor de manipulatie en studie van neuronale subsets steeds geavanceerder zijn geworden, is de rijkdom van de resulterende gedragsfenotypes niet op een vergelijkbaar detail vastgelegd. Om subtiele vliegbeenbewegingen te kunnen bestuderen ter vergelijking tussen mutanten, is de mogelijkheid vereist om bewegingen van hoge snelheden en snelle benen automatisch te meten en te kwantificeren. Daarom ontwikkelden we een machine-learning algoritme voor geautomatiseerde leg claw tracking in vrij lopende vliegen, Feature Learning-based Limb segmentation and Tracking (FLLIT). In tegenstelling tot de meeste deep learning-methoden is FLLIT volledig geautomatiseerd en genereert het zijn eigen trainingssets zonder dat gebruikersaantekeningen nodig zijn, met behulp van morfologische parameters die in het leeralgoritme zijn ingebouwd. Dit artikel beschrijft een diepgaand protocol voor het uitvoeren van ganganalyse met behulp van FLLIT. Het beschrijft de procedures voor camera setup, arena bouw, video-opname, been segmentatie en been klauw tracking. Het geeft ook een overzicht van de gegevens geproduceerd door FLLIT, die ruwe bijgehouden lichaam en been posities in elk videoframe, 20 gang parameters, 5 percelen en een bijgehouden video omvat. Om het gebruik van FLLIT aan te tonen, kwantificeren we relevante zieke gangparameters in een vliegmodel van Spinocerebellar ataxie 3.
Introduction
In de afgelopen decennia, neurodegeneratieve ziekten en bewegingsstoornissen zijn gegroeid vaker in onze vergrijzende bevolking. Hoewel ons begrip van vele neurodegeneratieve ziekten is gevorderd op moleculair en cellulair niveau, fundamentele kenmerken van de getroffen neuronale circuits onderliggende ziekte blijven slecht begrepen. Onlangs ontwikkelde gedragstrackingtools1,2,3,4 stellen ons nu in staat om bewegingsafwijkingen in dierziektemodellen te bestuderen om moleculaire, cellulaire en circuitdysregulatie onderliggende ziekte te identificeren.
Moleculaire trajecten die betrokken zijn bij vele neurodegeneratieve ziekten worden bewaard in de fruitvlieg Drosophila melanogaster, en Drosophila ziekte modellen hebben geholpen om fundamentele mechanismen die ten grondslag liggen neurodegeneratie5op te helderen,6. We hebben onlangs aangetoond dat vliegmodellen van de ziekte van Parkinson (PD) en Spinocerebellar ataxie 3 (SCA3) vertonen verschillende, geconserveerde gang handtekeningen die lijken op die van de respectieve menselijke ziekten1, waaruit blijkt dat de vlieg model kan worden gebruikt om circuit mechanismen onderliggende beweging disfunctie in specifieke bewegingsstoornissen te begrijpen. De rijke en voortdurend groeiende arsenaal van instrumenten in de vlieg model voor gerichte manipulatie en visualisatie van neuronen op de enkele gen en eencellige niveau7,8,9,,10 maakt de vlieg een ideaal model een om de relatie tussen ziekte trajecten, neuronale circuits en gedragsfefetypische manifestatie in vivo sonde. Om nauwkeurige, geautomatiseerde insectenganganalyse mogelijk te maken, hebben we onlangs een machine learning-methode ontwikkeld, Feature Learning-based LImb-segmentatie en T-racking(FLLIT)1.
FLLIT bestaat uit een volledig geautomatiseerd multi-stage algoritme dat eerst de beenpixels segmentert, die vervolgens worden gebruikt om de bijbehorende beenklauwen te lokaliseren en te volgen. FLLIT maakt gebruik van een stimulerend algoritme voor segmentatie, in tegenstelling tot deep learning-algoritmen die in recent werk2,3wordengebruikt . Er zijn een aantal overeenkomsten met convolutional neurale netwerken in dat voor beide kaders, functie extractie wordt automatisch gedaan door het leren van convolutional kernels. De eerste stap in FLLIT omvat het gebruik van morfologische bewerkingen (rand en skeletonization) om automatisch te genereren positieve (pixels op de benen) en negatieve (achtergrond of pixels op de fly body) training monsters met veel vertrouwen. FLLIT is dus volledig geautomatiseerd en vereist geen geannoteerde trainingsmonsters van de gebruiker. Met behulp van de bovenstaande trainingsmonsters wordt vervolgens een classificatie getraind in het kader van een stimulerend algoritme. Een ensemble van zwakke classifiers wordt iteratief geleerd, met elk bestaande uit een set convolutional kernels voor functieextractie en een beslissingsboom. De uiteindelijke geleerde classificatie wordt vervolgens gebruikt voor beensegmentatie en is in staat om moeilijker te onderscheiden moeilijke regio’s / harde monsters beter dan morfologische bewerkingen, het produceren van een algemene veel nauwkeuriger segmentatie voor het bijhoudenvan 1. Vanuit de gesegmenteerde poten lokaliseren we de tips en volgen we ze met behulp van het Hongaarse algoritme: door tips over frames te matchen zodat de som van de afstand die door elke tip wordt verplaatst, wordt geminimaliseerd. FLLIT kan occlusiegevallen verwerken door de laatst geziene locatie (in fly centered coördinaten) te onthouden, zodat een beentip wordt hersteld zodra deze niet langer onder occlusie is.
We hebben eerder aangetoond dat FLLIT kan automatisch en nauwkeurig volgen beenbewegingen en analyseren gang in een ongemarkeerde, vrij bewegende vlieg of spin van high-speed video1; FLLIT moet dus in grote lijnen van toepassing zijn op geleedpotige leg tracking. Door machine learning-trainingssets te extraheren met behulp van morfologische parameters, traint FLLIT zichzelf automatisch om insectenpoten te segmenteren en te volgen zonder de noodzaak van moeizame handmatige annotatie, wat nodig is voor de meeste deep learning-methoden. FLLIT is dus volledig geautomatiseerd. Na legsegmentatie en tracking produceert FLLIT automatisch ruwe bijgehouden lichaams- en beenposities in elk videoframe, 20 loopparameters, 5 plots en een bijgehouden video voor loopanalyse en visualisatie van loopbewegingen. Dit protocol biedt een stapsgewijze handleiding voor het gebruik van FLLIT.
Protocol
Representative Results
Discussion
In dit manuscript beschrijven we in detail de stappen die betrokken zijn bij het gebruik van FLLIT, een geautomatiseerd machine-learning programma1, om gang te analyseren in vrij wandelen Drosophila. Na tracking en data-analyse genereert FLLIT automatisch ruwe gegevens voor de positionele informatie van het lichaam en de beenklauwen, waardoor twintig lichaams- en loopfuncties worden geproduceerd, evenals een video van de bijgehouden vlieg om gangvisualisatie mogelijk te maken.
Er zijn nu een aantal methoden voor been beweging tracking van Drosophila en andere dieren1,2,3,4,14,15,16, waardoor onderzoekers een breed scala aan opties, afhankelijk van de doelstellingen van het experiment. Sommige van deze zijn voet afdrukken op basis van benaderingen, die zeer nauwkeurig zijn, maar die alleen klauw contactpunten met de detectie oppervlak4,,14rapporteren . Aan de andere kant, recente deep learning benaderingen2,3,16 zijn zeer veelzijdig, waardoor analyse van gedrag dat het bijhouden van beengewrichten en andere lichaamsdelen in elk dier vereisen, met het voorbehoud dat de algoritmen eerst moeten worden getraind met gebruiker geannoteerde datasets. Een derde type benadering maakt gebruik van morfologie of op beeldcontrast gebaseerde methoden1,15,17 om de omtrek van elk been te vinden om klauwposities te identificeren. In het algemeen gaan deze methoden slecht om met gedrag ingewanten waarbij de benen elkaar kruisen (bijvoorbeeld tijdens het verzorgen). FLLIT combineert de tweede en derde benadering, met behulp van morfologische parameters om een stimulerend algoritme voor beensegmentatie te trainen. Hierdoor kan FLLIT de moeizame taak van gebruikersannotatie omzeilen om de trainingsgegevensset te genereren, terwijl de nauwkeurigheid wordt verbeterd met behulp van machine learning. Toekomstige verbeteringen aan FLLIT zal moeten worden behandeld met gevallen waar benen over kruisen, om analyse van meer complex gedrag mogelijk te maken.
FLLIT is robuust tot kleine veranderingen in verlichting, opnameresolutie en framesnelheid1. De framesnelheid van opgenomen video’s mag echter niet onder de 250 fps komen en FLLIT draait optimaal voor video’s die met 1000 fps zijn opgenomen. Als er bewegingsonscherpte in de beelden, zodanig dat het een uitdaging is voor een menselijke annotator om de beenpositie te identificeren, zal FLLIT niet in staat zijn om nauwkeurig te identificeren been tips in die frames. In het licht hiervan is het essentieel dat de camera scherp op de beenuiteinden gericht is. Om segmentatieartefacten te voorkomen, moet de arena grondig worden gereinigd en mag deze niet worden verplaatst tijdens de opname. Voor nauwkeurige achtergrondaftrekking en schone segmentatie moet de vlieg tijdens de opname ten minste één lichaamslengte bewegen, zonder te pauzeren. Na automatische segmentatie en tracking moet de etikettering van alle poten worden gecontroleerd. Als de vlieggang niet ten onrechte wordt bijgehouden of bijgehouden, moet het bestand handmatig worden bijgehouden met de optie Handmatig bijhouden starten (stap 5.2.7 – 5.2.10).
Neurodegeneratieve ziekten en bewegingsstoornissen komen steeds vaker voor in onze vergrijzende samenlevingen. Vliegmodellen van neurodegeneratie zijn bestudeerd voor meer dan 2 decennia, waarin vooruitgang zijn geboekt met betrekking tot de moleculaire en cellulaire aspecten van de ziekte pathofysiologie. Echter, specifieke gedragsgevolgen van de ziekte zijn technisch moeilijk te beoordelen. Zo waren er bijvoorbeeld rapporten van trillende bewegingen in de vlieg gemaakt18,19, deze waren tot voor kort niet kwantitatief bestudeerd1. De klimtest is een nuttige en kwantitatieve, maar relatief grove maatregel6. Dit technische tekort heeft ook de analyse van de bewegingen met hoge resolutie in andere diermodellen belemmerd. De komst van nieuwe instrumenten voor gedragsanalyse, vandaar, heeft beloofd om het gebied van bewegingswanorde te verjongen om onderzoekers toe te laten om te bestuderen hoe de moleculaire en cellulaire mechanismen van neuromusculaire ziekten tot specifieke gedragsresultaten in dierlijke modellen leiden. In dit document en in ons vorige werk1,toonden we met behulp van FLLIT dat vliegmodellen van SCA3 vertonen een hyperkinetische ataxic gang, terwijl PD vliegen modellen vertonen een hypokinetische rigide gang, samenvattende bewegingskenmerken van de respectieve menselijke ziekten1. Gang analyse stelde ons ook in staat om verschillende neuronale populaties die ten grondslag liggen aan specifieke beweging disfuncties te identificeren. In de toekomst zal gedetailleerde bewegingsanalyse, gecombineerd met de krachtige beeldvorming en functionele hulpmiddelen die beschikbaar zijn in de vlieg, ons in staat stellen om nieuw inzicht te krijgen in mechanismen van motorische disfunctie, waardoor ons begrip van neurodegeneratieve ziekten met betrekking tot circuitmechanismen wordt verlicht.
FLLIT moet op grote schaal van toepassing zijn op het bestuderen van gang in andere kleine geleedpotigen, zoals eerder werd aangetoond zeer nauwkeurig te zijn voor het bijhouden van spinbeenbewegingen1. Terwijl we ons hier richten op het gebruik van gedetailleerde beweging fenotypering voor het kwantificeren van pathogene gang en de onderliggende circuits, vooruitgang in beweging tracking hebben al een revolutie, en zal blijvende invloed hebben op, het begrip van de normale wandelen coördinatie en gang en de onderliggende circuits, vooral in talloze verschillende takken van de evolutionaire boom.
Disclosures
The authors have nothing to disclose.
Acknowledgements
De auteurs willen Moumita Chatterjee en Alice Liu bedanken voor technische ondersteuning, en het Bloomington Drosophila Stock Centre (Indiana, USA) voor het ter beschikking stellen van de Drosophila stammen gebruikt in dit werk. Dit werk werd ondersteund door het Institute of Molecular and Cell Biology, Singapore; het Bioinformatics Institute, Singapore; het Agentschap voor de Gemeenschappelijke Raad voor Wetenschapstechnologie en Onderzoek (subsidienummer 15302FG149 aan SA en LC); het Clinical Research Flagship Programme (Parkinson’s Disease) beheerd door de National Medical Research Council van het Singaporese ministerie van Volksgezondheid (subsidienummer NMRC/TCR/013-NNI/2014 aan SA), de Universiteit van Alberta (opstartsubsidie voor LC) en de Natural Sciences and Engineering Research Council of Canada (NSERC) Discovery Grant (subsidienummer RGPIN-2019-04575 naar LC).
Materials
| Acrylic Sheets | Dama | 1.6 mm thickness, Clear sheets | Singapore, Singapore |
| Clear Glass slides | Biomedia | BMH 880101 | Singapore, Singapore |
| High speed camera | Photron | Fastcam MC2.1 | Tokyo, Japan. A shutter speed of 1 msec or faster is ideal to reduce motion blur of captured images |
| Infra Red LED | Any – Generic from hardware store | 940nm Infrared Light Board | Singapore, Singapore |
| Kimwipe | Kimberly Clark | 34155-01LS | Irving, Texas, USA |
References
- Wu, S., et al. Fully automated leg tracking of Drosophila neurodegeneration models reveals distinct conserved movement signatures. PLoS Biology. 17 (6), 3000346 (2019).
- Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 19, 1281-1289 (2018).
- Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nature Methods. 16 (1), 117-125 (2019).
- Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G., Carey, M. R. A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice. eLife. 4, (2015).
- Lu, B., Vogel, H. Drosophila models of neurodegenerative diseases. Annual Reviews in Pathology. 4, 315-342 (2009).
- McGurk, L., Berson, A., Bonini, N. M. Drosophila as an In Vivo Model for Human Neurodegenerative Disease. 遗传学. 201 (2), 377-402 (2015).
- Dionne, H., Hibbard, K., Cavallaro, A., Kao, J. -. C., Rubin, G. M. Genetic reagents for making split-GAL4 lines in Drosophila. bioRxiv. , (2017).
- Cande, J., et al. Optogenetic dissection of descending behavioral control in Drosophila. eLife. 7, (2018).
- Nern, A., Pfeiffer, B. D., Rubin, G. M. Optimized tools for multicolor stochastic labeling reveal diverse stereotyped cell arrangements in the fly visual system. Proceedings of the National Academy of Sciences of the United States of America. 112 (22), 2967-2976 (2015).
- Xie, T., et al. A Genetic Toolkit for Dissecting Dopamine Circuit Function in Drosophila. Cell Reports. 23 (2), 652-665 (2018).
- Warrick, J. M., et al. Ataxin-3 suppresses polyglutamine neurodegeneration in Drosophila by a ubiquitin-associated mechanism. Molecular Cell. 18 (1), 37-48 (2005).
- Ebersbach, G., et al. Comparative analysis of gait in Parkinson’s disease, cerebellar ataxia and subcortical arteriosclerotic encephalopathy. Brain. 122 (7), 1349-1355 (1999).
- Stolze, H., et al. Typical features of cerebellar ataxic gait. Journal of Neurology, Neurosurgery and Psychiatry. 73 (3), 310-312 (2002).
- Mendes, C. S., Bartos, I., Akay, T., Marka, S., Mann, R. S. Quantification of gait parameters in freely walking wild type and sensory deprived Drosophila melanogaster. eLife. 2, 00231 (2013).
- DeAngelis, B. D., Zavatone-Veth, J. A., Clark, D. A. The manifold structure of limb coordination in walking Drosophila. eLife. 8, (2019).
- Gunel, S., et al. DeepFly3D, a deep learning-based approach for 3D limb and appendage tracking in tethered, adult Drosophila. eLife. 8, (2019).
- Isakov, A., et al. Recovery of locomotion after injury in Drosophila melanogaster depends on proprioception. The Journal of Experimental Biology. 219, 1760-1771 (2016).
- Aw, S. S., Lim, I. K. H., Tang, M. X. M., Cohen, S. M. A Glio-Protective Role of mir-263a by Tuning Sensitivity to Glutamate. Cell Reports. 19 (9), 1783-1793 (2017).
- Eberl, D. F., Duyk, G. M., Perrimon, N. A genetic screen for mutations that disrupt an auditory response in Drosophila melanogaster. Proceedings of the National Academy of Sciences of the United States of America. 94 (26), 14837-14842 (1997).
