Vollautomatische beinverfolgung in frei beweglichen Insekten mit Feature Learning Leg Segmentation and Tracking (FLLIT)
Summary
Wir beschreiben detaillierte Protokolle für die Verwendung von FLLIT, einer vollautomatischen maschinellen Lernmethode zur Beinkrallenbewegungsverfolgung in frei beweglichen Drosophila melanogaster und anderen Insekten. Diese Protokolle können verwendet werden, um subtile Gangbewegungen in wilden Fliegen, mutierten Fliegen und Fliegenmodellen der Neurodegeneration quantitativ zu messen.
Abstract
Das Drosophila-Modell war von unschätzbarem Wert für die Erforschung der neurologischen Funktion und für das Verständnis der molekularen und zellulären Mechanismen, die der Neurodegeneration zugrunde liegen. Während Fliegentechniken für die Manipulation und Untersuchung neuronaler Teilmengen immer ausgefeilter geworden sind, wurde der Reichtum der resultierenden Verhaltensphänotypen nicht an einem ähnlichen Detail erfasst. Um subtile Fliegenbeinbewegungen für den Vergleich unter Mutanten untersuchen zu können, ist die Fähigkeit erforderlich, hochgeschwindigkeits- und schnelle Beinbewegungen automatisch zu messen und zu quantifizieren. Daher haben wir einen maschinellen Lernalgorithmus für automatisiertes Beinkrallen-Tracking in frei gehenden Fliegen, Feature Learning-basierte Limb-Segmentierung und Tracking (FLLIT) entwickelt. Im Gegensatz zu den meisten Deep-Learning-Methoden ist FLLIT vollautomatisiert und generiert eigene Trainingssets ohne Benutzeranmerkungen, indem morphologische Parameter verwendet werden, die in den Lernalgorithmus integriert sind. Dieser Artikel beschreibt ein detailliertes Protokoll zur Durchführung von Ganganalysen mit FLLIT. Es beschreibt die Verfahren für Kamera-Setup, Arena-Konstruktion, Video-Aufnahme, Beinsegmentierung und Beinkrallen-Tracking. Es gibt auch einen Überblick über die von FLLIT produzierten Daten, die rohe Tracked Body- und Beinpositionen in jedem Videoframe, 20 Gangparameter, 5 Plots und ein nachverfolgtes Video enthalten. Um die Verwendung von FLLIT zu demonstrieren, quantifizieren wir relevante krankheitskranke Gangparameter in einem Fliegenmodell der Spinozerebellar-Ataxie 3.
Introduction
In den letzten Jahrzehnten sind neurodegenerative Erkrankungen und Bewegungsstörungen in unseren alternden Bevölkerungsgruppen häufiger geworden. Obwohl unser Verständnis vieler neurodegenerativer Erkrankungen auf molekularer und zellulärer Ebene fortgeschritten ist, bleiben grundlegende Merkmale der betroffenen neuronalen Schaltkreiserkrankungen schlecht verstanden. Kürzlich entwickelte Verhaltens-Tracking-Tools1,2,3,4 ermöglichen es uns jetzt, Bewegungsanomalien in Tierseuchenmodellen zu untersuchen, um molekulare, zelluläre und Kreislaufdysregulation zugrunde liegende Erkrankungen zu identifizieren.
Molekulare Wege, die an vielen neurodegenerativen Erkrankungen beteiligt sind, werden in der Fruchtfliege Drosophila melanogasterkonserviert, und Drosophila-Krankheitsmodelle haben dazu beigetragen, grundlegende Mechanismen zu klären, die der Neurodegeneration zugrunde liegen5,6. Wir haben vor kurzem gezeigt, dass Fliegenmodelle der Parkinson-Krankheit (PD) und Der Spinozerebellar-Ataxie 3 (SCA3) deutliche, konservierte Gangsignaturen aufweisen, die denen der jeweiligen menschlichen Krankheiten ähneln1, was zeigt, dass das Fliegenmodell verwendet werden kann, um Schaltkreismechanismen zu verstehen, die Bewegungsstörungen bei bestimmten Bewegungsstörungen zugrunde liegen. Das reiche und ständig wachsende Arsenal an Werkzeugen im Fliegenmodell zur gezielten Manipulation und Visualisierung von Neuronen auf der Einzelgen- und Einzelzellebene7,8,9,10 macht die Fliege zu einem idealen Modell, um die Beziehung zwischen Krankheitswegen, neuronalen Schaltkreisen und verhaltensbedingten phänotychen Manifestationen in vivo zu untersuchen. Um eine präzise, automatisierte Insektenganganalyse zu ermöglichen, haben wir vor kurzem eine maschinelle Lernmethode entwickelt, Feature Lertragbasierte LImb Segmentierung und TRacking (FLLIT)1.
FLLIT besteht aus einem vollautomatischen mehrstufigen Algorithmus, der zunächst die Beinpixel segmentiert, die anschließend verwendet werden, um die entsprechenden Beinkrallen zu lokalisieren und zu verfolgen. FLLIT verwendet einen Steigerungsalgorithmus für die Segmentierung, im Gegensatz zu Deep Learning-Algorithmen, die in der letzten Arbeit verwendet wurden2,3. Es gibt einige Ähnlichkeiten mit konvolutionalen neuronalen Netzwerken, da für beide Frameworks die Merkmalsextraktion automatisch durch das Erlernen von faltigen Kernen erfolgt. Der erste Schritt in FLLIT besteht darin, morphologische Operationen (Kante und Skelettierung) zu verwenden, um automatisch positive (Pixel an den Beinen) und negative (Hintergrund oder Pixel auf dem Fliegenkörper) Trainingsproben mit hoher Sicherheit zu generieren. Daher ist FLLIT vollautomatisiert und erfordert keine vom Benutzer mit Anmerkungen benoteten Trainingsbeispiele. Anhand der oben genannten Trainingsbeispiele wird dann ein Klassifier im Rahmen eines Boost-Algorithmus trainiert. Ein Ensemble schwacher Klassifikatoren wird iterativ erlernt, wobei jeder aus einem Satz von Faltkernen für die Feature-Extraktion und einem Entscheidungsbaum besteht. Der letzte gelernte Klassifizierer wird dann für die Beinsegmentierung verwendet und ist in der Lage, schwierige Regionen/harte Proben besser zu erkennen als morphologische Operationen, wodurch eine insgesamt viel genauere Segmentierung für die Verfolgungvon 1erzeugt wird. Von den segmentierten Beinen aus suchen wir die Spitzen und verfolgen sie mit dem ungarischen Algorithmus: indem wir Spitzen über Rahmen hinweg so abgleichen, dass die Summe der von jeder Spitze bewegten Entfernung minimiert wird. FLLIT kann Okklusionsfälle verarbeiten, indem es sich an die zuletzt gesehene Position (in fliegenzentrierten Koordinaten) erinnert, so dass eine Beinspitze wiederhergestellt wird, sobald sie nicht mehr unter Okklusion ist.
Wir haben zuvor gezeigt, dass FLLIT die Beinbewegungen automatisch und genau verfolgen und Gang gang es in einer unmarkierten, frei beweglichen Fliege oder Spinne aus Highspeed-Video1analysieren kann; FLLIT sollte daher allgemein für die Arthropodenbeinverfolgung gelten. Durch das Extrahieren von Maschinell-Lerntrainingssätzen unter Verwendung morphologischer Parameter trainiert flLIT sich automatisch, um Insektenbeine zu segmentieren und zu verfolgen, ohne dass eine mühsame manuelle Anmerkung erforderlich ist, die für die meisten Deep-Learning-Methoden erforderlich ist. FLLIT ist somit voll automatisiert. Nach der Leg-Segmentierung und -Verfolgung erzeugt FLLIT automatisch rohe Tracked Body- und Beinpositionen in jedem Videorahmen, 20 Gangparameter, 5 Plots und ein trackiertes Video zur Ganganalyse und Visualisierung von Gangbewegungen. Dieses Protokoll bietet eine Schritt-für-Schritt-Anleitung zur Verwendung von FLLIT.
Protocol
Representative Results
Discussion
In diesem Manuskript beschreiben wir detailliert die Schritte bei der Verwendung von FLLIT, einem automatisierten maschinellen Lernprogramm1, um Gang in frei gehenden Drosophilazu analysieren. Nach der Verfolgung und Datenanalyse generiert FLLIT automatisch Rohdaten für die Positionsinformationen des Körpers und der Beinkrallen und erzeugt 20 Körper- und Gangfunktionen sowie ein Video der verfolgten Fliege, um die Gangvisualisierung zu ermöglichen.
Es gibt jetzt eine Reihe von Methoden für die Beinbewegungsverfolgung von Drosophila und anderen Tieren1,2,3,4,14,15,16, was Forschern eine breite Palette von Optionen je nach den Zielen des Experiments. Einige davon sind fußdruckbasierte Ansätze, die hochpräzise sind, aber nur Klauenkontaktpunkte mit der Erfassungsfläche4,14melden. Auf der anderen Seite sind die jüngsten Deep-Learning-Ansätze2,3,16 sehr vielseitig und ermöglichen die Analyse von Verhaltensweisen, die eine Verfolgung von Beingelenken und anderen Körperteilen bei jedem Tier erfordern, mit dem Vorbehalt, dass die Algorithmen zuerst mit benoteten Datensätzen des Benutzers trainiert werden müssen. Ein dritter Ansatz typisiert Morphologie oder bildkontrastbasierte Methoden1,15,17, um die Umrisse jedes Beins zu finden, um Klauenpositionen zu identifizieren. Im Allgemeinen gehen diese Methoden schlecht mit Verhaltensweisen um, bei denen sich die Beine kreuzen (z.B. während der Pflege). FLLIT kombiniert den zweiten und dritten Ansatz und verwendet morphologische Parameter, um einen Steigerungsalgorithmus für die Beinsegmentierung zu trainieren. Auf diese Weise kann FLLIT die mühsame Aufgabe der Benutzeranmerkung umgehen, um das Trainings-Dataset zu generieren, während gleichzeitig die Genauigkeit mithilfe von machine learning verbessert wird. Zukünftige Verbesserungen von FLLIT müssen sich mit Fällen befassen, in denen sich die Beine kreuzen, um eine Analyse komplexerer Verhaltensweisen zu ermöglichen.
FLLIT ist robust gegen leichte Änderungen der Beleuchtung, Aufnahmeauflösung und Rahmengeschwindigkeit1. Die Frame-Geschwindigkeit der aufgenommenen Videos sollte jedoch nicht unter 250 fps fallen, und FLLIT läuft optimal für Videos, die mit 1000 fps aufgenommen wurden. Wenn es Bewegungsunschärfe in den Bildern gibt, so dass es für einen menschlichen Annotator eine Herausforderung ist, die Beinposition zu identifizieren, wird FLLIT nicht in der Lage sein, Beinspitzen in diesen Rahmen genau zu identifizieren. Vor diesem Hintergrund ist es wichtig, dass die Kamera scharf auf die Beinspitzen fokussiert wird. Um Segmentierungsartefakte zu verhindern, sollte die Arena gründlich gereinigt und während der Aufnahme nicht verschoben werden. Für eine genaue Hintergrundsubtraktion und saubere Segmentierung sollte die Fliege während der Aufnahme mindestens eine Körperlänge bewegen, ohne zu pausieren. Nach der automatischen Segmentierung und Verfolgung muss die Beschriftung aller Beine überprüft werden. Wenn der Fliegengang nicht falsch verfolgt oder falsch verfolgt wird, sollte die Datei manuell mit der Option Manuelle Sordien (Schritt 5.2.7 – 5.2.10) manuell nachverfolgt werden.
Neurodegenerative Erkrankungen und Bewegungsstörungen sind in unseren alternden Gesellschaften immer häufiger. Seit mehr als 2 Jahrzehnten werden Fliegenmodelle der Neurodegeneration untersucht, in denen Fortschritte in Bezug auf die molekularen und zellulären Aspekte der Krankheitspathophysiologie gemacht wurden. Spezifische Verhaltensfolgen von Krankheiten waren jedoch technisch schwer einzuschätzen. Während beispielsweise Berichte über Zitterbewegungen in der Fliege gemacht wurden18,19, waren diese bis vor kurzem nicht quantitativ untersucht worden1. Der Klettertest war ein nützliches und quantitatives, aber relativ grobes Maß6. Dieses technische Defizit hat auch die hochauflösende Bewegungsanalyse in anderen Tiermodellen behindert. Das Aufkommen neuer Werkzeuge für die Verhaltensanalyse hat daher versprochen, das Feld der Bewegungsstörungen zu verjüngen, um Forschern zu ermöglichen, zu untersuchen, wie molekulare und zelluläre Mechanismen neuromuskulärer Erkrankungen zu spezifischen Verhaltensergebnissen in Tiermodellen führen. In diesem Beitrag und in unserer vorherigen Arbeit1zeigten wir mit FLLIT, dass Fliegenmodelle von SCA3 einen hyperkinetischen ataxic Gang aufweisen, während PD-Fliegenmodelle einen hypokinetischen starren Gang aufweisen, der Bewegungsmerkmale der jeweiligen menschlichen Krankheiten rekapituliert1. Die Gait-Analyse ermöglichte es uns auch, verschiedene neuronale Populationen zu identifizieren, die spezifischen Bewegungsstörungen zugrunde liegen. In Zukunft wird eine detaillierte Bewegungsanalyse, kombiniert mit den leistungsstarken bildgebenden und funktionalen Werkzeugen, die in der Fliege zur Verfügung stehen, es uns ermöglichen, neue Einblicke in Mechanismen der bewegungsbedingten Dysfunktion zu gewinnen, die unser Verständnis neurodegenerativer Erkrankungen in Bezug auf Schaltkreismechanismen beleuchten.
FLLIT sollte allgemein anwendbar sein, um Gang bei anderen kleinen Arthropoden zu studieren, da es sich zuvor als hochgenau für die Verfolgung von Spinnenbeinbewegungen1erwiesen hat. Während wir uns hier auf die Verwendung detaillierter Bewegungs-Phänotypisierung zur Quantifizierung pathogener Gangundungen und ihrer zugrunde liegenden Schaltkreise konzentrieren, haben die Fortschritte in der Bewegungsverfolgung das Verständnis der normalen Gehkoordination und Desgang und der zugrunde liegenden Schaltkreise, insbesondere in unzähligen verschiedenen Zweigen des Evolutionsbaums, bereits revolutioniert und werden sich weiterhin auf das Verständnis der normalen Gehkoordination und Gangart und ihrer zugrunde liegenden Schaltkreise auswirken.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Die Autoren danken Moumita Chatterjee und Alice Liu für die technische Unterstützung und dem Bloomington Drosophila Stock Centre (Indiana, USA) für die Bereitstellung der Drosophila-Stämme, die in diesem Werk verwendet werden. Diese Arbeit wurde vom Institute of Molecular and Cell Biology, Singapur, unterstützt; das Bioinformatics Institute, Singapur; die Organisation des Gemeinsamen Rates der Agentur für Wissenschaftstechnologie und Forschung (Zuschussnummer 15302FG149 an SA und LC); das Clinical Research Flagship Programme (Parkinson es Disease), das vom National Medical Research Council des Gesundheitsministeriums von Singapur (Grant-Nummer NMRC/TCR/013-NNI/2014 an SA), die University of Alberta (Startup-Stipendium an LC) und das Discovery Grant des Natural Sciences and Engineering Research Council of Canada (NSERC) (Grant-Nummer RGPIN-2019-04575 an LC) verwaltet wird.
Materials
| Acrylic Sheets | Dama | 1.6 mm thickness, Clear sheets | Singapore, Singapore |
| Clear Glass slides | Biomedia | BMH 880101 | Singapore, Singapore |
| High speed camera | Photron | Fastcam MC2.1 | Tokyo, Japan. A shutter speed of 1 msec or faster is ideal to reduce motion blur of captured images |
| Infra Red LED | Any – Generic from hardware store | 940nm Infrared Light Board | Singapore, Singapore |
| Kimwipe | Kimberly Clark | 34155-01LS | Irving, Texas, USA |
References
- Wu, S., et al. Fully automated leg tracking of Drosophila neurodegeneration models reveals distinct conserved movement signatures. PLoS Biology. 17 (6), 3000346 (2019).
- Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 19, 1281-1289 (2018).
- Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nature Methods. 16 (1), 117-125 (2019).
- Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G., Carey, M. R. A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice. eLife. 4, (2015).
- Lu, B., Vogel, H. Drosophila models of neurodegenerative diseases. Annual Reviews in Pathology. 4, 315-342 (2009).
- McGurk, L., Berson, A., Bonini, N. M. Drosophila as an In Vivo Model for Human Neurodegenerative Disease. 遗传学. 201 (2), 377-402 (2015).
- Dionne, H., Hibbard, K., Cavallaro, A., Kao, J. -. C., Rubin, G. M. Genetic reagents for making split-GAL4 lines in Drosophila. bioRxiv. , (2017).
- Cande, J., et al. Optogenetic dissection of descending behavioral control in Drosophila. eLife. 7, (2018).
- Nern, A., Pfeiffer, B. D., Rubin, G. M. Optimized tools for multicolor stochastic labeling reveal diverse stereotyped cell arrangements in the fly visual system. Proceedings of the National Academy of Sciences of the United States of America. 112 (22), 2967-2976 (2015).
- Xie, T., et al. A Genetic Toolkit for Dissecting Dopamine Circuit Function in Drosophila. Cell Reports. 23 (2), 652-665 (2018).
- Warrick, J. M., et al. Ataxin-3 suppresses polyglutamine neurodegeneration in Drosophila by a ubiquitin-associated mechanism. Molecular Cell. 18 (1), 37-48 (2005).
- Ebersbach, G., et al. Comparative analysis of gait in Parkinson’s disease, cerebellar ataxia and subcortical arteriosclerotic encephalopathy. Brain. 122 (7), 1349-1355 (1999).
- Stolze, H., et al. Typical features of cerebellar ataxic gait. Journal of Neurology, Neurosurgery and Psychiatry. 73 (3), 310-312 (2002).
- Mendes, C. S., Bartos, I., Akay, T., Marka, S., Mann, R. S. Quantification of gait parameters in freely walking wild type and sensory deprived Drosophila melanogaster. eLife. 2, 00231 (2013).
- DeAngelis, B. D., Zavatone-Veth, J. A., Clark, D. A. The manifold structure of limb coordination in walking Drosophila. eLife. 8, (2019).
- Gunel, S., et al. DeepFly3D, a deep learning-based approach for 3D limb and appendage tracking in tethered, adult Drosophila. eLife. 8, (2019).
- Isakov, A., et al. Recovery of locomotion after injury in Drosophila melanogaster depends on proprioception. The Journal of Experimental Biology. 219, 1760-1771 (2016).
- Aw, S. S., Lim, I. K. H., Tang, M. X. M., Cohen, S. M. A Glio-Protective Role of mir-263a by Tuning Sensitivity to Glutamate. Cell Reports. 19 (9), 1783-1793 (2017).
- Eberl, D. F., Duyk, G. M., Perrimon, N. A genetic screen for mutations that disrupt an auditory response in Drosophila melanogaster. Proceedings of the National Academy of Sciences of the United States of America. 94 (26), 14837-14842 (1997).
