Seguimiento de piernas totalmente automatizado en insectos en movimiento libre mediante la segmentación y el seguimiento de las piernas de aprendizaje de funciones (FLLIT)
Summary
Describimos protocolos detallados para el uso de FLLIT, un método de aprendizaje automático totalmente automatizado para el seguimiento del movimiento de las garras de las piernas en el movimiento libre de Drosophila melanogaster y otros insectos. Estos protocolos se pueden utilizar para medir cuantitativamente los movimientos sutiles de la marcha caminando en moscas de tipo salvaje, moscas mutantes y modelos de mosca de neurodegeneración.
Abstract
El modelo Drosophila ha sido invaluable para el estudio de la función neurológica y para la comprensión de los mecanismos moleculares y celulares que subyacen a la neurodegeneración. Mientras que las técnicas de mosca para la manipulación y el estudio de subconjuntos neuronales se han vuelto cada vez más sofisticadas, la riqueza de los fenotipos conductuales resultantes no ha sido capturada con un detalle similar. Para poder estudiar los movimientos sutiles de las piernas volantes para la comparación entre mutantes se requiere la capacidad de medir y cuantificar automáticamente los movimientos rápidos y de alta velocidad de las piernas. Por lo tanto, desarrollamos un algoritmo de aprendizaje automático para el seguimiento automatizado de garras de piernas en moscas que caminan libremente, segmentación y seguimiento de extremidades basada en el aprendizaje de características (FLLIT). A diferencia de la mayoría de los métodos de aprendizaje profundo, FLLIT está totalmente automatizado y genera sus propios conjuntos de entrenamiento sin necesidad de anotación de usuario, utilizando parámetros morfológicos integrados en el algoritmo de aprendizaje. En este artículo se describe un protocolo en profundidad para llevar a cabo el análisis de la marcha utilizando FLLIT. Detalla los procedimientos para la configuración de la cámara, la construcción de la arena, la grabación de vídeo, la segmentación de las piernas y el seguimiento de las garras de las piernas. También ofrece una visión general de los datos producidos por FLLIT, que incluye posiciones de cuerpo y pierna con seguimiento sin procesar en cada fotograma de vídeo, 20 parámetros de marcha, 5 gráficas y un vídeo rastreado. Para demostrar el uso de FLLIT, cuantificamos los parámetros de marcha enfermos relevantes en un modelo de mosca de ataxia espinocerebelosa 3.
Introduction
En las últimas décadas, las enfermedades neurodegenerativas y los trastornos del movimiento han crecido más en nuestras poblaciones envejecidas. Aunque nuestra comprensión de muchas enfermedades neurodegenerativas ha avanzado a nivel molecular y celular, las características fundamentales de los circuitos neuronales afectados que subyacen a la enfermedad siguen siendo poco comprendidas. Las herramientas de seguimiento conductualdesarrolladasrecientemente 1,2,3,4 ahora nos permiten estudiar anomalías del movimiento en modelos de enfermedades animales con el fin de identificar la desregulación molecular, celular y de circuito que existe enfermedad subyacente.
Las vías moleculares implicadas en muchas enfermedades neurodegenerativas se conservan en la mosca de la fruta Drosophila melanogaster,y los modelos de enfermedad de Drosophila han ayudado a dilucidar los mecanismos fundamentales subyacentes a la neurodegeneración5,,6. Recientemente demostramos que los modelos de mosca de la enfermedad de Parkinson (PD) y la ataxia espinocerebelosa 3 (SCA3) exhiben firmas de marcha distintas y conservadas que se asemejan a las de las respectivas enfermedades humanas1,lo que demuestra que el modelo de mosca se puede utilizar para entender los mecanismos de circuito subyacentes a la disfunción del movimiento en trastornos específicos del movimiento. El rico y en continuo crecimiento arsenal de herramientas en el modelo de mosca para la manipulación dirigida y visualización de neuronas en el único gen y nivel de una sola célula7,,8,9,10 hace de la mosca un modelo ideal uno para sondear la relación entre las vías de la enfermedad, los circuitos neuronales y la manifestación fenotípica conductual in vivo. Para permitir un análisis preciso y automatizado de la marcha de los insectos, recientemente desarrollamos un método de aprendizaje automático, la segmentación LImb basada en ganancias Feature Ly el trasiego T(FLLIT)1.
FLLIT consiste en un algoritmo de varias etapas totalmente automatizado que primero segmenta los píxeles de las patas, que posteriormente se utilizan para localizar y rastrear las garras de las patas correspondientes. FLLIT emplea un algoritmo de impulso para la segmentación, en contraste con los algoritmos de aprendizaje profundo utilizados en el trabajo reciente2,,3. Hay algunas similitudes con las redes neuronales convolucionales en que para ambos marcos, la extracción de características se realiza automáticamente a través del aprendizaje de kernels convolucionales. El primer paso en FLLIT consiste en el uso de operaciones morfológicas (borde y esqueletización) para generar automáticamente muestras de entrenamiento positivas (píxeles en las piernas) y negativas (fondo o píxeles en el cuerpo de la mosca) con alta confianza. Por lo tanto, FLLIT está totalmente automatizado y no requiere muestras de entrenamiento anotadas por el usuario. Usando las muestras de entrenamiento anteriores, un clasificador se entrena en el marco de un algoritmo de impulso. Un conjunto de clasificadores débiles se aprende iterativamente, con cada uno de los que consiste en un conjunto de kernels convolucionales para la extracción de entidades y un árbol de decisión. El clasificador final aprendido se utiliza entonces para la segmentación de las piernas y es capaz de discernir mejor las regiones difíciles / muestras duras mejor que las operaciones morfológicas, produciendo una segmentación general mucho más precisa para el seguimiento1. Desde las patas segmentadas, localizamos las puntas y las rastreamos usando el algoritmo húngaro: haciendo coincidir las puntas entre los fotogramas de forma que se minimice la suma de la distancia movida por cada punta. FLLIT puede manejar los casos de oclusión recordando la última ubicación vista (en coordenadas centradas en la mosca) para que una punta de pierna se recupere una vez que ya no está bajo oclusión.
Anteriormente mostramos que FLLIT puede rastrear de forma automática y precisa los movimientos de las piernas y analizar la marcha en una mosca o araña sin marcar, moviéndose libremente desde el vídeo de alta velocidad1; Por lo tanto, FLLIT debe ser ampliamente aplicable para el seguimiento de las piernas de artrópodos. Mediante la extracción de conjuntos de entrenamiento de aprendizaje automático utilizando parámetros morfológicos, FLLIT se entrena automáticamente para segmentar y rastrear las patas de los insectos sin la necesidad de anotación manual laboriosa, que es necesaria para la mayoría de los métodos de aprendizaje profundo. Por lo tanto, FLLIT está totalmente automatizado. Después de la segmentación y el seguimiento de las piernas, FLLIT produce automáticamente posiciones de cuerpo y pierna con seguimiento en cada fotograma de vídeo, 20 parámetros de marcha, 5 gráficas y un vídeo rastreado para el análisis de la marcha y la visualización de los movimientos de la marcha. Este protocolo proporciona una guía paso a paso para usar FLLIT.
Protocol
Representative Results
Discussion
En este manuscrito, describimos en detalle los pasos involucrados en el uso de FLLIT, un programa automatizado de aprendizaje automático1,para analizar la marcha en Drosophilacaminando libremente. Después del seguimiento y análisis de datos, FLLIT genera automáticamente datos sin procesar para la información posicional del cuerpo y las garras de las piernas, produciendo veinte características de cuerpo y marcha, así como un video de la mosca rastreada para permitir la visualización de la marcha.
Ahora hay una serie de métodos para el seguimiento del movimiento de las piernas de Drosophila y otros animales1,2,3,4,14,15,16, dando a los investigadores una amplia gama de opciones dependiendo de los objetivos del experimento. Algunos de estos son enfoques basados en la impresión de pies, que son muy precisos pero que sólo informan de puntos de contacto de garra con la superficie de detección4,,14. Por otro lado, los recientes enfoques de aprendizaje profundo2,3,16 son altamente versátiles, permitiendo el análisis de comportamientos que requieren el seguimiento de las articulaciones de las piernas y otras partes del cuerpo en cualquier animal, con la advertencia de que los algoritmos necesitan ser entrenados primero con conjuntos de datos anotados por el usuario. Un tercer tipo de enfoque utiliza morfología o métodos basados en contraste de imagen1,15,17 para encontrar el contorno de cada pierna para identificar las posiciones de las garras. En general, estos métodos tratan mal con comportamientos en los que las piernas se cruzan (por ejemplo, durante el aseo). FLLIT combina el segundo y el tercer enfoque, utilizando parámetros morfológicos para entrenar un algoritmo de impulso para la segmentación de las piernas. Esto permite que FLLIT omita la laboriosa tarea de anotación de usuario para generar el conjunto de datos de entrenamiento, al tiempo que mejora la precisión mediante el aprendizaje automático. Las futuras mejoras en FLLIT tendrán que lidiar con casos en los que las piernas se cruzan, para permitir el análisis de comportamientos más complejos.
FLLIT es robusto para ligeros cambios en la iluminación, la resolución de grabación y la velocidad del fotograma1. Sin embargo, la velocidad de fotogramas de los vídeos grabados no debe estar por debajo de 250 fps, y FLLIT se ejecuta de forma óptima para vídeos grabados a 1000 fps. Si hay desenfoque de movimiento en las imágenes, de modo que es difícil para un anotador humano identificar la posición de la pierna, FLLIT no será capaz de identificar con precisión las puntas de las piernas en esos marcos. A la luz de esto, es esencial que la cámara se enfoque bruscamente en las puntas de las piernas. Para evitar artefactos de segmentación, la arena debe limpiarse a fondo y no debe moverse durante la grabación. Para una resta de fondo precisa y una segmentación limpia, la mosca debe moverse al menos una longitud del cuerpo durante la grabación, sin pausa. Después de la segmentación automática y el seguimiento del etiquetado de todas las patas deben ser revisados. Si la marcha no se rastrea o se rastrea mal, el archivo debe volver a rastrearse manualmente utilizando la opción Iniciar seguimiento manualmente (paso 5.2.7 – 5.2.10).
Las enfermedades neurodegenerativas y los trastornos del movimiento son cada vez más frecuentes en nuestras sociedades de envejecimiento. Los modelos fly de neurodegeneración se han estudiado durante más de 2 décadas, durante las cuales se han avanzado en los aspectos moleculares y celulares de la fisiopatología de la enfermedad. Sin embargo, las consecuencias conductuales específicas de la enfermedad han sido técnicamente difíciles de evaluar. Por ejemplo, mientras que los informes de temblores en la mosca se han hecho18,19, estos no habían sido estudiados cuantitativamente hasta hace poco1. El ensayo de escalada ha sido una medida útil y cuantitativa, pero relativamente gruesa6. Este déficit técnico ha obstaculizado de manera similar el análisis del movimiento de alta resolución en otros modelos animales. El advenimiento de nuevas herramientas para el análisis del comportamiento, por lo tanto, ha prometedo rejuvenecer el campo de los trastornos del movimiento para permitir a los investigadores estudiar cómo los mecanismos moleculares y celulares de las enfermedades neuromusculares conducen a resultados conductuales específicos en modelos animales. En este trabajo y en nuestro trabajo anterior1,mostramos utilizando FLLIT que los modelos fly de SCA3 exhiben una marcha ataxica hipercinética, mientras que los modelos PD fly exhiben una marcha rígida hipocinética, recapitulando las señas de identidad del movimiento de las respectivas enfermedades humanas1. El análisis de gait también nos permitió identificar distintas poblaciones neuronales subyacentes a disfunciones específicas del movimiento. En el futuro, el análisis detallado del movimiento, combinado con las potentes herramientas de imagen y funcionales disponibles sobre la marcha, nos permitirá obtener una visión novedosa de los mecanismos de disfunción locomotora, iluminando nuestra comprensión de las enfermedades neurodegenerativas con respecto a los mecanismos de circuito.
FLLIT debe ser ampliamente aplicable a la marcha de estudio en otros artrópodos pequeños, ya que se demostró anteriormente que era altamente preciso para el seguimiento de los movimientos de las patas de araña1. Si bien nos centramos aquí en el uso de fenotipados de movimiento detallados para cuantificar la marcha patógena y sus circuitos subyacentes, los avances en el seguimiento del movimiento ya han revolucionado, y tendrán un impacto continuo en la comprensión de la coordinación y la marcha a pie normales y sus circuitos subyacentes, especialmente en innumerables ramas diferentes del árbol evolutivo.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Los autores quieren agradecer a Moumita Chatterjee y Alice Liu por su apoyo técnico, y al Bloomington Drosophila Stock Centre (Indiana, EE.UU.) por poner a disposición las cepas Drosophila utilizadas en este trabajo. Este trabajo fue apoyado por el Instituto de Biología Molecular y Celular de Singapur; el Instituto de Bioinformática de Singapur; la Organización del Consejo Conjunto de la Agencia de Tecnología científica e Investigación (número de concesión 15302FG149 a SA y LC); el Programa Insignia de Investigación Clínica (Enfermedad de Parkinson) administrado por el Consejo Nacional de Investigación Médica del Ministerio de Salud de Singapur (número de subvención NMRC/TCR/013-NNI/2014 a SA), la Universidad de Alberta (subvención de inicio a LC) y la Beca de Descubrimiento del Consejo Nacional de Ciencias Naturales e Ingeniería del Canadá (NSERC) (número de concesión RGPIN-2019-04575 a LC).
Materials
| Acrylic Sheets | Dama | 1.6 mm thickness, Clear sheets | Singapore, Singapore |
| Clear Glass slides | Biomedia | BMH 880101 | Singapore, Singapore |
| High speed camera | Photron | Fastcam MC2.1 | Tokyo, Japan. A shutter speed of 1 msec or faster is ideal to reduce motion blur of captured images |
| Infra Red LED | Any – Generic from hardware store | 940nm Infrared Light Board | Singapore, Singapore |
| Kimwipe | Kimberly Clark | 34155-01LS | Irving, Texas, USA |
References
- Wu, S., et al. Fully automated leg tracking of Drosophila neurodegeneration models reveals distinct conserved movement signatures. PLoS Biology. 17 (6), 3000346 (2019).
- Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 19, 1281-1289 (2018).
- Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nature Methods. 16 (1), 117-125 (2019).
- Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G., Carey, M. R. A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice. eLife. 4, (2015).
- Lu, B., Vogel, H. Drosophila models of neurodegenerative diseases. Annual Reviews in Pathology. 4, 315-342 (2009).
- McGurk, L., Berson, A., Bonini, N. M. Drosophila as an In Vivo Model for Human Neurodegenerative Disease. Genetics. 201 (2), 377-402 (2015).
- Dionne, H., Hibbard, K., Cavallaro, A., Kao, J. -. C., Rubin, G. M. Genetic reagents for making split-GAL4 lines in Drosophila. bioRxiv. , (2017).
- Cande, J., et al. Optogenetic dissection of descending behavioral control in Drosophila. eLife. 7, (2018).
- Nern, A., Pfeiffer, B. D., Rubin, G. M. Optimized tools for multicolor stochastic labeling reveal diverse stereotyped cell arrangements in the fly visual system. Proceedings of the National Academy of Sciences of the United States of America. 112 (22), 2967-2976 (2015).
- Xie, T., et al. A Genetic Toolkit for Dissecting Dopamine Circuit Function in Drosophila. Cell Reports. 23 (2), 652-665 (2018).
- Warrick, J. M., et al. Ataxin-3 suppresses polyglutamine neurodegeneration in Drosophila by a ubiquitin-associated mechanism. Molecular Cell. 18 (1), 37-48 (2005).
- Ebersbach, G., et al. Comparative analysis of gait in Parkinson’s disease, cerebellar ataxia and subcortical arteriosclerotic encephalopathy. Brain. 122 (7), 1349-1355 (1999).
- Stolze, H., et al. Typical features of cerebellar ataxic gait. Journal of Neurology, Neurosurgery and Psychiatry. 73 (3), 310-312 (2002).
- Mendes, C. S., Bartos, I., Akay, T., Marka, S., Mann, R. S. Quantification of gait parameters in freely walking wild type and sensory deprived Drosophila melanogaster. eLife. 2, 00231 (2013).
- DeAngelis, B. D., Zavatone-Veth, J. A., Clark, D. A. The manifold structure of limb coordination in walking Drosophila. eLife. 8, (2019).
- Gunel, S., et al. DeepFly3D, a deep learning-based approach for 3D limb and appendage tracking in tethered, adult Drosophila. eLife. 8, (2019).
- Isakov, A., et al. Recovery of locomotion after injury in Drosophila melanogaster depends on proprioception. The Journal of Experimental Biology. 219, 1760-1771 (2016).
- Aw, S. S., Lim, I. K. H., Tang, M. X. M., Cohen, S. M. A Glio-Protective Role of mir-263a by Tuning Sensitivity to Glutamate. Cell Reports. 19 (9), 1783-1793 (2017).
- Eberl, D. F., Duyk, G. M., Perrimon, N. A genetic screen for mutations that disrupt an auditory response in Drosophila melanogaster. Proceedings of the National Academy of Sciences of the United States of America. 94 (26), 14837-14842 (1997).
