Полностью автоматизированное отслеживание ног в свободно движущихся насекомых с помощью функции обучения ногу сегментации и слежения (FLLIT)
Summary
Мы описываем подробные протоколы для использования FLLIT, полностью автоматизированный метод машинного обучения для отслеживания движения когтей ног в свободно движущихся Drosophila melanogaster и других насекомых. Эти протоколы могут быть использованы для количественного измерения тонких ходячих движений походки у диких мух типа, мух-мутантов и моделей мухоженных моделей нейродегенерации.
Abstract
Модель Дрозофилы имеет неоценимое значение для изучения неврологических функций и для понимания молекулярных и клеточных механизмов, лежащих в основе нейродегенерации. В то время как мухи методы для манипуляции и изучения нейронных подмножеств становятся все более изощренными, богатство результирующих поведенческих фенотипов не было захвачено на аналогичную деталь. Для того, чтобы иметь возможность изучать тонкие движения ног летать для сравнения среди мутантов требуется способность автоматически измерять и количественно высокоскоростных и быстрых движений ног. Таким образом, мы разработали алгоритм машинного обучения для автоматизированного отслеживания когтей ног в свободно ходячих мухах, сегментации и отслеживания конечностей на основе функций обучения (FLLIT). В отличие от большинства методов глубокого обучения, FLLIT полностью автоматизирован и генерирует свои собственные учебные наборы без необходимости аннотации пользователя, используя морфологические параметры, встроенные в алгоритм обучения. В этой статье описывается подробный протокол для проведения анализа походки с использованием FLLIT. В нем подробно описаны процедуры установки камеры, строительства арены, видеозаписи, сегментации ног и отслеживания когтей ног. Он также дает обзор данных, полученных FLLIT, который включает в себя сырые гусеничные положения тела и ног в каждом видеокадре, 20 параметров походки, 5 участков и гусенивое видео. Чтобы продемонстрировать использование FLLIT, мы количественно соответствующие параметры больной походки в лету модель Spinocerebellar атаксия 3.
Introduction
В последние несколько десятилетий нейродегенеративные заболевания и двигательные расстройства стали более распространенными среди стареющих групп населения. Хотя наше понимание многих нейродегенеративных заболеваний продвинулось на молекулярном и клеточном уровне, фундаментальные особенности пораженных нейронных схем, лежащих в основе заболевания, остаются плохо изученными. Недавно разработанные инструменты поведенческого отслеживания1,2,,3,4теперь позволяют нам изучать нарушения движения в моделях болезней животных для того, чтобы определить молекулярные, клеточные и цепи дисрегуляции основного заболевания.4
Молекулярные пути, участвующие во многих нейродегенеративных заболеваний сохраняются в плодовой мухи Drosophila melanogaster, и модели болезни Дрозофилы помогли выяснить фундаментальные механизмы, лежащие в основе нейродегенерации5,6. Недавно мы показали, что летать модели болезни Паркинсона (PD) и Spinocerebellar атаксия 3 (SCA3) экспонат различные, сохраненные походки подписи, которые напоминают те из соответствующих человеческих заболеваний1, демонстрируя, что летать модель может быть использована для понимания схемы механизмов, лежащих в основе дисфункции движения в конкретных расстройств движения. Богатый и постоянно растущий арсенал инструментов в модели мухи для целевых манипуляций и визуализации нейронов на одном гене и уровне одной клетки7,,88,9,10 делает летать идеальной моделью, чтобы исследовать связь между путями болезни, нейрональной схемы и поведенческого фенотипического проявления in vivo. Для обеспечения точного, автоматизированного анализа походки насекомых, мы недавно разработали метод машинного обучения, Feature Lзаработка на основе LIMb сегментации и Tстеллажи (FLLIT)1.
FLLIT состоит из полностью автоматизированного многоступенчатого алгоритма, который сначала сегментирует пиксели ног, которые впоследствии используются для обнаружения и отслеживания соответствующих когтей ног. FLLIT использует алгоритм повышения для сегментации, в отличие от алгоритмов глубокого обучения, используемых в недавней работе2,3. Есть некоторые сходства с конволюционными нейронными сетями в том, что для обеих фреймворков извлечение функций осуществляется автоматически через изучение конволюционных ядер. Первый шаг в FLLIT включает в себя использование морфологических операций (край и скелетизация) для автоматического получения положительных (пикселей на ногах) и отрицательных (фон или пикселей на теле мухи) учебные образцы с высокой уверенностью. Таким образом, FLLIT полностью автоматизирован и не требует аннотированных пользователем учебных образцов. Используя вышеуказанные учебные образцы, классификатор затем обучается в рамках алгоритма повышения. Ансамбль слабых классификаторов итеративно изучен, с каждым состоящим из набора конволюционных ядер для извлечения функций и дерева решений. Окончательный узнал классификатор затем используется для сегментации ног и способен лучше различить трудные регионы / жесткие образцы лучше, чем морфологические операции, производя в целом гораздо более точную сегментацию для отслеживания1. Из сегментированных ног мы находим подсказки и отслеживаем их с помощью венгерского алгоритма: сопоставляя советы по рамкам таким образом, чтобы сумма расстояния, пройденного каждым кончиком, сведена к минимуму. FLLIT может обрабатывать случаи окклюзии, вспоминая последнее место видели (в мухи по центру координаты), так что кончик ноги восстанавливается, как только он больше не находится под окклюзией.
Ранее мы показали, что FLLIT может автоматически и точно отслеживать движения ног и анализировать походку в немаркированной, свободно движущейся мухе или пауке с высокоскоростного видео1; FLLIT должны, следовательно, должны быть широко применимы для членистоногих ног отслеживания. Извлекая наборы обучения машинного обучения с использованием морфологических параметров, FLLIT автоматически тренирует себя сегментировать и отслеживать ноги насекомых без необходимости кропотливой ручной аннотации, которая необходима для большинства методов глубокого обучения. FlLIT, следовательно, полностью автоматизирована. После сегментации ног и отслеживания, FLLIT автоматически производит сырые гусеничные положения тела и ног в каждом видеокадре, 20 параметров походки, 5 участков и гусенивое видео для анализа походки и визуализации движений походки. Этот протокол обеспечивает пошаговый ориентир для использования FLLIT.
Protocol
Representative Results
Discussion
В этой рукописи мы подробно описываем шаги, связанные с использованием FLLIT, автоматизированной программы машинного обучения1, для анализа походки в свободно идущей Drosophila. После отслеживания и анализа данных, FLLIT автоматически генерирует необработанные данные для позиционной информации о теле и ног когти, производя двадцать тела и походки функции, а также видео гусеничный летать, чтобы походка визуализации.
Есть в настоящее время ряд методов для отслеживания движения ног Drosophila и других животных1,2,3,4,14,,15,16, давая исследователям широкий спектр вариантов в зависимости от целей эксперимента. Некоторые из них являются ноги печати на основе подходов, которые являются высокоточными, но которые сообщают только коготь контактные точки с поверхностью обнаружения4,14. С другой стороны, последние подходы глубокого обучения2,3,16 являются весьма универсальными, что позволяет анализ поведения, которые требуют отслеживания суставов ног и других частей тела в любом животном, с оговоркой, что алгоритмы должны сначала быть обучены с пользователем аннотированные наборы данных. Третий тип подхода использует морфологию или изображение-контрастна на основе методов1,15,17, чтобы найти контур каждой ноги, чтобы определить положение коготь., В целом, эти методы плохо справляются с поведением, когда ноги пересекаются (например, во время ухода). FLLIT сочетает в себе второй и третий подходы, используя морфологические параметры для подготовки алгоритма повышения сегментации ног. Это позволяет FLLIT обойти трудоемкую задачу аннотации пользователей для генерации набора обучающих данных, одновременно повышая точность с помощью машинного обучения. Будущие улучшения FLLIT придется иметь дело со случаями, когда ноги пересекаются, чтобы обеспечить анализ более сложного поведения.
FLLIT является надежным для небольших изменений в освещении, разрешение записи и скорость кадра1. Тем не менее, скорость кадра записанных видео не должна опускается ниже 250 кадров в секунду, а FLLIT работает оптимально для видео, записанных на 1000 кадров в секунду. Если есть размытие движения в изображениях, так что это сложно для человека аннотатора, чтобы определить положение ноги, FLLIT не сможет точно определить ноги советы в этих кадрах. В свете этого, важно, чтобы камера была сосредоточена резко на кончиках ног. Чтобы предотвратить артефакты сегментации, арена должна быть тщательно очищена, и не должна быть перемещена во время записи. Для точного фонового вычитания и чистой сегментации, муха должна двигаться по крайней мере одна длина тела во время записи, без паузы. После автоматической сегментации и отслеживания маркировки всех ног необходимо проверить. Если походка мухи не отслеживается или отслеживается неправильно, файл должен быть повторно отслежен вручную с помощью опции ручного инициирования отслеживания (шаг 5.2.7 – 5.2.10).
Нейродегенеративные заболевания и двигательные расстройства все чаще становятся все более распространенными в наших стареющих обществах. Модели нейродегенерации проходят более 2 десятилетий, в течение которых были достигнуты успехи в отношении молекулярных и клеточных аспектов патофизиологии болезни. Тем не менее, конкретные поведенческие последствия болезни были технически трудно оценить. Например, в то время как сообщения о дрожащих движениях в мухе были сделаны18,19, они не были количественно изучены до недавнего времени1. Альпинистский ассеия был полезным и количественным, но относительно грубой мерой6. Этот технический дефицит также затрудняет анализ движения с высоким разрешением в других моделях животных. Появление новых инструментов для поведенческого анализа, следовательно, обещает омолодить поле двигательных расстройств, чтобы позволить исследователям изучить, как молекулярные и клеточные механизмы нервно-мышечных заболеваний приводят к конкретным поведенческим результатам в животных моделях. В этой работе и в нашей предыдущей работе1, мы показали, используя FLLIT, что летать модели SCA3 экспонат гиперкинетической атаксической походки, в то время как PD летать модели демонстрируют гипокинетической жесткой походкой, recapitulating движения отличительные черты соответствующих человеческих заболеваний1. Анализ Gait также позволил нам определить различные нейронные популяции, лежащие в основе конкретных дисфункций движения. Заглядывая вперед, подробный анализ движения, в сочетании с мощными изображениями и функциональными инструментами, доступными в лету, позволит нам получить новое представление о механизмах локомотивной дисфункции, освещая наше понимание нейродегенеративных заболеваний в отношении схемных механизмов.
FLLIT должен быть широко применим для изучения походки в других мелких членистоногих, как это было ранее продемонстрировано, чтобы быть высокоточным для отслеживания движения ног паука1. В то время как мы сосредоточены здесь на использовании детального фенотипирования движения для количественной патогенной походки и ее основной схемы, достижения в отслеживании движения уже революционизировали, и будет иметь постоянное влияние на, понимание нормальной пешеходной координации и походки и ее основных схем, особенно в бесчисленных различных ветвей эволюционного дерева.
Divulgations
The authors have nothing to disclose.
Acknowledgements
Авторы хотели бы поблагодарить Мумиту Чаттерджи и Алису Лю за техническую поддержку, а блумингтонский фондовый центр Дрозофилы (Индиана, США) за доступность штаммов Дрозофилы, используемых в этой работе. Эта работа была поддержана Институтом молекулярной и клеточной биологии, Сингапур; Институт биоинформатики, Сингапур; Агентство по научной технологии и научно-исследовательской организации (грант No 15302FG149 для SA и LC); Клинические исследования Флагманская программа (болезнь Паркинсона) в ведении Национального совета медицинских исследований Министерства здравоохранения Сингапура (грант номер NMRC/TCR/013-NNI/2014 в SA), Университет Альберты (запуск гранта LC), и природных наук и инженерных исследований Совета Канады (NSERC) Грант (грант номер RGPIN-2019-04575 к LC).
Materials
| Acrylic Sheets | Dama | 1.6 mm thickness, Clear sheets | Singapore, Singapore |
| Clear Glass slides | Biomedia | BMH 880101 | Singapore, Singapore |
| High speed camera | Photron | Fastcam MC2.1 | Tokyo, Japan. A shutter speed of 1 msec or faster is ideal to reduce motion blur of captured images |
| Infra Red LED | Any – Generic from hardware store | 940nm Infrared Light Board | Singapore, Singapore |
| Kimwipe | Kimberly Clark | 34155-01LS | Irving, Texas, USA |
References
- Wu, S., et al. Fully automated leg tracking of Drosophila neurodegeneration models reveals distinct conserved movement signatures. PLoS Biology. 17 (6), 3000346 (2019).
- Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 19, 1281-1289 (2018).
- Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nature Methods. 16 (1), 117-125 (2019).
- Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G., Carey, M. R. A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice. eLife. 4, (2015).
- Lu, B., Vogel, H. Drosophila models of neurodegenerative diseases. Annual Reviews in Pathology. 4, 315-342 (2009).
- McGurk, L., Berson, A., Bonini, N. M. Drosophila as an In Vivo Model for Human Neurodegenerative Disease. Génétique. 201 (2), 377-402 (2015).
- Dionne, H., Hibbard, K., Cavallaro, A., Kao, J. -. C., Rubin, G. M. Genetic reagents for making split-GAL4 lines in Drosophila. bioRxiv. , (2017).
- Cande, J., et al. Optogenetic dissection of descending behavioral control in Drosophila. eLife. 7, (2018).
- Nern, A., Pfeiffer, B. D., Rubin, G. M. Optimized tools for multicolor stochastic labeling reveal diverse stereotyped cell arrangements in the fly visual system. Proceedings of the National Academy of Sciences of the United States of America. 112 (22), 2967-2976 (2015).
- Xie, T., et al. A Genetic Toolkit for Dissecting Dopamine Circuit Function in Drosophila. Cell Reports. 23 (2), 652-665 (2018).
- Warrick, J. M., et al. Ataxin-3 suppresses polyglutamine neurodegeneration in Drosophila by a ubiquitin-associated mechanism. Molecular Cell. 18 (1), 37-48 (2005).
- Ebersbach, G., et al. Comparative analysis of gait in Parkinson’s disease, cerebellar ataxia and subcortical arteriosclerotic encephalopathy. Brain. 122 (7), 1349-1355 (1999).
- Stolze, H., et al. Typical features of cerebellar ataxic gait. Journal of Neurology, Neurosurgery and Psychiatry. 73 (3), 310-312 (2002).
- Mendes, C. S., Bartos, I., Akay, T., Marka, S., Mann, R. S. Quantification of gait parameters in freely walking wild type and sensory deprived Drosophila melanogaster. eLife. 2, 00231 (2013).
- DeAngelis, B. D., Zavatone-Veth, J. A., Clark, D. A. The manifold structure of limb coordination in walking Drosophila. eLife. 8, (2019).
- Gunel, S., et al. DeepFly3D, a deep learning-based approach for 3D limb and appendage tracking in tethered, adult Drosophila. eLife. 8, (2019).
- Isakov, A., et al. Recovery of locomotion after injury in Drosophila melanogaster depends on proprioception. The Journal of Experimental Biology. 219, 1760-1771 (2016).
- Aw, S. S., Lim, I. K. H., Tang, M. X. M., Cohen, S. M. A Glio-Protective Role of mir-263a by Tuning Sensitivity to Glutamate. Cell Reports. 19 (9), 1783-1793 (2017).
- Eberl, D. F., Duyk, G. M., Perrimon, N. A genetic screen for mutations that disrupt an auditory response in Drosophila melanogaster. Proceedings of the National Academy of Sciences of the United States of America. 94 (26), 14837-14842 (1997).
