使用功能学习腿分割和跟踪 （FLLIT） 在自由移动昆虫中实现全自动腿部跟踪
Summary
我们描述了使用FLLIT的详细协议，FLLIT是一种全自动机器学习方法，用于在自由移动的果蝇黑色素气器和其他昆虫中跟踪腿爪运动。这些协议可用于定量测量野生苍蝇、突变苍蝇和神经退化的苍蝇模型的细微行走步态运动。
Abstract
果蝇模型对于神经功能的研究和理解神经退化的分子和细胞机制是无价的。虽然用于操纵和研究神经元子集的飞行技术已经变得越来越复杂，但由此产生的行为表型的丰富性并没有在类似的细节中被捕获。要能够研究细微的飞腿运动，以便突变体之间的比较，需要自动测量和量化高速和快速腿部运动的能力。因此，我们开发了一种机器学习算法，用于在自由行走的苍蝇、基于功能学习的肢体分割和跟踪 （FLLIT） 中实现自动腿爪跟踪。与大多数深度学习方法不同，FLLIT 完全自动化，无需用户注释即可生成自己的训练集，使用学习算法中内置的形态参数。本文介绍了使用FLLIT进行步态分析的深入协议。它详细介绍了摄像机设置、竞技场建设、视频录制、腿部分割和腿部爪跟踪的过程。它还概述了FLLIT生成的数据，其中包括每个视频帧的原始跟踪身体和腿部位置、20 个步态参数、5 个绘图和一个跟踪视频。为了证明FLLIT的使用，我们在脊柱生成药物aa 3的飞行模型中量化了相关的病变步态参数。
Introduction
在过去的几十年里，神经退行性疾病和运动障碍在我们的老龄化人群中越来越普遍。尽管我们对许多神经退行性疾病的理解在分子和细胞水平上有所进步，但受影响的神经元回路基础疾病的基本特征仍然知之甚少。最近开发的行为跟踪工具1,1，2，3，4现在允许我们研究运动异常的动物疾病模型，以识别分子，细胞和电路调节基础疾病。2,3,4
许多神经退行性疾病的分子通路在果蝇果蝇果蝇黑色素加斯特中得到保存，果蝇病模型有助于阐明神经退化5、66的基本机制。5我们最近显示，帕金森病（PD）和脊柱细胞酸藻3（SCA3）的飞行模型表现出独特的、保守的步态特征，类似于人类疾病1，表明苍蝇模型可以用来理解特定运动障碍中运动功能障碍的回路机制。在飞行模型中，在单个基因和单个细胞级别77、8、9、108,9,10中，用于靶向操作和可视化神经元的丰富且不断发展的工具库，使苍蝇成为探索体内疾病通路、神经元回路和行为表型表现之间关系的理想模型之一。为了实现精确的、自动化的昆虫步态分析，我们最近开发了一种机器学习方法，即基于FEature L的LImb分段和T机架（FLLIT）1。1
FLLIT 由一个完全自动化的多阶段算法组成，该算法首先对腿部像素进行段段段，随后用于定位和跟踪相应的腿爪。FLLIT 采用用于分段的增强算法，与最近工作2、,3中使用的深度学习算法相比。在这两个框架中，特征提取通过学习卷积内核自动完成，与卷积神经网络有一些相似之处。FLLIT 的第一步涉及使用形态学操作（边缘和骨架化）以高置信度自动生成正（腿部上的像素）和负数（飞行体上的背景或像素）训练样本。因此，FLLIT 是完全自动化的，不需要用户带带名的培训样本。使用上述训练示例，然后在增强算法的框架内训练分类器。一组弱分类器被迭代地学习，每个分类器包括一组用于特征提取的卷积内核和一个决策树。最后学习的分类器随后用于腿部分割，能够比形态学操作更好地识别困难区域/硬样本，从而生成整体更准确的分割，用于跟踪1。从分段的支腿中，我们找到提示并使用匈牙利算法跟踪它们：通过跨帧匹配提示，从而最小化每个提示移动的距离之和。FLLIT 可以通过记住最后一个看到的位置（以苍蝇中心坐标）来处理阻塞情况，以便在腿尖不再被遮挡时恢复。
我们之前表明，FLLIT可以自动和准确地跟踪腿部运动，并分析步态在一个无标记，自由移动的苍蝇或蜘蛛从高速视频1;因此，FLLIT应广泛适用于节肢动物腿跟踪。通过利用形态参数提取机器学习训练套件，FLLIT 自动训练自己对昆虫腿进行分割和跟踪，而无需费力的手动注释，这是大多数深度学习方法所必需的。因此，FLLIT 是完全自动化的。在腿部分割和跟踪后，FLLIT 可自动在每个视频帧中生成原始跟踪的身体和腿部位置、20 个步态参数、5 个绘图和一个跟踪视频，用于步态分析和步态运动的可视化。该协议提供了使用 FLLIT 的分步指南。
Protocol
Representative Results
Discussion
在本手稿中，我们详细描述了使用FLLIT（一个自动机器学习程序1）来分析自由行走的步态的步骤。跟踪和数据分析后，FLLIT 自动生成身体和腿爪位置信息的原始数据，生成 20 个身体和步态特征以及跟踪苍蝇的视频，以实现步态可视化。
现在有一些方法，以腿部运动跟踪果蝇和其他动物121，2，3，4，14，15，16，给研究人员广泛的选择，根据实验的目标。,,3,4,14,15,16其中一些是基于脚印的方法，这是高度准确，但报告只有爪接触点与检测表面4,4，14。另一方面，最近的深度学习方法2、,3、,16是高度通用的，允许分析任何动物中需要跟踪腿部关节和其他身体部位的行为，并需要注意的是，算法需要首先使用用户批带的数据集进行训练。第三种方法使用形态或图像对比度方法11、15、1715,17来查找每个支腿的轮廓来识别爪位置。通常，这些方法对腿交叉的行为处理得不好（例如，在梳理过程中）。FLLIT 结合了第二种和第三种方法，使用形态参数来训练腿部分割的增压算法。这使得 FLLIT 能够绕过用户注释的艰巨任务来生成训练数据集，同时使用机器学习提高准确性。将来对FLLIT的改进将不得不处理腿交叉的实例，以便分析更复杂的行为。
FLLIT 在照明、录制分辨率和帧速度1方面具有细微变化。但是，录制的视频的帧速度不应低于 250 fps，FLLIT 可针对以 1000 fps 录制的视频以最佳方式运行。如果图像中有运动模糊，因此人类说明人难以识别腿部位置，FLLIT 将无法准确识别这些帧中的腿尖。鉴于此，相机必须大幅对准腿部尖端。为了防止分段伪影，应彻底清理竞技场，并且不应在录制过程中移动。为了获得准确的背景减法和干净的分割，苍蝇应在录制过程中至少移动一个车身长度，而不暂停。在自动分割和跟踪所有支腿的标签后，必须检查。如果未错误地跟踪或跟踪飞行步态，则应使用“手动启动跟踪“选项（步骤 5.2.7 = 5.2.10）手动重新跟踪文件。
神经退行性疾病和运动障碍在我们的老龄化社会中越来越普遍。神经退化的飞行模型已经研究了20多年，在此期间，在疾病病理生理学的分子和细胞方面取得了进步。然而，疾病的具体行为后果在技术上是难以评估的。例如，虽然关于苍蝇颤抖运动的报告已经18、19，,19但直到最近1日才定量研究。攀登测定是一个有用和定量的，但相对粗糙的量度6。这种技术缺陷同样阻碍了其他动物模型中的高分辨率运动分析。因此，新的行为分析工具的出现有望恢复运动障碍领域，使研究人员能够研究神经肌肉疾病的分子和细胞机制如何导致动物模型中的特定行为结果。在本文中和我们以前的工作1中，我们展示了使用FLLIT，SCA3的飞行模型表现出超动力学的有计划步态，而PD飞行模型表现出低动性刚性步态，重述了各自人类疾病1的运动特征。盖特分析还使我们能够识别特定运动功能障碍背后的不同神经元种群。展望未来，详细的运动分析，结合飞行中强大的成像和功能工具，将使我们能够获得对LOcomotor功能障碍机制的新见解，照亮我们对神经退行性疾病与电路机制的理解。
FLLIT应广泛适用于研究其他小节肢动物的步态，因为它以前被证明是高度精确的跟踪蜘蛛腿运动1。虽然我们在这里专注于使用详细的运动现象来量化致病步态及其基础电路，但运动跟踪的进步已经彻底改变，并将对正常行走协调和步态及其基础电路的理解产生持续的影响，特别是在进化树的无数不同分支中。
Disclosures
The authors have nothing to disclose.
Acknowledgements
作者感谢穆米塔·查特吉和爱丽丝·刘的技术支持，以及布卢明顿果蝇股票中心（美国印第安纳州）提供本作品中使用的果蝇菌株。这项工作得到了新加坡分子和细胞生物学研究所的支持;新加坡生物信息学研究所;科学技术和研究局联合理事会组织（授予SA和LC编号15302FG149）;由新加坡卫生部国家医学研究委员会（授予编号NMRC/TCR/013-NNI/2014至SA）、阿尔伯塔大学（对LC的启动赠款）和加拿大自然科学和工程研究委员会（NSERC）发现补助金（授予编号RGPIN-2019-04575给LC）管理的临床研究旗舰计划（帕金森病）。
Materials
| Acrylic Sheets | Dama | 1.6 mm thickness, Clear sheets | Singapore, Singapore |
| Clear Glass slides | Biomedia | BMH 880101 | Singapore, Singapore |
| High speed camera | Photron | Fastcam MC2.1 | Tokyo, Japan. A shutter speed of 1 msec or faster is ideal to reduce motion blur of captured images |
| Infra Red LED | Any – Generic from hardware store | 940nm Infrared Light Board | Singapore, Singapore |
| Kimwipe | Kimberly Clark | 34155-01LS | Irving, Texas, USA |
References
- Wu, S., et al. Fully automated leg tracking of Drosophila neurodegeneration models reveals distinct conserved movement signatures. PLoS Biology. 17 (6), 3000346 (2019).
- Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 19, 1281-1289 (2018).
- Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nature Methods. 16 (1), 117-125 (2019).
- Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G., Carey, M. R. A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice. eLife. 4, (2015).
- Lu, B., Vogel, H. Drosophila models of neurodegenerative diseases. Annual Reviews in Pathology. 4, 315-342 (2009).
- McGurk, L., Berson, A., Bonini, N. M. Drosophila as an In Vivo Model for Human Neurodegenerative Disease. Genetics. 201 (2), 377-402 (2015).
- Dionne, H., Hibbard, K., Cavallaro, A., Kao, J. -. C., Rubin, G. M. Genetic reagents for making split-GAL4 lines in Drosophila. bioRxiv. , (2017).
- Cande, J., et al. Optogenetic dissection of descending behavioral control in Drosophila. eLife. 7, (2018).
- Nern, A., Pfeiffer, B. D., Rubin, G. M. Optimized tools for multicolor stochastic labeling reveal diverse stereotyped cell arrangements in the fly visual system. Proceedings of the National Academy of Sciences of the United States of America. 112 (22), 2967-2976 (2015).
- Xie, T., et al. A Genetic Toolkit for Dissecting Dopamine Circuit Function in Drosophila. Cell Reports. 23 (2), 652-665 (2018).
- Warrick, J. M., et al. Ataxin-3 suppresses polyglutamine neurodegeneration in Drosophila by a ubiquitin-associated mechanism. Molecular Cell. 18 (1), 37-48 (2005).
- Ebersbach, G., et al. Comparative analysis of gait in Parkinson’s disease, cerebellar ataxia and subcortical arteriosclerotic encephalopathy. Brain. 122 (7), 1349-1355 (1999).
- Stolze, H., et al. Typical features of cerebellar ataxic gait. Journal of Neurology, Neurosurgery and Psychiatry. 73 (3), 310-312 (2002).
- Mendes, C. S., Bartos, I., Akay, T., Marka, S., Mann, R. S. Quantification of gait parameters in freely walking wild type and sensory deprived Drosophila melanogaster. eLife. 2, 00231 (2013).
- DeAngelis, B. D., Zavatone-Veth, J. A., Clark, D. A. The manifold structure of limb coordination in walking Drosophila. eLife. 8, (2019).
- Gunel, S., et al. DeepFly3D, a deep learning-based approach for 3D limb and appendage tracking in tethered, adult Drosophila. eLife. 8, (2019).
- Isakov, A., et al. Recovery of locomotion after injury in Drosophila melanogaster depends on proprioception. The Journal of Experimental Biology. 219, 1760-1771 (2016).
- Aw, S. S., Lim, I. K. H., Tang, M. X. M., Cohen, S. M. A Glio-Protective Role of mir-263a by Tuning Sensitivity to Glutamate. Cell Reports. 19 (9), 1783-1793 (2017).
- Eberl, D. F., Duyk, G. M., Perrimon, N. A genetic screen for mutations that disrupt an auditory response in Drosophila melanogaster. Proceedings of the National Academy of Sciences of the United States of America. 94 (26), 14837-14842 (1997).
