特徴学習脚のセグメンテーションとトラッキング(FLLIT)を用いて、自由に動く昆虫の完全自動脚追跡
Summary
FLLITを用いた詳細なプロトコル、脚爪運動追跡のための完全自動化された機械学習法であるショウジョウバエメラノガスターや他の昆虫を用いた詳細なプロトコルについて説明する。これらのプロトコルは、野生型ハエ、変異型ハエ、神経変性のフライモデルにおける微妙な歩行歩行の動きを定量的に測定するために使用することができる。
Abstract
ショウジョウバエモデルは神経機能の研究や神経変性の根源となる分子・細胞機構の理解に非常に有益なモデルです。ニューロンサブセットの操作と研究のためのフライ技術はますます高度化していますが、結果として生じる行動型の豊かさは同様の詳細では捉えられていない。突然変異体間の比較のために微妙なフライレッグの動きを研究できるようにするには、高速かつ迅速な脚の動きを自動的に測定し、定量化する能力が必要です。そこで、自由に歩くハエ、機能学習ベースの四肢セグメンテーションおよびトラッキング(FLLIT)での自動脚爪追跡のための機械学習アルゴリズムを開発しました。ほとんどのディープラーニング方法とは異なり、FLLITは完全に自動化されており、学習アルゴリズムに組み込まれた形態パラメータを使用して、ユーザー注釈を必要とせずに独自のトレーニングセットを生成します。この記事では、FLLIT を使用して歩行分析を実行するための詳細なプロトコルについて説明します。カメラのセットアップ、アリーナ建設、ビデオ録画、脚のセグメンテーション、脚の爪の追跡の手順を詳しく説明します。また、FLLITによって生成されたデータの概要を示し、すべてのビデオフレームの生の追跡されたボディと脚の位置、20の歩行パラメータ、5つのプロット、および追跡されたビデオが含まれています。FLLITの使用を実証するために、我々は脊髄小脳失調症3のフライモデルで関連する病気の歩行パラメータを定量化する。
Introduction
ここ数十年で、神経変性疾患や運動障害は、私たちの高齢化人口でより一般的に成長しています。多くの神経変性疾患に対する理解は分子レベルと細胞レベルで進んでいますが、罹患した神経回路の根本的な特徴は依然として十分に理解されていません。最近開発された行動追跡ツール11、2、3、42,3,4により、分子、細胞、回路調節の根底にある疾患を特定するために、動物疾患モデルの動きの異常を研究できるようになりました。
多くの神経変性疾患に関与する分子経路は、ショウジョウバエメラノガスターの果実フライに保存されており、ショウジョウバエ病モデルは神経変性5,66の基礎となる基本的なメカニズム5を解明するのに役立っている。我々は最近、パーキンソン病(PD)および脊髄小脳失調症3(SCA3)のフライモデルが、それぞれのヒト疾患1に似た明確で保存された歩行シグネチャを示すことを示し、フライモデルが特定の運動障害における運動機能不全の基礎となる回路機構を理解できることを実証した。単一遺伝子および単一細胞レベル,7、8、9、10におけるニューロンの標的操作および視覚化のためのフライモデルにおける豊富で継続的7に成長しているツールは9、10生体内の疾患経路、神経回路および行動表現型症状の関係を調査する理想的なモデルとなる。8正確で自動化された昆虫の歩行分析を可能にするために、我々は最近、機械学習方法、Feature Lの稼ぐベースのLIMBセグメンテーションとTラッキング(FLLIT)1を開発しました。1
FLLIT は、最初に脚のピクセルをセグメント化する完全に自動化された多段アルゴリズムで構成され、その後、対応する脚の爪を見つけて追跡するために使用されます。FLLIT は、最近の作業2,3で使用されているディープラーニング アルゴリズムとは対照的に、セグメンテーションのブースト アルゴリズムを採用しています。両方のフレームワークでは、機能抽出は畳み込みカーネルの学習によって自動的に行われる点で、畳み込みニューラルネットワークとの類似点がいくつかあります。FLLIT の最初のステップでは、形態学的操作 (エッジとスケルトン化) を使用して、正の (脚のピクセル) と負の (飛行ボディの背景またはピクセル) トレーニング サンプルを高い信頼を得て自動的に生成します。したがって、FLLIT は完全に自動化されており、ユーザーに対して説明されたトレーニング サンプルは必要ありません。上記のトレーニング サンプルを使用して、分類器は、ブースト アルゴリズムのフレームワークでトレーニングされます。弱い分類子のアンサンブルは反復的に学ばされ、それぞれが特徴抽出のための一連の畳み込みカーネルとデシジョンツリーからなる。最終的に学んだ分類器は、脚のセグメンテーションに使用され、形態学的操作よりも難しい領域/ハードサンプルをよりよく識別することができ、追跡1のための全体的にはるかに正確なセグメンテーションを生成する。セグメント化された脚から、ヒントを見つけて、ハンガリーのアルゴリズムを使用して追跡します:各チップによって移動される距離の合計が最小限になるように、フレーム間でヒントを一致させることによって。FLLIT は、最後に見た位置(フライ中心座標)を記憶してオクルージョンケースを処理できるため、脚の先端がオクルージョンの下でなくなったら脚先が回収されます。
我々は以前、FLLITが脚の動きを自動的かつ正確に追跡し、高速ビデオ1から無印の自由に動くハエやクモの歩行を分析できることを示した。FLLITは、したがって、節足脚追跡に広く適用可能であるべきである。FLLIT は、形態学的パラメータを使用して機械学習トレーニングセットを抽出することで、ほとんどのディープラーニング方法に必要な手作業による注釈を必要とせずに、昆虫の脚をセグメント化して追跡するように自動的にトレーニングします。したがって、FLLITは完全に自動化されています。脚のセグメンテーションとトラッキングの後、FLLITは自動的にすべてのビデオフレーム、20の歩行パラメータ、5プロット、歩行の動きの視覚化のための追跡されたビデオで、生の追跡されたボディと脚の位置を生成します。このプロトコルは、FLLIT を使用するためのステップ バイ ステップ ガイドを提供します。
Protocol
Representative Results
Discussion
本稿では、自動機械学習プログラム1であるFLLITを使用して、自由に歩行するショウジョウバエの歩行を分析する手順を詳細に説明します。追跡とデータ分析の後、FLLITは自動的に身体と脚の爪の位置情報の生データを生成し、20のボディおよび歩行特徴と追跡フライのビデオを生成して歩行可視化を可能にします。
ショウジョウバエや他の,動物1、2、3、4、14、15、162,3の脚の動きの追跡のための多くの方法があり4,14、15,研究者は実験の目的に応じて幅広いオプションを与えます。116これらのいくつかは、非常に正確であるが、検出面44、1414との爪接触点のみを報告する、フットプリンティングベースのアプローチです。一方、最近のディープラーニングアプローチ22、3、163,16は汎用性が高く、あらゆる動物の脚関節やその他の身体部分の追跡を必要とする行動を分析することができ、アルゴリズムは最初にユーザーにコメント付きデータセットを使用して訓練する必要があるという警告があります。3 番目のアプローチでは、モルフォロジーまたはイメージ コントラスト ベースのメソッド1、15,、17を使用して、各脚のアウトラインを見つけて爪の位置を特定します。一般に、これらのメソッドは、脚が交差する動作(例えば、グルーミング中)に対処する方法が不十分です。FLLIT は、形態学的パラメータを使用して脚のセグメンテーションのためのブースト アルゴリズムをトレーニングする、第 2 および第 3 のアプローチを組み合わせています。これにより、機械学習を使用して精度を向上させながら、FLLIT はユーザー注釈の面倒なタスクをバイパスしてトレーニング データセットを生成できます。FLLIT の将来の改善は、より複雑な動作の分析を可能にするために、脚が交差するインスタンスに対処する必要があります。
FLLIT は、照明、記録解像度、フレーム速度1のわずかな変化に強い。ただし、録画したビデオのフレーム速度は 250 fps を下回らない必要があり、FLLIT は 1000 fps で録画されたビデオに最適に動作します。画像にモーション ブラーが存在する場合、人間のアオファクタが脚の位置を識別することが困難な場合、FLLIT はそれらのフレーム内の脚の先端を正確に識別できません。このことを踏まえて、脚の先端にカメラを鋭く集中させることが不可欠です。セグメンテーションのアーティファクトを防ぐために、アリーナは完全にクリーニングする必要があり、記録中に移動しないでください。正確な背景の減算とクリーンなセグメンテーションのために、フライは一時停止することなく、記録中に少なくとも1つのボディ長を移動する必要があります。自動セグメンテーションとトラッキングの後、すべての脚のラベリングをチェックする必要があります。フライの歩行が誤って追跡または追跡されていない場合は、手動で追跡を開始オプションを使用してファイルを手動で再追跡する必要があります (ステップ 5.2.7 – 5.2.10)。
私たちの高齢化社会では、神経変性疾患や運動障害がますます蔓延しています。神経変性のフライモデルは20年以上前から研究されており、その間に疾患病態生理学の分子および細胞的側面に関する進歩がなされてきた。しかし、疾患の特定の行動の結果は、技術的に評価することは困難であった。例えば、ハエの震動の報告は18、19,19になされたが、これらは最近まで定量的に研究されていなかった1。クライミングアッセイは有用で定量的でありながら、比較的粗い尺度6.この技術的な赤字は、同様に他の動物モデルにおける高解像度運動分析を妨げている。行動分析のための新しいツールの出現は、したがって、神経筋疾患の分子および細胞メカニズムが動物モデルにおける特定の行動結果につながる方法を研究者が研究できるように、運動障害の分野を若返らせることを約束しています。本論文及び前回の研究1では、SCA3のフライモデルが超運動性無酸素足取りを示すFLLITを用いて示し、PDフライモデルは、それぞれのヒト疾患の運動特徴を再現する低運動性の剛性歩行を示す。歩行分析はまた、特定の運動機能不全の根底にある明確な神経集団を同定することを可能にした。今後、詳細な動き分析と、その場で利用可能な強力なイメージングと機能ツールを組み合わせることで、ロコモ運動機能障害のメカニズムに関する新しい洞察を得ることができ、回路メカニズムに関する神経変性疾患の理解を明示することができます。
FLLITは、以前にクモの脚の動きを追跡するための非常に正確であることが実証されたように、他の小さな節足動物の歩行を研究するために広く適用されるべきです1.ここでは、病原性歩行とその基礎回路を定量化するための詳細な運動フェノタイピングの使用に焦点を当てていますが、動き追跡の進歩はすでに革命しており、通常の歩行の協調と歩行とその基礎となる回路、特に進化の木の無数の異なる枝の理解に継続的な影響を与えます。
Disclosures
The authors have nothing to disclose.
Acknowledgements
著者らは、技術サポートのためにムーミタ・チャッタージーとアリス・リュウ、そしてブルーミントン・ショウジョウバエ・ストック・センター(インディアナ州、米国)がこの作品で使用されるショウジョウバエ株を利用可能にしてくれたことに感謝したいと考えています。この研究は、シンガポール分子細胞生物学研究所の支援を受けました。シンガポールバイオインフォマティクス研究所科学技術研究共同協議会機構(SAおよびLCに対する補助金番号15302FG149);シンガポール保健省の国立医学研究評議会(SAへの助成金番号NMRC/TCR/013-NNI/2014)、アルバータ大学(LCへのスタートアップ助成金)、カナダ自然科学工学研究評議会(NSERC)ディスカバリーグラント(助成番号RGPIN-2019-0457)が運営する臨床研究旗艦プログラム(パーキンソン病)。
Materials
| Acrylic Sheets | Dama | 1.6 mm thickness, Clear sheets | Singapore, Singapore |
| Clear Glass slides | Biomedia | BMH 880101 | Singapore, Singapore |
| High speed camera | Photron | Fastcam MC2.1 | Tokyo, Japan. A shutter speed of 1 msec or faster is ideal to reduce motion blur of captured images |
| Infra Red LED | Any – Generic from hardware store | 940nm Infrared Light Board | Singapore, Singapore |
| Kimwipe | Kimberly Clark | 34155-01LS | Irving, Texas, USA |
References
- Wu, S., et al. Fully automated leg tracking of Drosophila neurodegeneration models reveals distinct conserved movement signatures. PLoS Biology. 17 (6), 3000346 (2019).
- Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 19, 1281-1289 (2018).
- Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nature Methods. 16 (1), 117-125 (2019).
- Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G., Carey, M. R. A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice. eLife. 4, (2015).
- Lu, B., Vogel, H. Drosophila models of neurodegenerative diseases. Annual Reviews in Pathology. 4, 315-342 (2009).
- McGurk, L., Berson, A., Bonini, N. M. Drosophila as an In Vivo Model for Human Neurodegenerative Disease. Genetics. 201 (2), 377-402 (2015).
- Dionne, H., Hibbard, K., Cavallaro, A., Kao, J. -. C., Rubin, G. M. Genetic reagents for making split-GAL4 lines in Drosophila. bioRxiv. , (2017).
- Cande, J., et al. Optogenetic dissection of descending behavioral control in Drosophila. eLife. 7, (2018).
- Nern, A., Pfeiffer, B. D., Rubin, G. M. Optimized tools for multicolor stochastic labeling reveal diverse stereotyped cell arrangements in the fly visual system. Proceedings of the National Academy of Sciences of the United States of America. 112 (22), 2967-2976 (2015).
- Xie, T., et al. A Genetic Toolkit for Dissecting Dopamine Circuit Function in Drosophila. Cell Reports. 23 (2), 652-665 (2018).
- Warrick, J. M., et al. Ataxin-3 suppresses polyglutamine neurodegeneration in Drosophila by a ubiquitin-associated mechanism. Molecular Cell. 18 (1), 37-48 (2005).
- Ebersbach, G., et al. Comparative analysis of gait in Parkinson’s disease, cerebellar ataxia and subcortical arteriosclerotic encephalopathy. Brain. 122 (7), 1349-1355 (1999).
- Stolze, H., et al. Typical features of cerebellar ataxic gait. Journal of Neurology, Neurosurgery and Psychiatry. 73 (3), 310-312 (2002).
- Mendes, C. S., Bartos, I., Akay, T., Marka, S., Mann, R. S. Quantification of gait parameters in freely walking wild type and sensory deprived Drosophila melanogaster. eLife. 2, 00231 (2013).
- DeAngelis, B. D., Zavatone-Veth, J. A., Clark, D. A. The manifold structure of limb coordination in walking Drosophila. eLife. 8, (2019).
- Gunel, S., et al. DeepFly3D, a deep learning-based approach for 3D limb and appendage tracking in tethered, adult Drosophila. eLife. 8, (2019).
- Isakov, A., et al. Recovery of locomotion after injury in Drosophila melanogaster depends on proprioception. The Journal of Experimental Biology. 219, 1760-1771 (2016).
- Aw, S. S., Lim, I. K. H., Tang, M. X. M., Cohen, S. M. A Glio-Protective Role of mir-263a by Tuning Sensitivity to Glutamate. Cell Reports. 19 (9), 1783-1793 (2017).
- Eberl, D. F., Duyk, G. M., Perrimon, N. A genetic screen for mutations that disrupt an auditory response in Drosophila melanogaster. Proceedings of the National Academy of Sciences of the United States of America. 94 (26), 14837-14842 (1997).
