우리는 FLLIT, 자유롭게 움직이는 Drosophila 멜라노가스터 및 기타 곤충에서 다리 발톱 운동 추적을위한 완전 자동화 된 기계 학습 방법을 사용하기위한 자세한 프로토콜을 설명합니다. 이 프로토콜은 야생 형 파리, 돌연변이 파리 및 신경 변성의 비행 모델에서 미묘한 보행 걸음 걸이 움직임을 정량적으로 측정하는 데 사용할 수 있습니다.
Drosophila 모형은 신경 기능의 연구 결과및 신경 변성의 기초가 되는 분자와 세포 기계장치를 이해하기를 위해 귀중했습니다. 신경 부집합의 조작 그리고 연구 결과를 위한 비행 기술은 점점 더 정교해지는 동안, 결과적인 행동 표현형의 풍요로움은 유사한 세부사항에서 포착되지 않았습니다. 돌연변이 간의 비교를 위해 미묘한 플라이 다리 움직임을 연구하려면 고속 및 빠른 다리 움직임을 자동으로 측정하고 정량화할 수 있는 능력이 필요합니다. 따라서, 우리는 자유롭게 걷는 파리에서 자동 다리 발톱 추적을위한 기계 학습 알고리즘을 개발, 기능 학습 기반 의 사지 세분화 및 추적 (FLLIT). 대부분의 딥 러닝 방법과 달리 FLLIT은 학습 알고리즘에 내장된 형태학적 매개 변수를 사용하여 사용자 추가 없이 완전히 자동화되고 자체 교육 세트를 생성합니다. 이 문서에서는 FLLIT를 사용하여 보행 분석을 수행하기 위한 심층 프로토콜에 대해 설명합니다. 카메라 설정, 경기장 건설, 비디오 녹화, 다리 세그미테이션 및 다리 발톱 추적 절차를 자세히 설명합니다. 또한 모든 비디오 프레임에서 원시 추적 된 몸과 다리 위치, 20 걸음걸이 매개 변수, 5 플롯 및 추적 된 비디오를 포함하는 FLLIT에 의해 생성 된 데이터의 개요를 제공합니다. FLLIT의 사용을 입증하기 위해, 우리는 Spinocerebellar 운동 실조 3의 플라이 모델에서 관련 병이 걸음걸이 매개 변수를 정량화.
지난 수십 년 동안, 신경 퇴행성 질환과 운동 장애는 우리의 노화 인구에서 더 널리 성장했다. 많은 신경 퇴행성 질환에 대한 우리의 이해가 분자 및 세포 수준에서 진행되었지만, 영향을받는 신경 회로의 근본적인 특징은 제대로 이해되지 않습니다. 최근에 개발된 행동 추적 도구1,,2,,3,,4는 이제 분자, 세포 및 회로 dysregulation 기본 질병을 확인하기 위해 동물 질병 모델의 운동 이상을 연구할 수 있게 되었습니다.
많은 신경퇴행성 질환에 관여하는 분자경로는 열매파리에 보존되어 초파리멜라노가스터,및 초파리질환 모델은 신경변성 기저의 근본적인 기전을 해명하는데 도움을 주었다5,,6. 우리는 최근에 파킨슨 병 (PD)와 척추 세포 자 운동 실조 3 (SCA3)의 비행 모델이 각각의 인간 질병과 유사한 뚜렷하고 보존 된 보행 시그니처를 나타낸다는 것을 보여주었습니다1,비행 모델이 특정 운동 장애에서 운동 기능 장애의 기본 회로 메커니즘을 이해하는 데 사용될 수 있음을 입증. 단일 유전자 및 단일 세포 레벨7,,8,,9,,10에서 뉴런의 표적 조작 및 시각화를 위한 플라이 모델에서 풍부하고 지속적으로 성장하는 도구는 비행이 생체 내에서 질병 경로, 신경 회로 및 행동 표현형 발현 사이의 관계를 탐구하는 이상적인 모델입니다. 정밀하고 자동화된 곤충 보행 분석을 가능하게 하기 위해, 우리는 최근에 기계 학습 방법, Feature L수입 기반 LIMB 세분화 및 T랙팅 (FLLIT)1을개발했습니다.
FLLIT은 먼저 다리 픽셀을 분할하는 완전 자동화된 다단계 알고리즘으로 구성되어 있으며, 이 알고리즘은 이후에 해당 다리 발톱을 찾고 추적하는 데 사용됩니다. FLLIT은 최근 작업2,,3에서사용되는 딥 러닝 알고리즘과 는 달리 세분화를 위한 부스팅 알고리즘을 사용합니다. 두 프레임워크 모두에 대해 기능 추출이 컨볼루션 커널 학습을 통해 자동으로 수행된다는 점에서 컨볼루션 신경망과 몇 가지 유사점이 있습니다. FLLIT의 첫 번째 단계는 형태학적 작업(가장자리 및 골격화)을 사용하여 자동으로 포지티브(다리의 픽셀) 및 음수(플라이 바디의 배경 또는 픽셀) 학습 샘플을 높은 신뢰도로 생성하는 것입니다. 따라서 FLLIT는 완전히 자동화되어 있으며 사용자에게 추가된 교육 샘플이 필요하지 않습니다. 위의 학습 샘플을 사용하여 분류기는 증폭 알고리즘의 프레임워크에서 학습됩니다. 약한 분류기의 앙상블은 반복적으로 학습되며, 각각 기능 추출 및 의사 결정 트리를 위한 컨볼루션 커널 세트로 구성됩니다. 최종 학습 분류기는 다음 다리 세분화에 사용되며 형태 학적 작업보다 어려운 영역 / 하드 샘플을 더 잘 분별 할 수 있으며 추적1을위해 전반적으로 훨씬 더 정확한 세분화를 생성합니다. 분할된 다리에서 팁을 찾아 헝가리 알고리즘을 사용하여 추적합니다. FLLIT은 마지막으로 본 위치(플라이 중심 좌표)를 기억하여 다리 끝이 더 이상 폐색되지 않도록 하여 오클루전 케이스를 처리할 수 있습니다.
우리는 이전에 FLLIT가 자동으로 정확하게 다리의 움직임을 추적하고 고속 비디오1에서표시되지 않은 자유롭게 움직이는 비행 또는 거미에서 걸음걸이를 분석 할 수 있음을 보여 주었다; 따라서 FLLIT은 절지동물 다리 추적에 광범위하게 적용되어야 합니다. 형태학적 매개 변수를 사용하여 기계 학습 교육 세트를 추출함으로써 FLLIT은 대부분의 딥 러닝 방법에 필요한 까다로운 수동 추가 없이 곤충 다리를 세그먼트화하고 추적하도록 자동으로 학습합니다. 따라서 FLLIT은 완전히 자동화되어 있습니다. 다리 세분화 및 추적 후 FLLIT은 모든 비디오 프레임에서 원시 추적 된 신체 및 다리 위치, 20 걸음걸이 매개 변수, 5 플롯 및 걸음걸이 움직임의 걸음걸이 분석 및 시각화를위한 추적 된 비디오를 자동으로 생성합니다. 이 프로토콜은 FLLIT 사용에 대한 단계별 가이드를 제공합니다.
이 원고에서는 자동화 된 기계 학습 프로그램 인 FLLIT1을사용하여 자유롭게 걷는 Drosophila에서걸음걸이를 분석하는 단계를 자세히 설명합니다. 추적 및 데이터 분석 후 FLLIT은 신체 및 다리 발톱의 위치 정보에 대한 원시 데이터를 자동으로 생성하여 20개의 신체 및 걸음걸이 기능과 추적된 비행 비디오를 생성하여 걸음걸이 시각화를 가능하게 합니다.
현재, 1, ,12,3,34,,4,14,15,16의다리 운동 추적을 위한 여러 가지 방법이 있으며, 실험의 목표에 따라 다양한 옵션을 연구자들에게 제공하고 있다. 이들 중 일부는 매우 정확하지만 검출 표면4,,14와만 발톱 접촉점을보고 발 인쇄 기반 접근 방식입니다. 한편, 최근 딥 러닝 접근 방식2,,3,,16은 매우 다재다능하여 모든 동물의 다리 관절 및 기타 신체 부위를 추적해야 하는 행동을 분석할 수 있으며, 알고리즘이 먼저 사용자 에추가 추가된 데이터 집합으로 학습되어야 한다는 경고와 함께. 세 번째 유형의 접근 법은 형태 또는1이미지 대비 기반 방법1,15,,17을 사용하여 각 다리의 윤곽을 찾아 발톱 위치를 식별합니다. 일반적으로 이러한 방법은 다리가 교차하는 동작(예: 그루밍 중)을 제대로 처리하지 않습니다. FLLIT은 형태학적 매개변수를 사용하여 다리 세분화를 위한 부스팅 알고리즘을 학습하는 두 번째 및 세 번째 접근 방식을 결합합니다. 이를 통해 FLLIT은 사용자 별표의 까다로운 작업을 우회하여 학습 데이터 집합을 생성하는 동시에 기계 학습을 사용하여 정확도를 향상시킬 수 있습니다. FLLIT에 대한 향후 개선 사항은 다리가 교차하는 인스턴스를 처리하여 보다 복잡한 동작을 분석할 수 있도록 해야 합니다.
FLLIT은 조명, 레코딩 해상도 및 프레임 속도1의약간의 변화에 견고합니다. 그러나 녹화된 비디오의 프레임 속도는 250fps 미만으로 떨어지지 않아야 하며 FLLIT은 1000fps로 녹화된 비디오에 대해 최적으로 실행됩니다. 이미지에 모션 블러가 있는 경우, 사람의 개그 위치를 식별하기 어려운 경우 FLLIT은 해당 프레임에서 다리 팁을 정확하게 식별할 수 없습니다. 이에 비추어 볼 때, 카메라는 다리 끝에 날카롭게 초점을 맞추어야 합니다. 세분화 아티팩트를 방지하기 위해 경기장을 철저히 청소해야 하며 녹화 중에 이동해서는 안 됩니다. 정확한 배경 빼기 및 깔끔한 세분화를 위해 플라이는 일시 중지하지 않고 기록 중에 하나 이상의 바디 길이를 이동해야 합니다. 자동 세그미테이션 및 모든 다리의 라벨을 추적 한 후 확인해야합니다. 플라이 보행이 잘못 추적되지 않으면 수동으로 추적 시작 옵션(5.2.7 – 5.2.10 단계)을 사용하여 파일을 수동으로 다시 추적해야 합니다.
신경 퇴행성 질환과 운동 장애는 우리의 노화 사회에서 점점 더 널리 퍼져 있습니다. 신경 변성의 비행 모형은 질병 병리생리학의 분자 그리고 세포 양상에 관하여 진보가 이루어진 동안 2 년 이상 동안 공부되었습니다. 그러나, 질병의 특정 행동 결과는 기술적으로 평가하기 어려웠습니다. 예를 들어, 비행 중의 떨림 움직임에 대한 보고가18,,19로이루어진 반면, 이들은 최근1일까지정량적으로 연구되지 않았다. 등반 분석은 유용하고 양적, 아직 상대적으로 거친 측정6되었습니다. 이 기술적 적자는 마찬가지로 다른 동물 모델에서 고해상도 운동 분석을 방해하고있다. 행동 분석을 위한 새로운 공구의 출현은, 그러므로, 신경 근육 질병의 분자 및 세포 기계장치가 동물 모형에 있는 특정 행동 결과로 이끌어 내는 방법을 연구하는 연구원을 가능하게 하기 위하여 운동 무질서의 필드를 젊어지게 하는 것을 약속했습니다. 본 논문과 전작1에서는SCA3의 플라이 모델이 초운동적 무택 걸음걸이를 나타내는 FLLIT을 사용하는 것으로 나타났으며, PD 플라이 모델은 저운동성 강체 걸음걸이를 나타내며, 각 인간 질병의 운동 특징을 재차재현합니다 1. 걸음걸이 분석은 또한 특정 운동 역기능의 근본적인 명백한 신경 인구를 확인하는 가능하게 했습니다. 앞으로, 상세한 운동 분석, 비행에서 사용할 수있는 강력한 이미징 및 기능 도구와 결합, 우리는 회로 메커니즘에 대한 신경 퇴행성 질환의 우리의 이해를 조명, 운동 기능 장애의 메커니즘에 대한 새로운 통찰력을 얻을 수 있습니다.
FLLIT은 이전에 거미 다리의 움직임을 추적하기위한 매우 정확한 것으로 입증 된 바와 같이, 다른 작은 절지 동물에서 보행을 연구하기 위해 널리 적용되어야한다1. 우리는 병원성 걸음걸이와 그 기본 회로를 정량화하기위한 상세한 운동 자형교의 사용에 초점을 맞추고 있지만, 운동 추적의 발전은 이미 혁명을 일으켰으며, 정상적인 보행 조정 및 걸음걸이및 그 기본 회로, 특히 진화 나무의 무수한 다른 가지에 대한 이해에 지속적인 영향을 미칠 것입니다.
The authors have nothing to disclose.
저자는 기술 지원을 위해 무미타 채터지와 앨리스 리우, 그리고 블루밍턴 드로소필라 스톡 센터 (인디애나, 미국)가이 작품에 사용되는 드로 소필라 균주를 사용할 수 있도록 감사드립니다. 이 작품은 분자 및 세포 생물학 연구소에 의해 지원되었다, 싱가포르; 생물 정보학 연구소, 싱가포르; 과학기술연구공동협의회 조직(SA 및 LC에 15302FG149 보조금) 임상 연구 주력 프로그램 (파킨슨 병) 보건부의 국립 의학 연구위원회 (SA에 부여 번호 NMRC / TCR / 013-NNI / 2014), 앨버타 대학 (LC에 스타트 업 보조금), 캐나다의 자연 과학 및 공학 연구위원회 (NSERC) 발견 보조금 (보조금 번호 RGPIN-2019-045).
Acrylic Sheets | Dama | 1.6 mm thickness, Clear sheets | Singapore, Singapore |
Clear Glass slides | Biomedia | BMH 880101 | Singapore, Singapore |
High speed camera | Photron | Fastcam MC2.1 | Tokyo, Japan. A shutter speed of 1 msec or faster is ideal to reduce motion blur of captured images |
Infra Red LED | Any – Generic from hardware store | 940nm Infrared Light Board | Singapore, Singapore |
Kimwipe | Kimberly Clark | 34155-01LS | Irving, Texas, USA |