자동화된 행동 분석을 위한 딥비헤이비어, 딥 러닝 툴박스의 단계별 구현
Özet
이 프로토콜의 목적은 미리 구축된 컨볼루션 신경망을 활용하여 동작 추적을 자동화하고 상세한 동작 분석을 수행하는 것입니다. 동작 추적은 모든 비디오 데이터 또는 이미지 시퀀스에 적용할 수 있으며 사용자 정의 개체를 추적하는 데 일반적으로 사용할 수 있습니다.
Abstract
행동을 이해하는 것은 그것을 구동하는 두뇌에 있는 신경 기계장치를 진정으로 이해하는 첫번째 단계입니다. 전통적인 행동 분석 방법은 종종 자연 행동에 내재된 풍부함을 포착하지 못합니다. 여기에서는 최근 방법론인 DeepBehavior의 시각화와 함께 자세한 단계별 지침을 제공합니다. DeepBehavior 도구 상자는 컨볼루션 신경망으로 구축된 딥 러닝 프레임워크를 사용하여 행동 비디오를 신속하게 처리하고 분석합니다. 이 프로토콜은 단일 개체 감지, 다중 개체 감지 및 3차원(3D) 인간 조인트 포즈 추적을 위한 세 가지 다른 프레임워크를 보여 줍니다. 이러한 프레임워크는 동작 비디오의 각 프레임에 대해 관심 있는 개체의 카르테시안 좌표를 반환합니다. DeepBehavior 도구 상자에서 수집된 데이터는 기존의 동작 분석 방법보다 훨씬 더 자세한 정보를 포함하고 동작 역학에 대한 자세한 통찰력을 제공합니다. DeepBehavior는 강력하고 자동화된 정확한 방식으로 동작 작업을 정량화합니다. 행동 식별 에 따라 행동 비디오에서 정보 및 시각화를 추출하기 위해 후처리 코드가 제공됩니다.
Introduction
행동에 대한 자세한 분석은 뇌와 행동 관계를 이해하는 열쇠입니다. 높은 시간적 분해능으로 뉴런 집단을 기록하고 조작하기 위한 방법론의 많은 흥미로운 발전이 있었지만, 행동 분석 방법은 동일한 속도로 개발되지 않았으며 간접 측정 및 환원접근법1에국한되어 있다. 최근에는 자동화된 상세한 행동 분석2,3,4,5를수행하기 위해 딥 러닝 기반 방법이 개발되었습니다. 이 프로토콜은 DeepBehavior 도구 상자에 대한 단계별 구현 가이드를 제공합니다.
기존의 행동 분석 방법에는 여러 평가자가 데이터를 수동으로 레이블을 지정하는 것이 포함되는 경우가 많으며, 이로 인해 실험자가동작을정의하는 방식이 6. 데이터를 수동으로 레이블을 지정하려면 수집된 데이터 양에 불균형적으로 증가하는 시간과 리소스가 필요합니다. 또한 수동으로 레이블이 지정된 데이터는 동작 결과를 범주형 측정으로 줄여 행동의 풍요로움을 포착하지 않으며 주관적입니다. 따라서, 현재의 전통적인 방법은 자연적인 행동에서 세부 사항을 캡처하는 데 제한될 수 있다.
DeepBehavior 도구 상자는 행동 분석을 위한 딥 러닝을 사용하여 정밀하고 상세하며 매우 시간적이며 자동화된 솔루션을 제공합니다. 딥 러닝은 오픈 소스 도구와 패키지를 통해 모든 사용자가 빠르게 액세스할 수 있게 되었습니다. 컨볼루션 신경망(CNN)은 개체 인식 및 추적 작업7,8에서매우 효과적인 것으로 입증되었습니다. 현대의 CNN과 고성능 그래픽 처리 장치(GPU)를 사용하여 대형 이미지 및 비디오 데이터 세트를 고정밀7,9,10,11로신속하게 처리할 수 있습니다. DeepBehavior에는 세 가지 컨볼루션 신경망 아키텍처, 텐서박스, YOLOv3 및 OpenPose2가있습니다.
첫 번째 프레임워크인 Tensorbox는 개체 검색12를위해 다양한 CNN 아키텍처를 통합하는 다목적 프레임워크입니다. TensorBox는 이미지당 하나의 개체 클래스만 검색하는 데 가장 적합합니다. 결과 출력은 관심 있는 개체의 경계상자(그림 1)와경계 상자의 카르테시안 좌표입니다.
두 번째 CNN 프레임 워크는 YOLOv3, “당신은 한 번만 봐”13을의미 합니다. YOLOv3는 별도로 추적해야 하는 여러 개체가 있는 경우 유용합니다. 이 네트워크의 출력에는 연관된 객체 라벨 클래스가 있는 경계 상자뿐만 아니라 비디오 프레임내의 객체의 경계 상자 카르테시안 좌표가 포함된다(그림2).
이전 두 프레임 워크는 동물 과목에서 표준 실험실 실험에서 수집 된 일반화 된 행동 데이터에 유리합니다. 마지막 CNN 프레임 워크는 인간 관절 포즈 추정에 사용되는 OpenPose14,15,16입니다. OpenPose는 이미지에서 인체, 손, 얼굴 및 발 키 포인트를 감지합니다. 프레임워크의 출력은 인체 피사체의 이미지뿐만 아니라 신체의 모든 25개의 키 포인트와 각 손의 21개의 키 포인트의 좌표로 표시되어있습니다(그림 3).
최근에 개발된 오픈 소스 DeepBehavior 도구 상자의 구현을 위한 이 상세한 단계별 가이드는 최첨단 컨볼루션 신경망을 사용하여 동물 행동(예: 발의 움직임) 또는 인간의 행동(예: 도달 작업)을 추적합니다. 동작을 추적하면 위치, 속도 및 가속도와 같은 동작에서 유용한 운동학을 파생시킬 수 있습니다. 이 프로토콜은 각 CNN 아키텍처의 설치를 설명하고, 학습 데이터 세트를 만드는 방법, 네트워크 교육 방법, 학습된 네트워크에서 새 비디오를 처리하는 방법, 새 비디오의 네트워크에서 데이터를 추출하는 방법 및 출력 데이터를 사후 처리하여 추가 분석에 유용하게 사용할 수 있습니다.
Protocol
Representative Results
Discussion
여기서는 최근 개발된 동물 및 인간 행동 영상 데이터 분석용 딥러닝 기반 툴박스인 DeepBehavior의 구현을 위한 단계별 가이드를 제공합니다2. 각 네트워크 아키텍처에 대한 프레임워크 설치에 대한 각 단계에 대한 자세한 설명을 제공하고 이러한 프레임워크를 실행할 수 있도록 오픈 소스 요구 사항을 설치하기 위한 링크를 제공합니다. 이를 설치하는 방법, 교육 데이터를 만드는 …
Açıklamalar
The authors have nothing to disclose.
Acknowledgements
우리는 원래 종이2에사용되는 두 마우스 사회적 상호 작용 테스트에 대한 원시 데이터를 제공 핑핑 자오와 페이만 골샤니 에게 감사드립니다 . 이 연구는 NIH NS109315 및 엔비디아 GPU 보조금 (AA)에 의해 지원 되었다.
Materials
| CUDA v8.0.61 | NVIDIA | n/a | GPU Software |
| MATLAB R2016b | Mathworks | n/a | Matlab |
| Python 2.7 | Python | n/a | Python Version |
| Quadro P6000 | NVIDIA | n/a | GPU Processor |
| Ubuntu v16.04 | Ubuntu | n/a | Operating System |
Referanslar
- Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
- Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data. Front Syst Neurosci. 13, 20 (2019).
- Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. Fast animal pose estimation using deep neural networks. Nat Methods. 16 (1), 117-125 (2019).
- Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
- Stern, U., He, R., Yang, C. H. Analyzing animal behavior via classifying each video frame using convolutional neural networks. Sci Rep. 5, 14351 (2015).
- Tinbergen, N. On aims and methods of ethology. Zeitschrift für Tierpsychologie. 20, 410-433 (1963).
- LeCun, Y., Bengio, Y., Hinton, G. Deep Learning. Nature. 521 (7553), 436-444 (2015).
- Zhao, Z., Zheng, P., Xu, S., Wu, X. Object Detection With Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).
- He, K., Zhang, X., Ren, S., Deep Sun, J. Residual Learning for Image Recognition. arXiv. , (2015).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. ImageNet classification with deep convolutional neural networks. Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, 1097-1105 (2012).
- Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. Going deeper with convolutions. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).
- Stewart, R., Andriluka, M., Ng, A. Y. End-to-End People Detection in Crowded Scenes. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).
- Redmon, J., Farhadi, A. YOLOv3: An Incremental Improvement. arXiv. , (2018).
- Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. arXiv. , (2017).
- Simon, T., Joo, H., Matthews, I., Sheikh, Y. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. arXiv. , (2017).
- Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. Convolutional Pose Machines. arXiv. , (2016).
