DeepBehavior Adım Adım Uygulama, Otomatik Davranış Analizi için Derin Öğrenme Araç Kutusu
Summary
Bu protokolün amacı, davranış izlemeyi otomatikleştirmek ve ayrıntılı davranış analizi yapmak için önceden oluşturulmuş kvolutional sinir ağları kullanmaktır. Davranış izleme herhangi bir video veri veya görüntü dizileri uygulanabilir ve herhangi bir kullanıcı tanımlı nesne izlemek için genelleştirilebilir.
Abstract
Davranışı anlamak, beyindeki onu yönlendiren sinirsel mekanizmaları gerçekten anlamanın ilk adımıdır. Geleneksel davranış analizi yöntemleri genellikle doğal davranış ait zenginliği yakalamak yok. Burada, son metodolojimiz DeepBehavior’in görselleştirmeleriyle birlikte adım adım ayrıntılı talimatlar salıyoruz. DeepBehavior araç kutusu, davranışsal videoları hızla işlemek ve analiz etmek için kıvrımlı sinir ağları yla oluşturulmuş derin öğrenme çerçeveleri kullanır. Bu protokol, tek nesne algılama, birden çok nesne algılama ve üç boyutlu (3D) insan eklem poz izleme için üç farklı çerçeveler gösterir. Bu çerçeveler, davranış videosunun her karesi için ilgi çekici nesnenin karesyen koordinatlarını döndürer. DeepBehavior araç kutusundan toplanan veriler, geleneksel davranış çözümleme yöntemlerinden çok daha fazla ayrıntı içerir ve davranış dinamikleri hakkında ayrıntılı bilgiler sağlar. DeepBehavior davranış görevlerini sağlam, otomatik ve kesin bir şekilde ölçer. Davranışın tanımlanmasından sonra, davranış videolarından bilgi ve görselleştirmeleri ayıklamak için işlem sonrası kod sağlanır.
Introduction
Davranış ayrıntılı bir analiz beyin ve davranış ilişkilerini anlamak için anahtardır. Yüksek zamansal çözünürlük ile nöronal popülasyonların kayıt ve manipüle için metodolojiler birçok heyecan verici gelişmeler olmuştur, ancak, davranış analizi yöntemleri aynı oranda gelişmiş değil ve dolaylı ölçümler ve indirgemecı yaklaşım ile sınırlıdır1. Son zamanlarda, derin öğrenme tabanlı yöntemler otomatik ve ayrıntılı davranış analizi2,3,4,5gerçekleştirmek için geliştirilmiştir. Bu protokol, DeepBehavior araç kutusu için adım adım uygulama kılavuzu sağlar.
Geleneksel davranış analizi yöntemleri genellikle birden çok değerlendirici tarafından verileri el ile etiketlemeyi içerir ve bu da deneycilerin bir davranışı nasıl tanımladığıkonusunda varyansa yol açar6. Verilerin manuel olarak etiketlanması, toplanan veri miktarıyla orantısız bir şekilde artan zaman ve kaynak gerektirir. Ayrıca, elle etiketlenmiş veriler, davranışın zenginliğini yakalamayan kategorik ölçümlere davranış sonuçlarını azaltır ve daha öznel olacaktır. Bu nedenle, mevcut geleneksel yöntemler doğal davranışlarda ayrıntıları yakalama sınırlı olabilir.
DeepBehavior araç kutusu, davranış analizi için derin öğrenmeyi kullanarak hassas, ayrıntılı, son derece zamansal ve otomatik bir çözüm sunar. Derin öğrenme, açık kaynak araç ve paketleri ile hızlı bir şekilde herkes tarafından erişilebilir hale gelmiştir. Konvolutional sinir ağları (CNNs) nesne tanıma ve izleme görevleri son derece etkili olduğu kanıtlanmıştır7,8. Günümüz CNN’leri ve yüksek performanslı grafik işleme birimleri (GPU) kullanılarak, büyük görüntü ve video veri setleri yüksek hassasiyetle hızlı bir şekilde işlenebilir7,9,10,11. DeepBehavior’de, tensorBox, YOLOv3 ve OpenPose2olmak üzere üç farklı kvolutional nöral ağ mimarisi vardır.
İlk çerçeve, Tensorbox, nesne algılama için birçok farklı CNN mimarileri içeren çok yönlü birçerçevedir 12. TensorBox, görüntü başına yalnızca bir nesne sınıfı algılamak için en uygun uyrdu. Elde edilen çıktılar, ilgi çekici nesnenin(Şekil 1)ve sınırlayıcı kutunun kartezyen koordinatlarını sınırlandırır.
İkinci CNN çerçevesi YOLOv3, “You Only Look Once”13anlamına gelir. YOLOv3, ayrı olarak izlenmesi gereken birden fazla ilgi çekici nesne olduğunda avantajlıdır. Bu ağın çıktısı, ilişkili nesne etiketi sınıfının yanı sıra video çerçevesindeki nesnenin sınırlayıcı kutusu kartezyen koordinatlarını içerir (Şekil 2).
Önceki iki çerçeve, hayvan deneklerinde standart laboratuvar deneylerinden toplanan genelleştirilmiş davranışsal veriler için avantajlıdır. Son CNN çerçeve OpenPoseolduğunu 14,15,16 hangi insan eklem poz tahmini için kullanılır. OpenPose görüntülerde insan vücudu, el, yüz ve ayak anahtar noktaları algılar. Çerçevenin çıktıları, insan öznesinin görüntüleri ve vücuttaki 25 kilit noktanın koordinatları ve her bir elin 21 kilit noktasının koordinatları olarak etiketlenmiştir(Şekil 3).
Yakın zamanda geliştirilen açık kaynaklı DeepBehavior araç kutumuzun uygulanması için bu ayrıntılı adım adım kılavuz, hayvan davranışlarını (örneğin pençenin hareketi) veya insan davranışını (örn. görevlere ulaşma) izlemek için son teknoloji kvolutional sinir ağları kullanır. Davranışı izleyerek, yararlı kinematik konum, hız ve ivme gibi davranışlardan türetilebilir. Protokol, her BIR CNN mimarisinin kurulumunu açıklar, eğitim veri kümelerinin nasıl oluşturulup oluşturulacak, ağların nasıl eğitilir, eğitilmiş ağda yeni videoların nasıl işlenir, yeni videolardaki ağdan nasıl veri çıkarılabildiğini ve nasıl çıkarılabildiğini gösterir. daha fazla analiz için yararlı hale getirmek için çıktı verilerini işleme sonrası.
Protocol
Representative Results
Discussion
Burada, deepbehavior, hayvan ve insan davranışı görüntüleme verianalizi2 için son zamanlarda geliştirilen derin öğrenme tabanlı araç kutusu uygulanması için bir adım-adım kılavuz sağlar. Her ağ mimarisi için çerçevelerin yüklenmesi için her adım için ayrıntılı açıklamalar sağlar ve bu çerçeveleri çalıştırabilmek için açık kaynak gereksinimlerinin yüklenmesi için bağlantılar sağlarız. Bunları nasıl yükleyebileceğimizi, eğitim verilerinin nasıl ol…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Biz pingping Zhao ve Peyman Golshani iki fare sosyal etkileşim testleri orijinal kağıt2kullanılan ham veri sağlamak için teşekkür etmek istiyorum. Bu çalışma NIH NS109315 ve NVIDIA GPU hibeleri (AA) tarafından desteklenmiştir.
Materials
| CUDA v8.0.61 | NVIDIA | n/a | GPU Software |
| MATLAB R2016b | Mathworks | n/a | Matlab |
| Python 2.7 | Python | n/a | Python Version |
| Quadro P6000 | NVIDIA | n/a | GPU Processor |
| Ubuntu v16.04 | Ubuntu | n/a | Operating System |
References
- Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
- Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data. Front Syst Neurosci. 13, 20 (2019).
- Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. Fast animal pose estimation using deep neural networks. Nat Methods. 16 (1), 117-125 (2019).
- Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
- Stern, U., He, R., Yang, C. H. Analyzing animal behavior via classifying each video frame using convolutional neural networks. Sci Rep. 5, 14351 (2015).
- Tinbergen, N. On aims and methods of ethology. Zeitschrift für Tierpsychologie. 20, 410-433 (1963).
- LeCun, Y., Bengio, Y., Hinton, G. Deep Learning. Nature. 521 (7553), 436-444 (2015).
- Zhao, Z., Zheng, P., Xu, S., Wu, X. Object Detection With Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).
- He, K., Zhang, X., Ren, S., Deep Sun, J. Residual Learning for Image Recognition. arXiv. , (2015).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. ImageNet classification with deep convolutional neural networks. Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, 1097-1105 (2012).
- Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. Going deeper with convolutions. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).
- Stewart, R., Andriluka, M., Ng, A. Y. End-to-End People Detection in Crowded Scenes. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).
- Redmon, J., Farhadi, A. YOLOv3: An Incremental Improvement. arXiv. , (2018).
- Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. arXiv. , (2017).
- Simon, T., Joo, H., Matthews, I., Sheikh, Y. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. arXiv. , (2017).
- Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. Convolutional Pose Machines. arXiv. , (2016).
