用于自动行为分析的深入行为、深度学习工具箱的分步实施
概要
该协议的目的是利用预构建的卷积神经网络来自动执行行为跟踪并执行详细的行为分析。行为跟踪可应用于任何视频数据或图像序列，并可通用跟踪任何用户定义的对象。
Abstract
理解行为是真正理解大脑中驱动行为的神经机制的第一步。传统的行为分析方法通常不能捕捉自然行为固有的丰富性。在这里，我们提供详细的分步说明，以及我们最近的方法”DeepBehavior”的可视化效果。DeepBehavior 工具箱使用使用卷积神经网络构建的深度学习框架来快速处理和分析行为视频。该协议演示了三种不同的单对象检测、多对象检测和三维（3D）人关节姿势跟踪框架。这些框架返回行为视频每一帧的感兴趣对象的点菜坐标。从 DeepBehavior 工具箱收集的数据包含比传统行为分析方法更多的详细信息，并提供了对行为动态的详细见解。深度行为以稳健、自动化和精确的方式量化行为任务。在识别行为之后，提供后处理代码，以便从行为视频中提取信息和可视化效果。
Introduction
对行为的详细分析是理解大脑和行为关系的关键。在记录和操纵具有高时间分辨率的神经元群体的方法上有许多令人振奋的进展，然而，行为分析方法没有以相同的速度发展，并且仅限于间接测量和减少方法1。最近，已经开发出了基于深度学习的方法，以执行自动和详细的行为分析2，3，4，5。此协议为 DeepBehavior 工具箱提供了分步实现指南。
传统的行为分析方法通常包括由多个评估者手动标记数据，导致实验者定义行为6的方式存在差异。手动标记数据需要时间和资源，而时间和资源的增加与收集的数据量不成比例。此外，手动标记数据会将行为结果简化为分类测量，这些测量不能捕获行为的丰富性，并且会更加主观。因此，目前的传统方法在捕捉自然行为的细节时可能受到限制。
DeepBehavior 工具箱提供了一个精确、详细、高度时空和自动化的解决方案，使用深度学习进行行为分析。借助开源工具和软件包，所有人都能快速获得深度学习。卷积神经网络（CNN）被证明是非常有效的对象识别和跟踪任务7，8。使用现代CNN和高性能图形处理单元（GPU），大图像和视频数据集可以快速处理，高精度7，9，10，11。在深度行为中，有三种不同的卷积神经网络架构，TensorBox、YOLOv3 和 OpenPose2。
第一个框架，Tensorbox，是一个多功能的框架，它包含许多不同的CNN架构，用于对象检测12。TensorBox 最适合检测每个图像的一个对象类。生成的输出是目标对象的边界框（图 1）和边界框的点菜坐标。
第二个CNN框架是YOLOv3，它代表”你只看一次“13。当有多个感兴趣的对象必须单独跟踪时，YOLOv3 是有利的。此网络的输出包括带有关联对象标签类的边界框以及视频帧中对象的边界框点菜坐标（图 2）。
前两个框架有利于从动物受试者的标准实验室实验中收集的广义行为数据。最后的CNN框架是OpenPose14，15，16，它用于人类关节姿势估计。OpenPose 可检测图像上的人体、手部、面部和足部关键点。框架的输出标有人体主体的图像，以及身体中所有25个关键点的坐标和每只手的21个关键点（图3）。
这个详细的分步指南用于实施我们最近开发的开源 DeepBehavior 工具箱，它使用最先进的卷积神经网络来跟踪动物行为（例如爪子的运动）或人类行为（例如到达任务）。通过跟踪行为，可以从行为（如位置、速度和加速度）派生有用的运动学。该协议解释了每个 CNN 体系结构的安装，演示如何创建训练数据集、如何训练网络、如何在培训网络上处理新视频、如何从新视频上的网络中提取数据以及如何后处理输出数据，使其可用于进一步分析。
Protocol
Representative Results
Discussion
在这里，我们为实施DeepBehavior提供分步指南，我们最近开发的基于深度学习的工具箱用于动物和人类行为成像数据分析2。我们为每个网络架构的框架安装的每个步骤提供详细说明，并提供用于安装开源要求的链接，以便能够运行这些框架。我们演示如何安装它们，如何创建训练数据，如何训练网络，以及如何在培训的网络上处理新的视频文件。我们还提供后处理代码，以提取进…
開示
The authors have nothing to disclose.
Acknowledgements
我们要感谢赵平平和佩曼·戈尔沙尼为原始论文2中使用的双小鼠社会互动测试提供了原始数据。这项研究得到了NIH NS109315和NVIDIA GPU资助（AA）的支持。
Materials
| CUDA v8.0.61 | NVIDIA | n/a | GPU Software |
| MATLAB R2016b | Mathworks | n/a | Matlab |
| Python 2.7 | Python | n/a | Python Version |
| Quadro P6000 | NVIDIA | n/a | GPU Processor |
| Ubuntu v16.04 | Ubuntu | n/a | Operating System |
参考文献
- Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
- Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data. Front Syst Neurosci. 13, 20 (2019).
- Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. Fast animal pose estimation using deep neural networks. Nat Methods. 16 (1), 117-125 (2019).
- Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
- Stern, U., He, R., Yang, C. H. Analyzing animal behavior via classifying each video frame using convolutional neural networks. Sci Rep. 5, 14351 (2015).
- Tinbergen, N. On aims and methods of ethology. Zeitschrift für Tierpsychologie. 20, 410-433 (1963).
- LeCun, Y., Bengio, Y., Hinton, G. Deep Learning. Nature. 521 (7553), 436-444 (2015).
- Zhao, Z., Zheng, P., Xu, S., Wu, X. Object Detection With Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).
- He, K., Zhang, X., Ren, S., Deep Sun, J. Residual Learning for Image Recognition. arXiv. , (2015).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. ImageNet classification with deep convolutional neural networks. Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, 1097-1105 (2012).
- Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. Going deeper with convolutions. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).
- Stewart, R., Andriluka, M., Ng, A. Y. End-to-End People Detection in Crowded Scenes. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).
- Redmon, J., Farhadi, A. YOLOv3: An Incremental Improvement. arXiv. , (2018).
- Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. arXiv. , (2017).
- Simon, T., Joo, H., Matthews, I., Sheikh, Y. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. arXiv. , (2017).
- Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. Convolutional Pose Machines. arXiv. , (2016).
