تنفيذ خطوة بخطوة من السلوك العميق ، أدوات التعلم العميق لتحليل السلوك الآلي
Summary
الغرض من هذا البروتوكول هو الاستفادة من الشبكات العصبية الملتوية المبنية مسبقًا لأتمتة تتبع السلوك وإجراء تحليل سلوكي مفصل. يمكن تطبيق تتبع السلوك على أي بيانات فيديو أو تسلسلات من الصور وقابلة للتعميم لتتبع أي كائن معرف من قبل المستخدم.
Abstract
فهم السلوك هو الخطوة الأولى لفهم الآليات العصبية في الدماغ حقا أن الدافع لها. غالبًا ما لا تلتقط طرق التحليل السلوكي التقليدية الثراء المتأصل في السلوك الطبيعي. هنا ، نقدم تعليمات مفصلة خطوة بخطوة مع تصورات منهجيتنا الأخيرة ، DeepBehavior. يستخدم صندوق أدوات DeepBehavior أطر التعلم العميق المبنية بشبكات عصبية ملتوية لمعالجة مقاطع الفيديو السلوكية وتحليلها بسرعة. يوضح هذا البروتوكول ثلاثة أطر مختلفة للكشف عن جسم واحد ، والكشف عن الكائنات المتعددة ، وثلاثي الأبعاد (3D) الإنسان المشترك تشكل تتبع. ترجع هذه الأطر إحداثيات الديكارتية للكائن موضع الاهتمام لكل إطار من فيديو السلوك. البيانات التي تم جمعها من صندوق أدوات DeepBehavior تحتوي على تفاصيل أكثر بكثير من أساليب تحليل السلوك التقليدية وتوفر رؤى مفصلة لديناميكيات السلوك. يحدد DeepBehavior مهام السلوك بطريقة قوية وتلقائية ودقيقة. بعد تحديد السلوك ، يتم توفير رمز ما بعد المعالجة لاستخراج المعلومات والمرئيات من مقاطع الفيديو السلوكية.
Introduction
تحليل مفصل للسلوك هو المفتاح لفهم الدماغ والعلاقات السلوكية. كانت هناك العديد من التقدم المثير في منهجيات تسجيل ومعالجة مجموعات الخلايا العصبية ذات الدقة الزمنية العالية ، ومع ذلك ، لم تتطور أساليب تحليل السلوك بنفس المعدل وتقتصر على القياسات غير المباشرة والنهج الاختزالي1. في الآونة الأخيرة ، تم تطوير أساليب التعلم العميق القائم على إجراء تحليل سلوكي آلي ومفصل2،3،4،5. يوفر هذا البروتوكول دليل تنفيذ خطوة بخطوة لأدوات DeepBehavior.
غالبًا ما تتضمن أساليب التحليل السلوكي التقليدية وضع علامات يدوية على البيانات من قبل مقيّمين متعددين، مما يؤدي إلى تباين في كيفية تعريف المجربين لسلوك6. ويتطلب وضع العلامات اليدوية للبيانات وقتا وموارد تزيد بشكل غير متناسب مع كمية البيانات المجمعة. وعلاوة على ذلك، فإن البيانات الموسومة يدويًا تقلل من نتائج السلوك إلى قياسات فئوية لا تلتقط ثراء السلوك، وستكون أكثر ذاتية. وبالتالي ، قد تكون الأساليب التقليدية الحالية محدودة في التقاط التفاصيل في السلوكيات الطبيعية.
يقدم صندوق أدوات DeepBehavior حلاً دقيقاً ومفصلاً وزمنياً للغاية وآلياً باستخدام التعلم العميق للتحليل السلوكي. وسرعان ما أصبح التعلم العميق في متناول الجميع باستخدام أدوات وحزم مفتوحة المصدر. ثبت أن الشبكات العصبية الملتوية (CNNs) فعالة للغاية في مهام التعرف على الكائنات وتتبعها7و8. باستخدام CNNs الحديثة ووحدات معالجة الرسومات عالية الأداء (وحدات معالجة الرسومات) ، يمكن معالجة مجموعات البيانات الكبيرة للصور والفيديو بسرعة بدقة عالية7و9و10و11. في DeepBehavior ، هناك ثلاثة أبنية صافي ة عصبية ملتوية مختلفة ، TensorBox ، YOLOv3 ، و OpenPose2.
الإطار الأول ، Tensorbox ، هو إطار متعدد الاستخدامات يتضمن العديد من أبنية CNN المختلفة للكشف عن الكائنات12. TensorBox هو الأنسب للكشف عن فئة كائن واحد فقط لكل صورة. المخرجات الناتجة هي مربعات محيطة من الكائن موضع الاهتمام(الشكل 1)والإحداثيات الديكارتية للمربع المحيط.
الإطار الثاني سي هو YOLOv3، الذي يرمز إلى “أنت تبدو مرة واحدة فقط”13. YOLOv3 مفيد عندما يكون هناك العديد من الكائنات ذات الأهمية التي يجب تعقبها بشكل منفصل. يتضمن إخراج هذه الشبكة المربع المحيط بفئة تسمية الكائن المقترن بالإضافة إلى إحداثيات المربع الديكارتي المحيط للكائن في إطار الفيديو(الشكل 2).
الإطاران السابقان مفيدان للبيانات السلوكية المعممة التي يتم جمعها من التجارب المختبرية القياسية في الموضوعات الحيوانية. إطار سي إن إن الأخير هو OpenPose14،15،16 الذي يستخدم لتقدير تشكل مشتركة الإنسان. يكشف OpenPose عن جسم الإنسان واليد والوجه والقدم النقاط الرئيسية على الصور. وتسمى مخرجات الإطار صورا ً للموضوع البشري بالإضافة إلى إحداثيات جميع النقاط الرئيسية الـ 25 في الجسم و21 نقطة رئيسية لكل يد(الشكل 3).
هذا الدليل التفصيلي خطوة بخطوة لتنفيذ صندوق أدوات DeepBehavior المفتوح المصدر الذي تم تطويره مؤخرًا يستخدم شبكات عصبية ملتوية حديثة لتتبع سلوك الحيوان (مثل حركة مخلب) أو السلوك البشري (على سبيل المثال الوصول إلى المهام). من خلال تتبع السلوك، يمكن اشتقاق الحركية المفيدة من السلوك مثل الموضع والسرعة والتسارع. يشرح البروتوكول تركيب كل بنية CNN ، ويوضح كيفية إنشاء مجموعات بيانات تدريبية ، وكيفية تدريب الشبكات ، وكيفية معالجة مقاطع الفيديو الجديدة على الشبكة المدربة ، وكيفية استخراج البيانات من الشبكة على مقاطع الفيديو الجديدة ، وكيفية ما بعد معالجة بيانات الإخراج لجعلها مفيدة لمزيد من التحليل.
Protocol
Representative Results
Discussion
هنا ، نقدم دليلخطوة بخطوة لتنفيذ DeepBehavior ، لدينا مؤخرا وضعت التعلم العميق القائم على أدوات لتحليل بيانات التصوير السلوك الحيواني والبشري2. نحن نقدم تفسيرات مفصلة لكل خطوة لتركيب الأطر لكل بنية شبكة ، وتوفير وصلات لتركيب متطلبات المصدر المفتوح لتكون قادرة على تشغيل هذه الأطر. ?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
نود أن نشكر بينغ بينغ تشاو وبيمان غولشاني لتوفير البيانات الخام لاختبارات التفاعل الاجتماعي اثنين من الماوس المستخدمة في الورقة الأصلية2. تم دعم هذه الدراسة من قبل المعاهد القومية للصحة NS109315 ومنح NVIDIA GPU (AA).
Materials
| CUDA v8.0.61 | NVIDIA | n/a | GPU Software |
| MATLAB R2016b | Mathworks | n/a | Matlab |
| Python 2.7 | Python | n/a | Python Version |
| Quadro P6000 | NVIDIA | n/a | GPU Processor |
| Ubuntu v16.04 | Ubuntu | n/a | Operating System |
References
- Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
- Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data. Front Syst Neurosci. 13, 20 (2019).
- Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. Fast animal pose estimation using deep neural networks. Nat Methods. 16 (1), 117-125 (2019).
- Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
- Stern, U., He, R., Yang, C. H. Analyzing animal behavior via classifying each video frame using convolutional neural networks. Sci Rep. 5, 14351 (2015).
- Tinbergen, N. On aims and methods of ethology. Zeitschrift für Tierpsychologie. 20, 410-433 (1963).
- LeCun, Y., Bengio, Y., Hinton, G. Deep Learning. Nature. 521 (7553), 436-444 (2015).
- Zhao, Z., Zheng, P., Xu, S., Wu, X. Object Detection With Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).
- He, K., Zhang, X., Ren, S., Deep Sun, J. Residual Learning for Image Recognition. arXiv. , (2015).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. ImageNet classification with deep convolutional neural networks. Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, 1097-1105 (2012).
- Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. Going deeper with convolutions. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).
- Stewart, R., Andriluka, M., Ng, A. Y. End-to-End People Detection in Crowded Scenes. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).
- Redmon, J., Farhadi, A. YOLOv3: An Incremental Improvement. arXiv. , (2018).
- Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. arXiv. , (2017).
- Simon, T., Joo, H., Matthews, I., Sheikh, Y. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. arXiv. , (2017).
- Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. Convolutional Pose Machines. arXiv. , (2016).
