יישום שלב אחר שלב של התנהגות DeepBehavior ארגז כלים למידה עמוקה עבור ניתוח התנהגות אוטומטית
Summary
מטרת פרוטוקול זה היא לנצל מראש בנוי רשתות עצביות convolutional כדי להפוך מעקב התנהגות ולבצע ניתוח התנהגות מפורטת. ניתן להחיל מעקב אחר התנהגות על כל נתוני הווידאו או רצפי התמונות וניתנים להכליל כדי לעקוב אחר כל אובייקט המוגדר על-ידי המשתמש.
Abstract
הבנת ההתנהגות היא הצעד הראשון להבנת באמת מנגנונים עצביים במוח שנוהגים בה. שיטות מסורתיות לניתוח התנהגותי אינן לוכדים את העושר הגלום בהתנהגות הטבעית. כאן, אנו מספקים הוראות מפורטות צעד אחר צעד עם פריטים חזותיים של המתודולוגיה האחרונה שלנו, Deepהתנהגו. ארגז הכלים DeepBehavior משתמש במסגרות למידה עמוקה שנבנו עם רשתות עצביות convolutional כדי לעבד במהירות ולנתח סרטי וידאו התנהגותיים. פרוטוקול זה מדגים שלוש מסגרות שונות עבור זיהוי אובייקט יחיד, זיהוי אובייקטים מרובים, ו תלת מימדי (3D) משותף האדם תנוחות מעקב. מסגרות אלה מחזירות קואורדינטות קרטזיות של מושא הריבית עבור כל מסגרת של וידאו ההתנהגות. נתונים שנאספו מארגז הכלים DeepBehavior מכילים פרטים רבים יותר מאשר שיטות ניתוח התנהגות מסורתיות ומספק תובנות מפורטות לגבי דינמיקת ההתנהגות. התנהגות עומק מכמת משימות התנהגות בצורה חזקה, אוטומטית ומדויקת. לאחר זיהוי התנהגות, מסופק קוד לאחר עיבוד כדי לחלץ מידע ופריטים חזותיים מסרטוני ההתנהגות.
Introduction
ניתוח מפורט של התנהגות הוא המפתח להבנת המוח ויחסי ההתנהגות. לעומת זאת, היו התפתחויות מרתקות רבות במתודולוגיות להקלטה וטיפול באוכלוסיות נירואליות ברזולוציה גבוהה ביותר, אולם השיטות לניתוח התנהגות לא פותחו באותו קצב ומוגבלות למדידות עקיפות ולגישה מדוקדקת1. לאחרונה, שיטות מבוססות למידה עמוקה פותחו כדי לבצע ניתוח התנהגות אוטומטית ומפורטת2,3,4,5. פרוטוקול זה מספק מדריך יישום צעד-אחר-צעד עבור ארגז הכלים DeepBehavior.
שיטות מסורתיות לניתוח התנהגותי כוללות לעיתים קרובות תיוג נתונים באופן ידני על-ידי מעריכים מרובים, המובילים לשונות באופן שבו הניסויים מגדירים התנהגות6. תיוג ידני של הנתונים מחייב זמן ומשאבים המגבירים באופן לא פרופורציונלי את כמות הנתונים שנאספו. יתר על כן, נתונים מתויג באופן ידני להפחית את התוצאות ההתנהגות לתוך מדידות הקטקטיליות אשר לא ללכוד את עושרה של ההתנהגות, ויהיה יותר סובייקטיבי. לפיכך, השיטות המסורתיות הנוכחיות עשויות להיות מוגבלות בלכידת הפרטים בהתנהגויות הטבעיות.
ארגז הכלים DeepBehavior מציג פתרון מדויק, מפורט, זמני מאוד ואוטומטי באמצעות למידה עמוקה לניתוח התנהגותי. למידה עמוקה הופכת במהירות לנגישה לכל עם כלים וחבילות של קוד פתוח. Convolutional רשתות עצביות (cnns) הוכחו כיעילים ביותר במשימות זיהוי אובייקטים ומעקב אחר משימות7,8. באמצעות היום cnns מודרני ביצועים גבוהים-יחידות עיבוד גרפיקה (gpus), תמונה גדולה וערכות נתונים וידאו ניתן לעבד במהירות עם דיוק גבוהה7,9,10,11. באופן התנהגותי, יש שלוש ארכיטקטורות נטו convolutional עצביות שונות, TensorBox, YOLOv3, ו OpenPose2.
המסגרת הראשונה, Tensorbox, היא מסגרת רב-תכליתית המשלבת ארכיטקטורות CNN רבים שונים עבור זיהוי אובייקט12. TensorBox מתאים ביותר לזיהוי מחלקת אובייקט אחד בלבד לכל תמונה. התפוקות המתקבלות הן תיבות תוחמות של אובייקט הריבית (איור 1) והקואורדינטות הקרטזיות של התיבה התוחמת.
מסגרת ה-CNN השנייה היא YOLOv3, המהווה את “הסתכל פעם אחת בלבד”13. YOLOv3 הוא יתרון כאשר קיימים מספר אובייקטים של עניין שיש לעקוב אחריהם בנפרד. הפלט של רשת זו כולל את התיבה התוחמת עם המחלקה של תווית האובייקט המשויכת, כמו גם את הקואורדינטות הקרטזיות של התיבה התוחמת של האובייקט במסגרת הווידאו (איור 2).
שתי המסגרות הקודמות הן יתרון למידע התנהגותי כללי שנאסף מניסויי מעבדה סטנדרטיים בנושאי בעלי חיים. מסגרת CNN האחרונה היא openpose14,15,16 אשר משמש להערכה האדם המשותף פוזה. OpenPose מזהה גוף האדם, יד, פנים, נקודות מפתח ברגל על תמונות. התפוקות של המסגרת מסומנות בתוויות של הנושא האנושי, כמו גם הקואורדינטות של כל 25 נקודות המפתח בגוף 21 נקודות מפתח של כל יד (איור 3).
זה מפורט צעד אחר צעד מדריך ליישום של ארגז הכלים הפותח לאחרונה שלנו מקור התנהגות, מעסיקה רשתות עצביות המדינה-of-the-art convolutional כדי לעקוב אחר התנהגות בעלי חיים (למשל תנועה של כף) או התנהגות אנושית (למשל ההגעה משימות). על-ידי מעקב אחר ההתנהגות, הקינמטיקה שימושית יכולה להיות נגזרת מההתנהגות כגון מיקום, מהירות ותאוצה. הפרוטוקול מסביר את ההתקנה של כל ארכיטקטורת CNN, מדגים כיצד ליצור ערכות נתונים של הדרכה, כיצד להכשיר את הרשתות, כיצד לעבד קטעי וידאו חדשים ברשת המאומנת, כיצד לחלץ את הנתונים מהרשת בקטעי הווידאו החדשים וכיצד ל לאחר העיבוד של נתוני הפלט כדי להפוך אותו לשימושי לצורך ניתוח נוסף.
Protocol
Representative Results
Discussion
כאן, אנו מספקים מדריך צעד אחר צעד למימוש של התנהגות DeepBehavior שפיתחנו לאחרונה ארגז הכלים למידה עמוקה שפותחה עבור בעלי חיים והדמיית ההתנהגות האנושית ניתוח נתונים2. אנו מספקים הסברים מפורטים לכל שלב עבור התקנת מסגרות עבור כל ארכיטקטורת רשת, ולספק קישורים להתקנת דרישות קוד פתוח כד?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
אנו רוצים להודות לפינפינג ז’או ולפיימן גולשני על הענקת הנתונים הגולמיים של שני העכברים בדיקות האינטראקציה החברתית המקורית בעיתון המקורי2. מחקר זה נתמך על ידי NIH NS109315 ו-NVIDIA GPU מענקים (AA).
Materials
| CUDA v8.0.61 | NVIDIA | n/a | GPU Software |
| MATLAB R2016b | Mathworks | n/a | Matlab |
| Python 2.7 | Python | n/a | Python Version |
| Quadro P6000 | NVIDIA | n/a | GPU Processor |
| Ubuntu v16.04 | Ubuntu | n/a | Operating System |
References
- Krakauer, J. W., Ghazanfar, A. A., Gomez-Marin, A., MacIver, M. A., Poeppel, D. Neuroscience Needs Behavior: Correcting a Reductionist Bias. Neuron. 93 (3), 480-490 (2017).
- Arac, A., Zhao, P., Dobkin, B. H., Carmichael, S. T., Golshani, P. DeepBehavior: A Deep Learning Toolbox for Automated Analysis of Animal and Human Behavior Imaging Data. Front Syst Neurosci. 13, 20 (2019).
- Pereira, T. D., Aldarondo, D. E., Willmore, L., Kislin, M., Wang, S. S., Murthy, M., et al. Fast animal pose estimation using deep neural networks. Nat Methods. 16 (1), 117-125 (2019).
- Mathis, A., Mamidanna, P., Cury, K. M., Abe, T., Murthy, V. N., Mathis, M. W., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
- Stern, U., He, R., Yang, C. H. Analyzing animal behavior via classifying each video frame using convolutional neural networks. Sci Rep. 5, 14351 (2015).
- Tinbergen, N. On aims and methods of ethology. Zeitschrift für Tierpsychologie. 20, 410-433 (1963).
- LeCun, Y., Bengio, Y., Hinton, G. Deep Learning. Nature. 521 (7553), 436-444 (2015).
- Zhao, Z., Zheng, P., Xu, S., Wu, X. Object Detection With Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems. , 1-21 (2019).
- He, K., Zhang, X., Ren, S., Deep Sun, J. Residual Learning for Image Recognition. arXiv. , (2015).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. ImageNet classification with deep convolutional neural networks. Proceedings of the 25th International Conference on Neural Information Processing Systems. 1, 1097-1105 (2012).
- Szegedy, C., Wei, L., Yangqing, J., Sermanet, P., Reed, S., Anguelov, D., et al. Going deeper with convolutions. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 7-12 (2015).
- Stewart, R., Andriluka, M., Ng, A. Y. End-to-End People Detection in Crowded Scenes. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). , 27-30 (2016).
- Redmon, J., Farhadi, A. YOLOv3: An Incremental Improvement. arXiv. , (2018).
- Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields. arXiv. , (2017).
- Simon, T., Joo, H., Matthews, I., Sheikh, Y. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. arXiv. , (2017).
- Wei, S. E., Ramakrishna, V., Kanade, T., Sheikh, Y. Convolutional Pose Machines. arXiv. , (2016).
