Шаг за шагом Внедрение DeepBehavior, Глубокое обучение Toolbox для автоматизированного анализа поведения

Подробный анализ поведения является ключом к пониманию мозга и отношения поведения. Там было много интересных достижений в методологиях для записи и манипулирования нейронных популяций с высоким временным разрешением, однако, методы анализа поведения не разработаны с той же скоростью и ограничиваются косвенными измерениями и редукционистский подход¹. В последнее время методы глубокого обучения были разработаны для выполнения автоматизированного и детального анализа поведения^2,3,4,5. Этот протокол обеспечивает пошагово-пошаговое руководство по реализации для инструментария DeepBehavior.

Традиционные методы поведенческого анализа часто включают вручную маркировку данных несколькими оценщиками, что приводит к дисперсии в том, как экспериментаторы определяют поведение^6. Ручная маркировка данных требует времени и ресурсов, которые непропорционально увеличиваются по объему собранных данных. Кроме того, помеченные вручную данные уменьшают результаты поведения в категориальные измерения, которые не отражают богатство поведения, и будут более субъективными. Таким образом, современные традиционные методы могут быть ограничены в захвате деталей в естественном поведении.

Набор инструментов DeepBehavior представляет собой точное, подробное, высоко временное и автоматизированное решение с использованием глубокого обучения для поведенческого анализа. Глубокое обучение быстро стало доступным для всех с помощью инструментов и пакетов с открытым исходным кодом. Конволюционные нейронные сети (CNN) доказали свою высокую эффективность в распознавании объектов и отслеживания задач^7,8. Используя современные CNN и высокопроизводительные графические процессоры (ГПУ), большие наборы данных изображений и видео могут быть быстро обработаны с высокой точностью^7,9,10,11. В DeepBehavior существует три различных конволюционных нейронных сетевых архитектуры, TensorBox, YOLOv3 и OpenPose².

Первая структура, Tensorbox, представляет собой универсальную структуру, которая включает в себя множество различных архитектур CNN для обнаружения объектов^12. TensorBox лучше всего подходит для обнаружения только одного класса объектов на изображение. Полученные выходы связывают ящики объекта интереса(рисунок 1)и картезианские координаты ограничивающего ящика.

Второй си-эн-эн рамки YOLOv3, который выступает за “Вы только посмотрите один раз”¹³. YOLOv3 является выгодным, когда есть несколько объектов, представляющих интерес, которые должны быть отслежены отдельно. Выход этой сети включает в себя ограничивающий ящик с соответствующим классом метки объекта, а также ограничивающие коробочки картошные координаты объекта в кадре видео (Рисунок 2).

Предыдущие две фреймы являются выгодными для обобщенных поведенческих данных, собранных в ходе стандартных лабораторных экспериментов на животных. Последний cnn рамки OpenPose^14,15,^16, который используется для человеческой совместной оценки позы. OpenPose обнаруживает человеческие тела, руки, лица и ноги ключевых точек на изображениях. Выходы фреймворка помечены изображениями человека, а также координатами всех 25 ключевых точек в теле и 21 ключевой точки каждой руки(рисунок 3).

В этом подробном пошаговом руководстве по реализации нашего недавно разработанного инструментария DeepBehavior с открытым исходным кодом используются современные конволюционные нейронные сети для отслеживания поведения животных (например, движение лапы) или поведение человека (например, достижение задач). Отслеживая поведение, полезные кинематики могут быть получены из поведения, такие как положение, скорость и ускорение. Протокол объясняет установку каждой архитектуры CNN, демонстрирует, как создавать обучающие наборы данных, как обучать сети, как обрабатывать новые видео в обученной сети, как извлечь данные из сети на новых видео, и как после обработки выходных данных, чтобы сделать их полезными для дальнейшего анализа.