自動行動分析のためのDeepBehavior、ディープラーニングツールボックスのステップバイステップ実装

行動の詳細な分析は、脳と行動の関係を理解するための鍵です。神経集団を高い時間分解能で記録・操作する方法論は多くの刺激的な進歩を遂げてきましたが、行動解析法は同じ速度で発達しておらず、間接的な測定と還元論的アプローチ¹に限定されています。近年、ディープラーニングベースの方法は、自動および詳細な行動分析^{2、3、4、5}を実行するために開発されています。このプロトコルは、DeepBehavior ツールボックスの実装ガイドを段階的に提供します。

従来の行動分析方法には、複数のエバリュエーターによるデータの手動によるラベル付けが含まれるので、実験者が行動を定義する方法が異なることがあります^。データの手動ラベル付けには、収集されるデータ量に対して不均衡に増加する時間とリソースが必要です。さらに、手動でラベル付けされたデータは、行動の豊かさを捉えないカテゴリ測定値に行動結果を減らし、より主観的になります。したがって、現在の伝統的な方法は、自然な行動の細部をキャプチャする際に制限され得る。

DeepBehaviorツールボックスは、行動分析のためにディープラーニングを使用して、正確で詳細で、非常に時間的で自動化されたソリューションを提供します。ディープラーニングは、オープンソースのツールとパッケージを使用して、すべての人がすばやくアクセスできるようになります。畳み込みニューラルネットワーク(CNN)は、オブジェクト認識およびトラッキングタスク^7、8において非常に効果的であることが証明されています。現代のCnnsと高性能グラフィックス処理ユニット(GPU)を使用すると、大きな画像およびビデオデータセットを高精度^7,9,10,11で素早く処理できます。DeepBehaviorには、3つの異なる畳み込みニューラルネットアーキテクチャ、テンソルボックス、YOLOv3、およびOpenPose²があります。

最初のフレームワーク、Tensorboxは、オブジェクト検出¹²のための多くの異なるCNNアーキテクチャを組み込んだ汎用性の高いフレームワークです。テンソルボックスは、画像ごとに1つのオブジェクトクラスのみを検出するのに最適です。結果として得られる出力は、対象オブジェクトの境界ボックス (図 1) と境界ボックスのデカルト座標です。

2番目のCNNフレームワークはYOLOv3で、「あなたは一度だけ見る^」13の略です。YOLOv3は、個別に追跡しなければならない複数の対象オブジェクトがある場合に有利です。このネットワークの出力には、関連付けられたオブジェクト ラベル クラスを持つ境界ボックスと、ビデオ フレーム内のオブジェクトの境界ボックスデカルト座標が含まれます (図 2)。

前の2つのフレームワークは、動物被験者の標準的な実験室実験から収集された一般化された行動データに有利である。最後のCNNフレームワークは、人間の関節ポーズ推定に使用されるOpenPose^14、15、16です。OpenPose は、画像上の人体、手、顔、足のキーポイントを検出します。フレームワークの出力には、人間の被写体の画像と、身体の25個のキーポイントと各手の21のキーポイントの座標がラベル付けされています(図3)。

最近開発したオープンソースのDeepBehaviorツールボックスの実装に関するこの詳細なステップバイステップガイドは、動物の行動(例えば足の動き)または人間の行動(例えばタスクに到達する)を追跡するために最先端の畳み込みニューラルネットを採用しています。行動を追跡することで、位置、速度、加速度などの行動から有用なキネマティクスを導き出すことができます。プロトコルでは、各 CNN アーキテクチャのインストール、トレーニング データセットの作成方法、ネットワークのトレーニング方法、トレーニング済みネットワーク上で新しいビデオを処理する方法、新しいビデオでネットワークからデータを抽出する方法、および方法を説明します。出力データを後処理して、さらなる分析に役立ちます。