このプロトコルは、従来のコンピューターを使用して従来の web カメラの動画から昆虫のアンテナとテングの位置のフレーム単位で追跡するため、斬新なソフトウェア、SwarmSight を使用するための手順を説明します。無料、フリー、オープン ソースのソフトウェアは、フレーム ・ プロセスが約 120 倍の人間よりも速くしよりも人間の精度で実行します。
多くの科学的、農学上重要な昆虫は、揮発性化学物質の存在を検出し、給餌時に口吻を拡張アンテナを使用します。急速にアンテナとテングの自然な動きの高分解能測定を取得し、化学的、発達的、および遺伝的操作への応答でどのように変化を評価する能力は、昆虫の行動の理解を助けることができます。評価集計昆虫の群れや自然から動物のグループの動き研究所ビデオ ビデオ分析ソフトウェア SwarmSight を使用しての私たちの前の仕事を拡張することによって我々 は新しい、無料、フリー、オープン ソース ソフトウェア モジュール SwarmSight 付加物を開発従来のコンピューターを使用して従来の web カメラの動画から昆虫のアンテナとテングの位置のフレーム単位で追跡のため (SwarmSight.org) を追跡します。ソフトウェア処理人間の約 120 倍のフレームよりも人間の精度で実行し、触角のダイナミクスを取り込むことができます 30 フレーム/秒 (fps) の動画を使用して 15 Hz まで。ソフトウェアは、2 つの悪臭に蜂蜜の蜂の触角の応答を追跡し、臭気発生源の約 1 から重要な平均触角エディタジェームズを発見に使用されたにおいのプレゼンテーションの後の s。アンテナ位置密度熱マップのクラスターの形成とクラスターと角度依存性臭気濃度を意味を見ました。
ほとんどの節足動物は、アンテナまたは時間と空間の環境手がかりと信号をサンプルする他の付属を移動します。動物は、アンテナを使用して化学揮発性物質や味覚および機械刺激1,2,3、4などの感覚的手がかりを検出することにより、環境を移動できます。昆虫、アンテナには化学揮発4,5,6に結合し、中央の脳領域1,7 嗅覚ニューロンを介してこの信号を転送の感覚受容器が含まれています。 ,8,9。昆虫は、については着信悪臭4,10,11を調節するためのアンテナ位置を調整できます。この変調は、積極的に情報に基づいた行動悪臭のプルーム12,13レスポンスを促進します。
そのテング14を拡張することによって、他の中のハエ (例えばミツバチとマルハナバチ)、Lepidopterans (蝶など) コガシラナガゴミムシ (例えばハエや蚊) など多くの昆虫フィードします。,15,16,17,18,19,20,21テング拡張子は確実に過去の様々 な記憶・学習タスク22,23,24,25,26,で使用されている。27,28,29,30,31。同様に、触角運動高時間・空間分解能の定量的評価は、刺激、動作、および動物の内部状態との関係に洞察力をもたらす可能性があります。確かに前作は触角の動きが環境の蜂蜜の蜂の追跡に関する情報の豊富な量を含める方法および学習32,33,34、動きを変更する方法を示しています。 35,36,37,38。
過去 10 年間の動物の行動を観察するための方法大幅加速された高解像度の動画カメラの進歩によってコンピューターの処理速度、およびマシン ビジョンのアルゴリズム。動物の行動のビデオを処理できる高度なソフトウェアと動物の検出、カウント、追跡、および場所の好み分析などのタスクを支援されていて、抽出関連測定39,40, 41,42,43,44,45,46,47。
これらの技術を持っても昆虫のアンテナとテングの動きの追跡を支援します。人間の査定人マウス カーソルを使用して手動でアンテナの位置を追跡することが可能です。ただし、このメソッドは、正確なことができますが、タスクは、時間と人間の不注意と疲労信頼性の低い結果になります。特別な装置および準備は、複雑なソフトウェアの必要性を減らすために使用できます。たとえば、1 つのセットアップ高速カメラを使用し、アンテナ移動48を追跡するアンテナの先端を塗装します。ユーザーは、49アンテナとテングの場所を検出するにソフトウェアを支援するためにビデオのキー フレームの選択を依頼することができます。別のアプローチはアンテナを識別するために 2 つの最大運動クラスターを検出が、テング場所50は検出されません。別のソフトウェア パッケージは、アンテナとテングの場所を検出することができますが、約 7.5 フレーム51、リアルタイムまたは長期的な観察研究のため禁止となる毎の処理時間の s。最後に、46のタスクを実行する (例えばEthoVision)、商用ソフトウェア パッケージをカスタマイズすることが可能であろうが、ライセンスとトレーニング コストは法外なすることができます。
ここで説明したメソッドと我々 は運動解析ソフトウェア41昆虫の触角と次の目標を持つテングの位置を追跡するための私たちの前の仕事を拡張: (1) 特別なハードウェアや複雑な動物の準備は不要 (2)フレームのリアルタイム処理 (30 fps またはより高速) 従来のコンピューターの使用、および (4) オープン ソースは、簡単に拡張可能なコード (3) 使いやすさに。
その結果、新規メソッドとSwarmSight 付加物の追跡を、オープン ソース ・ ソフトウェア アンテナのヒントの絵を必要としない、消費者の web カメラを使用してビデオ、および従来のコンピューター (30-60 fps でプロセスのビデオ フレームをキャプチャできます。図 1)。ソフトウェアは、ビデオのファイルを入力として受け取ります。ユーザーは、ビデオで昆虫の頭の位置を検索、処理、コンマ区切り値 (.csv) ファイルがアンテナとテングの場所に生成します。ソフトウェアは、FFmpeg ライブラリ52を使用して何百もの (ほとんどのデジタル カメラで生成された形式を含む) さまざまなビデオ フォーマットを読み取ることができます。
図 1: 動物のセットアップやソフトウェアの出力。(A) A 蜂蜜蜂ハチの頭と体をハーネスで拘束されました。動物、ビデオカメラの前に光源が置かれた (B) 匂いは、上に、真空源は動物の後ろに配置されます。(C) アンテナ先端とテング変数ビデオから SwarmSight ソフトウェアによって検出されました。(D) ユーザーはアンテナ センサーを置いた動物とフィルターのパラメーターを調整します。ソフトウェアは、アンテナとテングの位置 (黄色のリング) を検出します。この図の拡大版を表示するのには、ここをクリックしてください。
まず、昆虫の体とその頭は、アンテナとテングの動きは容易に (図 1 a) を観察するようにハーネスで拘束されます。臭いの元は空気中から悪臭を削除し、感覚適応 (図 1 b) の潜在的な影響を最小限に抑えるために、後ろ置かれ真空のソースと虫の前に配置されます。従来の web カメラは三脚に昆虫の頭の上に配置されます。LED は、臭気が提示されていることを示すためのカメラのビュー内で配置できます。
図 2: アンテナ座標系。X、Y の値は、左上隅が原点と X と Y の値の増加右下隅に向かって移動するときビデオの座標システムを使用します。角度は度頭 (通常臭気発生源) の前面を基準に表されます。値「0」は、動物の前に直接アンテナ鞭毛によって形成される行を指していることを示します。すべての角度は肯定的、反対方向 (例えば左に右の鞭毛ポイント) にアンテナ ポイントしたときを除く。この図の拡大版を表示するのにはここをクリックしてください。
撮影後に、動画ファイルを開く SwarmSight ソフトウェアで、ユーザーが、昆虫の頭の上のアンテナ センサー ウィジェット (図 1、黒い正方形) の位置し、ビデオの再生を開始します。.Csv ファイルは、X、結果を保存すると、アンテナの Y 位置ヒント、アンテナ角度 (図 2)、頭とテングの前面を基準にして X, Y 位置。また、各アンテナ支配的なセクター指標が計算されます。各アンテナを取り巻く 5 つの 36 度セクターのほとんどのポイントを含んだメトリック ショー、アンテナをする可能性が高いと判断、アンテナ位置/角度測定基準がうるさいまたはそれ以外の場合問題となるビデオのため信頼できない場合に役立ちます。
簡単に言えば、ソフトウェアはモーション フィルター53とリラックスした洪水塗りつぶしアルゴリズム54のセットを使用して動作します。2 つのフィルターを使用可能性がありますアンテナ ポイントを見つけよう: 3 連続フレーム間差分フィルター41,55と中央背景差分56フィルター。色距離のしきい値フィルターは、テング ポイントの検出に使用されます。各フィルターのポイントの上位 10% が結合され、2 ピクセル (px) までギャップの連続したポイントを検査し洪水塗りつぶしアルゴリズムが極端なポイントを検索します。フレームのデコード、処理、およびレンダリング パイプラインおよびフィルターのデータ フローの割り当ては、ハイパフォーマンスを達成した最適化されたメモリを並列します。生の x と y 座標値、ソフトウェアによって生成された、3 フレーム ローリング メディアン フィルター57と後処理 (ディスカッションを参照してください)。完全なソース コードをダウンロードする手順は、オンライン58を見つけることができます。
下記アンテナ追尾の蜂蜜の蜂ハチを準備するためのプロトコルです。同様のプロトコルは、他の昆虫のアンテナ/テングの動きを追跡する使用できます。[結果] セクションで、ソフトウェア、人間の査定人と 5 つの匂いに触角運動評価実行の追跡ソフトウェアの出力の比較によって検出されるサンプル アンテナ トレース出力をについて説明します。
ここで紹介した方法が特別な動物標本やハードウェアを必要とせず昆虫のアンテナとテングの動きをリアルタイムで追跡を可能にします。
制限事項:
これらの利点にもかかわらず、法の制限があります。動物の頭が動き、位置と各ビデオのための動物の方向を選択するユーザーの必要性から制限されている要件が含まれます Windows コンピューターおよびソフトウェアの無力を追跡するためにアクセスするための要件3 次元 (3 D) で、以下いくつかの視覚的にあいまいな付属肢のポジションでの動き。
ソフトウェアには、動物の頭が場所に固定され、ビデオの間に移動されていませんが必要です。これは、前仕事48,49,50,51の準備に似ています。頭の回転の自動検出を許可するようにソフトウェアを変更することが可能、ただし、この追加の処理時間を消費するし、エラーの新しいソースをご紹介します。修正されたソフトウェアは正しく頭の回転を検出した場合、計算の頭部の回転角度を基準として、アンテナ角度に影響が及ぶ。現在、ユーザーは、動画ごと一度頭の方向を選択します。このアプローチは、ヒューマン エラーは、なくはないを最小限に抑える角度計算エラーが発生とき頭がビデオの間に移動することはできません。
また、ソフトウェアには、Windows 7 (またはそれ以降) オペレーティング システム (OS) が必要です。目標は、ソフトウェアをインストール、セットアップ、およびプログラミングや洗練されたコンピューター管理スキルがなくてもユーザーが使いやすいようにでした。それは広く利用可能、それへのアクセスが制限されている場合、仮想マシンを Windows で (例えばVirtualBox、VMware、平行線) を簡単に作成できますが、ターゲット ウィンドウにしました。この OS の選択は大きく簡単に使用できる、コマンド ライン無料インストーラーを使用してソフトウェアのインストールを簡素化し、別の Os に固有のバグを回避できます。
ソフトウェアのみ 2D 空間で肢の位置を追跡します。昆虫は、唯一の 2D 座標を計測するときの重要な情報が失われることを意味することができる 3 D で自分のアンテナを移動する知られています。複数のカメラやミラーの使用は、3 D のローカリゼーションに必要な追加情報を収集に役立つ可能性が、それはアンテナが、三角関係、による面外位置推定を使って計算することが可能一定した長さの線分を 1 つ、カメラ面の片側にのみ移動します。ミツバチ、この仮定、3 D の位置の大まかな見積もりを取得する場合は true を保持するが、他種との状況の場合、必ずしも。
触角とテングにソフトウェアが正しく検出されないいくつかのあいまいな状況の場所をヒントします。動物は、ビデオでは、それは拡張のテングを重なるようにアンテナを移動、ソフトウェアは口吻の先端として、アンテナの先端を検出可能性があります。ただし、アンテナの角度はまだ可能性があります正しく (重複部分) から計算されます。同様に、(すなわち側面ではなく) 動物の頭の上に直接移動アンテナ先端、ソフトウェア可能性がありますのみ、頭の外に表示されているアンテナの一部を検出または、アンテナの前の位置を想定してかスプリアス検出アンテナの位置としてビデオ ・ ノイズ。両方の状況でさえ人間の査定人、テングや頭からアンテナを付け困難であります。この問題を軽減するために raw X と Y に 3 フレーム、対称ローリング平均57フィルターを適用をお勧めします。 座標は、ソフトウェアによって生成されます。このフィルターは大きな過渡 (シングル フレーム) ポジション変動を削除し、長いアンテナ位置動きが保持されます。我々 は、3 フレーム フィルター フィルターなしより広いフィルター (例えば5、11、または 15 のフレーム) が精度を削減しながらも実行を発見しました。コード例 R フィルターとビデオ チュートリアルを使用するには、オンライン58を見つけることができます。
科学的な道具としての価値。
急速にコスト効果の高い方法で正確な昆虫の付属肢の動きを取得する手法の有効性調査の新しい領域を開く可能性があります。
吻伸展反射 (PER) は、さまざまな昆虫の59の記憶・学習を調査する一般的に使用される行動応答です。以前の研究は、テングの動き65,66にはるかに複雑なトポロジを示されているビデオと筋電図学的解析が一般的に当たり、バイナリ拡張またはないメジャーに頼ってきました。ここにメソッドは、高時間・空間的解像度でテングの動きの急速な定量化をことができます。
悪臭に対応昆虫アンテナ動きはよくわかっていません。この理由の 1 つは、アンテナをアンテナの動きデータを取得するコスト効果の高い、自動化された手段が使用不能だったので、急速に移動する傾向があることです。ここで紹介した方法は、急速に多数の条件における昆虫の多数のアンテナ動きデータを取得される可能性があります。これは、たとえば、様々 な刺激、特に揮発性の臭気に対応アンテナ動きの間のマッピングを調査して研究者を助けることができる.30 Hz でフレームをキャプチャするカメラを使用すると、ソフトウェアは触角運動学を特徴付けるため使用することができます 15 Hz (ナイキスト限界)。高い周波数での特性評価が必要な場合は、高いキャプチャ レート (たとえば60 や 120 fps) でカメラが利用できます。ただし、高速のコンピューターは、リアルタイムでのより高い fps ビデオを処理する必要があります。クラスと、おそらくさらにいくつかの個々 の臭気がある特性の生得的な触角の動きが推測された.それらのクラスまたは化合物ができる発見され、不明な場合、未熟な昆虫の触角の動きからにおいやそのクラスを検出できます。このようなマッピングが存在する場合、十分なアンテナ運動データと最先端の機械学習アルゴリズムの組み合わせは、明らかにそれが開始されます。また、どのようにマッピングに学習、フォーム開発時にレスポンスの変化やと中断されることは、遺伝的介入は嗅覚システムの機能への洞察力を提供できます。最後に、複雑な環境で臭に最適なサンプリング方法が明らかになった場合、この作品は悪臭の人工検出への洞察力を与えることができます。
今後の作業:
ここでは、アンテナの動きデータことができます急速に得、分析されたことを示しました: 重要な動作レスポンスは当社のソフトウェアによって生成されたデータから検出できるより詳細な調査のいくつかの領域が同定されました。
刺激誘発アンテナの角度からの逸脱とベースラインに回復および任意の刺激-結論のリバウンド効果と臭気濃度依存性を調査、数学的にモデル化します。さらに、飛び廻るによるアンテナの動きの変更または嫌悪エアコンもソフトウェアを評価することができます。
匂いの良い分化を探索することも。本研究では、純粋な内の悪臭や希薄化後のバージョン x 35 誘発される同様の応答: アンテナ、平均すると、急速に臭気発生源から撤回して、数秒後前においベースラインに戻る登場します。我々 は推測も、希薄化後のバージョンは蜂蜜の蜂のための非常に強いニオイをされている可能性があります。True の場合、濃度の広い範囲は触角の応答が悪臭を区別するかどうかは、される可能性があります。さらより高度な分析より良い別の悪臭に対応の触角の動きの違いを明らかにするかもしれない。この稿では SwarmSight のウェブサイト67に興味がある研究者に利用できる図を生成するために使用するデータ ファイルをしました。
さらに、本稿の範囲外ながらデュアル ミラー角度 45 ° (たとえば図 1を参照) の部屋に動物の動画を処理するソフトウェアを拡張できます。正確にローカライズし、肢と 3 D 空間での動きを追跡するために使用可能性があります。ただし、3 D トラッキング アルゴリズムが効率的にしなければならない: (a) と (b)、ミラー角度の欠陥のために正しい、サイドミラーのいずれかで表示されます (c) カメラによる歪みのアカウントに複数のアンテナの区別位置決め。
最後に、位置精度の向上、カルマン フィルター68、どのモデルの使用によって実現されている可能性があります、付加速度と加速度予測場所を制約するなど物理的な状態情報を活用します。ただし、精度の任意の利益を追加計算による速度の任意の削減に対して評価されるべき。
結論:
多くの昆虫は、積極的に彼らのローカル環境で揮発性化合物をサンプルにアンテナを使用します。触角の動きのパターンが洞察力昆虫のニオイの知覚とエアコン、有毒な化合物、遺伝子変異による影響があります。同様に、テングの動きは、ニオイの知覚とその変調を評価するために使用されています。しかし、急速に大量の高解像度の付属肢の動きデータを得ることは難しいされています。ここでは、プロトコルおよびソフトウェアはこのようなタスクを自動化するが記述されます。要約すると、私たちを作成して安価なハードウェアの組み合わせ、一般的な動物の準備、およびオープン ソースのソフトウェアを使用して急速に高解像度の昆虫の付属肢の動きのデータを取得する方法を示した。ソフトウェア、どのようにそれは速度と精度で人間の査定人よりも優れている、その出力データの分析および視覚化できる方法の出力が表示されます。
The authors have nothing to disclose.
RCG、SMC、JB は、SMC の NIH の R01MH1006674 と RCG に NIH R01EB021711 によって支えられました。CMJ と BHS は NSF アイデア ラボ プロジェクトによって支えられたで「コードを割れ嗅覚」BHS に。我々 はこの研究に彼らの支援のためカイル · スタインメッツ、タリン ・ Oboyle とレイチェル Halby をありがとうございます。
Insect harness | N/A | N/A | Use materials needed for Protocol sections 1-3.1.1 of Smith & Burden (2014) |
Odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Vacuum source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
LED connected to odor delivery source | N/A | N/A | Use materials needed for Protocol section 3 of Smith & Burden (2014) |
Low Voltage Soldering Iron | Stannol | Low Voltage Micro Soldering Iron 12V, 8W | |
DC Power Supply | Tekpower | HY152A | |
White sheet of paper | Georgia-Pacific | 998606 | Any white sheet of paper can be used as alternative |
Tripod | AmazonBasics | 50-Inch Lightweight Tripod | Optional |
Camera | Genius | WideCam F100 | FLIR Flea3 or another camera with manual focus can be used. |
Camera software | Genius | N/A | Software comes with camera. On MacOS, Photo Booth app can be used to record videos. |
Camera shutter speed software | Genius | N/A | Genius camera software allows shutter speed setting. In Mac OS, iGlasses by ecamm can be used instead: http://www.ecamm.com/mac/iglasses/ |
Windows Operating System | Microsoft | Windows 7 Professional | Versions 7 or later are compatible. Oracle VirtualBox, Parallels Desktop, or VMWare Fusion can be used to create a Windows virtual machine in MacOS environments. |
SwarmSight software | SwarmSight | Appendage Tracking | Download from http://SwarmSight.org |
R software | R Project | R 3.4.0 | Download from: https://cran.r-project.org/bin/windows/base/ |
R Studio software | RStudio | RStudio Desktop | Download from: https://www.rstudio.com/products/rstudio/download/ |