概要

コンピュータビジョンに基づく侵入植物バイオマス推定

Published: February 09, 2024
doi:

概要

本稿では、無人航空機(UAV)リモートセンシングから得られたデータを活用して、侵入種のバイオマス評価と空間分布を捉える侵入植物バイオマス推定手法の詳細な手順を報告する。このアプローチは、ハザード評価と侵入植物の早期警告を実施するのに非常に有益であることが証明されています。

Abstract

UAVリモートセンシングとコンピュータビジョンに基づいて侵入植物のバイオマスを推定する方法の詳細な手順について報告します。調査範囲からサンプルを収集するために、サンプリングポイントをランダム化するためのサンプル正方形アセンブリを準備しました。ドローンとカメラを用いて無人航空カメラシステムを構築し、自動ナビゲーションにより調査地域のRGB画像を連続的に取得するシステムを構築しました。撮影終了後、サンプルフレーム内の地上バイオマスを回収し、すべての対応物にラベルを付けてパッケージ化しました。サンプル データを処理して、航空画像を 280 x 280 ピクセルの小さな画像に分割して、画像データセットを作成しました。深層畳み込みニューラルネットワークを用いて、調査地域における Mikania micrantha の分布をマッピングし、その植生指数を求めた。採取した生物を乾燥させ、その乾燥重量をグラウンドトゥルースバイオマスとして記録しました。侵略的植物バイオマス回帰モデルは、サンプル画像から植生指数を独立変数として抽出し、それを従属変数としてグラウンドトゥルースバイオマスと統合することにより、K最近傍回帰(KNNR)を使用して構築されました。その結果、外来植物のバイオマスを正確に予測できることが示されました。画像トラバーサルにより、侵入植物バイオマスの正確な空間分布マップが生成され、侵入植物の影響を受けるリスクの高い地域を正確に特定することができました。要約すると、この研究は、無人航空機のリモートセンシングと機械学習技術を組み合わせて、侵入植物のバイオマスを推定する可能性を示しています。これは、侵入植物のリアルタイム監視のための新しい技術と方法の研究に大きく貢献し、地域規模でのインテリジェントな監視と危険評価のための技術サポートを提供します。

Introduction

このプロトコルでは、UAVリモートセンシングとコンピュータービジョンに基づく侵襲的バイオマス推定の提案された方法は、侵入生物の分布を反映し、侵襲的バイオハザードの程度を予測することができます。侵入生物の分布とバイオマスの推定は、これらの生物の予防と制御にとって重要です。侵入植物が侵入すると、生態系に損害を与え、莫大な経済的損失を引き起こす可能性があります。侵入植物の迅速かつ正確な特定と主要な侵入植物バイオマスの推定は、侵入植物の監視と制御における主要な課題です。このプロトコルでは、 Mikania micrantha を例に、無人空中リモートセンシングとコンピュータービジョンに基づく侵入植物バイオマス推定方法を探求し、侵入植物の生態学的研究のための新しいアプローチと方法を提供し、侵入植物の生態学的研究と管理を促進します。

現在、 Mikania micrantha のバイオマス測定は、主に手動サンプリング1によって行われています。従来のバイオマス測定方法では、多くの労働力と材料資源が必要ですが、これらは非効率的で地形によって制限されています。 Mikania micrantha の地域バイオマス推定のニーズを満たすことは困難です。このプロトコルを使用する主な利点は、地域のサンプリング制限を考慮せず、手動調査の必要性を排除する方法で、地域の侵入植物バイオマスと侵入植物の空間分布を定量化する方法を提供することです。

UAVリモートセンシング技術は、植物バイオマスの推定において一定の結果を達成しており、農業2,3,4,5,6,7、林業8,9,10,11、および草地12,13,14で広く使用されています.UAVリモートセンシング技術には、低コスト、高効率、高精度、および柔軟な操作15,16という利点があり、調査エリアでリモートセンシング画像データを効率的に取得できます。次に、リモートセンシング画像のテクスチャ特徴と植生指数を抽出し、広域の植物バイオマスの推定のためのデータを提供します。現在の植物バイオマス推定手法は、主にパラメトリックモデルとノンパラメトリックモデルに分類される17。機械学習アルゴリズムの発展に伴い、より精度の高いノンパラメトリック機械学習モデルは、植物バイオマスのリモートセンシング推定に広く利用されています。Chen et al.18は、混合ロジスティック回帰(MLR)、KNNR、およびランダムフォレスト回帰(RFR)を使用して、雲南省の森林の地上バイオマスを推定しました。彼らは、機械学習モデル、特にKNNRとRFRがMLRと比較して優れた結果をもたらしたと結論付けました。Yanら19は、RFRと極度勾配ブースティング(XGBR)回帰モデルを使用して、さまざまな変数セットを使用して亜熱帯林バイオマスを推定する精度を評価しました。Tianら20は、11の機械学習モデルを利用して、北武湾のさまざまなマングローブ林種の地上バイオマスを推定しました。研究者たちは、XGBR法がマングローブ林の地上部バイオマスを決定するのにより効果的であることを発見しました。マンマシンリモートセンシングを用いた植物バイオマス推定は確立された手法ですが、侵入植物Mikania micranthaのバイオマス推定のためのUAVの使用は、まだ国内外で報告されていません。このアプローチは、侵入植物、特にMikania micranthaのバイオマス推定の以前のすべての方法と根本的に異なります。

要約すると、UAVリモートセンシングには、高解像度、高効率、低コストという利点があります。リモートセンシング画像の特徴変数抽出では、テクスチャ特徴量と植生指数を組み合わせることで、より優れた回帰予測性能を得ることができます。ノンパラメトリックモデルは、植物バイオマス推定においてパラメトリックモデルよりも正確な回帰モデルを取得できます。したがって、侵入植物とそのバイオマスのヌル分布を正確に計算するために、UAVとコンピュータービジョンを使用したリモートセンシングに依存する侵入植物バイオマス実験の次の手順を概説することを提案します。

Protocol

1. データセットの準備 研究対象の選択実験的研究の焦点に基づいてテストサンプルを選択し、 Mikania micrantha や他の侵入植物などのオプションを考慮します。 UAV 画像の収集調査するエリアのサイズに応じて、サイズ0.5 m * 0.5 m、数量25-50の正方形のプラスチックフレームを準備します。 ランダム サンプリング アプローチを採用して、十分な数のバイオマス サンプルを使用して、調査範囲内の土壌サンプリング位置を決定します。サンプルフレームを植生の上に水平に配置し、各植物間の最小分離距離2mで植物を完全に取り囲みます。 ドローンとカメラを使用して、 図1に示すように、UAVリモートセンシング撮影システムを形成します。 UAV を使用して、指定した分析範囲内のルートをプロットします。ルート プランニングの設定を 図 2 に示します。方位と側面のオーバーラップ率を 70% に設定し、2 秒の均一な時間間隔で写真を撮影し、カメラ角度を地面に対して垂直な 90° に維持し、カメラの高度を 30 m に配置します。これにより、 図 3 に示すように、1 つの画像解像度が 8256 x 5504 ピクセルのスタディ エリアの連続的な可視画像データが得られました。 航空画像を保存し、Pythonソフトウェアでバイオマスを推定するための後処理を行います。 地上バイオマスの収集ドローンデータ収集が完了した後、各サンプルプロット内で Mikania micrantha の地上バイオマスを手動で収集します。それらを袋詰めし、それに応じて各袋にラベルを付けます。Mikania micranthaを採取するときは、サンプルプロットが動かないようにしてください。まず、サンプルプロットの内側の端に沿ってMikania micranthaをカットします。 次に、 ミカニア・ミクランタ の根茎を下から切り取ります。混ざっている汚れ、岩、その他の植物をすべて取り除きます。最後に、サンプルを袋に入れてラベルを付けます。 ステップ1.3.1で収集した侵入植物のサンプルを実験室に持参します。収集したすべてのサンプルを風乾して、ほとんどの水分を蒸発させます。 風乾サンプルから水分をさらに除去するには、オーブンを使用します。温度を55°Cに設定します。 サンプルを72時間乾燥させた後、電子天びんで各サンプルを秤量し、バイオマスデータをグラム(g)で記録します。電子天びんを邪魔されない環境に置き、計量、校正、および計量を続けます。 Mikania micrantha の袋を電子天秤に置き、測定値が安定するのを待って、測定値を記録します。 質量が変化しなくなるまで1時間ごとに Mikania micrantha を計量し、バッグの重量を差し引いた読み取り値をそのサンプルの測定質量として記録します。以下の式を使用して、侵入植物の地上バイオマスを計算します。ここで、 B は ミカニア・ミクランサ のバイオマスをグラム/平方メートル(g / m2)で表し、Mは測定された ミカニア・ミクランサの重量で、グラム(g)で測定され、Sはサンプルプロットの面積(平方メートル)に対応します(m2)。 データセットの作成元のUAV画像からサンプル画像に対応するRGB画像を抽出します。Pythonプログラミングを使用して、280ピクセル×280ピクセルのグリッドに分割します(補足図1)。 Python プログラミングを使用して、未加工の画像データをサンプル画像と同じサイズの小さな画像に分割します。セグメンテーションにはスライディング ウィンドウ方式を使用し、水平方向と垂直方向のステップを 280 ピクセルに設定します。 ステップ1.4.2でセグメント化された小さな画像から、880の侵略的な植物の画像と1500の背景画像をランダムに選択してデータセットを作成します。次に、このデータセットを 6:2:2 の比率でトレーニング セット、検証セット、テスト セットに分割します (補足図 2)。 2. Mikania micranthaの同定 ソフトウェアの準備Anacondaの公式Webサイト(https://www.anaconda.com/)にアクセスし、Anacondaをダウンロードしてインストールします。次に、PyCharmのWebサイト(https://www.jetbrains.com/pycharm/)にアクセスし、PyCharmIDEをダウンロードします。 Conda 環境の作成。Anaconda をインストールした後、Anaconda プロンプト コマンド ラインを開き、「 conda create -n pytorch python==3.8 」と入力して新しい Conda 環境を作成します。環境が作成されたら、「 conda info –envs 」と入力して、 pytorch 環境が存在することを確認します。 Anaconda プロンプトを開き、「conda activate pytorch」と入力して pytorch 環境をアクティブ化します。nvidia-smi と入力して、現在の (Compute Unified Device Architecture) CUDA バージョンを確認します。次に、コマンド conda install pytorch==1.8.1 torchvision==0.9.1 torchaudio==0.8.1 cudatoolkit=11.0 -c pytorch を実行して、PyTorch バージョン 1.8.1 をインストールします。 モデル認識のための実行注: PyTorch を使用して、 Mikania micrantha この論文で使用した認識モデル。採用されているネットワークモデルはResNet101です21これは、そのアーキテクチャにおいて元の論文と一致しています。カモミール認識の要件を満たすために、ネットワークの出力セクションに変更が加えられました。イメージを前処理して、モデル入力用に準備します。次のコードを使用して、画像のサイズを 280 x 280 ピクセルから 224 x 224 ピクセルに変更し、モデルのサイズ要件を満たすように正規化します。transform = 変換します。Compose([変換。サイズ変更((224, 224))、変換。ToTensor()や変換。正規化([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])]) 畳み込みニューラルネットワークを使用して、画像の特徴抽出を実行し、次元を削減します。まず、 self.conv1 を使用して初期特徴抽出の畳み込み層を初期化します。この畳み込み層では、元の画像が初期特徴を抽出するためのself.in_channelチャネルを持つ特徴マップに畳み込まれます(補足図3A)。注: 高度なフィーチャーは、残差パスの畳み込み演算で抽出されます。これらの層は、一連の残差ブロックで構成される _make_layer 関数を呼び出すことによって生成されます。各残差ブロックは、畳み込み関数、バッチ正規化関数、および活性化関数で構成され、高度な特徴を徐々に抽出します (補足図 3B)。 レイヤーの機能を使用して、1×1畳み込みによる次元削減のチャネル番号を変更します。この操作により、重要な特徴を保持しながら計算負荷が軽減されます (補足図 3C)。注: 全体として、ResNet101 はさまざまな畳み込み層を使用して特徴抽出を実行し、次元削減は残差ブロック内の 1×1 畳み込み層によって達成されます。このアプローチにより、ネットワークは特徴をより深く学習し、勾配消失の問題を回避できるため、複雑なタスクのイメージ特徴をより効率的に学習して表現できます。 畳み込みとプーリング操作の後、高品質の特徴を全結合層に入力します。注: ResNet アーキテクチャでは、特徴抽出は畳み込みレイヤーで行われます。これらの特徴は、その後、分類のために全結合(FC)レイヤーに送信されます(補足図4)。操作 self.avgpool(x) は、テンソルを固定サイズに再形成するために適応平均プーリングを実行します。操作 torch.flatten(x, 1) はテンソルを 1 次元ベクトルに広げ、 self.fc(x) は 全結合層を平坦化されたベクトルに適用し、最終的に分類の最終ステップとして機能します。このプロセスにより、抽出された特徴が畳み込み層に効果的に渡され、全結合層による分類に適した形式に変換されます。 関数 Softmax を使用して、3 つの分類要件に基づいて最終出力を取得します。 手順 1.4 のデータセットを使用して、多クラス認識モデルをトレーニングします。反復回数を 200 に設定し、初期学習率を 0.0001 に設定します。バッチ サイズを 64 にして、10 回の反復ごとに学習率を 1 分の 1 ずつ減らします。各反復後、最適なモデル パラメーターを自動的に保存します (補足図 5)。 綿密に訓練された認識モデルを使用し、識別のためにステップ1.2.2の元の画像を体系的に走査します。水平および垂直ステップを 280 ピクセルで正確に構成すると、調査範囲の境界内の侵入植物の存在を強調する包括的な分布マップが生成されます。 図 4 に示すように、選択した結果を視覚的に表示します。注: 初期画像は、小さなチャンクに分割し、トレーニング済みのディープラーニングモデルを使用して各チャンクを分類し、結果を出力画像に結合することで前処理されます。チャンクが侵入植物として分類された場合、出力画像上の対応する位置は 255 に設定されます。結果の出力画像は、グレースケール画像ファイルとして保存されます。具体的な実装コードを 補足図 6 に示します。 3. 外来植物バイオマスの推定 RandomResizedCrop 関数と RandomHorizontalFlip 関数 (補足図 7) を使用して簡単なデータ拡張を実行し、手順 1.2 で作成した画像セットを拡張し、バイオマスの推定に一般的に使用される 6 つの植生指数 (RBRI、GBRI、GRRI、RGRI、NGBDI、NGRDI) を抽出します。これらの指数の計算式については、表1を参照してください。 モデルの出力を使用して K 最近傍回帰 (KNNR)22 モデルを作成し、侵入植物のバイオマスを正確に推定します。抽出された植生指数を推定モデルの入力として使用します。 決定係数 R2 と二乗平均平方根誤差 (RMSE)23 を使用して、モデルの精度を評価します。これは次のように計算されます。注: K-Nearest Neighbor Regression (KNNR) アルゴリズムは、回帰問題を解決するために使用されるノンパラメトリック機械学習手法です。その基本的な概念は、入力サンプル距離に基づいて特徴空間内の最も近い K 近傍を決定することにより、結果を予測することです。KNNRを使用する主な利点は、そのシンプルさと理解のしやすさ、およびトレーニングフェーズを必要としないことです。さらに、KNNR はデータの分布について過度の仮定を行いません。KNNRは、連続的な目的変数を予測し、侵入植物のバイオマスを正確に評価するために、回帰問題に適用することができます。 ステップ 3.2 で選択した地上バイオマス推定モデルを使用し、ステップ 2.3.4 の侵入植物分布マップを 280 ピクセルの水平および垂直ストライドでスキャンします。

Representative Results

私たちは、コンピュータ上でプログラム的に実装された、コンピュータビジョンに基づく侵入植物の推定方法の代表的な結果を示します。本実験では、 Mikania micrantha を研究対象として、外来植物の自然生息地における空間分布の評価とバイオマスの推定を行いました。ドローンカメラシステムを用いて研究現場の画像を取得し、その一部を 図3に示します。ResNet1…

Discussion

UAVリモートセンシングとコンピュータビジョンを用いて外来植物のバイオマスを推定する実験の詳細な手順を紹介します。この契約の主なプロセスと手順を 図 7 に示します。適切なサンプル品質は、プログラムの最も重要で困難な側面の1つです。この重要性は、すべての侵入植物だけでなく、他の植物バイオマス推定実験にも当てはまります24

<…

開示

The authors have nothing to disclose.

Acknowledgements

著者は、この研究を支援してくれた中国農業科学院と広西大学に感謝します。この研究は、中国の国家重点研究開発プログラム(2022YFC2601500および2022YFC2601504)、中国国家自然科学基金会(32272633)、深セン科学技術プログラム(KCXFZ20230731093259009)の支援を受けました

Materials

DSLR camera Nikon D850 Sensor type: CMOS; Maximum number of pixels: 46.89 million; Effective number of pixels: 45.75 million; Maximum resolution 8256 x 5504.
GPU – Graphics Processing Unit NVIDIA  RTX3090
Hexacopter DJI  M600PRO Horizontal flight: 65 km/h (no wind environment); Maximum flight load: 6000 g
PyCharm Python IDE 2023.1
Python Python 3.8.0
Pytorch Pytorch 1.8.1

参考文献

  1. Lian, J. Y., et al. Influence of obligate parasite Cuscuta campestris on the community of its host Mikania micrantha. Weed Research. 46, 441-443 (2006).
  2. Yu, X., Bao, Q. Aboveground biomass estimation of potato from UAV multispectral imagery. Remote Sensing. 54 (4), 96-99 (2023).
  3. Guo, T. C., Wang, Y. H., Feng, W. Research on wheat yield estimation based on multimodal data fusion from unmanned aircraft platforms. Acta Agronomica Sinica. 48 (7), 15 (2022).
  4. Shao, G. M., et al. Estimation of transpiration coefficient and aboveground biomass in maize using time-series UAV multispectral imagery. The Crop Journal. 10 (5), 1376-1385 (2022).
  5. Jiang, Q., et al. UAV-based biomass estimation for rice-combining spectral, TIN-based structural and meteorological features. Remote Sensing. 11 (7), 890 (2019).
  6. Fei, S. P., et al. UAV-based multi-sensor data fusion and machine learning algorithm for yield prediction in wheat. Precision Agriculture. 24, 187-212 (2023).
  7. Shu, S., et al. Aboveground biomass estimation of rice based on unmanned aerial vehicle imagery. Fujian Journal of Agricultural Sciences. 37 (7), 9 (2022).
  8. Wu, X., et al. UAV LiDAR-based biomass estimation of individual trees. Fujian Journal of Agricultural Sciences. 22 (34), 15028-15035 (2022).
  9. Yang, X., Zan, M., Munire, M. Estimation of above ground biomass of Populus euphratica forest using UAV and satellite remote sensing. Transactions of the Chinese Society of Agricultural Engineering. 37 (1), 7 (2021).
  10. Li, B., Liu, K. Forest biomass estimation based on UAV optical remote sensing. Forest Engineering. 5, 38 (2022).
  11. Li, Z., Zan, Q., Yang, Q., Zhu, D., Chen, Y., Yu, S. Remote estimation of mangrove aboveground carbon stock at the species level using a low-cost unmanned aerial vehicle system. Remote Sensing. 11 (9), 1018 (2019).
  12. Luo, S., et al. Fusion of airborne LiDAR data and hyperspectral imagery for aboveground and belowground forest biomass estimation. Ecological Indicators. 73, 378-387 (2017).
  13. Li, S., et al. Research of grassland aboveground biomass inversion based on UAV and satellite remoting sensing. Remote Sensing Technology and Application. 1, 037 (2022).
  14. Wengert, M., et al. Multisite and multitemporal grassland yield estimation using UAV-borne hyperspectral data. Remote Sensing. 14 (9), 2068 (2022).
  15. Li, Y., et al. The effect of season on Spartina alterniflora identification and monitoring. Frontiers in Environmental Science. 10, 1044839 (2022).
  16. Wang, F., et al. Estimation of above-ground biomass of winter wheat based on consumer-grade multi-spectral UAV. Remote Sensing. 14 (5), 1251 (2022).
  17. Lu, N., et al. Improved estimation of aboveground biomass in wheat from RGB imagery and point cloud data acquired with a low-cost unmanned aerial vehicle system. Plant Methods. 15 (1), 17 (2019).
  18. Chen, H., et al. Mapping forest aboveground biomass with MODIS and Fengyun-3C VIRR imageries in Yunnan Province, Southwest China using linear regression, K-nearest neighbor and random. Remote Sensing. 14 (21), 5456 (2022).
  19. Yan, M., et al. Biomass estimation of subtropical arboreal forest at single tree scale based on feature fusion of airborne LiDAR data and aerial images. Sustainability. 15 (2), 1676 (2023).
  20. Tian, Y. C., et al. Aboveground mangrove biomass estimation in Beibu Gulf using machine learning and UAV remote sensing. Science of the Total Environment. 781, 146816 (2021).
  21. Shrivastava, A., et al. Beyond skip connections: Top-down modulation for object detection. arXiv. , (2016).
  22. Belkasim, S. O., Shridhar, M., Ahmadi, M. Pattern classification using an efficient KNNR. Pattern Recognition. 25 (10), 1269-1274 (1992).
  23. Joel, S., Jose Luis, A., Shawn, C. K. Farming and earth observation: Sentinel-2 data to estimate within-field wheat grain yield. International Journal of Applied Earth Observation and Geoinformation. 107, 102697 (2022).
  24. Tian, L., et al. Review of remote sensing-based methods for forest aboveground biomass estimation: Progress, challenges, and prospects. Forests. 14 (6), 1086 (2023).
  25. Wei, X. Biomass estimation: A remote sensing approach. Geography Compass. 4 (11), 1635-1647 (2010).
  26. Débora, B., et al. New methodology for intertidal seaweed biomass estimation using multispectral data obtained with unoccupied aerial vehicles. Remote Sensing. 15 (13), 3359 (2023).
  27. Zhang, J. Y., et al. Unmanned aerial system-based wheat biomass estimation using multispectral, structural and meteorological data. Agriculture. 13 (8), 1621 (2023).
  28. Shen, H., et al. Influence of the obligate parasite Cuscuta campestris on growth and biomass allocation of its host Mikania micrantha. Journal of Experimental Botany. 56 (415), 1277-1284 (2005).

Play Video

記事を引用
Huang, Z., Xu, Z., Li, Y., Liu, B., Liu, C., Qiao, X., Qian, W., Qin, F., Li, P., Huang, Y. Computer Vision-Based Biomass Estimation for Invasive Plants. J. Vis. Exp. (204), e66067, doi:10.3791/66067 (2024).

View Video