眼窩コンピュータ断層撮影 による 深層学習に基づく医用画像セグメンテーションの応用
Summary
眼窩コンピュータ断層撮影(CT)画像のための物体セグメンテーションプロトコルが導入されました。教師あり学習のために、超解像を用いた軌道構造のグラウンドトゥルースラベリング手法、CT画像からの関心体積抽出法、軌道CT画像に対する2次元シーケンシャルU-Netを用いたマルチラベルセグメンテーションのモデル化手法について解説する。
Abstract
近年、深層学習に基づくセグメンテーションモデルが眼科分野で広く応用されています。本研究では、U-Netに基づく眼窩コンピュータ断層撮影(CT)セグメンテーションモデルを構築する完全なプロセスを提示する。教師あり学習には、労働集約的で時間のかかるプロセスが必要です。軌道CT画像上のグラウンドトゥルースを効率的にマスクするための超解像ラベリング手法を紹介します。また、データセットの前処理の一環として、対象のボリュームがトリミングされます。次に、軌道構造の関心のあるボリュームを抽出した後、U-Netを使用して軌道CTの主要な構造をセグメント化するためのモデルを構築し、入力として使用されるシーケンシャル2Dスライスと、スライス間の相関を保存するための2つの双方向畳み込み長期短期メモリを使用します。この研究は主に眼球、視神経、および外眼筋のセグメンテーションに焦点を当てています。セグメンテーションの評価により、深層学習法を用いた眼窩CT画像へのセグメンテーションの応用の可能性が明らかになりました。
Introduction
眼窩は、眼球、神経、外眼筋、支持組織、視覚や眼球運動のための血管などの重要な構造を含む約30.1cm3の小さく複雑な空間です1。眼窩腫瘍は眼窩上の異常な組織成長であり、それらのいくつかは患者の視力または眼球運動を脅かし、致命的な機能障害につながる可能性があります。患者の視覚機能を維持するために、臨床医は腫瘍の特性に基づいて治療法を決定する必要があり、外科的生検は一般的に避けられません。このコンパクトで混雑したエリアは、臨床医が正常な構造を損なうことなく生検を行うことをしばしば困難にします。眼窩の状態を判断するための深層学習に基づく病理の画像解析は、生検2中の眼窩組織への不必要または回避可能な損傷を回避するのに役立つ可能性があります。眼窩腫瘍の画像解析の1つの方法は、腫瘍の検出とセグメンテーションです。しかし、眼窩腫瘍を含むCT画像の大量データの収集は、発生率が低いため制限されています3。計算腫瘍診断4のための他の効率的な方法は、腫瘍を軌道の正常な構造と比較することを含む。正常な構造の眼窩CT画像の数は、腫瘍のそれよりも比較的多い。したがって、通常の軌道構造のセグメンテーションは、この目標を達成するための最初のステップです。
本研究では、深層学習に基づく軌道構造セグメンテーションの全過程を、データ収集、前処理、その後のモデリングを含めて提示する。この研究は、現在の方法を使用してマスクされたデータセットを効率的に生成することに関心のある臨床医、および眼窩CT画像の前処理とモデリングに関する情報を必要とする眼科医のためのリソースとなることを目的としています。本稿では、医用画像セグメンテーションのためのU-Netの代表的な深層学習ソリューションに基づくシーケンシャル2Dセグメンテーションモデルである、軌道構造セグメンテーションとシーケンシャルU-Netの新しい手法を紹介します。プロトコルは、(1)軌道構造セグメンテーションのグラウンドトゥルースのためのマスキングツールの使用方法、(2)軌道画像の前処理に必要なステップ、(3)セグメンテーションモデルを訓練し、セグメンテーション性能を評価する方法など、軌道セグメンテーションの詳細な手順を記述します。
教師あり学習のために、5年以上にわたって理事会認定を受けた4人の経験豊富な眼科医が、眼球、視神経、外眼筋のマスクに手動で注釈を付けました。すべての眼科医は、CTスキャンで効率的なマスキングのために超解像を使用するマスキングソフトウェアプログラム(MediLabel、材料表を参照)を使用しました。マスキングソフトウェアには、次の半自動機能があります:(1)SmartPencilは、画像強度5の同様の値を持つスーパーピクセルマップクラスターを生成します。(2)SmartFillは、進行中の前景と背景のエネルギー関数を計算することによってセグメンテーションマスクを生成します6,7;(3)セグメンテーションマスクの境界線をきれいにし、元の画像と一貫性を持たせるオートコレクト。半自動フィーチャーの画像例を図 1 に示します。手動マスキングの詳細な手順は、プロトコルセクション(ステップ1)に記載されています。
次のステップは、眼窩CTスキャンの前処理です。軌道の関心体積(VOI)を得るために、眼球、筋肉、および神経が通常の状態で位置する軌道の領域が特定され、これらの領域がトリミングされます。データセットの解像度は高く、面内ボクセル解像度とスライスの厚さは <1 mm であるため、補間プロセスはスキップされます。代わりに、ウィンドウ クリッピングは 48 HU クリッピング レベルと 400 HU ウィンドウで実行されます。トリミングおよびウィンドウクリッピングの後、セグメンテーションモデル入力8に対して軌道VOIの3つのシリアルスライスが生成される。プロトコルセクション(ステップ2)には、前処理ステップの詳細が記載されています。
U-Net9は、医用画像に広く使用されているセグメンテーションモデルです。U-Netアーキテクチャは、医用画像の特徴を抽出するエンコーダと、識別的な特徴を意味的に提示するデコーダで構成されています。CTスキャンにU-Netを採用する場合、畳み込み層は3Dフィルタ10,11からなる。3Dフィルタの計算には大きなメモリ容量が必要なため、これは課題です。3D U-Netのメモリ要件を減らすために、U-Netでシーケンシャルな2Dスライスのセットが使用されるSEQ-UNET8が提案されました。3D CTスキャンの2D画像スライス間の時空間相関の喪失を防ぐために、基本的なU-Netでは2つの双方向畳み込み長期短期記憶(C-LSTM)12が採用されています。最初の双方向C-LSTMは、エンコーダの最後にスライス間の相関関係を抽出します。第2の双方向C−LSTMは、デコーダの出力の後に、スライスシーケンスの次元におけるセマンティックセグメンテーション情報を単一の画像セグメンテーションに変換する。SEQ-UNET のアーキテクチャを図 2 に示します。実装コードは github.com/SleepyChild1005/OrbitSeg で入手でき、コードの使用方法はプロトコルのセクション(ステップ3)で詳しく説明されています。
Protocol
Representative Results
Discussion
ディープラーニングベースの医用画像分析は、病気の検出に広く使用されています。眼科領域では、糖尿病性網膜症、緑内障、加齢黄斑変性症、および未熟児網膜症において、検出およびセグメンテーションモデルが使用されています。しかし、眼科以外の希少疾患は、ディープラーニング分析のための大規模なオープンパブリックデータセットへのアクセスが制限されているため、研究されていません。パブリックデータセットが利用できない状況でこの方法を適用する場合、労働集約的で時間のかかる作業であるマスキングステップは避けられません。ただし、提案されたマスキングステップ(プロトコルセクション、ステップ1)は、短時間で高精度のマスキングを生成するのに役立ちます。スーパーピクセルとニューラルネットワークベースの塗りつぶしを使用して、低レベルの画像プロパティが類似しているピクセルをクラスター化し、臨床医は特定のピクセルを指摘する代わりにピクセルのグループをクリックしてマスクにラベルを付けることができます。また、自動補正機能は、マスクプロセスを改善するのに役立ちます。この方法の効率と有効性は、医学研究においてより多くのマスク画像を生成するのに役立ちます。
前処理における多くの可能性の中で、VOIの抽出とウィンドウクリッピングは効果的な方法です。ここでは、VOIの抽出とウィンドウクリッピングがプロトコルのステップ2で紹介されています。臨床医がデータセットを準備する場合、ほとんどのセグメンテーションケースは医用画像全体の小さな特定の領域に焦点を当てているため、特定のデータセットからVOIを抽出することがプロセスの最も重要なステップです。VOIに関しては、眼球、視神経、外眼筋の領域は位置に基づいてトリミングされますが、VOIを抽出するためのより効果的な方法は、セグメンテーションパフォーマンスを改善する可能性があります14。
セグメンテーションのために、SEQ-UNETが研究に採用されています。3D医用画像は大容量であるため、ディープニューラルネットワークモデルには大きなメモリ容量が必要です。SEQ-UNETでは、3D情報の特徴を失うことなく必要なメモリサイズを削減するために、セグメンテーションモデルを少数のスライスで実装します。
モデルは46個のVOIでトレーニングされましたが、これはモデルトレーニングでは多くありません。トレーニングデータセットの数が少ないため、視神経と外眼筋のセグメンテーションのパフォーマンスは制限されています。転移学習15 およびドメイン適応8 は、セグメンテーション性能を改善するための解決策を提供することができる。
ここで紹介するセグメンテーションプロセス全体は、軌道CTセグメンテーションに限定されません。効率的なラベリング方法は、アプリケーションドメインが研究分野に固有の場合の新しい医用画像データセットを作成するのに役立ちます。前処理とセグメンテーションモデリングに関するGitHubのPythonコードは、トリミング領域、ウィンドウクリッピングレベル、およびシーケンシャルスライスの数、U-Netアーキテクチャなどのモデルのハイパーパラメーターを変更することで、他のドメインに適用できます。
Disclosures
The authors have nothing to disclose.
Acknowledgements
この研究は、韓国国立研究財団(NRF)、韓国科学情報通信部(MSIT)の助成金(番号:2020R1C1C1010079)の支援を受けました。CMC-ORBITデータセットについては、カトリック医療センターの中央治験審査委員会(IRB)が承認を与えました(XC19REGI0076)。この研究は、2022年の弘益大学研究基金によってサポートされました。
Materials
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -. P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention – MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
