궤도 컴퓨터 단층 촬영 을 통한 딥러닝 기반 의료 영상 분할 적용
Summary
궤도 컴퓨터 단층 촬영(CT) 이미지를 위한 객체 분할 프로토콜이 도입되었습니다. 초고해상도를 사용하여 궤도 구조의 실측 라벨링, CT 이미지에서 관심 볼륨 추출, 궤도 CT 이미지에 대한 2D 순차 U-Net을 사용하여 다중 라벨 분할을 모델링하는 방법을 지도 학습을 위해 설명합니다.
Abstract
최근에는 딥러닝 기반 세분화 모델이 안과 분야에 널리 적용되고 있습니다. 이 연구는 U-Net을 기반으로 궤도 컴퓨터 단층 촬영 (CT) 분할 모델을 구성하는 전체 프로세스를 제시합니다. 지도 학습을 위해서는 노동 집약적이고 시간이 많이 소요되는 프로세스가 필요합니다. 궤도 CT 이미지에서 실측 자료를 효율적으로 마스킹하기 위해 초고해상도로 라벨링하는 방법이 소개되었습니다. 또한 관심 볼륨은 데이터 집합 전처리의 일부로 잘립니다. 그런 다음 궤도 구조의 관심 볼륨을 추출한 후 궤도 CT의 주요 구조를 분할하기 위한 모델을 U-Net을 사용하여 구성하고, 입력으로 사용되는 순차 2D 슬라이스와 슬라이스 간 상관 관계를 보존하기 위한 두 개의 양방향 컨볼루션 장기 단기 메모리를 사용합니다. 이 연구는 주로 안구, 시신경 및 외안근의 분할에 중점을 둡니다. 분할의 평가는 딥 러닝 방법을 사용하여 궤도 CT 이미지에 분할을 적용 할 가능성을 보여줍니다.
Introduction
궤도는 시력 및 안구 운동1을 위한 안구, 신경, 외안근, 지지 조직 및 혈관과 같은 중요한 구조를 포함하는 약 30.1cm3의 작고 복잡한 공간입니다. 안와 종양은 안와에서 비정상적인 조직 성장이며, 그 중 일부는 환자의 시력이나 안구 움직임을 위협하여 치명적인 기능 장애를 유발할 수 있습니다. 환자의 시각 기능을 보존하기 위해 임상의는 종양 특성에 따라 치료 방식을 결정해야 하며 일반적으로 외과적 생검은 불가피합니다. 이 작고 붐비는 지역은 종종 임상의가 정상적인 구조를 손상시키지 않고 생검을 수행하는 것을 어렵게 만듭니다. 궤도의 상태를 결정하기 위한 병리학의 딥러닝 기반 이미지 분석은 생검 2 동안 안와 조직에 불필요하거나 피할 수 있는 손상을 방지하는 데 도움이 될 수있습니다. 안와 종양에 대한 이미지 분석의 한 가지 방법은 종양 검출 및 분할입니다. 그러나, 안와 종양을 포함하는 CT 영상에 대한 많은 양의 데이터 수집은 이들의 낮은발생률로 인해 제한적이다3. 전산 종양 진단4을 위한 다른 효율적인 방법은 종양을 궤도의 정상 구조와 비교하는 것을 포함한다. 정상 구조에서 궤도 CT 이미지의 수는 종양의 CT 이미지보다 상대적으로 많습니다. 따라서 정상 궤도 구조의 분할은이 목표를 달성하기위한 첫 번째 단계입니다.
이 연구는 데이터 수집, 전처리 및 후속 모델링을 포함한 딥러닝 기반 궤도 구조 분할의 전체 프로세스를 제시합니다. 이 연구는 현재 방법을 사용하여 마스킹된 데이터 세트를 효율적으로 생성하는 데 관심이 있는 임상의와 궤도 CT 이미지의 전처리 및 모델링에 대한 정보가 필요한 안과 의사를 위한 리소스입니다. 이 기사에서는 의료 영상 분할을 위한 U-Net의 대표적인 딥러닝 솔루션을 기반으로 하는 순차 2D 분할 모델인 궤도 구조 분할 및 순차 U-Net을 위한 새로운 방법을 제시합니다. 프로토콜은 (1) 궤도 구조 분할의 실측 자료를 위해 마스킹 도구를 사용하는 방법, (2) 궤도 이미지의 전처리에 필요한 단계, (3) 분할 모델을 훈련하고 분할 성능을 평가하는 방법을 포함하여 궤도 분할의 세부 절차를 설명합니다.
지도 학습을 위해 5 년 이상 보드 인증을받은 4 명의 숙련 된 안과 의사가 안구, 시신경 및 외안근의 마스크에 수동으로 주석을 달았습니다. 모든 안과 의사는 CT 스캔에서 효율적인 마스킹을 위해 초고해상도를 사용하는 마스킹 소프트웨어 프로그램(MediLabel, 재료 표 참조)을 사용했습니다. 마스킹 소프트웨어에는 다음과 같은 반자동 기능이 있습니다 : (1) 이미지 강도5의 유사한 값을 갖는 슈퍼 픽셀 맵 클러스터를 생성하는 SmartPencil; (2) SmartFill은 진행중인 전경 및 배경 6,7의 에너지 함수를 계산하여 분할 마스크를 생성합니다. (3) 자동 수정은 분할 마스크의 테두리를 깨끗하고 원본 이미지와 일치시킵니다. 반자동 기능의 예제 이미지는 그림 1에 나와 있습니다. 수동 마스킹의 자세한 단계는 프로토콜 섹션(1단계)에 나와 있습니다.
다음 단계는 궤도 CT 스캔의 전처리입니다. 관심 궤도 부피 (VOI)를 얻기 위해 안구, 근육 및 신경이 정상 상태에있는 궤도 영역을 식별하고 이러한 영역을 자릅니다. 데이터 세트는 평면 내 복셀 해상도와 슬라이스 두께가 <1mm인 고해상도를 가지므로 보간 프로세스를 건너뜁니다. 대신 창 클리핑은 48 HU 클리핑 수준과 400 HU 창에서 수행됩니다. 크롭핑 및 윈도우 클리핑 후에, 궤도 VOI의 3개의 직렬 슬라이스가 분할 모델 입력(8)에 대해 생성된다. 프로토콜 섹션(2단계)에서는 전처리 단계에 대한 세부 정보를 제공합니다.
U-Net9는 의료 영상에 널리 사용되는 분할 모델입니다. U-Net 아키텍처는 의료 영상의 특징을 추출하는 인코더와 차별적 특징을 의미적으로 제시하는 디코더로 구성됩니다. CT 스캔에 U-Net을 사용할 때 컨볼 루션 레이어는 3D 필터(10,11)로 구성됩니다. 이는 3D 필터의 계산에 큰 메모리 용량이 필요하기 때문에 어려운 일입니다. 3D U-Net에 대한 메모리 요구 사항을 줄이기 위해, 순차적 2D 슬라이스 세트가 U-Net에서 사용되는 SEQ-UNET8이 제안되었다. 3D CT 스캔의 2D 이미지 슬라이스 간의 시공간 상관 관계의 손실을 방지하기 위해 두 개의 양방향 컨볼루션 장기 단기 기억(C-LSTM)12이 기본 U-Net에 사용됩니다. 첫 번째 양방향 C-LSTM은 인코더 끝에서 슬라이스 간 상관 관계를 추출합니다. 두 번째 양방향 C-LSTM은 디코더의 출력 후 슬라이스 시퀀스 차원의 의미 론적 분할 정보를 단일 이미지 분할로 변환합니다. SEQ-UNET의 아키텍처는 그림 2에 나와 있습니다. 구현 코드는 github.com/SleepyChild1005/OrbitSeg 에서 사용할 수 있으며 코드 사용법은 프로토콜 섹션(3단계)에 자세히 설명되어 있습니다.
Protocol
Representative Results
Discussion
딥러닝 기반 의료 영상 분석은 질병 검출에 널리 사용됩니다. 안과 영역에서 검출 및 분할 모델은 당뇨병 성 망막증, 녹내장, 연령 관련 황반 변성 및 미숙아 망막 병증에 사용됩니다. 그러나 안과 이외의 다른 희귀 질환은 딥 러닝 분석을 위한 대규모 공개 데이터 세트에 대한 액세스가 제한되어 있기 때문에 연구되지 않았습니다. 공용 데이터 세트를 사용할 수 없는 상황에서 이 방법을 적용할 때 노동 집약적이고 시간이 많이 소요되는 작업인 마스킹 단계는 불가피합니다. 그러나 제안 된 마스킹 단계 (프로토콜 섹션, 단계 1)는 짧은 시간 내에 높은 정확도로 마스킹을 생성하는 데 도움이됩니다. 저수준 이미지 속성에서 유사한 픽셀을 클러스터링하는 슈퍼 픽셀과 신경망 기반 채우기를 사용하여 임상의는 특정 픽셀을 가리키는 대신 픽셀 그룹을 클릭하여 마스크에 레이블을 지정할 수 있습니다. 또한 자동 보정 기능은 마스크 프로세스를 개선하는 데 도움이 됩니다. 이 방법의 효율성과 효과는 의학 연구에서 더 많은 마스킹 이미지를 생성하는 데 도움이 됩니다.
전처리의 많은 가능성 중에서 VOI 추출 및 창 클리핑이 효과적인 방법입니다. 여기에서는 프로토콜의 2단계에서 VOI 추출 및 창 클리핑을 소개합니다. 임상의가 데이터 세트를 준비할 때 대부분의 세분화 사례가 전체 의료 이미지의 작고 특정 영역에 초점을 맞추기 때문에 주어진 데이터 세트에서 VOI를 추출하는 것이 프로세스에서 가장 중요한 단계입니다. VOI와 관련하여, 안구, 시신경 및 외안근의 영역은 위치에 기초하여 잘려지지만, VOI를 추출하기 위한 보다 효과적인 방법은 분할 성능을 향상시킬 수 있는 잠재력을 갖는다(14).
세분화를 위해 SEQ-UNET이 연구에 사용됩니다. 3D 의료 영상은 부피가 크므로 심층 신경망 모델에는 큰 메모리 용량이 필요합니다. SEQ-UNET에서 분할 모델은 3D 정보의 특징을 잃지 않고 필요한 메모리 크기를 줄이기 위해 적은 수의 슬라이스로 구현됩니다.
모델은 46개의 VOI로 훈련되었으며, 이는 모델 훈련에 많은 수가 아닙니다. 훈련 데이터 세트의 수가 적기 때문에 시신경 및 외안근 분할의 성능이 제한됩니다. 전이 학습(15 ) 및 도메인 적응(8)은 분할 성능을 향상시키기 위한 솔루션을제공할 수 있다 .
여기에 소개 된 전체 분할 프로세스는 궤도 CT 분할에만 국한되지 않습니다. 효율적인 라벨링 방법은 애플리케이션 도메인이 연구 영역에 고유한 경우에 대한 새로운 의료 영상 데이터 세트를 생성하는 데 도움이 됩니다. 전처리 및 세분화 모델링과 관련된 GitHub의 Python 코드는 자르기 영역, 창 클리핑 수준 및 모델 하이퍼 매개 변수(예: 순차 슬라이스 수, U-Net 아키텍처 등)를 수정하여 다른 도메인에 적용할 수 있습니다.
Disclosures
The authors have nothing to disclose.
Acknowledgements
이 연구는 한국과학기술정보통신부(MSIT)가 지원하는 한국연구재단(NRF)의 지원으로 이루어졌다(번호: 2020R1C1C1C1010079). CMC-ORBIT 데이터 세트의 경우 가톨릭 의료 센터의 중앙 기관 검토위원회 (IRB)가 승인 (XC19REGI0076)을 제공했습니다. 이 연구는 2022 홍익대학교 연구기금의 지원을 받았습니다.
Materials
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -. P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention – MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
