Applicazione della segmentazione delle immagini mediche basata sul deep learning tramite tomografia computerizzata orbitale
Summary
Viene introdotto un protocollo di segmentazione degli oggetti per le immagini di tomografia computerizzata orbitale (TC). I metodi di etichettatura della verità fondamentale delle strutture orbitali utilizzando la super-risoluzione, estraendo il volume di interesse dalle immagini CT e modellando la segmentazione multi-etichetta utilizzando U-Net sequenziale 2D per le immagini TC orbitali sono spiegati per l’apprendimento supervisionato.
Abstract
Recentemente, i modelli di segmentazione basati sul deep learning sono stati ampiamente applicati nel campo oftalmico. Questo studio presenta il processo completo di costruzione di un modello di segmentazione della tomografia computerizzata orbitale (CT) basato su U-Net. Per l’apprendimento supervisionato, è necessario un processo laborioso e dispendioso in termini di tempo. Viene introdotto il metodo di etichettatura con super-risoluzione per mascherare efficacemente la verità di terra sulle immagini TC orbitali. Inoltre, il volume di interesse viene ritagliato come parte della pre-elaborazione del set di dati. Quindi, dopo aver estratto i volumi di interesse delle strutture orbitali, il modello per segmentare le strutture chiave della CT orbitale viene costruito utilizzando U-Net, con fette 2D sequenziali che vengono utilizzate come input e due brevi memorie convoluzionali bidirezionali a lungo termine per conservare le correlazioni inter-fette. Questo studio si concentra principalmente sulla segmentazione del bulbo oculare, del nervo ottico e dei muscoli extraoculari. La valutazione della segmentazione rivela la potenziale applicazione della segmentazione alle immagini TC orbitali utilizzando metodi di deep learning.
Introduction
L’orbita è uno spazio piccolo e complicato di circa 30,1 cm3 che contiene strutture importanti come il bulbo oculare, i nervi, i muscoli extraoculari, i tessuti di supporto e i vasi per la visione e i movimenti del bulbo oculare1. I tumori orbitali sono escrescenze anormali dei tessuti nell’orbita e alcuni di essi minacciano la visione o il movimento del bulbo oculare dei pazienti, che possono portare a disfunzioni fatali. Per conservare la funzione visiva dei pazienti, i medici devono decidere le modalità di trattamento in base alle caratteristiche del tumore e una biopsia chirurgica è generalmente inevitabile. Questa area compatta e affollata spesso rende difficile per i medici eseguire una biopsia senza danneggiare la normale struttura. L’analisi delle immagini della patologia basata sul deep learning per determinare le condizioni dell’orbita potrebbe aiutare a evitare lesioni non necessarie o evitabili ai tessuti orbitali durante la biopsia2. Un metodo di analisi delle immagini per i tumori orbitali è il rilevamento e la segmentazione del tumore. Tuttavia, la raccolta di grandi quantità di dati per le immagini TC contenenti tumori orbitali è limitata a causa della loro bassa incidenza3. L’altro metodo efficiente per la diagnosi computazionale del tumore4 consiste nel confrontare il tumore con le normali strutture dell’orbita. Il numero di immagini TC orbitali nelle strutture normali è relativamente maggiore di quello nei tumori. Pertanto, la segmentazione delle normali strutture orbitali è il primo passo per raggiungere questo obiettivo.
Questo studio presenta l’intero processo di segmentazione della struttura orbitale basata sul deep learning, compresa la raccolta dei dati, la pre-elaborazione e la successiva modellazione. Lo studio è destinato ad essere una risorsa per i medici interessati a utilizzare il metodo corrente per generare in modo efficiente un set di dati mascherato e per gli oftalmologi che richiedono informazioni sulla pre-elaborazione e la modellazione per le immagini TC orbitali. Questo articolo presenta un nuovo metodo per la segmentazione della struttura orbitale e U-Net sequenziale, un modello di segmentazione 2D sequenziale basato su una soluzione rappresentativa di deep learning in U-Net per la segmentazione di immagini mediche. Il protocollo descrive la procedura dettagliata della segmentazione dell’orbita, tra cui (1) come utilizzare uno strumento di mascheramento per la verità di terra della segmentazione della struttura orbitale, (2) i passaggi necessari per la pre-elaborazione delle immagini orbitali e (3) come addestrare il modello di segmentazione e valutare le prestazioni della segmentazione.
Per l’apprendimento supervisionato, quattro oftalmologi esperti che erano stati certificati per oltre 5 anni hanno annotato manualmente le maschere del bulbo oculare, del nervo ottico e dei muscoli extraoculari. Tutti gli oftalmologi hanno utilizzato il programma software di mascheramento (MediLabel, vedi la tabella dei materiali), che utilizza la super-risoluzione per un mascheramento efficiente sulle scansioni TC. Il software di mascheramento ha le seguenti funzioni semi-automatiche: (1) SmartPencil, che genera cluster di mappe super pixel con valori simili di intensità dell’immagine5; (2) SmartFill, che genera maschere di segmentazione calcolando la funzione energetica del primo piano e dello sfondo in corso 6,7; e (3) Correzione automatica, che rende i bordi delle maschere di segmentazione puliti e coerenti con l’immagine originale. Le immagini di esempio delle feature semiautomatiche sono illustrate nella Figura 1. I passaggi dettagliati del mascheramento manuale sono forniti nella sezione protocollo (passaggio 1).
Il prossimo passo è la pre-elaborazione delle scansioni TC orbitali. Per ottenere i volumi orbitali di interesse (VOI), vengono identificate le aree dell’orbita in cui il bulbo oculare, il muscolo e il nervo si trovano in condizioni normali e queste aree vengono ritagliate. Il set di dati ha un’alta risoluzione, con una risoluzione voxel nel piano di <1 mm e uno spessore della sezione, quindi il processo di interpolazione viene saltato. Invece, il ritaglio della finestra viene eseguito al livello di ritaglio 48 HU e alla finestra 400 HU. Dopo il ritaglio e il ritaglio della finestra, vengono generate tre sezioni seriali dei VOI orbitali perl’input 8 del modello di segmentazione. La sezione relativa al protocollo (passaggio 2) fornisce dettagli sulle fasi di pre-elaborazione.
U-Net9 è un modello di segmentazione ampiamente utilizzato per le immagini mediche. L’architettura U-Net comprende un encoder, che estrae le caratteristiche delle immagini mediche, e un decodificatore, che presenta semanticamente le caratteristiche discriminantiche. Quando si utilizza U-Net per le scansioni TC, gli strati convoluzionali sono costituiti da filtri 3D10,11. Questa è una sfida perché il calcolo dei filtri 3D richiede una grande capacità di memoria. Per ridurre i requisiti di memoria per 3D U-Net, è stato proposto SEQ-UNET8, in cui un insieme di sezioni 2D sequenziali sono utilizzate nella U-Net. Per prevenire la perdita di correlazioni spaziotemporali tra le sezioni di immagine 2D della scansione TC 3D, due memorie brevi convoluzionali a lungo termine bidirezionali (C-LSTM)12 sono impiegate in U-Net di base. Il primo C-LSTM bidirezionale estrae le correlazioni tra le sezioni all’estremità dell’encoder. Il secondo C-LSTM bidirezionale, dopo l’uscita del decoder, trasforma le informazioni di segmentazione semantica nelle dimensioni della sequenza di fette in una singola segmentazione dell’immagine. L’architettura di SEQ-UNET è illustrata nella Figura 2. I codici di implementazione sono disponibili all’github.com/SleepyChild1005/OrbitSeg e l’utilizzo dei codici è dettagliato nella sezione protocollo (passaggio 3).
Protocol
Representative Results
Discussion
L’analisi delle immagini mediche basata sul deep learning è ampiamente utilizzata per il rilevamento delle malattie. Nel dominio oftalmologico, i modelli di rilevamento e segmentazione sono utilizzati nella retinopatia diabetica, nel glaucoma, nella degenerazione maculare legata all’età e nella retinopatia della prematurità. Tuttavia, altre malattie rare oltre a quelle in oftalmologia non sono state studiate a causa dell’accesso limitato a grandi set di dati pubblici aperti per l’analisi del deep learning. Quando si applica questo metodo in situazioni in cui non è disponibile alcun set di dati pubblico, la fase di mascheramento, che è un’attività laboriosa e dispendiosa in termini di tempo, è inevitabile. Tuttavia, la fase di mascheramento proposta (sezione protocollo, fase 1) aiuta a generare mascheramento con elevata precisione in breve tempo. Utilizzando i super pixel e il riempimento basato su rete neurale, che raggruppano pixel simili nelle proprietà dell’immagine di basso livello, i medici possono etichettare le maschere facendo clic sui gruppi di pixel invece di indicare i pixel specifici. Inoltre, le funzioni di correzione automatica aiutano a perfezionare i processi della maschera. L’efficienza e l’efficacia di questo metodo contribuiranno a generare più immagini mascherate nella ricerca medica.
Tra le molte possibilità di pre-elaborazione, l’estrazione di VOI e il ritaglio di finestre sono metodi efficaci. Qui, l’estrazione di VOI e il ritaglio di finestra sono introdotti nel passaggio 2 del protocollo. Quando i medici preparano il set di dati, l’estrazione del VOI dal set di dati è il passo più importante nel processo perché la maggior parte dei casi di segmentazione si concentra su regioni piccole e specifiche nell’intera immagine medica. Per quanto riguarda i VOI, le regioni del bulbo oculare, del nervo ottico e dei muscoli extraoculari sono ritagliate in base alla posizione, ma metodi più efficaci per estrarre i VOIs hanno il potenziale per migliorare le prestazioni di segmentazione14.
Per la segmentazione, SEQ-UNET è impiegato nello studio. Le immagini mediche 3D hanno grandi volumi, quindi i modelli di reti neurali profonde richiedono grandi capacità di memoria. In SEQ-UNET, il modello di segmentazione è implementato con un piccolo numero di sezioni per ridurre la dimensione della memoria richiesta senza perdere le caratteristiche delle informazioni 3D.
Il modello è stato addestrato con 46 VOI, che non è un numero elevato per l’addestramento del modello. A causa del piccolo numero di set di dati di allenamento, le prestazioni del nervo ottico e della segmentazione del muscolo extraoculare sono limitate. Transfer learning15 e domain adaptation8 potrebbero fornire una soluzione per migliorare le prestazioni di segmentazione.
L’intero processo di segmentazione qui introdotto non è limitato alla segmentazione TC orbitale. L’efficiente metodo di etichettatura aiuta a creare un nuovo set di dati di immagini mediche per quando il dominio dell’applicazione è univoco per l’area di ricerca. I codici python di GitHub relativi alla modellazione di pre-elaborazione e segmentazione possono essere applicati ad altri domini con la modifica della regione di ritaglio, del livello di ritaglio della finestra e degli iperparametri del modello, come il numero di sezioni sequenziali, le architetture U-Net e così via.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Questo lavoro è stato sostenuto dalla National Research Foundation of Korea (NRF), sovvenzione finanziata dal Ministero della Scienza e delle ICT della Corea (MSIT) (numero: 2020R1C1C1010079). Per il set di dati CMC-ORBIT, l’Institutional Review Board (IRB) centrale del Catholic Medical Center ha fornito l’approvazione (XC19REGI0076). Questo lavoro è stato sostenuto dal 2022 Hongik University Research Fund.
Materials
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -. P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention – MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
