Toepassing van deep learning-gebaseerde medische beeldsegmentatie via orbitale computertomografie
Summary
Een objectsegmentatieprotocol voor orbitale computertomografie (CT) beelden wordt geïntroduceerd. De methoden voor het labelen van de grondwaarheid van orbitale structuren met behulp van superresolutie, het extraheren van het interessevolume uit CT-beelden en het modelleren van multi-label segmentatie met behulp van 2D-sequentiële U-Net voor orbitale CT-beelden worden uitgelegd voor supervised learning.
Abstract
Onlangs zijn op deep learning gebaseerde segmentatiemodellen op grote schaal toegepast op het oogheelkundige gebied. Deze studie presenteert het volledige proces van het construeren van een orbitaal computertomografie (CT) segmentatiemodel op basis van U-Net. Voor begeleid leren is een arbeidsintensief en tijdrovend proces nodig. De methode van labeling met superresolutie om de grondwaarheid op orbitale CT-beelden efficiënt te maskeren, wordt geïntroduceerd. Ook wordt het interessevolume bijgesneden als onderdeel van de voorbewerking van de dataset. Vervolgens, na het extraheren van de interessante volumes van de orbitale structuren, wordt het model voor het segmenteren van de belangrijkste structuren van de orbitale CT geconstrueerd met behulp van U-Net, met sequentiële 2D-segmenten die worden gebruikt als inputs en twee bidirectionele convolutionele korte langetermijnherinneringen voor het behoud van de inter-slice correlaties. Deze studie richt zich voornamelijk op de segmentatie van de oogbol, oogzenuw en extraoculaire spieren. De evaluatie van de segmentatie onthult de mogelijke toepassing van segmentatie op orbitale CT-beelden met behulp van deep learning-methoden.
Introduction
De baan is een kleine en gecompliceerde ruimte van ongeveer 30,1 cm3 die belangrijke structuren bevat zoals de oogbol, zenuwen, extraoculaire spieren, ondersteunende weefsels en bloedvaten voor zicht- en oogbolbewegingen1. Orbitale tumoren zijn abnormale weefselgroei in de baan en sommige bedreigen het gezichtsvermogen of de oogbolbeweging van patiënten, wat kan leiden tot fatale disfunctie. Om de visuele functie van patiënten te behouden, moeten clinici beslissen over de behandelingsmodaliteiten op basis van de tumorkenmerken, en een chirurgische biopsie is over het algemeen onvermijdelijk. Dit compacte en drukke gebied maakt het vaak een uitdaging voor clinici om een biopsie uit te voeren zonder de normale structuur te beschadigen. De op deep learning gebaseerde beeldanalyse van pathologie voor het bepalen van de toestand van de baan kan helpen bij het voorkomen van onnodig of vermijdbaar letsel aan de orbitale weefsels tijdens biopsie2. Een methode voor beeldanalyse voor orbitale tumoren is tumordetectie en -segmentatie. Het verzamelen van grote hoeveelheden gegevens voor CT-beelden met orbitale tumoren is echter beperkt vanwege hun lage incidentie3. De andere efficiënte methode voor computationele tumordiagnose4 omvat het vergelijken van de tumor met de normale structuren van de baan. Het aantal orbitale CT-beelden in normale structuren is relatief groter dan dat in tumoren. Daarom is de segmentatie van normale orbitale structuren de eerste stap om dit doel te bereiken.
Deze studie presenteert het hele proces van op deep learning gebaseerde orbitale structuursegmentatie, inclusief de gegevensverzameling, voorbewerking en daaropvolgende modellering. De studie is bedoeld als een hulpmiddel voor clinici die geïnteresseerd zijn in het gebruik van de huidige methode om efficiënt een gemaskeerde dataset te genereren en voor oogartsen die informatie nodig hebben over voorbewerking en modellering voor orbitale CT-beelden. Dit artikel presenteert een nieuwe methode voor orbitale structuursegmentatie en sequentiële U-Net, een sequentieel 2D-segmentatiemodel op basis van een representatieve deep-learning-oplossing in U-Net voor medische beeldsegmentatie. Het protocol beschrijft de gedetailleerde procedure van baansegmentatie, inclusief (1) hoe een maskeringstool te gebruiken voor de grondwaarheid van baanstructuursegmentatie, (2) de stappen die nodig zijn voor de voorbewerking van de orbitale beelden, en (3) hoe het segmentatiemodel te trainen en de segmentatieprestaties te evalueren.
Voor begeleid leren hebben vier ervaren oogartsen die al meer dan 5 jaar board gecertificeerd waren, handmatig de maskers van de oogbol, oogzenuw en extraoculaire spieren geannoteerd. Alle oogartsen gebruikten het maskeringssoftwareprogramma (MediLabel, zie de tabel met materialen), dat superresolutie gebruikt voor efficiënte maskering op CT-scans. De maskeersoftware heeft de volgende semi-automatische functies: (1) SmartPencil, dat superpixelkaartclusters genereert met vergelijkbare waarden van beeldintensiteit5; (2) SmartFill, dat segmentatiemaskers genereert door de energiefunctie van de doorlopende voor- en achtergrond 6,7 te berekenen; en (3) AutoCorrectie, waardoor de randen van de segmentatiemaskers schoon en consistent zijn met de oorspronkelijke afbeelding. Voorbeeldafbeeldingen van de semi-automatische functies zijn weergegeven in figuur 1. De gedetailleerde stappen van handmatig maskeren worden gegeven in de protocolsectie (stap 1).
De volgende stap is de voorbewerking van de orbitale CT-scans. Om de orbitale volumes van belang (VOI’s) te verkrijgen, worden de gebieden van de baan geïdentificeerd waar de oogbol, spier en zenuw zich in normale omstandigheden bevinden, en deze gebieden worden bijgesneden. De dataset heeft een hoge resolutie, met <1 mm in-plane voxelresolutie en slicedikte, dus het interpolatieproces wordt overgeslagen. In plaats daarvan wordt raamknipsel uitgevoerd op het 48 HU-knipniveau en het 400 HU-venster. Na het bijsnijden en window clipping worden drie seriële segmenten van de orbit VOIs gegenereerd voor het segmentatiemodel input8. De protocolsectie (stap 2) bevat details over de voorbewerkingsstappen.
U-Net9 is een veelgebruikt segmentatiemodel voor medische beelden. De U-Net-architectuur bestaat uit een encoder, die de kenmerken van de medische beelden extraheert, en een decoder, die de discriminerende functies semantisch presenteert. Bij het gebruik van U-Net voor CT-scans bestaan de convolutionele lagen uit 3D-filters10,11. Dit is een uitdaging omdat de berekening van 3D-filters een grote geheugencapaciteit vereist. Om de geheugenvereisten voor 3D U-Net te verminderen, werd SEQ-UNET8, waarbij een set opeenvolgende 2D-segmenten worden gebruikt in het U-Net, voorgesteld. Om het verlies van spatiotemporale correlaties tussen de 2D-beeldsegmenten van de 3D CT-scan te voorkomen, worden twee bidirectionele convolutionele lange termijn korte geheugens (C-LSTMs)12 gebruikt in basis U-Net. De eerste bidirectionele C-LSTM extraheert de inter-slice correlaties aan het einde van de encoder. De tweede bidirectionele C-LSTM, na de uitgang van de decoder, transformeert de semantische segmentatie-informatie in de afmetingen van de segmentreeks in een enkele beeldsegmentatie. De architectuur van SEQ-UNET is weergegeven in figuur 2. De implementatiecodes zijn beschikbaar op github.com/SleepyChild1005/OrbitSeg en het gebruik van de codes wordt gedetailleerd beschreven in de protocolsectie (stap 3).
Protocol
Representative Results
Discussion
Deep learning-gebaseerde medische beeldanalyse wordt veel gebruikt voor ziektedetectie. In het oogheelkundige domein worden detectie- en segmentatiemodellen gebruikt bij diabetische retinopathie, glaucoom, leeftijdsgebonden maculaire degeneratie en retinopathie van prematuriteit. Andere zeldzame ziekten dan die in de oogheelkunde zijn echter niet bestudeerd vanwege de beperkte toegang tot grote open openbare datasets voor deep learning-analyse. Bij het toepassen van deze methode in situaties waarin geen openbare dataset beschikbaar is, is de maskeringsstap, die een arbeidsintensieve en tijdrovende taak is, onvermijdelijk. De voorgestelde maskeringsstap (protocolsectie, stap 1) helpt echter om binnen korte tijd maskering met hoge nauwkeurigheid te genereren. Met behulp van superpixels en op neurale netwerken gebaseerde vulling, die pixels clusteren die vergelijkbaar zijn in afbeeldingseigenschappen op laag niveau, kunnen clinici de maskers labelen door op de groepen pixels te klikken in plaats van de specifieke pixels aan te wijzen. Ook helpen de automatische correctiefuncties bij het verfijnen van de maskerprocessen. De efficiëntie en effectiviteit van deze methode zal helpen bij het genereren van meer gemaskeerde beelden in medisch onderzoek.
Onder de vele mogelijkheden in de voorbewerking zijn het extraheren van VOI’s en het knippen van vensters effectieve methoden. Hier worden het extraheren van VOI’s en window clipping geïntroduceerd in stap 2 van het protocol. Wanneer de clinici de dataset voorbereiden, is het extraheren van de VOI uit de gegeven dataset de belangrijkste stap in het proces, omdat de meeste segmentatiegevallen zich richten op kleine en specifieke regio’s in het hele medische beeld. Met betrekking tot de VOI’s worden de regio’s van de oogbol, oogzenuw en extraoculaire spieren bijgesneden op basis van de locatie, maar effectievere methoden voor het extraheren van VOI’s hebben het potentieel om de segmentatieprestaties te verbeteren14.
Voor de segmentatie wordt SEQ-UNET gebruikt in de studie. De 3D-medische beelden hebben grote volumes, dus diepe neurale netwerkmodellen vereisen grote geheugencapaciteiten. In SEQ-UNET wordt het segmentatiemodel geïmplementeerd met een klein aantal segmenten om de vereiste geheugengrootte te verkleinen zonder de functies van de 3D-informatie te verliezen.
Het model werd getraind met 46 VOI’s, wat geen groot aantal is voor modeltraining. Vanwege het kleine aantal trainingsdatasets zijn de prestaties van oogzenuw- en extraoculaire spiersegmentatie beperkt. Transfer learning15 en domeinaanpassing8 kunnen een oplossing bieden voor het verbeteren van de segmentatieprestaties.
Het hele segmentatieproces dat hier wordt geïntroduceerd, is niet beperkt tot orbitale CT-segmentatie. De efficiënte etiketteringsmethode helpt bij het maken van een nieuwe medische beelddataset voor wanneer het toepassingsdomein uniek is voor het onderzoeksgebied. De python-codes van GitHub met betrekking tot de voorbewerking en segmentatiemodellering kunnen worden toegepast op andere domeinen met de wijziging van het bijsnijdgebied, het vensterknipniveau en de hyperparameters van het model, zoals het aantal opeenvolgende segmenten, de U-Net-architecturen, enzovoort.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Dit werk werd ondersteund door de National Research Foundation of Korea (NRF), subsidie gefinancierd door het Ministerie van Wetenschap en ICT van Korea (MSIT) (nummer: 2020R1C1C1010079). Voor de CMC-ORBIT dataset heeft de centrale Institutional Review Board (IRB) van het Katholiek Medisch Centrum goedkeuring gegeven (XC19REGI0076). Dit werk werd ondersteund door het Hongik University Research Fund 2022.
Materials
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -. P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention – MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
