Aplicação da Segmentação de Imagem Médica Baseada em Deep Learning via Tomografia Computadorizada Orbital
Summary
Um protocolo de segmentação de objetos para imagens de tomografia computadorizada (TC) orbital é introduzido. Os métodos de rotular a verdade do solo de estruturas orbitais usando super-resolução, extraindo o volume de interesse de imagens de TC e modelando segmentação multi-label usando U-Net sequencial 2D para imagens de TC orbitais são explicados para aprendizado supervisionado.
Abstract
Recentemente, modelos de segmentação baseados em aprendizagem profunda têm sido amplamente aplicados no campo oftálmico. Este estudo apresenta o processo completo de construção de um modelo de segmentação orbitária de tomografia computadorizada (TC) baseado em U-Net. Para o aprendizado supervisionado, é necessário um processo trabalhoso e demorado. O método de marcação com super-resolução para mascarar eficientemente a verdade do solo em imagens de TC orbitais é introduzido. Além disso, o volume de interesse é cortado como parte do pré-processamento do conjunto de dados. Em seguida, após a extração dos volumes de interesse das estruturas orbitais, o modelo para segmentação das estruturas-chave da TC orbital é construído usando U-Net, com fatias 2D sequenciais que são usadas como entradas e duas memórias convolucionais bidirecionais de curto prazo para conservar as correlações inter-fatias. Este estudo se concentra principalmente na segmentação do globo ocular, nervo óptico e músculos extraoculares. A avaliação da segmentação revela a potencial aplicação da segmentação a imagens de TC orbital utilizando métodos de aprendizagem profunda.
Introduction
A órbita é um espaço pequeno e complicado de aproximadamente 30,1cm3 que contém estruturas importantes como o globo ocular, nervos, músculos extraoculares, tecidos de suporte e vasos para a visão e movimentos do globo ocular1. Os tumores orbitais são crescimentos anormais de tecido na órbita, e alguns deles ameaçam a visão ou o movimento do globo ocular dos pacientes, o que pode levar a uma disfunção fatal. Para conservar a função visual dos pacientes, os médicos devem decidir sobre as modalidades de tratamento com base nas características do tumor, e uma biópsia cirúrgica é geralmente inevitável. Esta área compacta e lotada muitas vezes torna desafiador para os médicos realizar uma biópsia sem danificar a estrutura normal. A análise de imagens patológicas baseada em deep learning para determinar a condição da órbita poderia ajudar a evitar lesões desnecessárias ou evitáveis nos tecidos orbitários durante a biópsia2. Um método de análise de imagens para tumores orbitários é a detecção e segmentação tumoral. No entanto, a coleta de grandes quantidades de dados para imagens de TC contendo tumores orbitários é limitada devido à sua baixa incidência3. O outro método eficiente para o diagnóstico computacional do tumor4 envolve a comparação do tumor com as estruturas normais da órbita. O número de imagens de TC orbitárias em estruturas normais é relativamente maior do que em tumores. Portanto, a segmentação de estruturas orbitais normais é o primeiro passo para atingir esse objetivo.
Este estudo apresenta todo o processo de segmentação da estrutura orbital baseada em deep learning, incluindo a coleta de dados, o pré-processamento e a modelagem subsequente. O estudo destina-se a ser um recurso para clínicos interessados em usar o método atual para gerar eficientemente um conjunto de dados mascarado e para oftalmologistas que exigem informações sobre pré-processamento e modelagem para imagens de TC orbital. Este artigo apresenta um novo método para segmentação de estrutura orbital e U-Net sequencial, um modelo de segmentação 2D sequencial baseado em uma solução representativa de aprendizagem profunda em U-Net para segmentação de imagens médicas. O protocolo descreve o procedimento detalhado de segmentação de órbita, incluindo (1) como usar uma ferramenta de mascaramento para a verdade do solo da segmentação da estrutura de órbita, (2) as etapas necessárias para o pré-processamento das imagens orbitais e (3) como treinar o modelo de segmentação e avaliar o desempenho da segmentação.
Para o aprendizado supervisionado, quatro oftalmologistas experientes que haviam sido certificados por mais de 5 anos anotaram manualmente as máscaras do globo ocular, nervo óptico e músculos extraoculares. Todos os oftalmologistas usaram o programa de software de mascaramento (MediLabel, veja a Tabela de Materiais), que usa super-resolução para o mascaramento eficiente em tomografias computadorizadas. O software de mascaramento possui os seguintes recursos semiautomáticos: (1) SmartPencil, que gera clusters de mapas de super pixels com valores semelhantes de intensidade de imagem5; (2) SmartFill, que gera máscaras de segmentação calculando a função energética do primeiro plano e do plano de fundo em curso 6,7; e (3) AutoCorreção, que torna as bordas das máscaras de segmentação limpas e consistentes com a imagem original. Imagens de exemplo dos recursos semiautomáticos são mostradas na Figura 1. As etapas detalhadas do mascaramento manual são fornecidas na seção de protocolo (etapa 1).
O próximo passo é o pré-processamento das tomografias orbitais. Para obter os volumes orbitais de interesse (VOIs), as áreas da órbita onde o globo ocular, o músculo e o nervo estão localizados em condições normais são identificadas e essas áreas são cortadas. O conjunto de dados tem uma alta resolução, com resolução voxel no plano de <1 mm e espessura de fatia, de modo que o processo de interpolação é ignorado. Em vez disso, o recorte de janela é conduzido no nível de recorte de 48 HU e na janela de 400 HU. Após o recorte e o recorte da janela, três fatias seriais das VOIs de órbita são geradas para a entrada do modelo de segmentação8. A seção de protocolo (etapa 2) fornece detalhes sobre as etapas de pré-processamento.
U-Net9 é um modelo de segmentação amplamente utilizado para imagens médicas. A arquitetura U-Net compreende um codificador, que extrai as características das imagens médicas, e um decodificador, que apresenta semanticamente as características discriminativas. Ao empregar o U-Net para tomografias, as camadas convolucionais consistem em filtros 3D10,11. Isso é um desafio porque o cálculo de filtros 3D requer uma grande capacidade de memória. Para reduzir os requisitos de memória para a U-Net 3D, SEQ-UNET8, em que um conjunto de fatias 2D sequenciais são usadas na U-Net, foi proposto. Para evitar a perda de correlações espaço-temporais entre as fatias de imagem 2D da TC 3D, duas memórias convolucionais bidirecionais de curto prazo (C-LSTMs)12 são empregadas na U-Net básica. O primeiro C-LSTM bidirecional extrai as correlações inter-fatia no final do codificador. O segundo C-LSTM bidirecional, após a saída do decodificador, transforma as informações de segmentação semântica nas dimensões da sequência de fatias em uma única segmentação de imagem. A arquitetura do SEQ-UNET é mostrada na Figura 2. Os códigos de implementação estão disponíveis em github.com/SleepyChild1005/OrbitSeg, e o uso dos códigos é detalhado na seção de protocolo (etapa 3).
Protocol
Representative Results
Discussion
A análise de imagens médicas baseada em aprendizado profundo é amplamente utilizada para a detecção de doenças. No domínio da oftalmologia, modelos de detecção e segmentação são usados em retinopatia diabética, glaucoma, degeneração macular relacionada à idade e retinopatia da prematuridade. No entanto, outras doenças raras, além daquelas em oftalmologia, não foram estudadas devido ao acesso limitado a grandes conjuntos de dados públicos abertos para análise de aprendizagem profunda. Ao aplicar esse método em situações em que nenhum conjunto de dados público está disponível, a etapa de mascaramento, que é uma tarefa trabalhosa e demorada, é inevitável. No entanto, a etapa de mascaramento proposta (seção de protocolo, etapa 1) ajuda a gerar mascaramento com alta precisão em um curto espaço de tempo. Usando super pixels e preenchimento baseado em rede neural, que agrupam pixels que são semelhantes em propriedades de imagem de baixo nível, os médicos podem rotular as máscaras clicando nos grupos de pixels em vez de apontar os pixels específicos. Além disso, as funções de correção automática ajudam a refinar os processos de máscara. A eficiência e a eficácia desse método ajudarão a gerar mais imagens mascaradas na pesquisa médica.
Entre as muitas possibilidades no pré-processamento, a extração de VOIs e o corte de janelas são métodos eficazes. Aqui, a extração de VOIs e o recorte de janelas são introduzidos na etapa 2 do protocolo. Quando os médicos preparam o conjunto de dados, extrair o VOI do conjunto de dados fornecido é a etapa mais importante no processo, porque a maioria dos casos de segmentação se concentra em regiões pequenas e específicas em toda a imagem médica. Em relação aos VOIs, as regiões do globo ocular, nervo óptico e músculos extraoculares são cortadas com base na localização, mas métodos mais eficazes para extrair VOIs têm o potencial de melhorar o desempenho da segmentação14.
Para a segmentação, a SEQ-UNET é empregada no estudo. As imagens médicas 3D têm grandes volumes, de modo que os modelos de redes neurais profundas exigem grandes capacidades de memória. No SEQ-UNET, o modelo de segmentação é implementado com um pequeno número de fatias para reduzir o tamanho da memória necessária sem perder os recursos das informações 3D.
O modelo foi treinado com 46 VOIs, o que não é um grande número para o treinamento do modelo. Devido ao pequeno número de conjuntos de dados de treinamento, o desempenho da segmentação do nervo óptico e do músculo extraocular é limitado. O aprendizado de transferência15 e a adaptaçãode domínio 8 podem fornecer uma solução para melhorar o desempenho da segmentação.
Todo o processo de segmentação introduzido aqui não se limita à segmentação orbital da TC. O método de rotulagem eficiente ajuda a criar um novo conjunto de dados de imagem médica para quando o domínio de aplicação é exclusivo para a área de pesquisa. Os códigos python do GitHub relativos à modelagem de pré-processamento e segmentação podem ser aplicados a outros domínios com a modificação da região de corte, o nível de recorte da janela e os hiperparâmetros do modelo, como o número de fatias sequenciais, as arquiteturas U-Net e assim por diante.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Este trabalho foi apoiado pela Fundação Nacional de Pesquisa da Coreia (NRF), bolsa financiada pelo Ministério da Ciência e TIC da Coreia (MSIT) (número: 2020R1C1C1010079). Para o conjunto de dados CMC-ORBIT, o Conselho Central de Revisão Institucional (IRB) do Centro Médico Católico forneceu aprovação (XC19REGI0076). Este trabalho foi apoiado pelo Fundo de Pesquisa da Universidade de Hongik de 2022.
Materials
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -. P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention – MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
