Применение сегментации медицинских изображений на основе глубокого обучения с помощью орбитальной компьютерной томографии
Summary
Введен протокол сегментации объектов для изображений орбитальной компьютерной томографии (КТ). Методы маркировки наземной истинности орбитальных структур с использованием сверхразрешения, извлечения интересующего объема из изображений КТ и моделирования сегментации с несколькими метками с использованием 2D последовательной U-Net для орбитальных изображений КТ объясняются для контролируемого обучения.
Abstract
В последнее время модели сегментации на основе глубокого обучения широко применяются в офтальмологической области. В данном исследовании представлен полный процесс построения модели сегментации орбитальной компьютерной томографии (КТ) на основе U-Net. Для контролируемого обучения требуется трудоемкий и трудоемкий процесс. Введен метод маркировки со сверхразрешением для эффективной маскировки наземной правды на орбитальных КТ-изображениях. Также объем интереса обрезается в рамках предварительной обработки набора данных. Затем, после извлечения объемов, представляющих интерес для орбитальных структур, модель сегментации ключевых структур орбитальной КТ строится с использованием U-Net, с последовательными 2D-срезами, которые используются в качестве входов, и двумя двунаправленными сверточными долговременными короткими воспоминаниями для сохранения межсрезовых корреляций. Это исследование в первую очередь фокусируется на сегментации глазного яблока, зрительного нерва и экстраокулярных мышц. Оценка сегментации выявляет потенциальное применение сегментации к орбитальным снимкам КТ с использованием методов глубокого обучения.
Introduction
Орбита представляет собой небольшое и сложное пространство размером около 30,1см3 , которое содержит важные структуры, такие как глазное яблоко, нервы, экстраокулярные мышцы, поддерживающие ткани и сосуды для зрения и движений глазного яблока1. Орбитальные опухоли представляют собой аномальные разрастания тканей на орбите, и некоторые из них угрожают зрению пациентов или движению глазного яблока, что может привести к фатальной дисфункции. Чтобы сохранить зрительную функцию пациентов, клиницисты должны принять решение о методах лечения на основе характеристик опухоли, и хирургическая биопсия, как правило, неизбежна. Эта компактная и переполненная область часто затрудняет для клиницистов выполнение биопсии, не повреждая нормальную структуру. Анализ изображений патологии на основе глубокого обучения для определения состояния орбиты может помочь избежать ненужного или предотвратимого повреждения орбитальных тканей во время биопсии2. Одним из методов анализа изображений орбитальных опухолей является обнаружение и сегментация опухолей. Однако сбор больших объемов данных для КТ-изображений, содержащих орбитальные опухоли, ограничен из-за их низкой заболеваемости3. Другой эффективный метод вычислительной диагностики опухоли4 включает сравнение опухоли с нормальными структурами орбиты. Количество орбитальных КТ-снимков в нормальных структурах относительно больше, чем в опухолях. Поэтому сегментация нормальных орбитальных структур является первым шагом к достижению этой цели.
В этом исследовании представлен весь процесс сегментации орбитальной структуры на основе глубокого обучения, включая сбор данных, предварительную обработку и последующее моделирование. Исследование предназначено для того, чтобы стать ресурсом для клиницистов, заинтересованных в использовании текущего метода для эффективного создания замаскированного набора данных, а также для офтальмологов, которым требуется информация о предварительной обработке и моделировании для орбитальных изображений КТ. В этой статье представлен новый метод сегментации орбитальной структуры и последовательный U-Net, последовательная модель 2D-сегментации, основанная на репрезентативном решении глубокого обучения в U-Net для сегментации медицинских изображений. Протокол описывает подробную процедуру сегментации орбиты, в том числе (1) как использовать инструмент маскировки для наземной истинности сегментации структуры орбиты, (2) шаги, необходимые для предварительной обработки орбитальных изображений, и (3) как обучить модель сегментации и оценить производительность сегментации.
Для контролируемого обучения четыре опытных офтальмолога, которые были сертифицированы более 5 лет, вручную аннотировали маски глазного яблока, зрительного нерва и экстраокулярных мышц. Все офтальмологи использовали программу маскировки (MediLabel, см. Таблицу материалов), которая использует сверхразрешение для эффективной маскировки на КТ. Программное обеспечение маскировки имеет следующие полуавтоматические функции: (1) SmartPencil, который генерирует кластеры суперпиксельных карт с аналогичными значениями интенсивности изображения5; (2) SmartFill, который генерирует маски сегментации путем вычисления энергетической функции текущего переднего и заднего плана 6,7; и (3) Автокоррекция, которая делает границы масок сегментации чистыми и согласованными с исходным изображением. Примеры изображений полуавтоматических функций показаны на рисунке 1. Подробные шаги ручной маскировки приведены в разделе протокола (шаг 1).
Следующим шагом является предварительная обработка орбитальной компьютерной томографии. Для получения орбитальных объемов, представляющих интерес (VOI), идентифицируются области орбиты, где в нормальных условиях расположены глазное яблоко, мышца и нерв, и эти области обрезаются. Набор данных имеет высокое разрешение, с разрешением <1 мм в плоскости вокселя и толщиной среза, поэтому процесс интерполяции пропускается. Вместо этого обрезка окон проводится на уровне обрезки 48 HU и окне 400 HU. После обрезки и обрезки окон генерируются три последовательных среза орбитальных VOI для входных данных модели сегментации8. В разделе протокола (шаг 2) приведены подробные сведения о шагах предварительной обработки.
U-Net9 является широко используемой моделью сегментации для медицинских изображений. Архитектура U-Net включает в себя кодировщик, который извлекает особенности медицинских изображений, и декодер, который представляет дискриминирующие признаки семантически. При использовании U-Net для компьютерной томографии сверточные слои состоят из 3D-фильтров10,11. Это сложная задача, потому что для вычисления 3D-фильтров требуется большой объем памяти. Для снижения требований к памяти для 3D U-Net был предложен SEQ-UNET8, в котором в U-Net используется набор последовательных 2D-срезов. Чтобы предотвратить потерю пространственно-временных корреляций между срезами 2D-изображения 3D-КТ, в базовой U-Net используются две двунаправленные сверточные долгосрочные короткие воспоминания (C-LSTM)12. Первый двунаправленный C-LSTM извлекает межсрезовые корреляции в конце энкодера. Второй двунаправленный C-LSTM после вывода декодера преобразует информацию семантической сегментации в размерах последовательности срезов в единую сегментацию изображения. Архитектура SEQ-UNET показана на диаграмме 2. Коды реализации доступны на github.com/SleepyChild1005/OrbitSeg, а использование кодов подробно описано в разделе протокола (шаг 3).
Protocol
Representative Results
Discussion
Анализ медицинских изображений на основе глубокого обучения широко используется для выявления заболеваний. В офтальмологической области модели обнаружения и сегментации используются при диабетической ретинопатии, глаукоме, возрастной макулярной дегенерации и ретинопатии недоношенных. Тем не менее, другие редкие заболевания, кроме тех, которые находятся в офтальмологии, не были изучены из-за ограниченного доступа к большим открытым публичным наборам данных для анализа глубокого обучения. При применении этого метода в ситуациях, когда общедоступный набор данных недоступен, этап маскировки, который является трудоемкой и трудоемкой задачей, неизбежен. Однако предлагаемый этап маскировки (раздел протокола, шаг 1) помогает генерировать маскировку с высокой точностью в течение короткого времени. Используя суперпиксели и заполнение на основе нейронных сетей, которые объединяют пиксели, похожие по низкоуровневым свойствам изображения, клиницисты могут пометить маски, щелкнув группы пикселей вместо указания конкретных пикселей. Кроме того, функции автоматической коррекции помогают уточнить процессы маски. Эффективность и результативность этого метода помогут генерировать больше замаскированных изображений в медицинских исследованиях.
Среди многих возможностей в предварительной обработке, извлечении VOI и обрезании окон являются эффективными методами. Здесь извлечение VOI и обрезка окон представлены на шаге 2 протокола. Когда клиницисты готовят набор данных, извлечение VOI из данного набора данных является наиболее важным шагом в процессе, поскольку большинство случаев сегментации сосредоточены на небольших и конкретных областях во всем медицинском изображении. Что касается VOI, области глазного яблока, зрительного нерва и экстраокулярных мышц обрезаются в зависимости от местоположения, но более эффективные методы извлечения VOI имеют потенциал для улучшения показателей сегментации14.
Для сегментации в исследовании используется SEQ-UNET. 3D-медицинские изображения имеют большие объемы, поэтому глубокие модели нейронных сетей требуют больших объемов памяти. В SEQ-UNET модель сегментации реализована с небольшим количеством срезов для уменьшения требуемого объема памяти без потери возможностей 3D-информации.
Модель была обучена с 46 VOI, что не является большим числом для обучения модели. Из-за небольшого количества тренировочных наборов данных производительность сегментации зрительного нерва и экстраокулярных мышц ограничена. Трансферное обучение15 и адаптация предметнойобласти 8 могут обеспечить решение для повышения производительности сегментации.
Весь процесс сегментации, введенный здесь, не ограничивается орбитальной сегментацией КТ. Эффективный метод маркировки помогает создать новый набор данных медицинских изображений, когда область применения уникальна для области исследования. Коды python GitHub, касающиеся предварительной обработки и моделирования сегментации, могут быть применены к другим доменам с модификацией области обрезки, уровня обрезки окон и гиперпараметров модели, таких как количество последовательных срезов, архитектуры U-Net и так далее.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Эта работа была поддержана Национальным исследовательским фондом Кореи (NRF), грантом, финансируемым Министерством науки и ИКТ Кореи (MSIT) (номер: 2020R1C1C1010079). Для набора данных CMC-ORBIT центральный институциональный наблюдательный совет (IRB) Католического медицинского центра предоставил одобрение (XC19REGI0076). Эта работа была поддержана исследовательским фондом Университета Хонгик 2022 года.
Materials
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -. P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention – MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
