יישום של פילוח תמונות רפואיות מבוססות למידה עמוקה באמצעות טומוגרפיה ממוחשבת מסלולית
Summary
פרוטוקול סגמנטציה של אובייקטים עבור תמונות טומוגרפיה ממוחשבת מסלולית (CT) מוצג. השיטות לתיוג האמת הקרקעית של מבנים מסלוליים באמצעות רזולוציית-על, חילוץ נפח העניין מתמונות CT, ומידול סגמנטציה מרובת תוויות באמצעות U-Net רציף דו-ממדי עבור תמונות CT מסלוליות מוסברות ללמידה מפוקחת.
Abstract
לאחרונה, מודלים של סגמנטציה מבוססת למידה עמוקה יושמו באופן נרחב בתחום העיניים. מחקר זה מציג את התהליך השלם של בניית מודל סגמנטציה של טומוגרפיה ממוחשבת מסלולית (CT) המבוסס על U-Net. עבור למידה מפוקחת, נדרש תהליך עתיר עבודה וגוזל זמן. השיטה של תיוג עם רזולוציית-על כדי להסוות ביעילות את האמת הקרקעית על תמונות CT מסלוליות הוא הציג. כמו כן, היקף העניין נחתך כחלק מהעיבוד המקדים של מערך הנתונים. לאחר מכן, לאחר חילוץ נפחי העניין של המבנים המסלוליים, המודל לפילוח מבני המפתח של ה- CT המסלולי נבנה באמצעות U-Net, עם פרוסות דו-ממדיות עוקבות המשמשות ככניסות ושני זיכרונות קצרים קונבולוציוניים דו-כיווניים לטווח ארוך לשימור המתאמים בין הפרוסות. מחקר זה מתמקד בעיקר בפילוח של גלגל העין, עצב הראייה והשרירים החוץ-עיניים. הערכת הסגמנטציה חושפת את היישום הפוטנציאלי של סגמנטציה לתמונות CT מסלוליות בשיטות למידה עמוקה.
Introduction
המסלול הוא חלל קטן ומסובך של כ 30.1 ס”מ3 המכיל מבנים חשובים כגון גלגל העין, עצבים, שרירים חוץ עיניים, רקמות תומכות, וכלי ראייה ותנועות גלגל העין1. גידולים מסלוליים הם גידולי רקמה לא תקינים במסלול, וחלקם מאיימים על הראייה או על תנועת גלגל העין של החולים, מה שעלול להוביל לתפקוד לקוי קטלני. כדי לשמר את תפקוד הראייה של המטופלים, על הרופאים להחליט על דרכי הטיפול בהתבסס על מאפייני הגידול, וביופסיה כירורגית היא בדרך כלל בלתי נמנעת. אזור קומפקטי וצפוף זה מקשה לעתים קרובות על קלינאים לבצע ביופסיה מבלי לפגוע במבנה התקין. ניתוח תמונה מבוסס למידה עמוקה של פתולוגיה לקביעת מצב המסלול יכול לסייע במניעת פגיעה מיותרת או נמנעת ברקמות המסלול במהלך ביופסיה2. אחת השיטות לניתוח תמונה עבור גידולים מסלוליים היא זיהוי גידולים וסגמנטציה. עם זאת, איסוף כמויות גדולות של נתונים עבור תמונות CT המכילות גידולים מסלוליים מוגבל בשל שכיחותם הנמוכה3. השיטה היעילה האחרת לאבחון גידול חישובי4 כוללת השוואת הגידול למבנים הרגילים של המסלול. מספר תמונות ה-CT המסלוליות במבנים רגילים גדול יחסית לזה שבגידולים. לכן, סגמנטציה של מבנים מסלוליים נורמליים היא הצעד הראשון להשגת מטרה זו.
מחקר זה מציג את כל התהליך של פילוח מבנה מסלולי מבוסס למידה עמוקה, כולל איסוף הנתונים, עיבוד מקדים ומידול לאחר מכן. המחקר נועד להוות משאב עבור קלינאים המעוניינים להשתמש בשיטה הנוכחית כדי ליצור ביעילות מערך נתונים מוסווה ועבור רופאי עיניים הזקוקים למידע על עיבוד מקדים ומידול עבור תמונות CT מסלוליות. מאמר זה מציג שיטה חדשה לסגמנטציה של מבנה מסלולי ו- U-Net רציף, מודל סגמנטציה דו-ממדי רציף המבוסס על פתרון למידה עמוקה מייצג ב- U-Net לסגמנטציה של תמונות רפואיות. הפרוטוקול מתאר את ההליך המפורט של סגמנטציה מסלולית, כולל (1) כיצד להשתמש בכלי מיסוך לאמת הקרקעית של סגמנטציה של מבנה מסלול, (2) השלבים הנדרשים לעיבוד מקדים של תמונות מסלול, ו-(3) כיצד לאמן את מודל הסגמנטציה ולהעריך את ביצועי הסגמנטציה.
ללמידה מפוקחת, ארבעה רופאי עיניים מנוסים שהוסמכו במשך למעלה מ-5 שנים הוסיפו הערות ידניות למסכות גלגל העין, עצב הראייה והשרירים החוץ-עיניים. כל רופאי העיניים השתמשו בתוכנת המיסוך (MediLabel, ראו טבלת החומרים), המשתמשת בסופר-רזולוציה למיסוך יעיל בסריקות CT. לתוכנת המיסוך יש את התכונות החצי אוטומטיות הבאות: (1) SmartPencil, שמייצר אשכולות מפת סופר פיקסלים עם ערכים דומים של עוצמת תמונה5; (2) SmartFill, המייצר מסכות סגמנטציה על ידי חישוב פונקציית האנרגיה של החזית והרקע השוטפים 6,7; ו-(3) תיקון אוטומטי, שהופך את גבולות מסיכות הסגמנטציה לנקיים ותואמים לתמונה המקורית. תמונות לדוגמה של התכונות החצי-אוטומטיות מוצגות באיור 1. השלבים המפורטים של מיסוך ידני מסופקים בסעיף הפרוטוקול (שלב 1).
השלב הבא הוא עיבוד מראש של סריקות CT מסלוליות. כדי להשיג את נפחי העניין המסלוליים (VOIs), מזוהים אזורי המסלול שבהם נמצאים גלגל העין, השריר והעצב בתנאים רגילים, ואזורים אלה נחתכים. למערך הנתונים יש רזולוציה גבוהה, עם רזולוציית ווקסל של <1 מ"מ במישור ועובי פרוסה, כך שמדלגים על תהליך האינטרפולציה. במקום זאת, חיתוך החלון מתבצע ברמת חיתוך 48 HU וחלון 400 HU. לאחר החיתוך וגזירת החלון, נוצרות שלוש פרוסות טוריות של ה- VOIs של המסלול עבור קלט מודל הסגמנטציה8. סעיף הפרוטוקול (שלב 2) מספק פרטים על שלבי העיבוד מראש.
U-Net9 הוא מודל סגמנטציה נפוץ לתמונות רפואיות. ארכיטקטורת U-Net כוללת מקודד, המחלץ את התכונות של התמונות הרפואיות, ומפענח, המציג את התכונות המפלות באופן סמנטי. בעת שימוש ב- U-Net לסריקות CT, השכבות הקונבולוציוניות מורכבות ממסננים תלת-ממדיים10,11. זהו אתגר מכיוון שחישוב מסנני תלת-ממד דורש קיבולת זיכרון גדולה. כדי להפחית את דרישות הזיכרון עבור U-Net תלת-ממדי, הוצע SEQ-UNET8, שבו קבוצה של פרוסות דו-ממדיות עוקבות משמשות ב- U-Net. כדי למנוע אובדן של קורלציות מרחביות-טמפורליות בין פרוסות התמונה הדו-ממדית של סריקת ה-CT התלת-ממדית, שני זיכרונות קצרי טווח קונבולוציוניים דו-כיווניים (C-LSTMs)12 משמשים ב-U-Net בסיסי. C-LSTM הדו-כיווני הראשון מחלץ את המתאמים הבין-פרוסתיים בקצה המקודד. C-LSTM הדו-כיווני השני, לאחר הפלט של המפענח, הופך את מידע הסגמנטציה הסמנטית בממדי רצף הפרוסה לסגמנטציה של תמונה אחת. הארכיטקטורה של SEQ-UNET מוצגת באיור 2. קודי היישום זמינים ב- github.com/SleepyChild1005/OrbitSeg, והשימוש בקודים מפורט בסעיף הפרוטוקול (שלב 3).
Protocol
Representative Results
Discussion
ניתוח תמונות רפואיות מבוססות למידה עמוקה נמצא בשימוש נרחב לזיהוי מחלות. בתחום רפואת העיניים נעשה שימוש במודלים של זיהוי וסגמנטציה ברטינופתיה סוכרתית, גלאוקומה, ניוון מקולרי תלוי גיל ורטינופתיה של פגות. עם זאת, מחלות נדירות אחרות מלבד אלה ברפואת עיניים לא נחקרו בשל הגישה המוגבלת למערכי נתונים ציבוריים פתוחים גדולים לניתוח למידה עמוקה. כאשר מיישמים שיטה זו במצבים שבהם אין מערך נתונים ציבורי זמין, שלב המיסוך, שהוא משימה עתירת עבודה וגוזלת זמן, הוא בלתי נמנע. עם זאת, שלב המיסוך המוצע (סעיף הפרוטוקול, שלב 1) מסייע ליצור מיסוך בדיוק גבוה תוך זמן קצר. באמצעות פיקסלים-על ומילוי מבוסס-רשת עצבית, המקבצים פיקסלים הדומים במאפייני תמונה ברמה נמוכה, קלינאים יכולים לתייג את המסיכות על-ידי לחיצה על קבוצות הפיקסלים במקום להצביע על הפיקסלים הספציפיים. כמו כן, פונקציות התיקון האוטומטיות מסייעות לחדד את תהליכי המסכה. היעילות והאפקטיביות של שיטה זו יסייעו ליצור יותר תמונות מוסוות במחקר הרפואי.
בין האפשרויות הרבות בעיבוד מקדים, חילוץ VOIs וגזירת חלונות הן שיטות יעילות. כאן, חילוץ VOIs וגזירת חלונות מוצגים בשלב 2 של הפרוטוקול. כאשר הרופאים מכינים את מערך הנתונים, חילוץ ה- VOI ממערך הנתונים הנתון הוא השלב החשוב ביותר בתהליך מכיוון שרוב מקרי הפילוח מתמקדים באזורים קטנים וספציפיים בתמונה הרפואית כולה. לגבי ה- VOIs, אזורי גלגל העין, עצב הראייה והשרירים החוץ-עיניים נחתכים בהתאם למיקום, אך לשיטות יעילות יותר לחילוץ VOIs יש פוטנציאל לשפר את ביצועי הסגמנטציה14.
לצורך הפילוח, SEQ-UNET מועסק במחקר. לתמונות הרפואיות התלת-ממדיות יש נפחים גדולים, ולכן מודלים של רשתות עצביות עמוקות דורשים קיבולות זיכרון גדולות. ב- SEQ-UNET, מודל הסגמנטציה מיושם עם מספר קטן של פרוסות כדי להקטין את גודל הזיכרון הנדרש מבלי לאבד את התכונות של המידע התלת-ממדי.
המודל אומן עם 46 VOIs, וזה לא מספר גדול לאימון מודל. בשל המספר הקטן של מערכי נתוני האימון, הביצועים של פילוח עצב הראייה והשרירים החוץ-עיניים מוגבלים. העברת למידה15 והתאמת תחום8 יכולות לספק פתרון לשיפור ביצועי הסגמנטציה.
כל תהליך הסגמנטציה שהוצג כאן אינו מוגבל לסגמנטציה של CT מסלולי. שיטת ההתוויה היעילה מסייעת ליצור מערך נתונים חדש של תמונה רפואית כאשר תחום היישום ייחודי לתחום המחקר. ניתן להחיל את קודי הפייתון של GitHub הנוגעים למידול טרום-עיבוד וסגמנטציה על תחומים אחרים עם שינוי אזור החיתוך, רמת חיתוך החלון ופרמטרי העל של המודל, כגון מספר הפרוסות העוקבות, ארכיטקטורות U-Net וכן הלאה.
Disclosures
The authors have nothing to disclose.
Acknowledgements
עבודה זו נתמכה על ידי קרן המחקר הלאומית של קוריאה (NRF), מענק במימון משרד המדע והתקשוב של קוריאה (MSIT) (מספר: 2020R1C1C1010079). עבור מערך הנתונים של CMC-ORBIT, מועצת הביקורת המוסדית המרכזית (IRB) של המרכז הרפואי הקתולי סיפקה אישור (XC19REGI0076). עבודה זו נתמכה על ידי קרן המחקר של אוניברסיטת הונגיק לשנת 2022.
Materials
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -. P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention – MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
