تطبيق تجزئة الصور الطبية القائمة على التعلم العميق عبر التصوير المقطعي المحوسب المداري
Summary
تم إدخال بروتوكول تجزئة الجسم لصور التصوير المقطعي المحوسب المداري (CT). يتم شرح طرق تسمية الحقيقة الأرضية للهياكل المدارية باستخدام الدقة الفائقة ، واستخراج حجم الاهتمام من صور التصوير المقطعي المحوسب ، ونمذجة التجزئة متعددة الملصقات باستخدام 2D المتسلسلة U-Net لصور التصوير المقطعي المحوسب المداري للتعلم الخاضع للإشراف.
Abstract
في الآونة الأخيرة ، تم تطبيق نماذج التجزئة القائمة على التعلم العميق على نطاق واسع في مجال طب العيون. تقدم هذه الدراسة العملية الكاملة لبناء نموذج تجزئة التصوير المقطعي المحوسب المداري (CT) على أساس U-Net. للتعلم الخاضع للإشراف ، يلزم إجراء عملية كثيفة العمالة وتستغرق وقتا طويلا. تم تقديم طريقة وضع العلامات بدقة فائقة لإخفاء الحقيقة الأرضية بكفاءة في صور التصوير المقطعي المحوسب المداري. أيضا ، يتم اقتصاص حجم الاهتمام كجزء من المعالجة المسبقة لمجموعة البيانات. بعد ذلك ، بعد استخراج أحجام الاهتمام للهياكل المدارية ، يتم إنشاء نموذج لتجزئة الهياكل الرئيسية للتصوير المقطعي المحوسب المداري باستخدام U-Net ، مع شرائح 2D متسلسلة تستخدم كمدخلات وذاكرتين قصيرتين طويلتي المدى تلافيفيتين ثنائية الاتجاه للحفاظ على الارتباطات بين الشرائح. تركز هذه الدراسة بشكل أساسي على تجزئة مقلة العين والعصب البصري والعضلات خارج العين. يكشف تقييم التجزئة عن التطبيق المحتمل للتجزئة على صور التصوير المقطعي المحوسب المداري باستخدام طرق التعلم العميق.
Introduction
المدار عبارة عن مساحة صغيرة ومعقدة تبلغ حوالي 30.1 سم3 تحتوي على هياكل مهمة مثل مقلة العين والأعصاب والعضلات خارج العين والأنسجة الداعمة والأوعية للرؤية وحركات مقلة العين1. الأورام المدارية هي نمو غير طبيعي للأنسجة في الحجاج ، وبعضها يهدد رؤية المرضى أو حركة مقلة العين ، مما قد يؤدي إلى خلل وظيفي قاتل. للحفاظ على الوظيفة البصرية للمرضى ، يجب على الأطباء اتخاذ قرار بشأن طرق العلاج بناء على خصائص الورم ، والخزعة الجراحية أمر لا مفر منه بشكل عام. غالبا ما تجعل هذه المنطقة المدمجة والمزدحمة من الصعب على الأطباء إجراء خزعة دون الإضرار بالبنية الطبيعية. يمكن أن يساعد تحليل الصور القائم على التعلم العميق لعلم الأمراض لتحديد حالة المدار في تجنب الإصابة غير الضرورية أو التي يمكن تجنبها للأنسجة المدارية أثناء الخزعة2. إحدى طرق تحليل الصور للأورام المدارية هي اكتشاف الورم وتجزئته. ومع ذلك ، فإن جمع كميات كبيرة من البيانات لصور التصوير المقطعي المحوسب التي تحتوي على أورام مدارية محدود بسبب انخفاض معدل حدوثها3. تتضمن الطريقة الفعالة الأخرى لتشخيص الورم الحسابي4 مقارنة الورم بالهياكل الطبيعية للحاج. عدد صور التصوير المقطعي المحوسب المداري في الهياكل الطبيعية أكبر نسبيا من عدد الأورام. لذلك ، فإن تجزئة الهياكل المدارية العادية هي الخطوة الأولى لتحقيق هذا الهدف.
تعرض هذه الدراسة العملية الكاملة لتجزئة البنية المدارية القائمة على التعلم العميق ، بما في ذلك جمع البيانات والمعالجة المسبقة والنمذجة اللاحقة. تهدف الدراسة إلى أن تكون موردا للأطباء المهتمين باستخدام الطريقة الحالية لإنشاء مجموعة بيانات مقنعة بكفاءة ولأطباء العيون الذين يحتاجون إلى معلومات حول المعالجة المسبقة والنمذجة لصور التصوير المقطعي المحوسب المداري. تقدم هذه المقالة طريقة جديدة لتجزئة الهيكل المداري و U-Net المتسلسل ، وهو نموذج تجزئة 2D متسلسل يعتمد على حل تعليمي عميق تمثيلي في U-Net لتجزئة الصور الطبية. ويصف البروتوكول الإجراء المفصل لتجزئة المدار، بما في ذلك (1) كيفية استخدام أداة إخفاء للحقيقة الأرضية لتجزئة هيكل المدار، (2) الخطوات اللازمة للمعالجة المسبقة للصور المدارية، (3) كيفية تدريب نموذج التجزئة وتقييم أداء التجزئة.
للتعلم الخاضع للإشراف ، قام أربعة أطباء عيون ذوي خبرة تم اعتمادهم من البورد لأكثر من 5 سنوات بشرح أقنعة مقلة العين والعصب البصري والعضلات خارج العين يدويا. استخدم جميع أطباء العيون برنامج التقنيع (MediLabel ، انظر جدول المواد) ، والذي يستخدم دقة فائقة للإخفاء الفعال في الأشعة المقطعية. يحتوي برنامج التقنيع على الميزات شبه التلقائية التالية: (1) SmartPencil ، الذي يولد مجموعات خرائط بكسل فائقة بقيم مماثلة لكثافة الصورة5 ؛ (2) SmartFill ، الذي يولد أقنعة تجزئة عن طريق حساب وظيفة الطاقة في المقدمة والخلفيةالمستمرة 6,7 ؛ و (3) التصحيح التلقائي ، مما يجعل حدود أقنعة التجزئة نظيفة ومتسقة مع الصورة الأصلية. يوضح الشكل 1 أمثلة على صور الميزات شبه التلقائية. يتم توفير الخطوات التفصيلية للإخفاء اليدوي في قسم البروتوكول (الخطوة 1).
والخطوة التالية هي المعالجة المسبقة للأشعة المقطعية المدارية. للحصول على الأحجام المدارية ذات الأهمية (VOIs) ، يتم تحديد مناطق المدار حيث توجد مقلة العين والعضلات والأعصاب في الظروف العادية ، ويتم اقتصاص هذه المناطق. تتميز مجموعة البيانات بدقة عالية ، مع دقة voxel داخل الطائرة <1 مم وسمك الشريحة ، لذلك يتم تخطي عملية الاستيفاء. بدلا من ذلك ، يتم إجراء قص النافذة على مستوى القطع 48 HU ونافذة 400 HU. بعد الاقتصاص وقص النافذة ، يتم إنشاء ثلاث شرائح تسلسلية من VOIs المدارية لإدخال نموذج التجزئة8. يوفر قسم البروتوكول (الخطوة 2) تفاصيل حول خطوات المعالجة المسبقة.
U-Net9 هو نموذج تجزئة مستخدم على نطاق واسع للصور الطبية. تشتمل بنية U-Net على جهاز تشفير يستخرج ميزات الصور الطبية ، ووحدة فك ترميز تعرض الميزات التمييزية دلاليا. عند استخدام U-Net للتصوير المقطعي المحوسب ، تتكون الطبقات التلافيفية من مرشحات 3D10,11. هذا تحد لأن حساب مرشحات 3D يتطلب سعة ذاكرة كبيرة. لتقليل متطلبات الذاكرة ل 3D U-Net ، تم اقتراح SEQ-UNET8 ، حيث يتم استخدام مجموعة من شرائح 2D المتسلسلة في U-Net. لمنع فقدان الارتباطات الزمانية المكانية بين شرائح الصورة ثنائية الأبعاد للفحص المقطعي المحوسب 3D ، يتم استخدام ذاكرتين قصيرتين طويلتي المدى تلافيفيتين ثنائية الاتجاه (C-LSTMs)12 في U-Net الأساسي. يستخرج C-LSTM الأول ثنائي الاتجاه الارتباطات بين الشرائح في نهاية المشفر. يقوم C-LSTM ثنائي الاتجاه الثاني ، بعد إخراج وحدة فك التشفير ، بتحويل معلومات التجزئة الدلالية في أبعاد تسلسل الشريحة إلى تجزئة صورة واحدة. تظهر بنية SEQ-UNET في الشكل 2. تتوفر رموز التنفيذ في github.com/SleepyChild1005/OrbitSeg ، ويتم تفصيل استخدام الرموز في قسم البروتوكول (الخطوة 3).
Protocol
Representative Results
Discussion
يستخدم تحليل الصور الطبية القائم على التعلم العميق على نطاق واسع للكشف عن الأمراض. في مجال طب العيون ، يتم استخدام نماذج الكشف والتجزئة في اعتلال الشبكية السكري ، والزرق ، والتنكس البقعي المرتبط بالعمر ، واعتلال الشبكية الخداجي. ومع ذلك ، لم تتم دراسة الأمراض النادرة الأخرى بخلاف تلك الموجودة في طب العيون بسبب محدودية الوصول إلى مجموعات البيانات العامة المفتوحة الكبيرة لتحليل التعلم العميق. عند تطبيق هذه الطريقة في المواقف التي لا تتوفر فيها مجموعة بيانات عامة ، فإن خطوة التقنيع ، وهي مهمة كثيفة العمالة وتستغرق وقتا طويلا ، أمر لا مفر منه. ومع ذلك ، فإن خطوة التقنيع المقترحة (قسم البروتوكول ، الخطوة 1) تساعد على توليد التقنيع بدقة عالية في غضون فترة زمنية قصيرة. باستخدام وحدات البكسل الفائقة والتعبئة القائمة على الشبكة العصبية ، والتي تجمع وحدات البكسل المتشابهة في خصائص الصورة منخفضة المستوى ، يمكن للأطباء تسمية الأقنعة بالنقر فوق مجموعات وحدات البكسل بدلا من الإشارة إلى وحدات البكسل المحددة. أيضا ، تساعد وظائف التصحيح التلقائي في تحسين عمليات القناع. ستساعد كفاءة هذه الطريقة وفعاليتها في توليد المزيد من الصور المقنعة في الأبحاث الطبية.
من بين العديد من الاحتمالات في المعالجة المسبقة ، يعد استخراج VOIs وقص النوافذ طرقا فعالة. هنا ، يتم تقديم استخراج VOIs ولقطة النافذة في الخطوة 2 من البروتوكول. عندما يقوم الأطباء بإعداد مجموعة البيانات ، فإن استخراج VOI من مجموعة البيانات المحددة هو أهم خطوة في العملية لأن معظم حالات التجزئة تركز على مناطق صغيرة ومحددة في الصورة الطبية بأكملها. فيما يتعلق ب VOIs ، يتم اقتصاص مناطق مقلة العين والعصب البصري والعضلات خارج العين بناء على الموقع ، ولكن الطرق الأكثر فعالية لاستخراج VOIs لديها القدرة على تحسين أداء التجزئة14.
بالنسبة للتجزئة ، يتم استخدام SEQ-UNET في الدراسة. تحتوي الصور الطبية 3D على أحجام كبيرة ، لذا تتطلب نماذج الشبكات العصبية العميقة سعات ذاكرة كبيرة. في SEQ-UNET ، يتم تنفيذ نموذج التجزئة بعدد صغير من الشرائح لتقليل حجم الذاكرة المطلوب دون فقد ميزات معلومات 3D.
تم تدريب النموذج مع 46 VOIs ، وهو ليس عددا كبيرا للتدريب على النموذج. نظرا لقلة عدد مجموعات بيانات التدريب ، فإن أداء العصب البصري وتجزئة العضلات خارج العين محدود. يمكن أن يوفر نقل التعلم15 وتكييف المجال8 حلا لتحسين أداء التجزئة.
لا تقتصر عملية التجزئة الكاملة المقدمة هنا على تجزئة التصوير المقطعي المحوسب المداري. تساعد طريقة وضع العلامات الفعالة في إنشاء مجموعة بيانات صورة طبية جديدة عندما يكون مجال التطبيق فريدا في مجال البحث. يمكن تطبيق أكواد python الخاصة ب GitHub فيما يتعلق بنمذجة المعالجة المسبقة والتجزئة على المجالات الأخرى مع تعديل منطقة الاقتصاص ومستوى قطع النافذة والمعلمات الفائقة للنموذج ، مثل عدد الشرائح المتسلسلة ومعماريات U-Net وما إلى ذلك.
Disclosures
The authors have nothing to disclose.
Acknowledgements
تم دعم هذا العمل من قبل المؤسسة الوطنية للبحوث في كوريا (NRF) ، وهي منحة ممولة من وزارة العلوم وتكنولوجيا المعلومات والاتصالات في كوريا (MSIT) (رقم: 2020R1C1C1010079). بالنسبة لمجموعة بيانات CMC-ORBIT ، قدم مجلس المراجعة المؤسسية المركزي (IRB) التابع للمركز الطبي الكاثوليكي الموافقة (XC19REGI0076). تم دعم هذا العمل من قبل صندوق أبحاث جامعة هونجيك 2022.
Materials
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -. P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention – MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
