יעד רפואי כיתה sterilizable עבור כיול עיוות אופטי Fetoscope שקוע נוזלים
Summary
This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
Abstract
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Introduction
כיול מצלמה הוא בעיה ידועה בתחום הראייה הממוחשב כי נחקר באינטנסיביות במשך שנתי 1, 2, 3. צעד מרכז כיול מצלמה הוא לאמוד את הפרמטרים של מודל עיוות, כמו גם פרמטרי מצלמה הפנימיים, על ידי מיצוי רשת של נקודות עם גיאומטריה ידועה מתמונות מצלמה עם דיוק תת-פיקסל. מטרות כיול עם דפוס שחמט שמציע ריבועים שחורים ולבנים משמשות למטרה זו. כתמים חוזרים להציע דפוס חלופת 4, 5, 6.
בשנים האחרונות, חלה התעניינות גוברת התפתחות טכנולוגית ניווט כירורגית עבור ניתוחים עוברים, כגון היחס של התסמונת מעבר הדם בין העוברים (TTTS) על עובר> 7, 8, 9, 10. כמו שדה הראייה של fetoscope (כלומר, אנדוסקופ המשמש ניתוחים עובריים) מוגבל מאוד, שיטות למיפוי כלי הדם בשליה ללא שימוש עוקבים חיצוניים הוצעו על מנת לסייע TTTS ניתוח 11, 12, 13. עיוותים אופטיים בתוך תמונות fetoscopic להיות השפעות שליליות על שיטות mosaicing חישובית אלה המסתמכים על מיצוי חזותי מידע 11. לפיכך, קיים צורך בטיפולים בעלות-יעילה ומהירה כלי פרי הניתוח כיול fetoscopes כך פיצוי עיוות אופטי יכול להיעשות בזמן אמת במהלך ההתערבות.
בשל העובדה כי fetoscope הוא שקוע בתוך מי שפיר במהלך ההתערבות, הבדל מדד שבירה ביןנוזל ir ואת מי השפיר הופך שיטות כיול מצלמה-האוויר קלסיות מתאימות ניתוחים עובריים. אמידת פרמטרי מצלמה שקועת נוזל מתוך פרמטרי מצלמה-האוויר היא משימה קשה ודורשת לפחות תמונה אחת של יעד הכיול שקוע בנוזל 14. יתר על כן, פרי ניתוח, כיול מצלמת fetoscopic השקוע נוזל כיום מעשי בשל דרישות עיקור ומגבלות על החומרים מותרים בחדר הניתוח. בשל סיבות אלה, כיול אנדוסקופים עיוותים אופטיים הוא בדרך כלל לא חלק של זרימת העבודה הקלינית הנוכחית. העבודה בכתב היד הזה היא ניסיון לצמצם את פער כיול מצלמה זאת על ידי תכנון והפקת מטרת כיול עיוות אופטית sterilizable והמעשי שמציעה דפוס של חוגים סימטריים. בעבר, ונגרט et al. מפוברק מכשיר כיול מותאם אישית שמציע צלחת אלומיניום מחומצן כיעד הכיול. ספיד שלהםod, לעומת זאת, עובד רק בשילוב עם אלגוריתם כיול מותאם אישית הם פיתחו 15.
Protocol
Representative Results
Discussion
התזת חול הוא צעד חשוב בתהליך הייצור בגלל משטח מתכת הגלם בולט משקף את אור אנדוסקופ, מה שהופך אותו בלתי אפשרי עבור כדי להתגלות החוגים. קשה להבחין החוגים אפילו בעין בלתי מזוינת (ראה איור 5). ראוי לציין, כי השטח של היעד הראו כבר נחרט עם לייזר. עם זאת, הדבר אינו מפחית השתקפות אור.
איור 5: כיול יעד ללא התזת חול מיושם. כפי שניתן לראות מן הנוף אנדוסקופ משמאל, בוהק מן האור אנדוסקופ על פני החומר מקשה אפילו בעין בלתי מזוינת להבחין החוגים (קיים מעגל פשוט לכוון דרום מזרח של השתקפות גדול). ראוי לציין, כי השטח של יעד זה (כלומר, "הרקע") נחקק כבר, אבל זה לא מועיל בהעדר התזת חול. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
לפני תחריט דפוס, חשוב גם כדי לחרוט את פני השטח של המדגם כולו. דבר זה הכרחי מכיוון שטח התזת החול יש החזר ראי רב (ראה איור 6), אשר מפריע זיהוי בועה.
איור 6: Sandblasted לקרקע ללא תחריט. אמנם לא בולט כמו משטח מתכת הגלם, החזר הראי הקטן יחסית (שחלקם מודגשים עם חצים צהובים) הם עדיין מספיק כדי למנוע זיהוי בועה להצליח, ולכן אין כיול ניתן לבצע עם יעד זה.arget = "_ blank"> לחץ כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
החלת לייזר במהירויות שונות נותן צבעי רקע שונים. צבע הרקע ממלא תפקיד משמעותי את הניגוד בין העיגולים ברקע. לפיכך, הוא חיוני, כדי לקבוע את צבע רקע האופטימלי. לשם כך, צלחת עם עיגולים חרוטים נגד קבוצה של מרקעים שונים נוצרו (ראה איור 7). הרקע נבדקו באמצעות מודול זיהוי תכונה של OpenCV 23, אשר משמש מודול כיול המצלמה OpenCV 17. בעבודה זו, עשויה המטרה של פלדת אל-חלד, כפי שהוא הוא החומר הנפוץ ביותר והאמין ביותר בשימוש במרפאות עבור מכשירים רפואיים. חומר זה הוא זמין בחינם, לא יקר, חזק, קל לעקר. חומרים אחרים יכולים לשמש באופן פוטנציאלי עבור יעד הכיול, כגון מתכות אלומיניום או המכיל יוד, אך זהו scopדואר של עבודה בעתיד.
איור 7: צלחת נירוסטה שמציעה פלטה של צבעי רקע שונים חרוטים עם הליזר. ניסויים מעשיים נערכו בשיתוף עם מודול זיהוי תכונת OpenCV כדי לקבוע איזה צבע רקע נותן את התוצאה האופטימלית מבחינת בועה-אל-רקע ניגוד 23. ההשקפה אנדוסקופ משמאל מראה את הצלחת. צבעים ברקע המתונים (כלומר, אלה אחרים אלה האפלים קלים) ב לוח זה להניב זיהוי בועה טוב יותר. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
אחד היתרונות של עבודה זו היא כי ביצוע כיול באמצעות היעד המפוברק לוקח 2-3 דקות. רוב המאמץ ללכתes לייצוב אנדוסקופ ידני כדי להשיג צפיות הגונות של דפוס הכיול. באמצעות בעל אנדוסקופ שהותקן יכול לבטל את הצורך ייצוב ידני, אשר בתורו יכול לקצר את זמן הכיול באופן משמעותי.
וידאו 1: וידאו המציג כיצד כיול עיוות אופטית יכול להתבצע באמצעות יעד הכיול שפותח יחד עם תוכנת endocal. אנא לחץ כאן כדי לצפות בסרטון זה. (לחץ לחיצה ימנית כדי להוריד.)
היתרון של העבודה שלנו בהשוואה לעבודה ואח ונגרט. 15 הוא שמודול כיול המצלמה OpenCV 17 יכול לשמש הוא לכיול, ללא צורך parame שינוי או מותאם אישיתterization. בגלל OpenCV היא מבוססת היטב ומתוחזקים היטב חבילת תוכנה, והוא פופולרי מאוד בקרב קהילת הראייה הממוחשבת, באמצעות שהיא מבטלת את הצורך לכתיבה ושמירת תוכנה מותאמת אישית. לנוחיות הקוראת, יישום GUI קומפקטי מסופק 16, אשר קורא יכול בקלות להתקין ולהשתמש לבחון מטרות כיול חדשות. אחד החסרונות של השיטה שלנו לעומת ונגרט et al. 15 הם כי השיטה שלהם היא איתנה יותר כדי חסימות של התבנית, כפי שהיא אינה דורשת זיהוי של כל הכתמים.
בתחילה, מטרת כיול עם דפוס שחמט הייתה מפוברקת עבור עבודה זו. עם זאת, סוג זה של יעד כיול התברר מתאים בניסויים בשל הקושי לחשוף את הפינות של ריבועי השחמט. זיהוי פינה מסתמך על binarization מבוסס תמונה היסטוגרמה (לראות את קוד מקור OpenCV 24). איזה שדטמון בצורך ניגוד צבע ברור בין הריבועים הכהים ובהירים, אשר לא יכול להיות מובטח עם דפוס השחמט שלנו, באופן חלקי בשל החזר ראי, כמו אלה שמוצגים באיור 6. החזר ראי כאלה נמצאים גם לאחר תחריט רקע; עם זאת, זיהוי של החוגים נראה פחות רגיש זה חיסרון.
בשנת ההגדרה הנוכחית, רק תצוגות בניצב של יעד הכיול ולאפשר זיהוי בועה מוצלח. זהו בשל החזר הראי מפני שטח היעד פוגע זיהוי בועה בזוויות אלכסוניות. אנחנו עובדים כדי לשפר עוד יותר את היעד כדי לאפשר לרכישת צפיות מגוונת רחבה יותר של זוויות, אשר עלול לשפר את איכות כיולים שבוצעו 20.
ב בזמן אמת השליה mosaicing צינור שהוצע בעבר 11, החישוב של טראנסהיווצרות ממפת זוגות תמונה נשענת על איתור הקיבוץ המוצלח של תכונות. עיוותים אופטיות, ומצד שני, לגרום לקבוצה של תכונות עם גיאומטריה נוקשה להופיע שונה ברחבי תמונות. כתוצאה מכך, הבדל זה מוביל הדיוקים טרנספורמציות הממוחשבים, אשר גורמים מרחפות בפסיפסי התמונה המתקבלים. בגלל העיוותים האופטיות הבולטות נמצאות לקראת השולים, תמונות אנדוסקופית נחתכות כעת לאזורים הפנימיים שלהם. אז יש לי תיקון טוב עיוותים אופטיות פוטנציאל יאפשר שילוב של חלק גדול יותר של כל תמונה לתוך תהליך mosaicing. היתרון של שיטה זו הוא כפול. ראשית, זה יגדיל את מספר התכונות זוהו כל תמונה, פוטנציאל שיפור החישוב של טרנספורמציות תמונה. שנית, היא תאפשר פני היעד אנטומיים כולו להיות משוחזרת בתוך זמן קצר יותר.
Disclosures
The authors have nothing to disclose.
Acknowledgements
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
Materials
| 1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
| Water container at least 50mm by 50mm by 30mm |
| A sterilisation package |
| Seline water |
| Manual metal cutter |
| A file to round up the corners |
| A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
| A vise (desirable but not required) |
| Sand Blasting machine |
| GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
| PC |
| Laser Cutter |
| Autoclave |
| An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
| Endoscope |
| OpenCV camera calibration module (https://github.com/opencv/opencv) |
References
- Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. , 2321-2328 (2011).
- Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. , 62-72 (1995).
- Duane, C. B. Close-range camera calibration. Photogramm. Eng. 37 (8), 855-866 (1971).
- Mallon, J., Whelan, P. F. Which pattern? biasing aspects of planar calibration patterns and detection methods. Pattern recognition letters. 28 (8), 921-930 (2007).
- Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. Calibration of Action Cameras for Photogrammetric Purposes. Sensors. 14 (9), 17471-17490 (2014).
- Heikkila, J. Geometric camera calibration using circular control points. IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).
- Deprest, J. A., et al. Fetal surgery is a clinical reality. Seminars in fetal and neonatal medicine. 15 (1), 58-67 (2009).
- Watanabe, M., Flake, A. W. Fetal surgery: Progress and perspectives. Advances in pediatrics. 57 (1), 353-372 (2010).
- Lewi, L., Deprest, J., Hecher, K. The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences. American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).
- Yamashita, H., et al. Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome. Surgical Endoscopy. 22 (2), 430-435 (2008).
- Daga, P., et al. Real-time mosaicing of fetoscopic videos using SIFT. Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , (2016).
- Yang, L., et al. Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).
- Liao, H., et al. Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).
- Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. , (2015).
- Wengert, C., Reeff, M., Cattin, P. C., Székely, G., Handels, H. . Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. – 21. März 2006 in Hamburg. , 419-423 (2006).
- . Compact GUI application for optical distortion calibration of endoscopes Available from: https://github.com/gift-surg/endocal (2016)
- Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. . Mosaicing of endoscopic placenta images. , (2011).
- Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. Optical properties of human amniotic fluid: implications for videofetoscopic surgery. Fetal diagnosis and therapy. 27 (2), 87-90 (2009).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . Open Source Computer Vision Library Available from: https://github.com/opencv/opencv (2016)
