الطبية الصف الهدف تعقيمها ل-مغمورة السائل منظار الجنين البصرية تشويه المعايرة
Summary
This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
Abstract
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Introduction
معايرة الكاميرا هي مشكلة معروفة في مجال الرؤية الحاسوبية التي تم دراستها بشكل مكثف خلال السنوات 1 و 2 و 3. والخطوة الأساسية لإجراءات المعايرة الكاميرا لتقدير معالم النموذج تشويه، وكذلك المعلمات كاميرا الجوهرية، عن طريق استخراج شبكة من نقاط مع هندسة يعرف من صور الكاميرا مع دقة البكسل الفرعي. أهداف المعايرة مع نمط الشطرنج يضم المربعات السوداء والبيضاء وتستخدم عادة لهذا الغرض. النقط الدائرية توفر نمط بديل 4، 5، 6.
في السنوات الأخيرة، كان هناك اهتمام متزايد في تطوير تكنولوجيا الملاحة الجراحية من أجل إجراء جراحات الجنين، مثل علاج التوأم إلى التوأم متلازمة نقل الدم (تي تي تي إس) على الأجنة> 7، 8، 9، 10. وبما أن مجال الرؤية من منظار الجنين (أي المنظار المستخدم في العمليات الجراحية الجنين) محدودة جدا، وقد تم اقتراح طرق لرسم خرائط الأوعية الدموية المشيمة دون استخدام بتتبع الخارجية للمساعدة في عملية جراحية تي تي تي إس 11، 12، 13. التشوهات البصرية داخل الصور fetoscopic لها آثار سلبية على هذه الأساليب mosaicing الحسابية التي تعتمد على استخراج المعلومات البصرية 11. وبالتالي، هناك حاجة غير الملباة لأداة فعالة من حيث التكلفة وسريعة لشبه الجراحة معايرة fetoscopes بحيث تعويض التشويه البصري الذي يمكن القيام به في الوقت الحقيقي أثناء التدخل.
يرجع ذلك إلى حقيقة أن منظار الجنين مغمورة في السائل الذي يحيط بالجنين أثناء التدخل، والفرق مؤشر الانكسار بينالسائل الذي يحيط بالجنين الأشعة تحت الحمراء ويجعل الطرق التقليدية في الهواء الكاميرا المعايرة غير صالحة للإجراءات جراحة الجنين. تقدير المعلمات الكاميرا مغمورة السوائل من المعلمات الكاميرا في الهواء مهمة صعبة وتتطلب صورة واحدة على الأقل من هدف المعايرة مغمورة السائل 14. وعلاوة على ذلك، شبه المنطوق،-مغمورة السائل fetoscopic الكاميرا المعايرة غير عملية في الوقت الراهن نظرا لمتطلبات التعقيم والقيود المفروضة على المواد المسموح بها في غرفة العمليات. نظرا لهذه الأسباب، ومعايرة المناظير لالتشوهات البصرية هي عادة ليست جزءا من سير العمل السريري الحالي. العمل في هذا المخطوط هو محاولة لإغلاق هذه الكاميرا الفجوة المعايرة من خلال تصميم وإنتاج هدف المعايرة تشويه بصري تعقيمها وعملي يتميز نمط الدوائر غير المتماثلة. سابقا، نغرت وآخرون. ملفقة جهاز معايرة مخصص يضم لوحة الألمنيوم المؤكسد كهدف المعايرة. المنهجيات الخاصةالتطوير التنظيمي، ومع ذلك، لا تعمل إلا بالتعاون مع الخوارزمية العرف المعايرة أنها وضعت 15.
Protocol
Representative Results
Discussion
الرملي هو خطوة هامة في عملية التصنيع وذلك لأن سطح المعدن الخام يعكس بشكل بارز ضوء المنظار، مما يجعل من المستحيل على الدوائر ليتم الكشف. ومن الصعب التمييز بين الدوائر حتى بالعين المجردة (انظر الشكل 5). لاحظ أن سطح الهدف هو موضح كان محفورا بالفعل مع ليزر. ومع ذلك، هذا لا يقلل من انعكاس الضوء.
الرقم 5: هدف المعايرة مع عدم وجود الرملي تطبيقها. كما يرى من وجهة نظر المنظار على اليسار، على مرأى ومسمع من ضوء المنظار على سطح مادة يجعل من الصعب حتى للعين المجردة للتمييز بين الدوائر (هناك دائرة فقط إلى الجنوب الشرقي من انعكاس كبير). لاحظ أن سطح هذا الهدف (أي "الخلفية") كان محفورا بالفعل، ولكن هذا ليس مفيدة في غياب الرملي. الرجاء انقر هنا لعرض نسخة أكبر من هذا الرقم.
قبل نمط النقش، فمن المهم أيضا أن حفر سطح العينة بأكملها. وهذا أمر ضروري لأن السطح بالرمل والعديد من انعكاس منتظم (انظر الشكل 6)، التي تتداخل مع الكشف عن فقاعة.
الشكل 6: يسفع السطح مع عدم وجود الحفر. وإن لم يكن بارزة مثل سطح المعدن الخام، وانعكاس منتظم صغيرة نسبيا (وبعضها يتم تسليط الضوء مع الأسهم الصفراء) لا تزال كافية لمنع الكشف عن فقاعة من النجاح، لذلك لا يمكن معايرة أداء مع هذا الهدف.arget = "_ فارغة"> الرجاء انقر هنا لعرض نسخة أكبر من هذا الرقم.
تطبيق الليزر بسرعات مختلفة يعطي خلفية مختلفة الألوان. لون الخلفية يلعب دورا هاما في التباين بين الدوائر والخلفية. وبالتالي، فمن الأهمية بمكان لتحديد لون الخلفية الأمثل. لهذا الغرض، لوحة مع دوائر محفورا ضد مجموعة من خلفيات مختلفة تم إنشاء (انظر الشكل 7). تم اختبار الخلفيات باستخدام وحدة الكشف عن ميزة من مكتبة برمجية مفتوحة للرؤية الحاسوبية 23، والذي يستخدم في الكاميرا مكتبة برمجية مفتوحة للرؤية الحاسوبية معايرة وحدة 17. في هذا العمل، وجاء الهدف من الفولاذ المقاوم للصدأ، كما هو المادة الأكثر شيوعا وموثوقة المستخدمة في عيادات للأجهزة الطبية. هذه المواد متاحة بحرية، ليست مكلفة، قوية، وسهلة لتعقيم. من المحتمل أن تستخدم مواد أخرى لهدف المعايرة، مثل الألومنيوم أو المعالج باليود والمعادن، ولكن هذا هو سكوب(ه) من العمل في المستقبل.
الشكل 7: لوحة الفولاذ المقاوم للصدأ ويضم لوحة من خلفية مختلفة الألوان محفورا مع الليزر. وأجريت التجارب العملية بالتعاون مع مكتبة برمجية مفتوحة للرؤية الحاسوبية وحدة الكشف عن ميزة لتحديد لون الخلفية يعطي نتيجة أفضل من حيث النقطة إلى خلفية تباين 23. وجهة نظر المنظار على اليسار يظهر لوحة. ألوان الخلفية معتدلة (أي تلك البعض أن أحلك والأخف وزنا منها) في هذه اللوحة تسفر عن الكشف سائل أفضل. الرجاء انقر هنا لعرض نسخة أكبر من هذا الرقم.
واحدة من مزايا هذا العمل هو أن أداء المعايرة باستخدام الهدف ملفقة يأخذ 2-3 دقيقة. معظم الجهد الذهابوفاق ليستقر يدويا المنظار إلى الحصول على آراء لائقة من نمط المعايرة. يمكن استخدام حامل المنظار مبنية خصيصا للقضاء على الحاجة لتحقيق الاستقرار اليدوي، والتي بدورها يمكن اختصار الوقت بشكل كبير المعايرة.
الفيديو 1: فيديو يبين كيفية معايرة تشويه بصري يمكن تنفيذها باستخدام هدف المعايرة وضعت جنبا إلى جنب مع برنامج endocal. الرجاء انقر هنا لعرض هذا الفيديو. (انقر بزر الماوس الأيمن للتحميل.)
ميزة عملنا مقارنة لعمل نغرت وآخرون. 15 غير أن الكاميرا مكتبة برمجية مفتوحة للرؤية الحاسوبية معايرة وحدة 17 يمكن استخدامها كما هو للمعايرة، دون الحاجة إلى أي تعديل أو العرف parameterization. لأن مكتبة برمجية مفتوحة للرؤية الحاسوبية هو مجموعة من البرامج راسخة وبحالة جيدة وتحظى بشعبية كبيرة في المجتمع رؤية الكمبيوتر، وذلك باستخدام أنه يلغي الحاجة لكتابة والحفاظ على برامج مخصصة. لراحة القارئ، يتم توفير تطبيق واجهة المستخدم الرسومية المدمجة 16، والتي يمكن للقارئ أن تثبيت بسهولة واستخدامها لاختبار أهداف معايرة جديدة. عيب واحد من أسلوبنا مقارنة نغرت وآخرون. 15 غير أن منهجهم هو أكثر قوة إلى انسداد في نمط، كما أنها لا تتطلب الكشف عن جميع النقط.
في البداية، كانت ملفقة هدف المعايرة مع نمط الشطرنج لهذا العمل. ومع ذلك، أثبت هذا النوع من هدف المعايرة لتكون غير صالحة في التجارب بسبب صعوبة الكشف عن زوايا المربعات الشطرنج. يعتمد الكشف الزاوية على القائم على الرسم البياني binarization صورة (انظر مكتبة برمجية مفتوحة للرؤية الحاسوبية شفرة المصدر 24). هذه عفريتتكمن الحاجة إلى النقيض من لون واضح بين الساحات المظلمة والضوء، والتي لا يمكن أن تكون مضمونة مع نمط الشطرنج لدينا، ويرجع ذلك جزئيا إلى انعكاس منتظم، مثل تلك التي تظهر في الشكل (6). هذه انعكاس منتظم موجودة حتى بعد الحفر الخلفية؛ ومع ذلك، فإن الكشف عن الدوائر ويبدو أن أقل حساسية لهذا القصور.
في الإعداد الحالي، إلا وجهات النظر عمودي من هدف المعايرة تسمح للكشف سائل ناجحة. ويرجع ذلك إلى انعكاس منتظم من على سطح الهدف تعرقل الكشف سائل بزوايا مائلة هذا. ونحن نعمل على زيادة تحسين المستهدفة وذلك لإتاحة الفرصة لاكتساب وجهات النظر في مجموعة واسعة من الزوايا، التي يحتمل أن تحسين نوعية المعايرات المنفذة 20.
في الوقت الحقيقي المشيمة mosaicing خط الأنابيب الذي اقترح في وقت سابق 11، حساب العابرةتشكيل تعين صورة أزواج يعتمد على الكشف الناجح والتجميع من الميزات. التشوهات البصرية، من ناحية أخرى، تسبب مجموعة من الميزات مع هندسة جامدة لتبدو مختلفة عبر الصور. ونتيجة لذلك، هذا الاختلاف يؤدي إلى عدم الدقة في التحولات المحسوبة، التي تسبب الانجرافات يترتب عليه من فسيفساء من الصور. لأن التشوهات البصرية أبرز موجودة نحو الحواف، واقتصاص الصور بالمنظار حاليا إلى مناطقهم أعمق. ومن شأن تصحيح جيدة لالتشوهات البصرية يحتمل أن تسمح لإدراج جزء أكبر من كل صورة في عملية mosaicing. وميزة هذه الطريقة هي ذات شقين. أولا، فإنه زيادة عدد من الميزات الكشف في كل صورة، ويحتمل أن تحسين حساب التحولات صورة. ثانيا، فإنه يسمح للهدف سطح التشريحية كله من أجل إعادة بنائها في فترة زمنية أقصر.
Disclosures
The authors have nothing to disclose.
Acknowledgements
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
Materials
| 1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
| Water container at least 50mm by 50mm by 30mm |
| A sterilisation package |
| Seline water |
| Manual metal cutter |
| A file to round up the corners |
| A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
| A vise (desirable but not required) |
| Sand Blasting machine |
| GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
| PC |
| Laser Cutter |
| Autoclave |
| An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
| Endoscope |
| OpenCV camera calibration module (https://github.com/opencv/opencv) |
References
- Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. , 2321-2328 (2011).
- Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. , 62-72 (1995).
- Duane, C. B. Close-range camera calibration. Photogramm. Eng. 37 (8), 855-866 (1971).
- Mallon, J., Whelan, P. F. Which pattern? biasing aspects of planar calibration patterns and detection methods. Pattern recognition letters. 28 (8), 921-930 (2007).
- Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. Calibration of Action Cameras for Photogrammetric Purposes. Sensors. 14 (9), 17471-17490 (2014).
- Heikkila, J. Geometric camera calibration using circular control points. IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).
- Deprest, J. A., et al. Fetal surgery is a clinical reality. Seminars in fetal and neonatal medicine. 15 (1), 58-67 (2009).
- Watanabe, M., Flake, A. W. Fetal surgery: Progress and perspectives. Advances in pediatrics. 57 (1), 353-372 (2010).
- Lewi, L., Deprest, J., Hecher, K. The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences. American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).
- Yamashita, H., et al. Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome. Surgical Endoscopy. 22 (2), 430-435 (2008).
- Daga, P., et al. Real-time mosaicing of fetoscopic videos using SIFT. Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , (2016).
- Yang, L., et al. Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).
- Liao, H., et al. Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).
- Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. , (2015).
- Wengert, C., Reeff, M., Cattin, P. C., Székely, G., Handels, H. . Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. – 21. März 2006 in Hamburg. , 419-423 (2006).
- . Compact GUI application for optical distortion calibration of endoscopes Available from: https://github.com/gift-surg/endocal (2016)
- Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. . Mosaicing of endoscopic placenta images. , (2011).
- Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. Optical properties of human amniotic fluid: implications for videofetoscopic surgery. Fetal diagnosis and therapy. 27 (2), 87-90 (2009).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . Open Source Computer Vision Library Available from: https://github.com/opencv/opencv (2016)
