Sıvı-dalmış Fetoscope Optik Distorsiyon Kalibrasyon Tıbbi dereceli Sterilize Hedef
Özet
This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
Abstract
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Introduction
Kamera kalibrasyonu yoğun yıl 1, 2, 3 üzerinde çalışılmıştır bilgisayar görme alanında tanınmış bir sorundur. kamera kalibrasyon prosedürleri önemli bir adım alt piksel doğruluk ile kamera görüntüleri bilinen geometri ile puan ızgara ayıklanması, bir bozulma modelinin parametrelerini yanı sıra içsel kamera parametrelerini tahmin etmektir. Siyah beyaz kareler içeren bir dama tahtası deseni kalibrasyon hedefler bu amaçla yaygın olarak kullanılmaktadır. Dairesel lekeler alternatif bir model 4, 5, 6 sunuyoruz.
Son yıllarda, fetusa bu tür ikiz ikize transfüzyon sendromu (TTTS) tedavisinde fetal cerrahi prosedürleri, cerrahi navigasyon teknolojisinin geliştirilmesinde artan bir ilgi olmuştur> 7, 8, 9, 10. Fetoscope görüş alanı (yani, fetal cerrahi prosedürlerde kullanılan bir endoskop) ait dış izci kullanılmadan plasental damar tasarlamak için metotlar TTTS cerrahi 11, 12, 13 yardım etmek için önerilmiştir, sınırlıdır. Fetoscopic görüntüler içinde optik bozulmaları görsel bilgi çıkarımı 11 itimat bu hesaplama mosaicing yöntemleri üzerinde olumsuz etkileri vardır. Böylece, optik bozulma tazminat müdahalesi sırasında gerçek zamanlı olarak yapılabilir böylece peri-operatif fetoscopes kalibre edilmesi için bir maliyet-etkin ve hızlı bir araç için bir karşılanmamış ihtiyaç vardır.
Nedeniyle fetoscope, müdahale sırasında amniyotik sıvı içinde arasındaki kırılma indeksi farkı batırılır gerçeğiir ve amniyotik sıvı fetal cerrahi prosedürleri için uygun klasik olarak hava kamera kalibrasyon metotları vermektedir. Havadaki kamera parametreleri sıvı dalmış kamera parametrelerini tahmin zor bir iştir ve sıvı dalmış kalibrasyon hedefe 14 en az bir görüntü gerektirir. Ayrıca, peri-operatif, sıvı dalmış fetoscopic kamera kalibrasyonu ameliyathanede izin malzemelere sterilizasyon şartlarına ve kısıtlamalar nedeniyle şu anda pratik değildir. Bu nedenlerden ötürü, optik bozulmaları endoskop kalibre genellikle mevcut klinik iş akışının bir parçası değildir. Bu yazıda iş tasarımı ve asimetrik çevrelerin bir desen içeren bir sterilize ve pratik optik bozulma kalibrasyon hedefi üreterek bu kamera kalibrasyon açığını kapatmak için bir girişimdir. Daha önce, Wengert ve diğ. Kalibrasyon hedefi olarak oksitlenmiş alüminyum levha içeren özel bir kalibrasyon cihazı fabrikasyon. onların mete, ancak, sadece, 15 geliştirilmiş özel kalibrasyon algoritması ile birlikte çalışır.
Protocol
Representative Results
Discussion
ham metal yüzeyi belirgin imkansız çevreler tespit edilmesi için yapım, endoskop ışığı yansıtır çünkü Kumlama fabrikasyon sürecinde önemli bir adımdır. Hatta çıplak gözle çevreleri ayırt etmek zordur (Şekil 5). gösterilen hedef yüzeyi daha önce bir lazer ile kabartma dikkat etmek gerekir. Bununla birlikte, bu ışık yansıması azaltmamaktadır.
Şekil 5: Kalibrasyon hedefi yok kumlama ile uygulanır. Soldaki endoskop görünümünden görüldüğü gibi, malzeme yüzeyinde endoskop ışık parlama çıplak gözle çevreleri ayırt etmek için bile zor yapar (sadece büyük yansıma güneydoğusundaki bir daire vardır). Bu hedef yüzeyi (yani, "arka plan") zaten kazınmış olduğunu unutmayın, ancak bu değil kumlama yokluğunda yararlı. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.
Önceki model gravür için, bütün numune yüzeyini aşındırma da önemlidir. Bu kumlanmış yüzey birçok aynaya yansımaları olduğundan blob algılama ile müdahale, (bakınız Şekil 6) gereklidir.
Şekil 6: hayır aşındırma yüzeyi Kumlu. ham metal yüzeyi gibi belirgin olmasa da, (bazıları sarı oklarla vurgulanır) nispeten küçük aynaya yansımaları hala başarılı dan blob algılanmasını önlemek için yeterli hiçbir kalibrasyon Bu hedef ile yapılabilir.arget = "_ blank"> bu rakamın daha büyük bir versiyonunu görmek için lütfen buraya tıklayınız.
farklı hızlarda lazer uygulayarak farklı arka plan renkleri verir. arka plan rengi çevreleri ve arka plan arasındaki kontrast önemli bir rol oynamaktadır. Bu nedenle, optimal arka plan rengini belirlemek için hayati önem taşımaktadır. Bu amaçla, çevreleriyle bir tabak oluşturulan farklı geçmişlere (bakınız Şekil 7) bir dizi karşı kazınmış. Arka OpenCV kamera kalibrasyon modülü 17 kullanılan OpenCV 23, özelliği algılama modülü kullanılarak test edilmiştir. Tıbbi cihazlar için klinikte kullanılan en yaygın ve güvenilir bir malzeme olduğu için, bu iş, hedef, paslanmaz çelikten imal edilmiştir. Bu madde serbestçe, pahalı değil, mevcut sağlam ve sterilize etmek kolaydır. Diğer maddeler, potansiyel olarak, alüminyum veya iyotlu metaller gibi, kalibrasyon hedef için kullanılabilir, ama bu SCOP olangelecekte yapılacak çalışmalar e.
Şekil 7: lazer ile kazınmış farklı arka plan renk paletini içeren paslanmaz çelik levha. Pratik deneyler blob-zemin aksine 23 açısından en iyi sonucu veren arka plan rengini belirlemek için OpenCV özelliği algılama modülü ile birlikte yapılmıştır. Soldaki endoskop görünümü plakasını göstermektedir. Orta arka plan renkleri (yani, diğer olanlar koyu ve en açık olanlar o) bu palette daha iyi damla algılama verim. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.
Bu çalışmanın avantajlarından biri fabrikasyon hedefini kullanarak bir kalibrasyon yapma 2-3 dakika sürer olmasıdır. çaba çoğu gitmekes el kalibrasyon desen iyi görüşlerini almak için endoskop stabilize etmek. Bir özel yapılmış endoskop tutucu kullanarak sırayla anlamlı kalibrasyon süresini kısaltabilir manuel stabilizasyonu, ihtiyacını ortadan kaldırabilir.
Video 1: Video Endocal yazılımı ile birlikte geliştirilen kalibrasyon hedefi kullanılarak yapılabilir nasıl optik bozulma kalibrasyon gösteren. Bu videoyu görmek için lütfen buraya tıklayınız. (Indirmek için sağ tıklatın.)
Wengert ark çalışmalarına kıyasla Çalışmalarımızın bir avantajı. 15 OpenCV kamera kalibrasyon modülü 17 herhangi bir değişiklik ya da özel parametrede gerektirmeden, kalibrasyon için olduğu gibi kullanılabilir olmasıdıryon. OpenCV köklü ve bakımlı bir yazılım paketi ve yazma ve özel yazılım koruma ihtiyacını ortadan kaldırıyor kullanarak, bilgisayar görme toplumda çok popüler olduğu için. Okuyucunun kolaylık sağlamak için, kompakt bir GUI uygulaması okuyucu kolayca yüklemek ve yeni kalibrasyon hedefleri test etmek için kullanabileceğiniz, 16 sağlanır. Wengert ve diğerleri ile karşılaştırıldığında bizim yönteminin bir dezavantajı. 15 tüm lekeler tespitini gerektirmez olarak yöntem, desen tıkanmalara daha sağlam olmasıdır.
Başlangıçta, bir dama tahtası deseni ile bir kalibrasyon hedefi bu iş için imal edilmiştir. Bununla birlikte, kalibrasyon hedefi, bu tür bağlı dama tahtası kareler köşeleri tespit zorluğu deneylerde uygun olduğu kanıtlanmıştır. Köşe algılama histogram tabanlı görüntü İkiye (OpenCV kaynak kodunu 24) dayanır. bu impŞekil 6'da gösterilen olanlar gibi, kısmen yansıtıcı yansımaları, bizim dama tahtası deseni ile garanti edilemeyen açık ve koyu kareler arasında net bir renk kontrastı ihtiyacını yatıyor. Böyle aynaya yansımalar bile arka plan aşındırma sonrasında mevcut; Ancak, çevrelerin algılama bu eksiklik daha az duyarlı olduğu görülmektedir.
Geçerli kurulumda, kalibrasyon hedefin sadece dik görüşleri başarılı damla tespiti için izin verir. Bu eğik açılarda damla algılama engel hedef yüzey speküler yansımalar kaynaklanmaktadır. Biz potansiyel gerçekleştirilen kalibrasyonların 20 kalitesini artırmak olabilir açıları daha geniş, en görüşlerinin alımı için izin verecek şekilde daha fazla hedef geliştirmek için çalışıyoruz.
Gerçek zamanlı olarak plasental önce 11 önerilmiştir boru hattı, trans hesaplamasını mozaiklemegörüntü çiftleri haritalar oluşumu başarılı algılama ve özellikleri gruplama dayanmaktadır. Optik bozulmalar, diğer taraftan, bir bükülmez geometrili özelliğin grup görüntüleri üzerindeki farklı görünmesine neden olabilir. Sonuç olarak, bu fark çıkan görüntü mozaikler sürükleniyor neden bilgisayarlı dönüşümler, yanlışlıklar yol açar. En belirgin optik çarpıtmalar kenarlara doğru mevcut olduğundan, endoskopik görüntüleri şu anda kendi içteki bölgelerine kırpılır. optik çarpıtma için iyi bir düzeltme potansiyel mosaicing sürecine her resmin daha büyük bir kısmının dahil edilmesi için izin verecek. Bu yöntemin avantajı iki yönlüdür. Birincisi, potansiyel görüntü dönüşümleri hesaplama iyileştirilmesi, her görüntünün tespit özelliklerin sayısını artıracaktır. İkinci olarak, daha kısa bir süre içinde yeniden inşa edilmesi tüm hedef anatomik yüzeyi sağlayacaktır.
Açıklamalar
The authors have nothing to disclose.
Acknowledgements
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
Materials
| 1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
| Water container at least 50mm by 50mm by 30mm |
| A sterilisation package |
| Seline water |
| Manual metal cutter |
| A file to round up the corners |
| A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
| A vise (desirable but not required) |
| Sand Blasting machine |
| GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
| PC |
| Laser Cutter |
| Autoclave |
| An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
| Endoscope |
| OpenCV camera calibration module (https://github.com/opencv/opencv) |
Referanslar
- Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. , 2321-2328 (2011).
- Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. , 62-72 (1995).
- Duane, C. B. Close-range camera calibration. Photogramm. Eng. 37 (8), 855-866 (1971).
- Mallon, J., Whelan, P. F. Which pattern? biasing aspects of planar calibration patterns and detection methods. Pattern recognition letters. 28 (8), 921-930 (2007).
- Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. Calibration of Action Cameras for Photogrammetric Purposes. Sensors. 14 (9), 17471-17490 (2014).
- Heikkila, J. Geometric camera calibration using circular control points. IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).
- Deprest, J. A., et al. Fetal surgery is a clinical reality. Seminars in fetal and neonatal medicine. 15 (1), 58-67 (2009).
- Watanabe, M., Flake, A. W. Fetal surgery: Progress and perspectives. Advances in pediatrics. 57 (1), 353-372 (2010).
- Lewi, L., Deprest, J., Hecher, K. The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences. American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).
- Yamashita, H., et al. Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome. Surgical Endoscopy. 22 (2), 430-435 (2008).
- Daga, P., et al. Real-time mosaicing of fetoscopic videos using SIFT. Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , (2016).
- Yang, L., et al. Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).
- Liao, H., et al. Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).
- Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. , (2015).
- Wengert, C., Reeff, M., Cattin, P. C., Székely, G., Handels, H. . Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. – 21. März 2006 in Hamburg. , 419-423 (2006).
- . Compact GUI application for optical distortion calibration of endoscopes Available from: https://github.com/gift-surg/endocal (2016)
- Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. . Mosaicing of endoscopic placenta images. , (2011).
- Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. Optical properties of human amniotic fluid: implications for videofetoscopic surgery. Fetal diagnosis and therapy. 27 (2), 87-90 (2009).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . Open Source Computer Vision Library Available from: https://github.com/opencv/opencv (2016)
