Medische kwaliteit Steriliseerbare Doel voor-Fluid ondergedompeld fetoscope Optical Distortion Calibration
Summary
This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
Abstract
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Introduction
Camerakalibratie is een bekend probleem in de computer vision veld intensief bestudeerd in de jaren 1, 2, 3. Een belangrijke stap van camerakalibratie procedures om de parameters van een distortion model, alsmede de intrinsieke cameraparameters schatten, door het extraheren van een raster van punten met een bekende geometrie van camerabeelden nauwkeurig sub-pixel. Kalibratiedoelen met een schaakbordpatroon met zwart-witte vierkanten worden vaak gebruikt voor dit doel. Circulaire blobs bieden een alternatief patroon 4, 5, 6.
De laatste jaren is er een groeiende belangstelling voor de ontwikkeling van chirurgische navigatietechnologie voor foetale chirurgie procedures, zoals de behandeling van tweelingtransfusiesyndroom (TTS) met foetussen geweest> 7, 8, 9, 10. Aangezien het gezichtsveld van de fetoscope (dwz een endoscoop in foetale chirurgische procedures) is zeer beperkt, methoden voor het afbeelden van de placenta vasculatuur zonder het gebruik van externe trackers voorgesteld om TTS operatie 11, 12, 13 helpen. Optische vervormingen binnen fetoscopic beelden nadelige gevolgen hebben voor deze computationele mozaïeken methoden die afhankelijk zijn van visuele informatie-extractie 11. Er is dus een onvervulde behoefte aan een rendabele en snelle tool voor peri-operatief kalibreren fetoscopes zodat compensatie optische vervorming in real-time kan tijdens de ingreep.
Vanwege het feit dat de fetoscope in vruchtwater wordt ondergedompeld tijdens de ingreep, de brekingsindex verschil tussen eenir en vruchtwater maakt klassieke in-air camera kalibratie methoden ongeschikt voor foetale chirurgie procedures. Het schatten van vloeistof ondergedompeld camera parameters in de lucht camera parameters is een moeilijke taak en ten minste één beeld van de vloeistof ondergedompeld kalibratiedoel 14 vereist. Bovendien, peri-operatieve, vloeistof ondergedompeld fetoscopic camera kalibratie momenteel onpraktisch als gevolg van sterilisatie eisen en beperkingen van het toegestaan in de operatiekamer materialen. Vanwege deze redenen, kalibreren endoscopen voor optische vervormingen typisch niet meer in de huidige klinische workflow. Het werk in dit handschrift is een poging om deze camera calibratie kloof te dichten door het ontwerpen en produceren van een steriliseerbaar en praktische optische vervorming kalibratierichtwaarde die een patroon van asymmetrische kringen. Voorheen Wengert et al. gefabriceerd van een aangepaste kalibratie-apparaat met een geoxideerd aluminiumplaat als kalibratiedoel. hun method werkt echter alleen in combinatie met de aangepaste kalibratiealgoritme ze ontwikkeld 15.
Protocol
Representative Results
Discussion
Zandstralen is een belangrijke stap in het fabricageproces omdat het ruwe metaaloppervlak prominent reflecteert de endoscoop licht, waardoor het onmogelijk wordt de cirkels te detecteren. Het is moeilijk om de kringen te onderscheiden, zelfs met het blote oog (zie figuur 5). Merk op dat het oppervlak van het doel reeds aangegeven werd geëtst met een laser. Dit betekent echter niet lichtreflectie verminderen.
Figuur 5: Calibration doel zonder zandstralen toegepast. Zoals blijkt uit de endoscoop zicht aan de linkerkant, de schittering van de endoscoop licht op het oppervlak van het materiaal maakt het moeilijk, zelfs voor het blote oog naar de kringen te onderscheiden (er is een cirkel net ten zuidoosten van de grote reflectie). Merk op dat het oppervlak van het doel (dat wil zeggen, de "achtergrond") al geëtst, maar dit is niet behulpzaam bij afwezigheid van zandstralen. Klik hier om een grotere versie van deze figuur te bekijken.
Vóór patroon etsen, is het ook belangrijk om het oppervlak van het gehele monster etsen. Dit is nodig omdat het gezandstraalde oppervlak veel spiegelende reflecties (zie figuur 6), die interfereren met blob detectie.
Figuur 6: Gezandstraald oppervlak zonder etsen. Hoewel niet zo duidelijk is als het ruwe metaaloppervlak, de relatief kleine spiegelende reflecties (waarvan sommige zijn gemarkeerd met gele pijlen) nog steeds voldoende om te voorkomen blob detectie van slagen, zodat geen kalibratie kan worden uitgevoerd met dit doel.arget = "_ blank"> Klik hier om een grotere versie van deze figuur te bekijken.
Het toepassen van de laser op verschillende snelheden geeft verschillende achtergrondkleuren. De achtergrondkleur speelt een belangrijke rol bij het contrast tussen de cirkels en de achtergrond. Daarom is het essentieel om de optimale achtergrondkleur bepalen. Voor dit doel, een bord met cirkels geëtst tegen een set van verschillende achtergronden is gemaakt (zie figuur 7). De achtergronden werden getest met de functie detectiemodule van OpenCV 23, die wordt gebruikt in de OpenCV Camerakalibratie module 17. In dit werk, is het doel van roestvrij staal, omdat het de meest voorkomende en betrouwbare materialen in klinieken voor medische hulpmiddelen. Dit materiaal is vrij beschikbaar, niet duur, robuust en gemakkelijk te steriliseren. Andere materialen zou kunnen worden gebruikt voor de kalibratie doel, zoals aluminium of gejodeerd metalen, maar dit is het scope van de toekomstige werkzaamheden.
Figuur 7: Roestvrij staal met een palet van verschillende achtergrondkleuren geëtst met de laser. Praktische experimenten werden uitgevoerd in samenwerking met de functie OpenCV detectiemodule te bepalen welke achtergrondkleur optimaal resultaat qua blob naar achtergrondcontrast 23 geeft. De endoscoop zicht op de linkerkant toont het bord. De gematigde achtergrondkleuren (dat wil zeggen, die andere die de donkerste en lichtste ones) in dit palet opleveren beter blob detectie. Klik hier om een grotere versie van deze figuur te bekijken.
Een van de voordelen van dit werk is dat het uitvoeren van een kalibratie met het doel gefabriceerde duurt 2-3 minuten. Het grootste deel van de inspanning te gaanes aan de endoscoop handmatig stabiliseren om fatsoenlijk uitzicht op de kalibratie patroon te verkrijgen. Met behulp van een op maat gemaakte houder endoscoop kan handmatig hoeft te stabiliseren, hetgeen zou kunnen aanzienlijk kalibratie verkorten elimineren.
Video 1: De video toont hoe de optische vervorming kalibratie kan worden uitgevoerd met behulp van de ontwikkelde kalibratiedoel samen met de endocal software. Klik hier om deze video te bekijken. (Klik met de rechtermuisknop om te downloaden.)
Een voordeel van ons werk in vergelijking met het werk van Wengert et al. 15 is dat de OpenCV camerakalibratie module 17 kan worden gebruikt voor kalibratie, zonder enige wijziging of aangepaste parameterization. Omdat OpenCV is een gevestigde en goed onderhouden softwarepakket en is zeer populair in de computer vision gemeenschap, met behulp van het elimineert de noodzaak voor het schrijven en onderhouden van software op maat. Voor het gemak van de lezer, is een compacte GUI applicatie ontvangen # 16, die de lezer gemakkelijk kan installeren en gebruiken om nieuwe kalibratiedoelen testen. Een nadeel van onze methode vergeleken Wengert et al. 15 is dat de werkwijze robuuster in occlusies van de patroon, aangezien het niet de detectie van vlekken vereisen.
Aanvankelijk kalibratiedoel met een dambordpatroon werd vervaardigd voor dit werk. Dit type van kalibratiewaarde bleek ongeschikt voor experimenten te wijten aan de moeilijkheid van het detecteren van de hoeken van de vierkanten dambord. Hoek-detectie is gebaseerd op een histogram gebaseerde image binarisering (zie de OpenCV source code 24). dit impligt de noodzaak van een duidelijk kleurcontrast tussen de donkere en lichte vierkanten, die niet kon worden gegarandeerd met onze dambordpatroon, mede door spiegelende reflecties, zoals de in figuur 6 die. Dergelijke spiegelende reflecties zijn aanwezig, zelfs nadat achtergrond etsen; De detectie van de cirkels schijnt minder gevoelig dit bezwaar te zijn.
In de huidige setup, alleen loodrecht uitzicht op het kalibratiedoel zorgen voor een succesvolle blob detectie. Dit komt door de spiegelende reflecties van het doeloppervlak belemmering blob detectie bij schuine hoeken. We zijn bezig om de doelgroep verder te verbeteren, zodat het mogelijk te maken voor de aankoop van uitzicht op een breder scala van hoeken, die mogelijk de kwaliteit van de uitgevoerde kalibraties 20 zou kunnen verbeteren.
In real time placenta mozaïeken pijpleiding die eerder voorgestelde 11, de berekening van de transformatie die afbeelding paren in kaart is gebaseerd op de succesvolle opsporing en de groepering van de functies. Optische vervormingen, anderzijds, veroorzaken een groep elementen met een stijve geometrie in verschillende beelden. Bijgevolg Dit verschil leidt tot onnauwkeurigheden in de berekende omzettingen, die veranderingen in het resulterende beeldmozaïeken veroorzaken. Omdat de meest prominente optische vervormingen aanwezig zijn naar de randen, worden endoscopische plaatjes bijgesneden om hun diepste gebieden. Een goede correctie voor optische vervormingen zouden potentieel oog op het opnemen van een groter gedeelte van elke afbeelding in het mozaïeken proces. Het voordeel hiervan is tweeledig. In de eerste plaats zou het aantal gedetecteerde functies in elk beeld te verhogen, mogelijk verbeteren van de berekening van het beeld transformaties. Ten tweede zou het mogelijk maken voor de hele doelgroep anatomische oppervlak dat moet worden gereconstrueerd in een kortere tijd.
Disclosures
The authors have nothing to disclose.
Acknowledgements
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
Materials
| 1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
| Water container at least 50mm by 50mm by 30mm |
| A sterilisation package |
| Seline water |
| Manual metal cutter |
| A file to round up the corners |
| A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
| A vise (desirable but not required) |
| Sand Blasting machine |
| GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
| PC |
| Laser Cutter |
| Autoclave |
| An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
| Endoscope |
| OpenCV camera calibration module (https://github.com/opencv/opencv) |
References
- Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. , 2321-2328 (2011).
- Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. , 62-72 (1995).
- Duane, C. B. Close-range camera calibration. Photogramm. Eng. 37 (8), 855-866 (1971).
- Mallon, J., Whelan, P. F. Which pattern? biasing aspects of planar calibration patterns and detection methods. Pattern recognition letters. 28 (8), 921-930 (2007).
- Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. Calibration of Action Cameras for Photogrammetric Purposes. Sensors. 14 (9), 17471-17490 (2014).
- Heikkila, J. Geometric camera calibration using circular control points. IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).
- Deprest, J. A., et al. Fetal surgery is a clinical reality. Seminars in fetal and neonatal medicine. 15 (1), 58-67 (2009).
- Watanabe, M., Flake, A. W. Fetal surgery: Progress and perspectives. Advances in pediatrics. 57 (1), 353-372 (2010).
- Lewi, L., Deprest, J., Hecher, K. The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences. American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).
- Yamashita, H., et al. Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome. Surgical Endoscopy. 22 (2), 430-435 (2008).
- Daga, P., et al. Real-time mosaicing of fetoscopic videos using SIFT. Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , (2016).
- Yang, L., et al. Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).
- Liao, H., et al. Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).
- Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. , (2015).
- Wengert, C., Reeff, M., Cattin, P. C., Székely, G., Handels, H. . Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. – 21. März 2006 in Hamburg. , 419-423 (2006).
- . Compact GUI application for optical distortion calibration of endoscopes Available from: https://github.com/gift-surg/endocal (2016)
- Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. . Mosaicing of endoscopic placenta images. , (2011).
- Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. Optical properties of human amniotic fluid: implications for videofetoscopic surgery. Fetal diagnosis and therapy. 27 (2), 87-90 (2009).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . Open Source Computer Vision Library Available from: https://github.com/opencv/opencv (2016)
