This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Kamerakalibrierung ist ein gut bekanntes Problem in der Computervision – Feld , das 1 intensiv untersucht in den letzten Jahren wurde, 2, 3. Ein Schlüsselschritt der Kamerakalibrierungsverfahren ist es, die Parameter eines Verzerrungsmodells abzuschätzen, sowie die intrinsischen Kameraparameter, die durch ein Gitter von Punkten mit einer bekannten Geometrie von Kamerabildern mit Sub-Pixel-Genauigkeit zu extrahieren. Kalibrierungs-Targets mit einem Schachbrettmuster mit schwarzen und weißen Quadraten werden für diesen Zweck verwendet. Rund Blobs bieten eine alternative Muster 4, 5, 6.
In den letzten Jahren gab es ein wachsendes Interesse an der Entwicklung von chirurgischen Navigationstechnik für die fetale Chirurgie Verfahren, wie zum Beispiel die Behandlung von Twin-to-twin Transfusionssyndrom (FFTS) auf Föten hat> 7, 8, 9, 10. Da das Sichtfeld des fetoscope (dh ein Endoskop in fetal chirurgischen Verfahren verwendet wird ) ist sehr begrenzt, Verfahren zum Abbilden der Vaskulatur der Plazenta ohne die Verwendung von externen Tracker vorgeschlagen 11 TTTS Operation zu unterstützen, 12, 13. Optische Verzerrungen innerhalb fetoscopic Bilder haben negative Auswirkungen auf diesen Rechen Mosaiking Methoden , die 11 auf der visuellen Informationsextraktion verlassen. Somit besteht ein unerfüllter Bedarf für eine kosteneffiziente und schnelle Werkzeug zur peri-operativ Kalibrieren fetoscopes so dass optische Verzerrungskompensation in Echtzeit während des Eingriffs durchgeführt werden kann.
Aufgrund der Tatsache, dass die fetoscope in Fruchtwasser während des Eingriffes eingetaucht ist, die Brechungsindexdifferenz zwischen air und Fruchtwasser macht für die fetale Chirurgie Verfahren in Luftkamerakalibrierungsverfahren ungeeignet klassisch. Fluidgefüllte Kamera Abschätzen Parameter von in-Luft – Kameraparameter ist eine schwierige Aufgabe und erfordert mindestens ein Bild des fluid getaucht Kalibrierungsziel 14. Darüber hinaus perioperativen, Flüssigkeit getauchten fetoscopic Kamerakalibrierung ist derzeit nicht praktikabel aufgrund Sterilisation Anforderungen und Einschränkungen für die Materialien im Operationssaal erlaubt. typischerweise nicht Teil des aktuellen klinischen Workflow Aus diesen Gründen ist Endoskope für optische Verzerrungen zu kalibrieren. Die Arbeit in diesem Manuskript ist ein Versuch, diese Kamerakalibrierung Lücke zu schließen, durch die Gestaltung und sterilisierbar und praktische optische Verzerrung Kalibrierungsziel Herstellung eines Musters der asymmetrischen Kreise kennzeichnet. Zuvor Wengert et al. eine eigene Kalibrierungseinrichtung eine oxidierte Aluminiumplatte als Kalibrierungsziel hergestellt kennzeichnet. ihre Method funktioniert jedoch nur in Verbindung mit dem benutzerdefinierten Kalibrierungsalgorithmus sie 15 entwickelt.
Sandblasting ist ein wichtiger Schritt im Herstellungsprozess, da die rohen Metalloberfläche prominent das Endoskop Licht reflektiert, so dass es unmöglich für die Kreise erkannt werden. Es ist schwierig , die Kreise sogar mit bloßem Auge zu unterscheiden (siehe Abbildung 5). Man beachte, daß die Oberfläche des Targets gezeigt bereits mit einem Laser geätzt wurde. Allerdings schmälert dies nicht die Lichtreflexion.
Abbildung 5: Kalibrierung Ziel ohne Sandstrahlen angewendet. Wie aus dem Endoskop Ansicht auf der linken Seite zu sehen ist, für das bloße Auge die Blendung durch das Endoskop Licht auf der Materialoberfläche selbst macht es schwierig, die Kreise zu unterscheiden (es ist ein Kreis, nur im Südosten der großen Reflexion). Man beachte , dass die Oberfläche dieses Ziel (dh die "Hintergrund" bezeichnet ) wurde bereits geätzt, aber dies ist nicht in Abwesenheit von Sandstrahlen nützlich. Bitte klicken Sie hier , um eine größere Version dieser Figur zu sehen.
Vor dem Muster Ätzen ist es auch wichtig, die Oberfläche der gesamten Probe zu ätzen. Dies ist notwendig , da die sandgestrahlte Oberfläche viele spiegelnde Reflexionen (siehe Abbildung 6), die mit Blob Erkennung stören.
Abbildung 6: sandgestrahlte Oberfläche ohne Ätzen. Obwohl es nicht so prominent wie die rohe Metalloberfläche, die relativ kleinen Spiegelreflexionen (von denen einige mit gelben Pfeilen markiert) sind noch ausreichend blob Erkennung von Erfolg zu hindern, so kann keine Kalibrierung mit diesem Ziel durchgeführt werden.arget = "_ blank"> Bitte klicken Sie hier, um eine größere Version dieser Figur zu sehen.
Anwendung des Lasers bei unterschiedlichen Geschwindigkeiten gibt unterschiedliche Hintergrundfarben. Die Hintergrundfarbe spielt eine bedeutende Rolle in der Kontrast zwischen den Kreisen und den Hintergrund. Daher ist es wichtig, die optimale Hintergrundfarbe zu bestimmen. Zu diesem Zweck wird geätzt , um eine Platte mit Kreisen gegen eine Reihe von verschiedenen Hintergründen erstellt wurde (siehe Abbildung 7). Die Hintergründe wurden unter Verwendung des Merkmalsdetektionsmodul von OpenCV 23, getestet , die 17 in der OpenCV Kamerakalibrierungsmodul verwendet wird. In dieser Arbeit wurde das Target aus rostfreiem Stahl gefertigt, da es die häufigste und zuverlässiges Material in Kliniken für medizinische Vorrichtungen verwendet wird. Dieses Material ist frei erhältlich, nicht teuer, robust und einfach zu sterilisieren. Andere Materialien könnten möglicherweise für das Kalibrierungsziel verwendet werden, wie beispielsweise Aluminium oder jodiertes Metalle, aber dies ist die scope der künftigen Arbeit.
Abbildung 7: Edelstahlplatte , die eine Palette von verschiedenen Hintergrundfarben geätzt mit dem Laser kennzeichnet. Praktische Versuche wurden in Verbindung mit dem OpenCV Merkmal – Erkennungsmodul zu bestimmen , welche Hintergrundfarbe gibt das optimale Ergebnis in Bezug auf die Blob-Hintergrund – Kontrast 23 durchgeführt. Das Endoskop Ansicht auf der linken Seite zeigt die Platte. Die gemäßigten Hintergrundfarben (dh jene anderen , dass die dunkelsten und hellsten sind) in dieser Palette ergeben bessere Blob – Erkennung. Bitte klicken Sie hier , um eine größere Version dieser Figur zu sehen.
Einer der Vorteile dieser Arbeit besteht darin, dass eine Kalibrierung durchgeführt, die fabrizierten Ziel dauert 2-3 min verwendet wird. Der größte Teil der Bemühungen gehenes zu einer Stabilisierung manuell das Endoskop anständige Blick auf das Kalibrierungsmuster zu erhalten. eine maßgeschneiderte Endoskophalterung benutzen, kann die manuelle Stabilisierung, die wiederum erheblich verkürzen könnte die Kalibrierungszeit zu beseitigen.
Video 1: Video zeigt , wie eine optische Verzerrung Kalibrierung des entwickelten Kalibrierungsziel unter Verwendung zusammen mit der endocal Software ausgeführt werden können. Bitte klicken Sie hier , um dieses Video anzusehen. (Rechtsklick zum Download bereit .)
Ein Vorteil unserer Arbeit im Vergleich zu der Arbeit von Wengert et al. 15 ist , dass die OpenCV Kamerakalibrierungsmodul 17 kann verwendet werden , wie für die Kalibrierung ist, ohne jede Änderung oder benutzerdefinierte Para- erforderntrierung. Da OpenCV ist eine gut etablierte und gut gepflegt Softwarepaket und ist sehr beliebt in der Computer-Vision-Community, indem sie die Notwendigkeit für das Schreiben und Wartung von kundenspezifischer Software eliminiert. Für die Bequemlichkeit des Lesers, eine kompakte GUI – Anwendung 16 vorgesehen, die der Leser leicht zu installieren und verwenden , um neue Kalibrierungsziele zu testen. Ein Nachteil der Methode im Vergleich zu Wengert et al. 15 ist , dass ihre Verfahren robuster zu Okklusionen des Musters ist, da es nicht die Erkennung aller Blobs erfordert.
Zunächst wurde ein Kalibrierungsziel mit einem Schachbrettmuster für diese Arbeit hergestellt. Allerdings erwies sich diese Art von Kalibrierungsziel ungeeignet Experimente zu sein aufgrund der Schwierigkeit, die Ecken der Schachbrettquadrate zu erkennen. Corner Erkennung beruht auf Histogramm-basierte Bilddigitalisierungs (siehe OpenCV Quellcode 24). Dieser impliegt die Notwendigkeit einer klaren farblichen Kontrast zwischen den dunklen und hellen Quadraten, die nicht mit unserem Schachbrettmuster gewährleistet werden konnte, teilweise aufgrund von Spiegelreflexionen, wie die in 6 gezeigt diejenigen. Eine solche spiegelnde Reflexionen vorhanden sind, auch nach dem Hintergrund Ätzen; jedoch scheint die Detektion der Kreise als weniger empfindlich auf diesen Mangel.
In der aktuellen Setup, nur senkrecht Ansichten des Kalibrierungsziels ermöglichen für eine erfolgreiche Blob-Erkennung. Dies ist auf den spiegelnden Reflexionen von der Zieloberfläche behindern blob Detektion bei schrägen Winkeln. Wir arbeiten daran , das Ziel weiter zu verbessern , um für den Erwerb von Ansichten in einem größeren Bereich von Winkeln zu ermöglichen, die potentiell die Qualität der durchgeführten Kalibrierungen 20 verbessern könnte.
In der Echtzeit Mosaikierung plazentalen Pipeline , die zuvor 11 vorgeschlagen wurde, die Berechnung des transBildung, die Paare Bild beruht auf der erfolgreichen Erkennung und Gruppierung von Funktionen zuordnet. Optische Verzerrungen, andererseits verursachen eine Gruppe von Merkmalen mit einer starren Geometrie unterschiedlich über Bilder erscheinen. Als Folge führt diese Differenz zu Ungenauigkeiten in den berechneten Transformationen, die Driften in den resultierenden Bildmosaiken verursachen. Da die prominentesten optischen Verzerrungen vorhanden zu den Rändern sind, werden derzeit endoskopische Bilder auf ihre innersten Regionen abgeschnitten. Eine gute Korrektur für optische Verzerrungen würden potentiell für die Aufnahme eines größeren Teils jedes Bild in den Mosaikbildungsprozesses ermöglichen. Der Vorteil dieser Methode ist zweifach. Erstens würde es die Anzahl der detektierten Merkmale in jedem Bild zu erhöhen, was möglicherweise die Berechnung der Bildtransformationen zu verbessern. Zweitens wäre es für das gesamte anatomischen Zieloberfläche ermöglichen, in einer kürzeren Zeit zu rekonstruieren.
The authors have nothing to disclose.
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
Water container at least 50mm by 50mm by 30mm |
A sterilisation package |
Seline water |
Manual metal cutter |
A file to round up the corners |
A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
A vise (desirable but not required) |
Sand Blasting machine |
GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
PC |
Laser Cutter |
Autoclave |
An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
Endoscope |
OpenCV camera calibration module (https://github.com/opencv/opencv) |