This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Calibration de l' appareil photo est un problème bien connu dans le domaine de la vision par ordinateur qui a été intensivement étudiée au cours des années 1, 2, 3. Une étape clé de procédures d'étalonnage de l'appareil consiste à estimer les paramètres d'un modèle de distorsion, ainsi que les paramètres intrinsèques de la caméra, par extraction d'une grille de points avec une géométrie connue à partir des images de la caméra avec une précision de sous-pixel. Les cibles d'étalonnage avec un motif en damier, avec des carrés noirs et blancs sont couramment utilisés à cette fin. Blobs circulaires offrent une alternative modèle 4, 5, 6.
Au cours des dernières années, il y a eu un intérêt croissant pour le développement de la technologie de navigation chirurgicale pour les interventions de chirurgie fœtale, tels que le traitement du jumeau à jumeau syndrome de transfusion (TTTS) sur les fœtus> 7, 8, 9, 10. Comme le champ de vision du fœtoscope ( à savoir un endoscope utilisé dans des procédures chirurgicales fœtales) est très limité, des procédés pour la cartographie du système vasculaire du placenta sans l'utilisation de suiveurs externes ont été proposés pour faciliter la chirurgie du STT 11, 12, 13. Distorsions optiques dans les images fetoscopic ont des effets négatifs sur ces méthodes de mosaïquage de calcul qui reposent sur des informations visuelles extraction 11. Ainsi, il y a un besoin non satisfait pour un outil rentable et rapide pour péri-opératoire de calibrage fetoscopes de sorte que la compensation de distorsion optique peut se faire en temps réel lors de l'intervention.
En raison du fait que le fœtoscope est immergé dans le liquide amniotique au cours de l'intervention, la différence d'indice de réfraction entre unefluide ir et amniotique rend les méthodes classiques de l'air en étalonnage de l'appareil inadapté aux procédures de chirurgie fœtale. L' estimation des paramètres de caméra fluides immergés à partir des paramètres de l' air en caméra est une tâche difficile et nécessite au moins une image du fluide immergé calibration cible 14. En outre, péri-opératoire, le calibrage de la caméra fetoscopic fluide immergée est actuellement impossible en raison des exigences de stérilisation et les restrictions sur les matériaux autorisés dans la salle d'opération. Pour ces raisons, l'étalonnage endoscopes des distorsions optiques est généralement pas partie du flux de travail clinique en cours. Le travail dans ce manuscrit est une tentative pour combler cet écart d'étalonnage de la caméra en concevant et en produisant une cible de calibrage distorsion optique stérilisable et pratique comportant un motif de cercles asymétriques. Auparavant, Wengert et al. fabriqué un dispositif d'étalonnage personnalisé avec une plaque d'aluminium oxydé comme cible d'étalonnage. Leur method, cependant, ne fonctionne que conjointement avec l'algorithme de calibrage personnalisé , ils ont développé 15.
Sablage est une étape importante dans le processus de fabrication, car la surface métallique brute reflète en évidence la lumière de l'endoscope, ce qui rend impossible pour les cercles à détecter. Il est difficile de distinguer les cercles , même à l'œil nu (voir figure 5). A noter que la surface de la cible a déjà été montré gravé au laser. Toutefois, cela ne diminue pas la réflexion lumineuse.
Figure 5: cible d'étalonnage sans sablage appliqué. Comme on le voit à partir de la vue de l'endoscope sur la gauche, l'éclat de la lumière de l'endoscope sur la surface du matériau, il est difficile, même pour l'œil nu de distinguer les cercles (il y a un cercle juste au sud-est de la grande réflexion). A noter que la surface de cette cible ( par exemple, le "blanc") a déjà été gravé, mais cela ne utile en l'absence de jet de sable. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.
Avant le motif de gravure, il est également important pour graver la surface de l'échantillon. Cela est nécessaire parce que la surface sablée a beaucoup de réflexions spéculaires (voir figure 6), ce qui interfère avec la détection de blob.
Figure 6: surface sablée sans gravure. Bien que pas aussi important que la surface du métal brut, relativement petites réflexions spéculaires (dont certains sont mis en évidence avec des flèches jaunes) sont toujours suffisantes pour empêcher la détection de blob de réussir, donc pas de calibration peuvent être effectuées avec cet objectif.Arget = "_ blank"> S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.
L'application du laser à des vitesses différentes donne différentes couleurs de fond. La couleur de fond joue un rôle important dans le contraste entre les cercles et l'arrière-plan. Par conséquent, il est essentiel de déterminer la couleur de fond optimal. A cet effet, une plaque avec des cercles gravés sur un ensemble de différentes origines a été créé (voir Figure 7). Les milieux ont été testés à l' aide du module de détection de caractéristique de OpenCV 23, qui est utilisé dans la caméra OpenCV module d'étalonnage 17. Dans ce travail, la cible est en acier inoxydable, comme il est le matériau le plus commun et fiable utilisé dans les cliniques pour les dispositifs médicaux. Ce matériau est librement disponible, peu coûteux, robuste et facile à stériliser. D'autres matériaux pourraient être utilisés pour la cible de calibrage, tels que les métaux d'aluminium ou iodés, mais ceci est le scope des travaux futurs.
Figure 7: Plaque en acier inoxydable avec une palette de différentes couleurs de fond gravé au laser. Des expériences pratiques ont été menées conjointement avec le module OpenCV de détection de caractéristiques pour déterminer quelle couleur de fond donne le résultat optimal en termes de blob à contraste de fond 23. La vue de l'endoscope sur la gauche montre la plaque. Les couleurs de fond modérés (ceux d' autres que ceux les plus sombres et les plus légers) dans cette palette donnent une meilleure détection de blob. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.
Un des avantages de ce travail est que d'effectuer un étalonnage en utilisant la cible fabriquée prend 2-3 min. La plupart des efforts vontes à stabiliser manuellement l'endoscope pour obtenir des vues décent du motif d'étalonnage. L'utilisation d'un porte-endoscope sur mesure pourrait éliminer la nécessité d'une stabilisation manuelle, ce qui pourrait à son tour de réduire considérablement le temps d'étalonnage.
Vidéo 1: Vidéo montrant comment optique calibration distorsion peut être effectuée en utilisant la cible de calibrage développé conjointement avec le logiciel Endocal. S'il vous plaît cliquer ici pour voir cette vidéo. (Faites un clic droit pour télécharger.)
Un avantage de notre travail par rapport aux travaux de Wengert et al. La figure 15 est que la caméra OpenCV module d'étalonnage 17 peut être utilisé tel quel pour l' étalonnage, sans nécessiter de modification ou de coutume paramèrisation. Parce que OpenCV est un logiciel bien établi et bien entretenu et est très populaire dans la communauté de vision par ordinateur, en utilisant elle élimine le besoin pour l'écriture et la maintenance des logiciels personnalisés. Pour la commodité du lecteur, une application graphique compact est fourni 16, que le lecteur peut facilement installer et utiliser pour tester de nouvelles cibles d'étalonnage. Un inconvénient de notre méthode par rapport à Wengert et al. 15 est que leur méthode est plus robuste aux occlusions de la configuration, car il ne nécessite pas la détection de toutes les taches.
Initialement, une cible de calibrage avec un motif en damier a été fabriqué pour ce travail. Cependant, ce type de cible d'étalonnage avéré ne pas convenir dans des expériences en raison de la difficulté de détecter les angles des carrés du damier. La détection d'angle repose sur la base histogramme image binarisation (voir le code source de OpenCV 24). Cette impse trouve la nécessité d'un contraste de couleur claire entre les carrés sombres et claires, qui ne pouvait pas être garantie avec notre motif en damier, en partie due à des réflexions spéculaires, comme ceux montrés sur la figure 6. Ces réflexions spéculaires sont présents même après fond gravure; Cependant, la détection des cercles semble être moins sensible à cette lacune.
Dans la configuration actuelle, seules vues perpendiculaires de la cible d'étalonnage permettent la détection de blob réussie. Ceci est dû aux réflexions spéculaires de la surface cible entraver la détection blob à des angles obliques. Nous travaillons à améliorer encore la cible de manière à permettre l'acquisition de points de vue à une plus large gamme d'angles, ce qui pourrait améliorer la qualité des étalonnages effectués 20.
Dans le temps réel du placenta mosaicing canalisation qui a déjà été proposée 11, le calcul de la transla formation qui mappe des paires d'images repose sur la détection réussie et le regroupement des fonctions. distorsions optiques, d'autre part, provoquent un groupe de fonctionnalités avec une géométrie rigide apparaisse différente à travers des images. En conséquence, cette différence conduit à des inexactitudes dans les transformations calculées, qui causent des dérives dans les mosaïques d'images résultantes. Parce que les distorsions optiques les plus importants sont présents vers les bords, les images endoscopiques sont actuellement coupées à leurs régions les plus intimes. Une bonne correction des distorsions optiques serait potentiellement permettre l'incorporation d'une plus grande partie de chaque image dans le processus de mosaïquage. L'avantage de ce procédé est double. Tout d'abord, cela augmenterait le nombre de caractéristiques détectées dans chaque image, ce qui pourrait améliorer le calcul des transformations d'image. En second lieu, il permettrait la totalité de la surface anatomique cible à reconstituer dans un temps plus court.
The authors have nothing to disclose.
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
Water container at least 50mm by 50mm by 30mm |
A sterilisation package |
Seline water |
Manual metal cutter |
A file to round up the corners |
A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
A vise (desirable but not required) |
Sand Blasting machine |
GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
PC |
Laser Cutter |
Autoclave |
An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
Endoscope |
OpenCV camera calibration module (https://github.com/opencv/opencv) |