This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Calibración de la cámara es un problema bien conocido en el campo de la visión por ordenador que se ha estudiado intensamente durante los años 1, 2, 3. Un paso clave de los procedimientos de calibración de la cámara es estimar los parámetros de un modelo de distorsión, así como los parámetros intrínsecos de la cámara, mediante la extracción de una rejilla de puntos con una geometría conocida de imágenes de la cámara con una precisión inferior al pixel. Los blancos de calibración con un patrón de tablero de ajedrez con cuadrados blancos y negros son comúnmente utilizados para este propósito. Manchas circulares ofrecen un patrón alternativo 4, 5, 6.
En los últimos años, ha habido un creciente interés en el desarrollo de la tecnología de navegación quirúrgico para procedimientos de cirugía fetal, tales como el tratamiento de gemelo a gemelo síndrome de transfusión (TTTS) en fetos> 7, 8, 9, 10. A medida que el campo de visión de la fetoscopio (es decir, un endoscopio utilizado en procedimientos quirúrgicos fetales) es muy limitado, se han propuesto métodos para el mapeo de la vasculatura de la placenta sin el uso de rastreadores externos para ayudar a la cirugía TTTS 11, 12, 13. Distorsiones ópticas dentro de fetoscopía imágenes se vean afectados por estos métodos mosaicing computacionales que se basan en la extracción de la información visual 11. Por lo tanto, existe una necesidad no satisfecha de una herramienta rentable y rápido para peri-operativamente calibrar fetoscopes de modo que la compensación de distorsión óptica se puede hacer en tiempo real durante la intervención.
Debido al hecho de que el fetoscopio se sumerge en el líquido amniótico durante la intervención, la diferencia de índice de refracción entre unaIR fluido amniótico y rinde clásicos métodos de calibración de la cámara de aire no adecuados para procedimientos de cirugía fetal. La estimación de parámetros de la cámara de líquido sumergido de parámetros de la cámara en el aire es una tarea difícil y requiere al menos una imagen del objetivo de calibración fluido en baño de 14. Por otra parte, perioperatoria, calibración de la cámara de fluido fetoscópica-sumergido actualmente es poco práctico debido a los requisitos de esterilización y restricciones a los materiales permitidos en la sala de operaciones. Debido a estas razones, la calibración de los endoscopios de distorsiones ópticas no suele ser parte del flujo de trabajo clínico actual. El trabajo en este manuscrito es un intento de cerrar esta brecha de calibración de la cámara mediante el diseño y la producción de un objetivo de calibración distorsión óptica esterilizable y práctica que ofrece un modelo de círculos asimétricos. Anteriormente, Wengert et al. fabricado un dispositivo de calibración personalizada con una placa de aluminio oxidado como el patrón de calibración. su metOD, sin embargo, sólo funciona en conjunción con el algoritmo de calibración personalizada desarrollaron 15.
Chorro de arena es un paso importante en el proceso de fabricación debido a que la superficie de metal en bruto refleja la luz prominente endoscopio, haciendo imposible que los círculos para ser detectados. Es difícil distinguir los círculos incluso a simple vista (véase la Figura 5). Tenga en cuenta que la superficie del objetivo mostrado ya estaba grabado con un láser. Sin embargo, esto no disminuye el reflejo de luz.
Figura 5: patrón de calibración sin arenado aplica. Como se ve desde el punto de vista endoscopio de la izquierda, el resplandor de la luz del endoscopio en la superficie del material hace que sea difícil incluso para el ojo humano distinguir los círculos (hay un círculo justo al sureste de la reflexión grande). Tenga en cuenta que la superficie de este objetivo (es decir, el "fondo") fue ya grabado, pero esto no es útil en ausencia de chorro de arena. Haga clic aquí para ver una versión más grande de esta figura.
Antes de patrón de grabado, también es importante para atacar la superficie de toda la muestra. Esto es necesario porque la superficie con chorro de arena tiene muchas reflexiones especulares (véase la Figura 6), que interfieren con la detección blob.
Figura 6: superficie con chorro de arena sin grabado. Aunque no es tan prominente como la superficie del metal en bruto, las relativamente pequeñas reflexiones especulares (algunas de las cuales se destacan con flechas amarillas) son todavía suficientes para prevenir reconocimiento de regiones de tener éxito, por lo que la calibración no se pueden realizar con este objetivo.arget = "_ blank"> Haga clic aquí para ver una versión más grande de esta figura.
La aplicación del láser a diferentes velocidades da diferentes colores de fondo. El color de fondo juega un papel importante en el contraste entre los círculos y el fondo. Por lo tanto, es vital para determinar el color de fondo óptimo. Para este propósito, una placa grabada con círculos contra un conjunto de diferentes orígenes fue creado (ver Figura 7). Los fondos se ensayaron usando el módulo de detección de características de OpenCV 23, que se utiliza en el módulo de calibración de la cámara OpenCV 17. En este trabajo, el objetivo estaba hecho de acero inoxidable, ya que es el material más común y fiable utilizado en clínicas para dispositivos médicos. Este material está disponible libremente, no es caro, robusto y fácil de esterilizar. Otros materiales potencialmente podrían ser utilizados para el objetivo de calibración, tales como metales de aluminio o yodados, pero este es el scope de los futuros trabajos.
Figura 7: placa de acero inoxidable con una paleta de diferentes colores de fondo grabados con láser. Experimentos prácticos se llevaron a cabo en conjunción con el módulo de detección de características OpenCV para determinar qué color de fondo da el resultado óptimo en términos de contraste-burbuja-23 de fondo. La vista endoscopio de la izquierda muestra la placa. Los colores de fondo moderadas (es decir, aquellos otros que las oscuras y más claras) en esta gama de colores dan un mejor reconocimiento de regiones. Haga clic aquí para ver una versión más grande de esta figura.
Una de las ventajas de este trabajo es que realizar una calibración utilizando el objetivo fabricada toma 2-3 min. La mayor parte del esfuerzo de irES para estabilizar manualmente el endoscopio para obtener vistas decentes del patrón de calibración. El uso de un soporte de endoscopio a la medida podría eliminar la necesidad de estabilización manual, que a su vez podría acortar significativamente el tiempo de calibración.
Video 1: Video que muestra cómo la calibración distorsión óptica se pueden realizar con el objetivo de calibración desarrollado en conjunto con el software Endocal. Por favor, haga clic aquí para ver el vídeo. (Haga clic aquí para descargar.)
Una de las ventajas de nuestro trabajo en comparación con el trabajo de Wengert et al. 15 es que el módulo de calibración de la cámara OpenCV 17 se puede utilizar como es para la calibración, sin requerir ninguna modificación o de encargo parámerización. Debido a OpenCV es un paquete de software bien establecida y bien mantenido y es muy popular en la comunidad de visión por ordenador, utilizando elimina la necesidad de escribir y mantener software personalizado. Para mayor comodidad del lector, se proporciona una aplicación GUI compacta 16, que el lector puede instalar y utilizar para probar nuevos patrones de calibración con facilidad. Una desventaja de este método en comparación con Wengert et al. 15 es que su método es más robusto a las oclusiones de la pauta, ya que no requiere la detección de todas las gotas.
Inicialmente, un destino de calibración con un patrón de tablero de ajedrez fue fabricado para este trabajo. Sin embargo, este tipo de patrón de calibración demostró ser inadecuado en los experimentos debido a la dificultad de la detección de las esquinas de los cuadrados de tablero de ajedrez. La detección se basa en la esquina de binarización de imágenes basado en histograma (ver el código fuente de OpenCV 24). este impse encuentra la necesidad de un contraste de color claro entre los cuadrados oscuros y claros, que no se podía garantizar con nuestro tablero de ajedrez, en parte debido a las reflexiones especulares, como las que se muestran en la Figura 6. Tales reflexiones especulares están presentes incluso después de fondo de grabado; sin embargo, la detección de los círculos parece ser menos sensible a esta deficiencia.
En la configuración actual, sólo vistas perpendiculares de la plantilla de calibración permiten el reconocimiento de regiones con éxito. Esto es debido a las reflexiones especulares de la superficie objetivo que dificulta la detección blob en ángulos oblicuos. Estamos trabajando para mejorar aún más el blanco de manera que permita la adquisición de vistas a una mayor variedad de ángulos, lo que podría mejorar la calidad de las calibraciones realizadas 20.
En el tiempo real de la placenta mosaicado tubería que se propuso previamente 11, el cálculo de la transformación que asigna pares de imágenes se basa en la detección y la agrupación de características de éxito. distorsiones ópticas, por el contrario, causan un grupo de características con una geometría rígida que aparezca diferentes a través de imágenes. Como consecuencia, esta diferencia conduce a inexactitudes en las transformaciones calculadas, que causan derivas en los mosaicos de imágenes resultantes. Debido a las distorsiones ópticas más importantes están presentes hacia los bordes, las imágenes endoscópicas están actualmente recortadas para sus regiones más internas. Una buena corrección para las distorsiones ópticas sería potencialmente permitir la incorporación de una mayor parte de cada imagen en el proceso de mosaicos. La ventaja de este método es doble. En primer lugar, se incrementaría el número de características detectadas en cada imagen, mejorando potencialmente el cálculo de las transformaciones de imagen. En segundo lugar, que permitiría para toda la superficie anatómica objetivo a ser reconstruido en un tiempo más corto.
The authors have nothing to disclose.
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
Water container at least 50mm by 50mm by 30mm |
A sterilisation package |
Seline water |
Manual metal cutter |
A file to round up the corners |
A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
A vise (desirable but not required) |
Sand Blasting machine |
GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
PC |
Laser Cutter |
Autoclave |
An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
Endoscope |
OpenCV camera calibration module (https://github.com/opencv/opencv) |