This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Calibrazione obiettivo è un problema ben noto nel campo visivo computer che è stato studiato intensamente negli anni 1, 2, 3. Un passaggio chiave di procedure di calibrazione della telecamera è di stimare i parametri di un modello di distorsione, nonché i parametri della telecamera intrinseci, estraendo una griglia di punti con una geometria nota dalle immagini della telecamera con precisione sub-pixel. bersagli di calibrazione con uno schema a scacchiera con quadrati bianchi e neri sono comunemente usati per questo scopo. Chiazze circolari offrono un modello alternativo 4, 5, 6.
Negli ultimi anni, c'è stato un crescente interesse nello sviluppo della tecnologia di navigazione chirurgica per procedure di chirurgia fetale, come il trattamento di sindrome da trasfusione feto-fetale (TTTS) su feti> 7, 8, 9, 10. Poiché il campo di vista del fetoscope (cioè, un endoscopio utilizzato in procedure chirurgiche fetali) è molto limitata, sono stati proposti metodi per la mappatura della vascolarizzazione placentare senza l'utilizzo di inseguitori esterni per aiutare la chirurgia TTTS 11, 12, 13. Distorsioni ottiche all'interno di immagini fetoscopic avere effetti negativi sulle questi metodi di mosaicatura di calcolo che si basano su estrazione di informazioni visive 11. Pertanto, vi è una necessità non soddisfatta di uno strumento economicamente efficiente e veloce per peri-operatorio calibrazione fetoscopes modo che compensazione della distorsione ottica può essere effettuata in tempo reale durante l'intervento.
A causa del fatto che il fetoscope è immerso nel liquido amniotico durante l'intervento, la differenza di indice di rifrazione tra undel liquido amniotico e ir rende classici metodi di calibrazione della fotocamera in aria non idonei per le procedure di chirurgia fetale. Stima parametri della telecamera di liquido immerso da parametri della telecamera in-aria è un compito difficile e richiede almeno un'immagine del fluido immersi target di calibrazione 14. Inoltre, peri-operatorio, la calibrazione fotocamera fetoscopic fluido immerso è attualmente impraticabile a causa dei requisiti di sterilizzazione e le restrizioni sui materiali ammessi in sala operatoria. Per questi motivi, calibrando endoscopi per distorsioni ottiche non è tipicamente parte della corrente workflow clinico. Il lavoro in questo manoscritto è un tentativo di colmare questa lacuna calibrazione fotocamera progettando e producendo un profilo di calibrazione distorsione ottica sterilizzabile e pratico con un modello di cerchi asimmetrici. In precedenza, Wengert et al. fabbricato un dispositivo di calibrazione personalizzata con una piastra di alluminio ossidato come la calibrazione. Il loro method, però, funziona solo in combinazione con l'algoritmo di calibrazione personalizzata si sono sviluppati 15.
La sabbiatura è un passo importante nel processo di fabbricazione in quanto la superficie del metallo grezzo riflette la luce visibile dell'endoscopio, rendendo impossibile per i cerchi da rilevare. È difficile distinguere i cerchi anche ad occhio nudo (vedi Figura 5). Si noti che la superficie del bersaglio mostrata era già incisa con un laser. Tuttavia, ciò non diminuisce la riflessione della luce.
Figura 5: calibrazione senza sabbiatura applicata. Come si vede dalla vista dell'endoscopio sulla sinistra, il riflesso dalla luce dell'endoscopio sulla superficie del materiale rende difficile anche per occhio nudo per distinguere i cerchi (c'è un cerchio appena a est del grande riflessione). Si noti che la superficie di tale obiettivo (cioè, il "bianco") è stato già attaccato, ma questo non è utile in assenza di sabbiatura. Clicca qui per vedere una versione più grande di questa figura.
Prima del profilo di mordenzatura, è anche importante per incidere la superficie dell'intero campione. Ciò è necessario perché la superficie sabbiata ha molte riflessioni speculari (vedere Figura 6), che interferiscono con riconoscimento di regioni.
Figura 6: superficie sabbiata senza incisione. Anche se non è di primo piano come la superficie del metallo grezzo, le relativamente piccole riflessioni speculari (alcuni dei quali sono evidenziati con frecce gialle) sono ancora sufficienti per impedire il rilevamento blob da riuscire, in modo che nessuno di taratura possono essere eseguite con questo obiettivo.Arget = "_ blank"> Clicca qui per vedere una versione più grande di questa figura.
Applicando il laser a diverse velocità dà diversi colori di sfondo. Il colore di sfondo gioca un ruolo significativo nel contrasto tra i cerchi e lo sfondo. Quindi, è importante per determinare il colore di sfondo ottimale. A tal fine, un piatto con cerchi inciso contro un insieme di diverse provenienze stato creato (vedi Figura 7). Gli sfondi sono stati testati utilizzando il modulo di rilevamento caratteristica di OpenCV 23, che viene utilizzato nel modulo di calibrazione fotocamera OpenCV 17. In questo lavoro, l'obiettivo è stato fatto di acciaio inossidabile, in quanto è il materiale più comune e affidabile utilizzato in cliniche per dispositivi medici. Questo materiale è liberamente disponibile, non costoso, robusto e facile da sterilizzare. Altri materiali possono potenzialmente essere utilizzati per la calibrazione, come ad esempio alluminio o iodato metalli, ma questo è il scope del lavoro futuro.
Figura 7: Piastra in acciaio inox con una tavolozza di diversi colori di sfondo incise con il laser. Esperimenti pratici sono stati condotti in combinazione con il modulo di rilevamento funzione OpenCV per determinare quale colore di sfondo fornisce il risultato ottimale in termini di blob-to-contrasto di fondo 23. La vista endoscopio a sinistra mostra la piastra. I colori di sfondo moderati (cioè, quelle altre che le scuri e più chiari quelli) in questa palette resa migliore riconoscimento di regioni. Clicca qui per vedere una versione più grande di questa figura.
Uno dei vantaggi di questo lavoro è che l'esecuzione di una calibrazione usando la porta fabbricato prende 2-3 min. La maggior parte dello sforzo goES a stabilizzare manualmente l'endoscopio per ottenere una vista decente del motivo di calibrazione. Usando un supporto endoscopio fuoriserie potrebbe eliminare la necessità di stabilizzazione manuale, che a sua volta potrebbe ridurre significativamente i tempi di calibrazione.
Video 1: Video che mostra come ottica di calibrazione distorsione può essere eseguita utilizzando il target di calibrazione sviluppato in collaborazione con la software endocal. Clicca qui per visualizzare questo video. (Tasto destro del mouse per scaricare).
Un vantaggio del nostro lavoro rispetto al lavoro di Wengert et al. 15 è che il modulo di calibrazione fotocamera OpenCV 17 può essere utilizzato come è per la calibrazione, senza richiedere alcuna modifica o personalizzata paramezazione. Perché OpenCV è un pacchetto software ben consolidata e ben curato ed è molto popolare nella comunità visione artificiale, utilizzando elimina la necessità per la scrittura e il mantenimento di software personalizzato. Per comodità del lettore, un'applicazione GUI compatta è previsto 16, che il lettore può facilmente installare e utilizzare per testare nuovi target di calibrazione. Uno svantaggio del nostro metodo rispetto a Wengert et al. 15 è che il loro metodo è più robusto per occlusioni del modello, in quanto non richiede il rilevamento di tutti i blob.
Inizialmente, un target di calibrazione con un motivo a scacchi è stato fabbricato per questo lavoro. Tuttavia, questo tipo di calibrazione è rivelata inadatta in esperimenti a causa della difficoltà di rilevare gli angoli dei quadrati scacchiera. Rilevamento d'angolo si basa su binarizzazione immagine istogramma-based (vedere il codice sorgente OpenCV 24). Questo impsi trova la necessità di un chiaro contrasto cromatico tra i chiari e scuri piazze, che non poteva essere garantita con il nostro schema a scacchiera, in parte a causa dei riflessi speculari, come quelli illustrati nella Figura 6. Tali riflessioni speculari sono presenti anche dopo sfondo incisione; tuttavia, la rilevazione dei cerchi sembra essere meno sensibili a questo inconveniente.
Nella configurazione attuale, solo una vista perpendicolari del profilo di calibrazione consentono il rilevamento blob di successo. Ciò è dovuto alle riflessioni speculari dalla superficie del bersaglio ostacolando riconoscimento di regioni ad angoli obliqui. Siamo lavorando per migliorare ulteriormente il bersaglio in modo da consentire l'acquisizione di vista ad una più ampia gamma di angoli, che potrebbero migliorare la qualità di calibrature effettuate 20.
In tempo reale placentare mosaicing conduttura precedentemente proposto 11, il calcolo del transformazione che mappa coppie di immagini si basa sul rilevamento e il raggruppamento delle caratteristiche di successo. distorsioni ottiche, invece, provocano un gruppo di caratteristiche con una geometria rigida appaia diversa attraverso immagini. Di conseguenza, questa differenza comporta imprecisioni nelle trasformazioni calcolati, che provocano derive dei mosaici immagine risultanti. Perché le distorsioni ottiche più importanti sono presenti verso i bordi, immagini endoscopiche sono attualmente tagliate per le loro regioni più interne. Una buona correzione per le distorsioni ottiche potrebbe potenzialmente consentire l'incorporazione di una parte più grande di ogni immagine nel processo di mosaicatura. Il vantaggio di questo metodo è duplice. Innanzitutto, aumenterebbe il numero di caratteristiche rilevate in ogni immagine, migliorando potenzialmente il calcolo delle trasformazioni di immagine. In secondo luogo, permetterebbe l'intera superficie anatomica bersaglio essere ricostruito in un tempo più breve.
The authors have nothing to disclose.
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
Water container at least 50mm by 50mm by 30mm |
A sterilisation package |
Seline water |
Manual metal cutter |
A file to round up the corners |
A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
A vise (desirable but not required) |
Sand Blasting machine |
GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
PC |
Laser Cutter |
Autoclave |
An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
Endoscope |
OpenCV camera calibration module (https://github.com/opencv/opencv) |