This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Calibração da câmera é um problema bem conhecido no campo da visão de computador que tem sido intensamente estudada ao longo dos anos 1, 2, 3. Um passo fundamental dos procedimentos de calibração da câmera é estimar os parâmetros de um modelo de distorção, bem como os parâmetros da câmera intrínsecas, extraindo uma grade de pontos com uma geometria conhecida a partir de imagens da câmara com precisão sub-pixel. alvos de calibração com um padrão xadrez com quadrados pretos e brancos são comumente usados para esta finalidade. Blobs circulares oferecem um padrão alternativo 4, 5, 6.
Nos últimos anos, tem havido um interesse crescente no desenvolvimento de tecnologia de navegação cirúrgico para procedimentos de cirurgia fetal, tais como o tratamento de twin-to-duplo síndrome de transfusão (STT) em fetos> 7, 8, 9, 10. Como o campo de visão do fetoscópio (isto é, um endoscópio utilizado em procedimentos cirúrgicos fetais) é muito limitada, os métodos para o mapeamento da vasculatura placentária sem o uso de rastreadores externos têm sido propostos para auxiliar a cirurgia STT 11, 12, 13. Distorções óticas dentro de imagens fetoscopic ter efeitos adversos sobre esses métodos de mosaicos computacionais que dependem de extração de informação visual 11. Assim, existe uma necessidade não satisfeita de uma ferramenta de custo eficiente e rápido para a peri-operatório fetoscopes calibrar de modo que a compensação distorção óptica pode ser feita em tempo real durante a intervenção.
Devido ao facto de o fetoscópio está imerso no líquido amniótico durante a intervenção, a diferença de índice de refracção entre umfluido ir e amniótico torna métodos clássicos em-ar de calibração câmera impróprios para procedimentos de cirurgia fetal. Estimar os parâmetros da câmara imersos em fluidos de parâmetros da câmara em-ar é uma tarefa difícil e requer pelo menos uma imagem do alvo de calibração imersos em fluido 14. Além disso, peri-operatória, fetoscopic calibração da câmara, imersos em fluido é atualmente impraticável devido a requisitos de esterilização e restrições sobre os materiais permitidos na sala de operações. Devido a estas razões, calibrando endoscópios para distorções ópticas não é normalmente parte do fluxo de trabalho clínico atual. O trabalho neste manuscrito é uma tentativa de colmatar esta lacuna calibração da câmara, através da concepção e produção de um destino de calibragem distorção óptica esterilizável e prático com um padrão de círculos assimétricas. Anteriormente, Wengert et ai. fabricou um dispositivo de calibragem personalizado que apresenta uma placa de alumínio oxidado como o alvo de calibração. sua methOD, no entanto, só funciona em conjunto com o algoritmo de calibragem personalizado eles desenvolveram 15.
Jacto de areia é um passo importante no processo de fabricação porque a superfície do metal em bruto reflecte bem visível, a luz endoscópio, tornando-se impossível para os círculos a ser detectado. É difícil distinguir os círculos mesmo a olho nu (ver Figura 5). Note-se que a superfície do alvo mostrado já foi gravada com um laser. No entanto, isto não diminui a reflexão da luz.
Figura 5: alvo de calibração sem jateamento aplicada. Como pode ser visto a partir da vista endoscópio à esquerda, o brilho da luz endoscópio na superfície do material torna difícil até mesmo para o olho nu para distinguir os círculos (há um círculo apenas para o sudeste da grande reflexão). Note-se que a superfície do alvo presente (ou seja, o "fundo") foi já gravadas, mas isto não é útil na ausência de jacto de areia. Por favor clique aqui para ver uma versão maior desta figura.
Antes do padrão de condicionamento, é também importante para gravar a superfície de toda a amostra. Isto é necessário porque a superfície de jacto de areia tem muitas reflexões especulares (ver Figura 6), o que interfere com a detecção de blob.
Figura 6: Superfície Sandblasted sem condicionamento. Embora não seja tão proeminente como a superfície de metal bruto, os relativamente pequenos reflexões especulares (alguns dos quais são destacados com setas amarelas) são ainda suficientes para evitar a detecção blob de ter sucesso, então nenhuma calibração pode ser realizada com este objectivo.arget = "_ blank"> Clique aqui para ver uma versão maior desta figura.
Aplicando o laser a velocidades diferentes dá diferentes cores de fundo. A cor do fundo desempenha um papel significativo no contraste entre os círculos e o fundo. Por isso, é essencial para determinar a cor de fundo óptima. Para este efeito, uma placa com círculos gravado contra um conjunto de diferentes origens foi criado (ver Figura 7). Os fundos foram testados usando o módulo de detecção de recurso de OpenCV 23, o qual é utilizado no módulo de calibragem OpenCV câmara 17. Neste trabalho, o alvo era feito de aço inoxidável, uma vez que é o material mais comum utilizado e fiável em clínicas para os dispositivos médicos. Este material está livremente disponível, não é caro, robusta, e fácil de esterilizar. Outros materiais poderiam potencialmente ser usadas para o alvo de calibração, tais como os metais de alumínio ou iodado, mas este é o SCOPe de trabalho futuro.
Figura 7: a placa de aço inoxidável com uma paleta de cores diferentes do fundo gravados com o laser. Experiências práticas foram conduzidas em conjunto com o módulo de detecção de recurso OpenCV para determinar qual a cor do fundo dá o melhor resultado em termos de contraste 23 gota-a-fundo. A vista endoscópio à esquerda mostra a placa. As cores de fundo moderados (ou seja, outros que as mais escuras e mais leves) nesta paleta de produzir uma melhor detecção blob. Por favor clique aqui para ver uma versão maior desta figura.
Uma das vantagens deste trabalho é que de efetuar uma calibração usando o alvo fabricada leva 2-3 min. A maior parte do esforço ires para estabilizar manualmente o endoscópio para obter acervo considerável vista do padrão de calibração. Utilizando um suporte de endoscópio com especificação poderia eliminar a necessidade de estabilização manual, que por sua vez pode encurtar significativamente o tempo de calibração.
Vídeo 1: Vídeo mostrando como óptico calibração distorção pode ser realizada utilizando o alvo de calibração desenvolvida em conjunto com o software Endocal. Por favor clique aqui para ver este vídeo. (Botão direito do mouse para baixar).
Uma vantagem do nosso trabalho em relação ao trabalho de Wengert et al. 15 é que o módulo de calibragem OpenCV câmara 17 pode ser utilizado tal e qual para a calibração, sem necessidade de qualquer modificação ou personalizado parâmezação. Porque OpenCV é um pacote de software bem estabelecida e bem conservados e é muito popular na comunidade de visão por computador, usando-o elimina a necessidade de escrever e manutenção de software personalizado. Para a conveniência do leitor, uma aplicação gráfica compacto é fornecido 16, que o leitor pode facilmente instalar e usar para testar novos alvos de calibração. Uma desvantagem do nosso método em comparação com Wengert et ai. 15 é que o método é mais robusto a oclusões do padrão, uma vez que não requer a detecção de todas as manchas.
Inicialmente, um destino de calibragem com um padrão quadriculado foi fabricado para este trabalho. No entanto, este tipo de calibração alvo provou ser inadequada em experiências, devido à dificuldade de detectar os cantos dos quadrados do tabuleiro de damas. Detecção de canto depende de binarização de imagem baseado em histograma (ver o código fonte OpenCV 24). este impencontra-se a necessidade de um contraste de cor clara entre as escuras e claras praças, que não poderia ser garantidas com nosso padrão de xadrez, parcialmente devido às reflexões especulares, como os mostrados na Figura 6. Tais reflexões especulares estão presentes mesmo após o condicionamento de fundo; No entanto, a detecção dos círculos parece ser menos sensível a este inconveniente.
Na configuração atual, apenas vistas perpendiculares do alvo de calibração permitem a detecção de blob bem sucedido. Isto é devido às reflexões especulares a partir da superfície do alvo dificulta a detecção de gota em ângulos oblíquos. Estamos a trabalhar para melhorar ainda mais o alvo de modo a permitir a aquisição de vistas em uma ampla gama de ângulos, o que poderia potencialmente melhorar a qualidade de calibrações executadas 20.
Na placenta em tempo real de mosaicos oleoduto que foi anteriormente proposto, 11, o cálculo da transformação que mapeia pares de imagem baseia-se na detecção com sucesso e agrupamento de características. distorções óticas, por outro lado, fazer com que um grupo de características com uma geometria rígida apareça diferente entre as imagens. Como consequência, essa diferença leva a imprecisões nas transformações computadorizada, que causam desvios nos mosaicos de imagens resultantes. Porque as distorções ópticas mais proeminentes estão presentes para as bordas, imagens endoscópicas estão actualmente cortada para suas regiões mais íntimos. Uma boa correção de distorções ópticas poderia potencialmente permitir a incorporação de uma parte maior de cada imagem no processo de construção do mosaico. A vantagem deste método é dupla. Em primeiro lugar, seria aumentar o número de características detectadas em cada imagem, melhorar potencialmente a computação das transformações da imagem. Em segundo lugar, permitiria a toda a superfície anatómica alvo a ser reconstruído em um tempo mais curto.
The authors have nothing to disclose.
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
Water container at least 50mm by 50mm by 30mm |
A sterilisation package |
Seline water |
Manual metal cutter |
A file to round up the corners |
A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
A vise (desirable but not required) |
Sand Blasting machine |
GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
PC |
Laser Cutter |
Autoclave |
An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
Endoscope |
OpenCV camera calibration module (https://github.com/opencv/opencv) |