유체 - 침지 Fetoscope 광학 왜곡 보정 의료 수준의 소독 가능 대상
Summary
This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
Abstract
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Introduction
카메라 보정 집중적 년 1, 2, 3을 통해 연구되어왔다 컴퓨터 비전 분야에서 잘 알려진 문제이다. 카메라 교정 방법의 주요 단계는 서브 픽셀 정밀도로 카메라 영상에서 알려진 형상과 점의 격자를 추출하여, 왜곡 모델의 파라미터뿐만 아니라 고유 카메라 파라미터를 추정하는 것이다. 검은 색과 흰색 사각형을 특징으로 바둑판 패턴으로 교정 대상은 일반적으로이 목적을 위해 사용됩니다. 원형 모양은 다른 패턴 4, 5, 6 제안한다.
최근 태아 그러한 쌍태아 간 수혈 증후군 (TTTS)의 치료와 같은 태아 수술 절차, 수술 용 항법 기술의 개발에 대한 관심이 증가되고있다> 7, 8, 9, 10. fetoscope의 시야로서 (즉, 태아의 수술에 사용되는 내시경은) 매우 외부 추적기를 사용하지 않고 태반 혈관계를 매핑하는 방법이 TTTS 수술 11, 12, 13를 돕기 위해 제시되었다 한정된다. fetoscopic 이미지 내의 광학 왜곡 시각 정보 추출 (11)에 의존하는 이러한 계산 mosaicing 방법에 부정적 영향을 미칠. 따라서, 광학 왜곡 보상 개입 동안에 실시간으로 수행 할 수 있도록 동작 가능 주위염이-fetoscopes 교정을위한 비용 효율적이고 빠른 도구에 대한 충족되지 않은 필요성이 존재한다.
인해 fetoscope가 개입 동안에 양수에서의 굴절률 차이를 침지된다는 사실IR 및 양수는 태아 수술 절차에 적합 고전에서 공기 카메라 교정 방법을 렌더링합니다. 공기 중 카메라 파라미터로부터 유체 침지 카메라 파라미터를 추정하는 것은 매우 어려운 일이며, 유체 침지 보정 대상 (14)의 적어도 하나의 이미지를 필요로한다. 또한, 요정 수술은, 유체 침지 fetoscopic 카메라 보정은 운영 극장에서 허용되는 물질에 살균 요구 사항 및 제한 사항으로 인해 현재 불가능하다. 때문에 이러한 이유로, 광학 왜곡 내시경을 교정하는 것은 일반적으로 현재 임상 워크 플로우의 일부가 아닙니다. 이 원고의 작업은 설계 및 비대칭 원의 패턴을 특징으로 멸균하고 실용적인 광학 왜곡 보정 대상을 생산하여 카메라 교정 격차를하기위한 시도이다. 이전 벵거 르트 등. 캘리브레이션 타겟으로서 산화 알루미늄 판을 갖춘 맞춤 교정 장치를 제작. 그들의 메트OD, 단, 그들은 15 개발 된 맞춤형 교정 알고리즘과 연계하여 작동한다.
Protocol
Representative Results
Discussion
원료 금속 표면이 보이 불가능 원이 검출 될 때까지 만들어 내시경 광을 반사하기 때문에 샌드 블라스팅은 제조 프로세스에서 중요한 단계이다. 이는 심지어 육안으로 서클을 구별하기 어렵다 (도 5 참조). 도시 된 타겟 표면이 이미 레이저 에칭 있습니다. 그러나,이 빛의 반사를 감소하지 않습니다.
그림 5 : 교정 대상없는 샌드와 함께 적용했다. 왼쪽에있는 내시경보기에서 알 수있는 바와 같이, 재료 표면에 내시경 빛의 섬광이 육안으로는 원을 구별하기조차 것이 어렵게 (그냥 대형 반사의 남동쪽에 원이있다). 이 타겟의 표면 (즉, 상기 "배경") 이미 에칭 있는데, 이는 아니다 샌드 블라스트의 부재 도움. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
이전에 패턴을 에칭, 전체 시료의 표면을 에칭하는 것도 중요하다. 이것은 샌드 블라스트 표면 많은 거울 반사 때문에 얼룩 검출을 방해 (도 6 참조)이 필요하다.
그림 6 : 없음 에칭 표면을 모래 분사. 원료 금속 표면 저명한되지 않았지만, (일부 노란 화살표로 강조된다) 비교적 작은 정반사 여전히 성공할 얼룩 검출을 방지하기에 충분하므로 캘리브레이션이 대상으로 수행 할 수 없다.arget = "_ 빈">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
다른 속도로 레이저를 적용하는 것은 다른 배경 색상을 제공합니다. 배경색은 원과 배경 사이의 명암에 중요한 역할을한다. 따라서, 최적의 배경색을 결정하기 위해 필수적이다. 이를 위해, 동그라미와 플레이트는 생성 된 다른 배경 (그림 7 참조)의 집합에 대해 에칭. 배경에는는 OpenCV의 카메라 교정 모듈 (17)에서 사용된다 OpenCV의 23의 특징 검출 모듈을 사용하여 시험 하였다. 그것은 의료 기기 병원에서 가장 일반적으로 안정적인 재료이기 때문에,이 작업에서, 타겟은 스테인레스 강으로 만들어졌다. 이 자료는 자유롭게, 비싸지 않은, 사용 가능한 강력한 및 소독이 용이하다. 다른 재료는 잠재적으로 알루미늄 또는 요오드화 금속으로, 보정 대상에 사용될 수 있지만, 이것은 SCOP 인향후 작업의 전자.
그림 7 : 레이저 에칭 다른 배경 색상의 팔레트를 갖춘 스테인레스 강판. 실제 실험 블롭 대 배경 콘트라스트 (23)의 측면에서 최적의 결과를 제공하는 배경 색상을 결정하는 기능을 OpenCV 검출 모듈과 연계하여 수행 하였다. 왼쪽의 내시경보기는 판을 보여줍니다. 적당한 배경 색상 (즉, 다른 그 가장 어두운 부분과 밝은 사람 있음)이 팔레트에 더 얼룩 검출을 얻었다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
이 작업의 장점 중 하나는 제조 된 표적을 사용하여 교정을 수행하는 2-3 분 소요된다. 노력의 대부분은 이동ES 수동 교정 패턴의보기 흉 수득 내시경을 안정화한다. 맞춤식 내시경 홀더를 사용하면 결과적으로 크게 보정 시간을 단축 할 수있는 수동 안정화에 대한 필요성을 제거 할 수있다.
비디오 1 : 비디오는 endocal 소프트웨어와 함께 개발 보정 대상을 사용하여 수행 될 수있는 방법을 보여주는 광학 왜곡 보정. 이 동영상을 보려면 여기를 클릭하십시오. (다운로드 마우스 오른쪽 버튼으로 클릭합니다.)
벵거 르트 등의 등의 작업에 비해 우리의 작업의 장점. 15 OpenCV의 카메라 교정 모듈 (17)은 임의의 수정 또는 사용자 parame 없이도 교정 그대로 사용할 수 있다는terization. OpenCV의 잘 확립하고 잘 관리 소프트웨어 패키지이며 쓰고 커스텀 소프트웨어를 유지하기위한 필요성을 제거하여, 컴퓨터 비전 사회에서 매우 인기가 있기 때문이다. 독자의 편의를 위해, 소형의 GUI 애플리케이션은 독자가 쉽게 설치하고 새로운 캘리브레이션 타겟을 테스트하는 데 사용할 수있는, (16)이 제공된다. 벵거 르트 등에 비교하여 제안 된 방법의 단점. 도 15은 모든 얼룩의 검출을 필요로하지 않기 때문에 그 방법은, 패턴의 폐색에 더 견고하다는 것이다.
처음에, 바둑판 패턴으로 보정 대상이 일을 위해 제작 하였다. 그러나, 보정 대상이 유형 의한 바둑판 사각형의 모서리를 검출하는 어려움 실험 부적합한 것으로 판명되었다. 코너 검출은 히스토그램 기반의 이미지 이진화합니다 (OpenCV의 소스 코드 24 참조)에 의존한다. 이 꼬마 도깨비도 6에 도시 된 것과 같은, 부분적으로 거울 반사에, 우리의 바둑판 패턴을 보장 할 수없는 어둠과 빛 사각형 사이의 명확한 색상 대비의 필요성이있다. 이러한 거울 반사 심지어 배경 에칭 후 존재; 그러나, 원형의 검출은 이러한 단점에 덜 민감한 것으로 보인다.
현재의 설정으로, 보정 대상의 수직보기 성공 얼룩 검출 허용한다. 이 경사 각도 얼룩 검출 방해 대상 표면에서 정반사에 기인한다. 우리는 잠재적으로 교정을 수행 (20)의 품질을 개선 할 수있는 각도의 넓은 범위에서 뷰의 획득이 가능하도록 상기 대상을 개선하기 위해 노력하고있다.
실시간 태반 이전 11 제안한 파이프 라인 트랜스의 계산 mosaicing이미지 쌍을 매핑 형성은 성공적으로 탐지 및 기능의 그룹에 의존합니다. 광학 왜곡, 다른 한편으로는, 강성 구조와 기능의 그룹은 이미지에 걸쳐 상이한 나타나게. 결과적으로, 이러한 차이는 생성 된 화상의 모자이크 드리프트 원인 계산 된 변형에 부정확성을 이끈다. 가장 눈에 띄는 광학 왜곡 가장자리쪽으로 존재하기 때문에, 내시경 이미지는 현재 자신의 가장 깊은 지역에 잘립니다. 광학 왜곡에 대한 좋은 보정은 잠재적으로 mosaicing 프로세스에 각 이미지의 더 큰 부분의 결합을 허용합니다. 이 방법의 장점은 두 가지이다. 첫째, 잠재적으로 화상 변환의 계산을 개선 각 이미지에서 검출 기능의 수를 증가시킬 것이다. 둘째, 짧은 시간에 재구성 될 전체 목표 해부학 표면을 허용한다.
Divulgations
The authors have nothing to disclose.
Acknowledgements
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
Materials
| 1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
| Water container at least 50mm by 50mm by 30mm |
| A sterilisation package |
| Seline water |
| Manual metal cutter |
| A file to round up the corners |
| A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
| A vise (desirable but not required) |
| Sand Blasting machine |
| GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
| PC |
| Laser Cutter |
| Autoclave |
| An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
| Endoscope |
| OpenCV camera calibration module (https://github.com/opencv/opencv) |
References
- Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. , 2321-2328 (2011).
- Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. , 62-72 (1995).
- Duane, C. B. Close-range camera calibration. Photogramm. Eng. 37 (8), 855-866 (1971).
- Mallon, J., Whelan, P. F. Which pattern? biasing aspects of planar calibration patterns and detection methods. Pattern recognition letters. 28 (8), 921-930 (2007).
- Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. Calibration of Action Cameras for Photogrammetric Purposes. Sensors. 14 (9), 17471-17490 (2014).
- Heikkila, J. Geometric camera calibration using circular control points. IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).
- Deprest, J. A., et al. Fetal surgery is a clinical reality. Seminars in fetal and neonatal medicine. 15 (1), 58-67 (2009).
- Watanabe, M., Flake, A. W. Fetal surgery: Progress and perspectives. Advances in pediatrics. 57 (1), 353-372 (2010).
- Lewi, L., Deprest, J., Hecher, K. The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences. American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).
- Yamashita, H., et al. Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome. Surgical Endoscopy. 22 (2), 430-435 (2008).
- Daga, P., et al. Real-time mosaicing of fetoscopic videos using SIFT. Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , (2016).
- Yang, L., et al. Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).
- Liao, H., et al. Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).
- Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. , (2015).
- Wengert, C., Reeff, M., Cattin, P. C., Székely, G., Handels, H. . Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. – 21. März 2006 in Hamburg. , 419-423 (2006).
- . Compact GUI application for optical distortion calibration of endoscopes Available from: https://github.com/gift-surg/endocal (2016)
- Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. . Mosaicing of endoscopic placenta images. , (2011).
- Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. Optical properties of human amniotic fluid: implications for videofetoscopic surgery. Fetal diagnosis and therapy. 27 (2), 87-90 (2009).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . Open Source Computer Vision Library Available from: https://github.com/opencv/opencv (2016)
