Медико-класс Стерилизуемый Мишень для жидкости погруженных фиброфетоскоп калибровки оптических искажений
Summary
This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
Abstract
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
Introduction
Калибровка камеры является хорошо известной проблемой в области зрения компьютера , который интенсивно изучался на протяжении многих лет 1, 2, 3. Ключевым шагом процедуры калибровки камеры заключается в оценке параметров модели искажений, а также внутренние параметры камеры, путем извлечения сетки из точек с известной геометрией из изображений с камеры с субпиксельной точностью. Проверочных с шахматным рисунком с изображением черно-белые квадраты обычно используются для этой цели. Круглые сгустки предлагают альтернативный образец 4, 5, 6.
В последние годы наблюдается растущий интерес в развитии хирургической технологии навигации для плода процедур хирургии, таких как обработка близнецов к двойной синдром трансфузии (TTTS) на плоде> 7, 8, 9, 10. Поскольку поле зрения фиброфетоскоп (т.е. эндоскоп используется в эмбриональных хирургических процедур) очень ограничено, были предложены способы картирования плацентарный сосудистую сеть без использования внешних трекеров для помощи TTTS хирургии 11, 12, 13. Оптические искажения в пределах fetoscopic изображений оказывают неблагоприятное воздействие на этих вычислительных методов мозаик , которые полагаются на извлечение визуальной информации 11. Таким образом, существует неудовлетворенная потребность в экономически эффективным и быстрым инструментом для пригородных оперативно калибровки fetoscopes таким образом, чтобы оптическая компенсация искажения может быть сделано в режиме реального времени во время вмешательства.
В связи с тем, что фиброфетоскоп погружена в амниотической жидкости во время вмешательства, разность показателя преломления между ал и амниотической жидкости оказывает классические методы калибровки камеры в воздухе непригодными для плода процедур хирургии. Оценка параметров камеры жидкостью погружена от параметров камеры в воздухе является трудной задачей и требует , по меньшей мере , одно изображение цели калибровочной жидкости погруженных 14. Кроме того, периоперационная, fetoscopic калибровка камеры жидкость погруженных в настоящее время нецелесообразно из-за требований по стерилизации и ограничений на распространение материалов разрешено в операционном зале. По этим причинам, калибровка эндоскопов для оптических искажений, как правило, не является частью текущего клинического процесса. Работа в этой рукописи является попыткой закрыть этот разрыв калибровки камеры путем разработки и получения стерилизуемая и практическую цель калибровки оптических искажений показывая образец асимметричных кругов. Ранее Wengert и др. изготовил устройство пользовательских калибровки с участием окисленной алюминиевой пластины в качестве цели калибровки. Их метО.Д., однако, работает только в сочетании с алгоритмом пользовательской калибровки они разработали 15.
Protocol
Representative Results
Discussion
Пескоструйная является важным шагом в процессе изготовления, потому что сырой поверхности металла заметно отражает эндоскопа свет, что делает невозможным для окружности, чтобы быть обнаружены. Трудно различить круги даже невооруженным глазом (см рисунок 5). Обратите внимание, что поверхность мишени, показанной уже выгравированы лазером. Тем не менее, это не уменьшает отражение света.
Рисунок 5: мишень калибровки без каких – либо пескоструйной применяется. Как видно из вида эндоскопического на левой стороне, блики от эндоскопа света на поверхности материала делает его трудно даже невооруженным глазом различить круги (есть круг только на юго-восток от большого отражения). Обратите внимание , что поверхность этой цели (то есть, "фон") был уже выгравированы, но это не полезно при отсутствии пескоструйной обработки. Пожалуйста , нажмите здесь , чтобы посмотреть увеличенную версию этой фигуры.
Перед травлением рисунка, также важно, чтобы протравить поверхность всей выборки. Это необходимо потому , что поверхность имеет пескодувкой много зеркальных отражений (смотрите рисунок 6), которые взаимодействуют с обнаружением больших двоичных объектов.
Рисунок 6: пескоструйная поверхность без травления. Хотя не столь заметным, как сырой поверхности металла, относительно небольшие зеркальные отражения (некоторые из которых отображаются желтые стрелки) по-прежнему достаточно, чтобы предотвратить обнаружение блоб с последующим, так что калибровка не может быть выполнена с этой целью.Arget = "_blank"> Пожалуйста, нажмите здесь, чтобы посмотреть увеличенную версию этой фигуры.
Применение лазера с разной скоростью дает разные цвета фона. Цвет фона играет существенную роль в контраст между кругами и фоном. Следовательно, жизненно важно, чтобы определить оптимальный цвет фона. Для этой цели пластина с кругами травлению против набора был создан разного происхождения (см рисунок 7). Фоны были протестированы с использованием модуля обнаружения особенностью OpenCV 23, который используется в модуле 17 калибровки OpenCV камеры. В этой работе, мишень была изготовлена из нержавеющей стали, так как она является наиболее распространенным и надежным материалом, используемым в клиниках для медицинских устройств. Этот материал находится в свободном доступе, не дорого, надежные и легко стерилизовать. Другие материалы, потенциально могут быть использованы для мирой, такого как алюминий или йодированных металлов, но это СКОПе будущей работы.
Рисунок 7: Нержавеющая сталь пластины показывая палитру различные цвета фона выгравированы с помощью лазера. Практические эксперименты проводились совместно с модулем обнаружения функции OpenCV , чтобы определить , какой цвет фона дает оптимальный результат с точки зрения блоб к фону контрастности 23. Вид эндоскопа слева показывает пластину. Умеренные цвета фона (т.е. те , другой , что темные и самые светлые из них) в этой палитре дают лучшее обнаружение BLOB. Пожалуйста , нажмите здесь , чтобы посмотреть увеличенную версию этой фигуры.
Одним из преимуществ этой работы является то, что выполнение калибровки с помощью сфабрикованного цель занимает 2-3 мин. Большинство усилий идутэс вручную стабилизации эндоскоп, чтобы получить достойные вид шаблона калибровки. Использование пользовательского встроенный держатель эндоскопа может устранить необходимость ручной стабилизации, которая, в свою очередь, может значительно сократить время калибровки.
Видео 1: Видео показывает , как оптическое искажение калибровка может быть выполнена с использованием разработанной цели калибровки вместе с endocal программным обеспечением. Пожалуйста , нажмите сюда , чтобы просмотреть это видео. (Щелкните правой кнопкой мыши для загрузки.)
Преимущество нашей работы по сравнению с работой Wengert и др. 15 является то , что модуль 17 калибровки OpenCV камера может быть использована как для калибровки, не требуя каких – либо изменений или пользовательского парамеризации. Потому что OpenCV является хорошо установлены и хорошо поддерживается пакет программного обеспечения и является очень популярным в компьютерного зрения сообщества, используя это устраняет необходимость в написании и поддержании специального программного обеспечения. Для удобства читателя, компактное приложение с графическим интерфейсом обеспечивается 16, который читатель может легко установить и использовать для тестирования новых целей калибровки. Одним из недостатков нашего метода по сравнению с Wengert и соавт. 15 является то , что их метод является более устойчивым к окклюзий узора, поскольку он не требует обнаружения всех сгустков.
Первоначально мишень калибровки с шахматным рисунком был изготовлен для этой работы. Тем не менее, этот тип мирой оказались непригодными в экспериментах из-за трудности обнаружения углы шахматной доски квадратов. Обнаружение Угол опирается на гистограмме на основе бинаризации изображения (см OpenCV исходный код 24). Это имплежит необходимость четкого цветового контраста между темными и светлыми квадратами, которые не могли быть гарантированы с нашим шахматным рисунком, частично из – за отражений зеркального отражения, как и те , которые показаны на рисунке 6. Такие зеркальные отражения присутствуют даже после травления фона; Тем не менее, обнаружение окружностей, как представляется, менее чувствительны к этим недостатком.
В текущей установке, только перпендикулярные виды цели калибровки позволяют для успешного обнаружения больших двоичных объектов. Это связано с зеркальными отражений от поверхности мишени, посягающих обнаружение блоб при косых углах. Мы работаем для дальнейшего улучшения цели таким образом , чтобы обеспечить приобретение взглядов на более широком диапазоне углов, которые потенциально могли бы улучшить качество выполняемых калибровок 20.
В режиме реального времени плацентарного мозаик трубопровода , который был ранее предложенный 11, вычисление трансформирование, переводящий пары изображений зависит от успешного обнаружения и группировки признаков. Оптические искажения, с другой стороны, вызывает группа функций с жесткой геометрией, чтобы отличаться по изображениям. Как следствие, это различие приводит к неточностям в вычисленных преобразований, которые вызывают дрейфы в получаемом смонтированные аэрофотоснимки. Поскольку наиболее известные оптические искажения присутствуют по краям, эндоскопические изображения в настоящее время обрезается до их внутренних областях. Хорошая коррекция для оптических искажений бы потенциально обеспечить включение большей части каждого изображения в процесс мозаик. Преимущество этого метода состоит в два раза. Во-первых, это приведет к увеличению числа обнаруженных особенностей в каждом изображении, что может повысить скорость вычисления преобразования изображения. Во-вторых, это позволило бы для всей целевой анатомической поверхности, чтобы быть реконструированы в более короткие сроки.
Disclosures
The authors have nothing to disclose.
Acknowledgements
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
Materials
| 1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
| Water container at least 50mm by 50mm by 30mm |
| A sterilisation package |
| Seline water |
| Manual metal cutter |
| A file to round up the corners |
| A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
| A vise (desirable but not required) |
| Sand Blasting machine |
| GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
| PC |
| Laser Cutter |
| Autoclave |
| An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
| Endoscope |
| OpenCV camera calibration module (https://github.com/opencv/opencv) |
References
- Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. , 2321-2328 (2011).
- Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. , 62-72 (1995).
- Duane, C. B. Close-range camera calibration. Photogramm. Eng. 37 (8), 855-866 (1971).
- Mallon, J., Whelan, P. F. Which pattern? biasing aspects of planar calibration patterns and detection methods. Pattern recognition letters. 28 (8), 921-930 (2007).
- Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. Calibration of Action Cameras for Photogrammetric Purposes. Sensors. 14 (9), 17471-17490 (2014).
- Heikkila, J. Geometric camera calibration using circular control points. IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).
- Deprest, J. A., et al. Fetal surgery is a clinical reality. Seminars in fetal and neonatal medicine. 15 (1), 58-67 (2009).
- Watanabe, M., Flake, A. W. Fetal surgery: Progress and perspectives. Advances in pediatrics. 57 (1), 353-372 (2010).
- Lewi, L., Deprest, J., Hecher, K. The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences. American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).
- Yamashita, H., et al. Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome. Surgical Endoscopy. 22 (2), 430-435 (2008).
- Daga, P., et al. Real-time mosaicing of fetoscopic videos using SIFT. Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , (2016).
- Yang, L., et al. Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).
- Liao, H., et al. Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).
- Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. , (2015).
- Wengert, C., Reeff, M., Cattin, P. C., Székely, G., Handels, H. . Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. – 21. März 2006 in Hamburg. , 419-423 (2006).
- . Compact GUI application for optical distortion calibration of endoscopes Available from: https://github.com/gift-surg/endocal (2016)
- Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. . Mosaicing of endoscopic placenta images. , (2011).
- Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. Optical properties of human amniotic fluid: implications for videofetoscopic surgery. Fetal diagnosis and therapy. 27 (2), 87-90 (2009).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- . Open Source Computer Vision Library Available from: https://github.com/opencv/opencv (2016)
