This article describes the design and development of a sterilizable custom camera optical distortion calibration target for the peri-operative, fluid-immersed calibration of endoscopes during endoscopic interventions.
We have developed a calibration target for use with fluid-immersed endoscopes within the context of the GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. One of the aims of this project is to engineer novel, real-time image processing methods for intra-operative use in the treatment of congenital birth defects, such as spina bifida and the twin-to-twin transfusion syndrome. The developed target allows for the sterility-preserving optical distortion calibration of endoscopes within a few minutes. Good optical distortion calibration and compensation are important for mitigating undesirable effects like radial distortions, which not only hamper accurate imaging using existing endoscopic technology during fetal surgery, but also make acquired images less suitable for potentially very useful image computing applications, like real-time mosaicing. In this paper proposes a novel fabrication method to create an affordable, sterilizable calibration target suitable for use in a clinical setup. This method involves etching a calibration pattern by laser cutting a sandblasted stainless steel sheet. This target was validated using the camera calibration module provided by OpenCV, a state-of-the-art software library popular in the computer vision community.
カメラキャリブレーションは集中3、2、1年にわたって研究されているコンピュータビジョンの分野ではよく知られている問題です。カメラキャリブレーション手順の重要なステップは、サブピクセル精度でカメラ画像からの既知のジオメトリとの点の格子を抽出することにより、歪モデルのパラメータ、ならびに固有のカメラパラメータを推定することです。黒と白の正方形を特徴チェッカーボードパターンで較正ターゲットは、一般的にこの目的のために使用されます。円形のブロブは、代替パターン4、5、6を提供しています。
近年では、このような胎児上のツイン・ツー・ツイン輸血症候群(TTTS)の治療として、胎児手術の手順については、手術ナビゲーション技術の開発への関心が高まってきました> 7、8、9、10。胎児鏡の視野( すなわち、胎児の外科手術に使用される内視鏡)は、非常に限られているように、外部の追跡を使用することなく、胎盤脈管構造をマッピングするための方法は、TTTS手術11、12、13を補助するために提案されています。 fetoscopic画像内の光学的歪みは、視覚情報抽出11に依存しているこれらの計算モザイク法に悪影響を与えます。したがって、光学的歪み補償が介入中にリアルタイムで行うことができるように、周囲に、作動fetoscopesを較正するためのコスト効率と高速ツールの満たされていない必要性が存在します。
胎児鏡は介入中羊水中に浸漬されているという事実は、Aとの屈折率差にIRおよび羊水は胎児手術の手順に適さない古典的で空気カメラキャリブレーション方法をレンダリングします。気中のカメラパラメータから流体に浸漬カメラパラメータを推定することは困難な作業であり、流体に浸漬キャリブレーションターゲット14の少なくとも1つの画像を必要とします。また、周術期には、流体に浸漬fetoscopicカメラキャリブレーションは、手術室で許可された材料上の殺菌の要件と制限のため、現在は非現実的です。これらの理由に、光学歪みを内視鏡を較正することは、典型的に現在の臨床ワークフローの一部ではありません。この原稿での作業は、非対称円のパターンを特色に滅菌可能で実用的な光学歪みのキャリブレーションターゲットを設計し、製造することにより、このカメラキャリブレーションギャップを埋めるための試みです。以前は、Wengert ら。較正ターゲットとして酸化アルミニウム板を搭載カスタム校正装置を作製しました。彼らのメタODは、しかし、唯一の彼らは15を開発したカスタムキャリブレーション・アルゴリズムと連携して動作します。
生の金属面が目立つことは不可能円が検出されるようにすること、内視鏡の光を反射するので、サンドブラストは、製造プロセスにおける重要なステップです。それも肉眼で円を区別することは困難である( 図5参照)。示さターゲットの表面がすでにレーザーでエッチングしたことに注意してください。しかしながら、これは、光の反射を減少させません。
図5:なしサンドブラストでのキャリブレーションターゲットが適用されます。左側の内視鏡ビューから見られるように、材料表面上の内視鏡の光からのグレアが(ちょうど大きな反射の南東に円がある)でも、円を区別する肉眼のためにそれを困難にしています。このターゲット( すなわち、「バックグラウンド」)の表面は既にエッチングが、これではありませんされたことに注意してくださいサンドブラストの不在に役立ちます。 この図の拡大版をご覧になるにはこちらをクリックしてください。
パターンエッチングの前に、試料全体の表面をエッチングすることも重要です。これは、サンドブラスト処理表面は、多くの鏡面反射を持っているので、ブロブ検出を妨害、( 図6を参照)が必要です。
図6:なしエッチングで表面をサンドブラスト。生の金属表面ほど顕著ではないが、(黄色の矢印で強調されているそのうちのいくつか)が比較的小さい鏡面反射がまだ続くからブロブ検出を防止するのに十分であるので、何のキャリブレーションは、このターゲットを用いて実行することはできません。ARGET = "_空白">この図の拡大版をご覧になるにはこちらをクリックしてください。
異なる速度でレーザーを適用すると、別の背景色を与えます。背景色は、円と背景とのコントラストが重要な役割を果たしています。したがって、最適な背景色を決定するために重要です。この目的のために、丸付きプレートが作成された別の背景( 図7参照 )のセットに対してエッチング。背景はOpenCVのカメラキャリブレーションモジュール17で使用されているOpenCVの23の特徴検出モジュールを用いて試験しました。それは、医療デバイスのための診療所で使用される最も一般的かつ信頼性の高い物質であるように、この作業では、ターゲットは、ステンレス鋼で作られました。この材料は、高価な堅牢、かつ殺菌することは容易ではない、自由に利用可能です。他の材料は、潜在的に、アルミニウム又はヨウ素添加金属として、較正ターゲットを使用することができるが、これはSCOPあります今後の作業の電子。
図7:レーザーでエッチング異なる背景色のパレットを搭載ステンレス鋼板。実用的な実験は、色ブロブ対背景コントラスト23の観点で最適な結果を与えるバックグラウンドを決定するためにOpenCVの特徴検出モジュールと組み合わせて実施されました。左側の内視鏡ビューは、プレートを示しています。適度な背景色( すなわち、最も暗いと最も軽いものことを他のもの)は、このパレットでは、より良いブロブ検出をもたらします。 この図の拡大版をご覧になるにはこちらをクリックしてください。
この作業の利点の1つは、作製対象を使用してキャリブレーションを行うこと2-3分かかることです。努力のほとんどが行きますESは手動でキャリブレーションパターンのまともなビューを取得するために内視鏡を安定化します。特注の内視鏡保持具を使用して順番に大幅較正時間を短縮する可能性があり、手動安定化の必要性を排除することができます。
ビデオ1:ビデオは、光学歪み校正がendocalソフトウェアと共に開発較正ターゲットを用いて行うことができる方法を示します。 このビデオを見るにはこちらをクリックしてください。 (ダウンロードするには、右クリックします。)
Wengert らの仕事に比べて我々の仕事の利点。 図15は、OpenCVのカメラキャリブレーションモジュール17は、任意の変更またはカスタムパラメを必要とせずに、キャリブレーションのためのものであるとして使用され得ることですterization。 OpenCVのは、十分に確立されたと手入れの行き届いたソフトウェアパッケージであり、それは書き込み、カスタムソフトウェアを維持する必要がなくなり使用して、コンピュータビジョンのコミュニティで非常に人気がありますので。読者の便宜のために、コンパクトなGUIアプリケーションは、読者が簡単にインストールして、新しいキャリブレーションターゲットをテストするために使用できる16を 、提供されています。 Wengert らに比べて我々の方法の一つの欠点。 15は 、すべてのブロブの検出を必要としないように、その方法は、パターンの閉塞に対してよりロバストであるということです。
最初は、チェッカーボードパターンとキャリブレーションターゲットがこの仕事のために作製しました。ただし、キャリブレーションターゲットのこのタイプは、市松模様の正方形の隅を検出することの難しさに起因する実験に不適切であることが判明しました。コーナー検出は、ヒストグラムベースの画像2値化(OpenCVのソースコード24を参照)に依存します。このインプ図6に示すものと同様に、部分的に起因する鏡面反射に、私たちの市松模様で保証されませんでした明るさと暗さの正方形、間に明確な色のコントラストの必要性があります。このような鏡面反射はあっても、バックグラウンドのエッチング後に存在しています。しかしながら、円の検出は、この欠点に敏感であると思われます。
現在の設定では、キャリブレーションターゲットの唯一の垂直ビューは成功したブロブの検出を可能にします。これは、斜めの角度でブロブ検出を妨げるターゲット表面からの鏡面反射によるものです。我々は、潜在的に行わ校正20の品質を向上させることができ角の広い範囲でのビューの取得を可能にするために、標的の向上に努めています。
リアルタイムで胎盤は、以前に11を提案したパイプライン、トランスの計算をモザイク画像対をマッピング形成が検出成功と機能のグループ化に依存しています。光学的歪みは、他の一方で、剛性のジオメトリを持つフィーチャのグループが画像間で異なる出現させます。その結果、この差は得られる画像のモザイクのドリフトを引き起こす計算変換の不正確さにつながります。最も顕著な光学歪みがエッジに向かって存在しているので、内視鏡画像は、現在彼らの最も内側の領域に切り取られます。光学的歪みのための良好な補正は、潜在的にモザイク処理に各画像の大部分の組み込みを可能にするであろう。この方法の利点は、2つある。まず、潜在的に、画像変換の計算を改善する、各画像内の検出された特徴の数を増加させます。第二に、それは短時間で再構成する全体目標の解剖学的表面を可能にするであろう。
The authors have nothing to disclose.
This work was supported through an Innovative Engineering for Health award by the Wellcome Trust [WT101957], the Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], and a National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest is being funded by the Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD as clinical researcher 1.8.012.07). Danail Stoyanov receives funding from the EPSRC (EP/N013220/1, EP/N022750/1), the EU-FP7 project CASCADE (FP7-ICT-2913-601021), and the EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin receives funding from the EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) and the MRC (MR/J01107X/1). Marcel Tella is supported by the EPSRC-funded UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
1.2mm Metal sheet 316 Grade, 40 mm by 40 mm |
Water container at least 50mm by 50mm by 30mm |
A sterilisation package |
Seline water |
Manual metal cutter |
A file to round up the corners |
A wooden or metal block 50 mm by 50 mm at least 10 mm thick |
A vise (desirable but not required) |
Sand Blasting machine |
GUI application to create .dxf file with the pattern (https://github.com/gift-surg/endocal) |
PC |
Laser Cutter |
Autoclave |
An endoscope calibration software from GitHub (http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html) |
Endoscope |
OpenCV camera calibration module (https://github.com/opencv/opencv) |