拡張現実と3Dプリンティングを組み合わせてスマートフォンに患者モデルを表示
1Department of Bioengineering and Aerospace Engineering,Universidad Carlos III de Madrid, 2Instituto de Investigación Sanitaria Gregorio Marañón, 3Department of Orthopedic Surgery and Traumatology,Hospital General Universitario Gregorio Marañón, 4Department of Surgery, Faculty of Medicine,Universidad Complutense de Madrid
Summary
ここでは、3Dプリントされた基準マーカーを用いた患者の解剖学的三次元モデルの可視化のための拡張現実スマートフォンアプリケーションを設計する方法である。
Abstract
拡張現実(AR)は、医療分野における教育、訓練、外科指導において大きな可能性を秘めています。3次元(3D)印刷(3DP)との組み合わせは臨床応用の新しい可能性を開く。これらの技術は近年飛躍的に成長していますが、工学やソフトウェア開発に関する広範な知識を必要とするため、医師の採用はまだ限られています。したがって、このプロトコルの目的は、経験の浅いユーザーが3Dプリントされた参照マーカーを持つ患者の解剖学的3Dモデルの可視化のためにARと3DPを組み合わせたスマートフォンアプリを作成することを可能にするステップバイステップの方法論を記述することです。プロトコルは、3D医療画像から派生した患者の解剖学の3D仮想モデルを作成する方法を説明します。次に、マーカー参照に対して 3D モデルの位置決めを実行する方法について説明します。また、必要なツールとモデルを 3D 印刷する方法についても説明します。最後に、アプリを展開する手順を示します。プロトコルは自由で、マルチプラットフォームのソフトウェアに基づいており、任意の医療画像モダリティまたは患者に適用することができます。別のアプローチは、患者の解剖学から作成された3Dプリントモデルと投影ホログラムとの間の自動登録を提供するために記述されています。一例として、遠位脚肉腫に罹患している患者の臨床症例が方法論を例示するために提供される。このプロトコルは、医療専門家によるARおよび3DP技術の採用を加速することが期待されます。
Introduction
ARと3DPは、医療分野での応用数を増やす技術です。ARの場合、仮想3Dモデルとの相互作用および実際の環境は、教育および訓練1、2、3、他の医師とのコミュニケーションおよび相互作用に関して医師に利益をもたらす4、および臨床介入中のガイダンス5、6、7、8、9、10である。同様に、3DPは、患者固有のカスタマイズ可能なツール11、12、13を開発する場合、または患者の解剖学の3Dモデルを作成する際に医師のための強力なソリューションとなり、術前計画および臨床介入を改善するのに役立ちます14、15。
AR技術と3DP技術はいずれも、医療処置におけるオリエンテーション、ガイダンス、空間的スキルの向上に役立ちます。したがって、これらの組み合わせは次の論理的なステップです。以前の研究は、彼らの共同使用が患者教育16における価値を高めることができることを実証し、病状および提案された治療の説明を容易にし、外科的ワークフロー17、18を最適化し、患者からモデルへの登録19を改善する。これらの技術は近年飛躍的に成長していますが、工学やソフトウェア開発に関する広範な知識を必要とするため、医師の採用はまだ限られています。そこで、この作業の目的は、広範な技術知識を必要とせずに、経験の浅いユーザーによるARおよび3DPの使用を可能にする段階的な方法論を記述することです。
このプロトコルは、スマートフォンのカメラで追跡された3Dプリントマーカーを使用して、患者ベースの3Dモデルを現実世界の環境に重ね合わせることができるARスマートフォンアプリを開発する方法を説明します。さらに、3Dプリントされたバイオモデル(すなわち、患者の解剖学から作成された3Dモデル)と投影ホログラムとの間に自動登録を提供する代替アプローチが記載されています。説明されているプロトコルは、完全に無料のマルチプラットフォームソフトウェアに基づいています。
以前の研究では、AR患者から画像への登録は、表面認識アルゴリズム10で手動で5を計算されているか、2を使用できませんでした。これらの方法は、正確な登録が必要な場合にはやや制限されていると考えられています19.これらの制限を克服するために、この作業はAR技術と3DPを組み合わせることでAR手順で正確かつ簡単な患者から画像への登録を行うためのツールを提供します。
プロトコルは一般的であり、任意の医療画像モダリティまたは患者に適用することができます。一例として、遠位脚肉腫に罹患している患者の実際の臨床症例が方法論を例示するために提供される。最初のステップでは、3D仮想モデルを生成するために、コンピューター断層撮影(CT)医療画像から影響を受ける解剖学を簡単にセグメント化する方法について説明します。その後、3D モデルの位置決めが実行され、必要なツールとモデルが 3D プリントされます。最後に、目的の AR アプリがデプロイされます。このアプリは、リアルタイムでスマートフォンのカメラにオーバーレイ忍耐強い3Dモデルの可視化を可能にします。
Protocol
本研究は、2013年に改訂された1964年ヘルシンキ宣言の原則に従って行われた。この論文に含まれる匿名化された患者データおよび写真は、参加者および/または法的代理人から書面によるインフォームド・コンセントを得た後に使用され、科学出版物を含む普及活動のためにこのデータの使用を承認した。 1. セグメンテーション、3Dモデル抽出、ポジショニング、ARアプリ展開のためのワークステーションセットアップ メモ:このプロトコルは、各ツールに示されている特定のソフトウェアバージョンでテストされています。新しいバージョンでは動作する可能性がありますが、保証はありません。 Windows 10 または Mac OS をオペレーティング システムとして使用するコンピューターを使用します。 公式の指示に従って、対応する Web サイトから次のツールをインストールします。3Dスライサー (v. 4.10.2): https://download.slicer.org/.メッシュミキサー (v. 3.5): http://www.meshmixer.com/download.html.ユニティ (v. 2019): https://unity3d.com/get-unity/download.(iOS 展開の場合のみ)Xcode (最終バージョン): https://developer.apple.com/xcode/。メモ:プロトコルを完了するために必要なすべてのソフトウェアツールは、個人的な目的のために自由にダウンロードすることができます。各ステップで使用されるソフトウェアは、具体的に示されます。 次の GitHub リポジトリからデータhttps://github.com/BIIG-UC3M/OpenARHealthをダウンロードします。メモ: リポジトリには、次のフォルダが含まれています。”/3DSlicerModule/”: 3D プリントマーカーに対して 3D モデルを配置するための 3D スライサー モジュール。セクション 3 で使用されます。「 https://github.com/BIIG-UC3M/OpenARHealth」の手順に従って、モジュールを 3D スライサーに追加します。”/データ/患者データ/Patient000_CT.nrrd”: 遠位脚肉腫に罹患している患者のCT.プロトコルは、このイメージを例として使用して説明されています。”/データ/バイオモデル/”: 患者の3Dモデル(骨および腫瘍)。”/Data/Marker/” : 3D プリントされるマーカーで、AR アプリケーションによって仮想 3D モデルを配置することが検出されます。2 つのマーカーを使用できます。 2. バイオモデル作成 メモ:このセクションの目的は、患者の解剖学の3Dモデルを作成することです。これらは、医療画像にセグメンテーション法を適用することによって得られる(ここでは、CT画像を使用して)。このプロセスは、3つの異なるステップで構成されています:1)患者データを3Dスライサーソフトウェアにロードし、2)、ターゲット解剖学ボリュームのセグメンテーション、および3)OBJ形式での3Dモデルとしてのセグメンテーションのエクスポート。結果として得られる 3D モデルは、最終的な AR アプリケーションで視覚化されます。 医療画像ファイルを3Dスライサーソフトウェアウィンドウにドラッグして、患者データ(“/Data/PatientData/Patient000_CT.nrrd”)をロードします。[OK] をクリックします。CT ビュー(軸、矢状、冠動脈)が対応するウィンドウに表示されます。注: ここで使用されるデータは「ほぼ生のラスター データ」(NRRD) 形式で見つかりますが、3D スライサーでは医療画像形式 (DICOM) ファイルを読み込めることができます。詳細についてはhttps://www.slicer.org/wiki/Documentation/4.10/Training、次のリンクを参照してください。 患者の解剖学をセグメント化するには、3D スライサーのセグメントエディタモジュールに移動します。 モジュールに入ると、「セグメンテーション」項目が自動的に作成されます。[マスターボリューム]セクションで、目的のボリューム(患者の医療画像)を選択します。次に、[追加] ボタンの下を右クリックしてセグメントを作成します。”Segment_1″ という名前の新しいセグメントが作成されます。 医療画像のターゲット領域を適切にセグメント化するためのさまざまなツールを含むエフェクトと呼ばれるパネルがあります。ターゲットとセグメントの最も便利なツールをイメージ ウィンドウ領域に選択します。 骨(この場合は脛骨と脛骨)をセグメント化するには、しきい値ツールを使用して、骨組織に対応するCT画像から最小および最大HU値を設定します。このツールを使用すると、これらのしきい値の外側に HU を持つ他の要素 (軟部組織など) が削除されます。 はさみツールを使用して、ベッドやその他の解剖学的構造などの不要な領域をセグメント化されたマスクから削除します。腫瘍は自動ツールで輪郭を描くのが難しいため、描画ツールと消去ツールを使用して肉腫を手動でセグメント化します。メモ: セグメンテーション手順の詳細については、https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentationにあるリンクを参照してください。 [3Dを表示]ボタンをクリックすると、セグメンテーションの 3D 表現が表示されます。 3D スライサーの[セグメンテーション]モジュールに移動して、セグメンテーションを 3D モデル ファイル形式で書き出します。 モデルとラベルマップのエクスポート/インポートに移動します。[操作] セクションで [エクスポート] を選択し、[出力タイプ] セクションで[モデル] を選択します。[書き出し]をクリックして終了し、セグメント化された領域から 3D モデルを作成します。 [保存](左上)を選択してモデルを保存します。保存する要素を選択します。次に、[ファイル形式]列で 3D モデルのファイル形式を「OBJ」に変更します。ファイルを保存するパスを選択し、[保存]をクリックします。 手順 2.2 と 2.3 を繰り返して、異なる解剖学的領域の追加の 3D モデルを作成します。メモ:提供された例の事前セグメント化されたモデルは、手順1.3(“/データ/バイオモデル/”)で以前にダウンロードしたデータにあります。 3. バイオモデルポジショニング 注: このセクションでは、セクション 2 で作成した 3D モデルは、拡張現実視覚化のマーカーに対して配置されます。このタスクには、3D スライサーのARHealth: モデル位置モジュールが使用されます。手順 1.3 の指示に従って、モジュールを 3D スライサーに追加します。3D モデルを配置するには、「ビジュアライゼーション」モードと「登録」モードの 2 つの方法があります。 視覚化モードメモ:可視化モードでは、ARマーカーに対して任意の位置に3D患者モデルを配置することができます。このオプションを使用すると、ユーザーはARアプリを使用して、3DプリントされたARマーカーを参照としてバイオモデルを視覚化することができます。このモードは、精度が不要で、仮想モデルの視覚化をスマートフォンのカメラやマーカーの視野内のどこにでも表示できる場合に使用できます。 ARHealth: モデル位置モジュールに移動し、(初期化セクションで)ビジュアライゼーションモードを選択します。[マーカー モデルをロード]をクリックして、このオプションのマーカーをロードします。 セクション 2 で作成した 3D モデルをロードするには、[…]ボタンをクリックして、セクション 2 から保存したモデルのパスを選択します。次に、[モデルをロード]ボタンをクリックして、3D スライサーにロードします。モデルは一度に 1 つずつ読み込む必要があります。以前にロードしたモデルを削除するには、そのモデルをクリックし、[モデルを削除]ボタンをクリックするか、[すべて削除]をクリックしてロードされたすべてのモデルを一度に削除します。 [完了] ボタンと [中央]ボタンをクリックして、マーカー内のすべてのモデルを中央に配置します。 3D モデルの位置、方向、およびスケーリングは、異なるスライダー バー(平行移動、回転、スケール)を持つマーカーに対して変更できます。メモ:位置に変更を加える前に、モデルの元の位置をリセットするための追加の「位置のリセット」ボタンがあります。 ファイルを保存するパスを選択し、[モデルを保存]ボタンをクリックして、この位置にモデルを保存します。3D モデルは、拡張子 “_registered.obj” と共に保存されます。 登録モードメモ:登録モードでは、任意の位置に1つの3DバイオモデルとARマーカーを組み合わせることができます。次に、結合された 3D モデル(AR マーカーを含む)の任意のセクションを抽出し、3D プリントすることができます。すべてのバイオモデルは、この組み合わせ3Dプリントバイオモデルを参照としてARアプリに表示されます。このモードにより、ユーザーは、患者(ここでは、患者の骨の一部)と仮想モデルを参照マーカーを使用して簡単に登録することができます。 ARHealth: モデル位置モジュールに移動し、(初期化セクションで)登録モードを選択します。[マーカー モデルをロード]をクリックして、このオプションのマーカーをロードします。 手順 3.1.2 の手順に示すようにモデルをロードします。 3D モデルを移動し、キューブ マーカーの支持構造と交差していることを確認します。マーカーベースの高さを変更できます。3D モデルの位置、方向、およびスケーリングは、異なるスライダー バー(平行移動、回転、スケール)を持つマーカーに対して変更できます。 ファイルを保存するパスを選択し、[モデルを保存]ボタンをクリックして、この位置にモデルを保存します。3D モデルは、拡張子 “_registered.obj” と共に保存されます。 解剖モデルが大きすぎる可能性があります。その場合は、マーカー アダプターの周囲に 3D モデルをカットし、Meshmixer ソフトウェアを使用して両方のモデルの組み合わせのセクションのみを 3D プリントします。 メッシュミキサーを開き、ステップ 3.2.4 で保存したキューブ マーカー モデルのバイオモデルとサポート構造をロードします。[オブジェクト ブラウザ]ウィンドウで両方のモデルを選択して、これらのモデルを結合します。左上隅に表示されたツール ウィンドウの [結合] オプションをクリックします。 メッシュミキサーで、[編集]メニューの[平面カット]ツールを使用して、3D プリントされないモデルの不要な断面を削除します。 3D プリントするモデルを保存するには、[ファイル]-[書き出し] に移動し、目的の形式を選択します。 4. 3Dプリンティング メモ:このステップの目的は、最終的なARアプリケーションに必要な物理モデルを3Dプリントすることです。アプリケーションによって検出されるマーカーと必要なさまざまなオブジェクトは、セクション 3 で選択したモードによって異なります。各ステップで要求された色材の要件に従う場合は、この作業の目的で任意の材料を3D印刷に使用することができます。ポリ乳酸(PLA)またはアクリロニトリルブタジエンスチレン(ABS)は両方とも十分な選択肢です。 3D プリンタを使用して、3 次マーカーを印刷します。デュアル押出機 3D プリンタが使用できない場合は、手順 4.2 に進みます。「データ/マーカー/Marker1_TwoColorCubeMarker/」に記載されている2色マーカーを印刷するには、デュアル押出機3Dプリンタを使用します。3D 印刷ソフトウェアで、ファイル “TwoColorCubeMarker_WHITE.obj” の白いカラー マテリアルを選択し、”TwoColorCubeMarker_BLACK.obj” に黒のカラー マテリアルを選択します。メモ:マーカー検出を改善するには、レイヤーの高さが小さい高品質モードで印刷してください。 デュアル押出機 3D プリンタが使用できず、手順 4.1 が実行されなかった場合は、次の手順を実行して、ステッカー付きの 3D プリント マーカーを印刷します。 3Dプリンタを使用して、ファイル「データ/マーカー/Marker2_StickerCubeMarker/StickerCubeMarker_WHITE.obj」を白いカラー素材で印刷します。 従来のプリンタを使用して、ステッカー用紙に「データ/マーカー/Marker2_StickerCubeMarker/ステッカー.pdf」ファイルを印刷します。次に、黒い線を取り除いて黒いフレームを使用して画像を正確にカットするために任意の切削工具を使用します。メモ:ステッカー用紙を使用して、より高品質のマーカーを取得することをお勧めします。ただし、画像は通常の用紙に印刷でき、一般的な接着剤を使用して画像を立方体に貼り付けることができます。 手順 4.2.1 で取得した 3D プリントキューブに、ドキュメント「データ/マーカー/Marker2_StickerCubeMarker/ステッカー.pdf」の指示に従って、対応する順序でステッカーを配置します。メモ:ステッカーは立方体の顔よりも小さいです。ステッカーと顔の端の間に 1.5 mm フレームを残します。「データ/マーカー/Marker2_StickerCubeMarker/ステッカープレイスr.stl」は、ステッカーの位置をガイドし、立方体の顔の中心に正確に一致するように3Dプリントすることができます。 セクション 3 で選択したモードに応じて、アダプターを 3D プリントします。 ビジュアライゼーションモード(セクション3.1)が選択されている場合、3Dプリント「データ/3DPrinting/Option1/MarkerBaseTable.obj」は、マーカーを水平面の垂直位置に配置するために使用されるベースアダプタです。 登録モード(セクション3.2)が選択されている場合は、マーカーアダプタを取り付けた状態で、ステップ3.2.8で作成したモデルを3Dプリントします。 注: ステップ 4.3 の 3D プリントオブジェクトは、任意のカラーマテリアルで印刷できます。 5. ARアプリの展開 注:このセクションの目的は、前のセクションで作成した3Dモデルを含むUnityエンジンでスマートフォンアプリを設計し、スマートフォンにこのアプリを展開することです。この手順には、Vuforia 開発ライセンス キー (個人的な使用には無料) が必要です。アプリは、Android または iOS デバイスに展開できます。 Vuforia 開発者アカウントを作成して、Unity でライブラリを使用するためのライセンス キーを取得します。https://developer.vuforia.com/vui/auth/registerにあるリンクに移動し、アカウントを作成します。 https://developer.vuforia.com/vui/develop/Licensesにあるリンクに移動し、[開発キーの取得] を選択します。次に、指示に従って、ユーザーのアカウントに無料の開発ライセンス キーを追加します。 [ライセンス マネージャ]メニューで、前の手順で作成したキーを選択し、手順 5.3.3 で使用する指定されたキーをコピーします。 スマートフォンをセットアップします。 Unity デバイスと Android デバイスを使い始めるには、https://docs.unity3d.com/Manual/android-GettingStarted.htmlにあるリンクに移動します。 Unity および iOS デバイスの使用を開始するには、https://docs.unity3d.com/Manual/iphone-GettingStarted.htmlにあるリンクに移動します。 最初に Unity v.2019 を開き、新しい 3D プロジェクトを作成して、AR アプリの Unity プロジェクトを設定します。次に、ビルド設定のファイルメニューを使用して、プラットフォームを Android または iOS デバイスに切り替えます。[編集]-[プロジェクト設定]-[プレーヤー設定]-[XR設定]を選択し、[Vuforia拡張現実サポート]というラベルの付いたチェックボックスをオンにして、プロジェクトに Vuforia を有効にします。 メニューバー >ゲームオブジェクト>ヴフォルシアエンジン> ARCameraの下に 「ARCamera」を作成し、プロンプトが表示されたら Vuforia コンポーネントをインポートします。 [リソース] フォルダを選択し、[Vuforia の構成] をクリックして、Vuforia ライセンス キーをVuforia の構成設定に追加します。次に、[アプリ ライセンス キー ] セクションで、セクション 5.1.2 でコピーしたキーを貼り付けます。 「/Data/Vuforia/ AR_Cube_3x3x3.unitypackage」で提供されているVuforiaターゲットファイルをUnityにインポートします。 メニューバー >ゲームオブジェクト>ヴフォルシア エンジン>マルチイメージの下に Vuforia マルチターゲットを作成します。 前の手順で作成した MultiTarget をクリックして、検出に使用するマーカーの種類を選択します。[データベース] オプションの [マルチターゲット動作] で、[ARHealth_3DPrintedCube_30x30x30]を選択します。セクション 4 で作成したマーカーに応じて、[マルチターゲット動作] の [マルチターゲット] オプションで、 2ColorCubeMarkerまたはステッカーキューブ マーカーを選択します。 「リソース」フォルダの下に「モデル」という名前の新しいフォルダを作成して、セクション 3 で作成した 3D モデルをマルチターゲットの Unity Scene にロードします。3D モデルをこのフォルダにドラッグします。Unity に読み込まれたら、手順 5.3.5 で作成した [マルチターゲット] 項目の下にドラッグします。これにより、マーカーに依存するようになります。注: モデルは Unity 3D ビュー シーンに表示される必要があります。 新しい材料を作成し、新しい材料をモデルに割り当てることによって、3D モデルの色を変更します。 [リソース] フォルダの下に [材料] という名前の新しいフォルダを作成するには、[メニュー バー ] > [アセット] > [作成] > [材料]の順に移動します。材料を選択し、コンフィギュレーションセクションで色を変更します。次に、3D モデル階層の下にファイルをドラッグします。 オプション: 利用可能な Web カメラがある場合は、中央の上部にある再生ボタンをクリックして、コンピューター上でアプリケーションをテストします。マーカーが Web カメラに表示されている場合は、マーカーが検出され、3D モデルがシーンに表示されます。 Android スマートフォンをアプリの展開に使用する場合は、[ファイル] > [Unity でのビルド設定]に移動し、一覧から接続されている電話を選択します。[展開して実行] を選択します。コンピュータに拡張子 .apk を付けてファイルを保存し、プロセスを完了します。展開が完了したら、アプリは電話で実行する準備ができている必要があります。メモ:このプロトコルは、Android v.8.0オレオ以上でテストされています。古いバージョンでは、正しい機能は保証されません。 アプリを iOS デバイスに展開する場合は、[ファイル] > [Unity でのビルド設定]に移動し、[実行] を選択します。アプリ ファイルを保存するパスを選択します。プロセスの完了を許可します。保存したフォルダに移動し、拡張子が “.projectxcode” のファイルを開きます。 Xcode で、手順 5.2.2 の指示に従って展開を完了します。メモ: Unity の Vuforia の詳細については、https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.htmlのリンクを参照してください。 6. アプリの可視化 スマートフォンのカメラを使用するインストール済みのアプリを開きます。アプリを実行するときは、短い距離 (最小 40 cm) からカメラでマーカーを確認します。アプリがマーカーを検出すると、前の手順で作成した 3D モデルが、スマートフォン画面の手順で定義された場所に正確に表示されます。メモ:イルミネーションは、マーカー検出の精度を変更することができます。良好な照明条件の環境でアプリを使用することをお勧めします。
Representative Results
このプロトコルは、3Dの観点から影響を受けた解剖学的領域を可視化するために、遠位脚肉腫に罹患している患者からのデータに適用された。セクション2に記載の方法を用いて、患部の骨の部分(ここでは、脛骨および脛骨)および腫瘍を患者のCTスキャンからセグメント化した。次いで、3Dスライサーのセグメンテーションツールを用いて、骨(脛骨と脛骨の断面)(図1A)と腫瘍(図1B)の2つのバイオモデルを作成した。 次に、2つの3Dモデルを、最適な可視化のためのマーカーに対して事実上配置した。この例では、セクション 3 で説明した両方のモードに従いました。視覚化モードでは、モデルはマーカーの上面の中央に配置されました (図 2)。登録モードの場合、マーカーアダプタは骨内に配置された(具体的には、脛骨[図3])。次に、脛骨の小さな部分を3Dマーカーアダプターで3Dプリントするように選択した(図4)。PLA材料を備えたUltimaker 3拡張3Dプリンタを使用して、3Dプリントマーカー(図5A、B)、「ビジュアライゼーション」モードのマーカーホルダーベース(図5C)、および「登録」モードの脛骨のセクションを作成しました(図5D)。図5Eは、マーカーが「ビジュアリゼーション」モードの3Dプリントベースにどのように取り付けられたかを示しています。図5Fは、「登録」モードの3Dプリントバイオモデルを用いた添付ファイルを示す。最後に、Unity を使用してアプリを作成し、スマートフォンに展開しました。 図 6は、アプリが “視覚化” モードでどのように機能したかを示しています。ホログラムは、前に定義したようにキューブの上部に正確に配置されました。図 7は、アプリが 3D 印刷セクションの上に完全なボーン モデルを配置した “登録” モードのアプリケーションを示しています。ホログラムの最終的な可視化は明確かつ現実的であり、バイオモデルの実際のサイズを維持し、正確に配置しました。スマートフォンアプリケーションを使用する場合、ホログラムを正しく表示するには、アプリがカメラでARマーカーを表示する必要があります。さらに、シーン内の光条件は、適切なマーカー検出のために良好な品質と一定である必要があります。マーカー表面の不良光状態や反射は、ARマーカーの追跡を妨げ、アプリの誤動作を引き起こします。 アプリの作成に必要な時間は、いくつかの要因によって異なります。セクション 1 の期間は、ダウンロード速度によって制限されます。解剖学的セグメンテーション(セクション2)に関して、セグメンテーション時間に影響を与える因子は、領域および医療画像モダリティの複雑さを含む(すなわち、CTは容易にセグメント化され、MRIはより困難である)。脛骨の代表的な例では、CTスキャンから両方の3Dモデルを生成するために約10分が必要でした。バイオモデルの位置決め(セクション3)は簡単で簡単です。ここで、ARマーカーに対するバイオモデル位置を定義するのに約5分かかった。3D 印刷ステップでは、継続時間は選択したモードに大きく依存します。「デュアルカラーマーカー」は、5時間20分の期間で高品質で製造されました。「ステッカーマーカー」は1時間30分の期間に製造され、ステッカーの貼り付けに要した時間を加えた。アプリ開発の最後の手順は、Unity での経験がないユーザーにとっては時間がかかる場合がありますが、プロトコルの手順に従って簡単に完了できます。ARマーカーが3Dプリントされると、全く新しいARアプリの開発を1時間未満で行うことができます。この期間は、追加の経験でさらに短縮することができます。 図1:遠位脚肉腫に罹患した患者のCT画像から作成された3Dモデルの表現(A)白色(脛骨および脛骨)で表される骨組織。(B)赤色で表される腫瘍。この図の大きなバージョンを表示するには、ここをクリックしてください。 図2:3Dスライサーの「可視化」モードが、3Dプリントマーカー参照に対して骨と腫瘍の仮想3Dモデルをどのように配置するかを示す結果。患者の3Dモデル(A)はマーカー立方体の上面の上方に配置される(B)。この図の大きなバージョンを表示するには、ここをクリックしてください。 図3:3Dスライサーの「登録」モードが、3Dプリントマーカー参照(B)に対して骨と腫瘍(A)の仮想3Dモデルをどのように配置するかを示す結果。マーカーアダプターは骨組織モデルに付着する。この図の大きなバージョンを表示するには、ここをクリックしてください。 図4:骨組織と3Dマーカーアダプターの小さなセクション。2 つのコンポーネントが組み合わされ、次に 3D プリントされます。この図の大きなバージョンを表示するには、ここをクリックしてください。 図 5: 最終的なアプリケーションに必要な 3D 印刷ツール(A)「2色立方マーカー」2色の素材で3Dプリント。(B)「ステッカーキューブマーカー」3Dプリント、ステッカー貼り付け。(C) マーカーベースキューブアダプタ。(D)患者の骨組織3Dモデルおよびマーカー立方体アダプタのセクション。(E)マーカーベースキューブアダプタに配置された「ステッカーキューブマーカー」。(F)患者の解剖学に付着したマーカーアダプターに配置された「2色立方マーカー」。この図の大きなバージョンを表示するには、ここをクリックしてください。 図6:「ビジュアライゼーション」モードを使用した場合のアプリ表示患者の影響を受けた解剖学の3Dモデルは3Dプリントされた立方体の上面の上に置かれている。この図の大きなバージョンを表示するには、ここをクリックしてください。 図7:「登録」モードを使用した場合のAR可視化3Dプリントマーカーは、仮想3Dモデルで3Dプリントバイオモデルの登録を可能にします。この図の大きなバージョンを表示するには、ここをクリックしてください。
Discussion
ARは、医療分野における教育、トレーニング、外科指導において大きな可能性を秘めています。3Dプリンティングとの組み合わせは、臨床応用に新たな可能性を開く可能性があります。このプロトコルは、経験の浅いユーザーが3Dプリントされた参照マーカーを持つ患者の解剖学的3Dモデルの可視化のためのARと3DPを組み合わせたスマートフォンアプリを作成することを可能にする方法論を記述します。
一般に、ARおよび3DPの最も興味深い臨床応用の1つは、患者に症例の異なる視点を与えることによって患者と医師間のコミュニケーションを改善し、特定の病状または治療の説明を改善することである。別の可能なアプリケーションには、ターゲットローカリゼーションのための外科的ガイダンスが含まれており、3Dプリントされた患者固有のツール(参照ARマーカーが取り付けられたもの)を剛体構造(すなわち、骨)に配置し、ナビゲーションの参照として使用することができます。このアプリケーションは、手術中に骨組織表面に容易にアクセスできる整形外科および顎顔面外科的処置に特に有用である。
プロトコルはセクション 1 から始まり、ワークステーションのセットアップと必要なソフトウェア ツールについて説明します。セクション2では、3Dスライサーソフトウェアを使用して、任意の医療画像モダリティから患者のターゲット解剖学を容易にセグメント化し、3Dモデルを得る方法について説明します。作成された仮想 3D モデルは最終的な AR アプリケーションに表示されるため、この手順は非常に重要です。
セクション 3 では、3D スライサーを使用して、前のセクションで作成した 3D モデルを AR マーカーに登録します。この登録手順の間に、忍耐強い3DモデルはARマーカーに対して効率的に、単に置かされる。このセクションで定義した位置によって、最終的なアプリのホログラム相対位置が決まります。このソリューションは、複雑さを軽減し、可能なアプリケーションを乗算すると考えられています。セクション 3 では、モデルと AR マーカー間の空間リレーションシップを定義する 2 つの異なるオプションについて説明します。最初のオプションである「ビジュアライゼーション」モードでは、マーカーに対して任意の場所に 3D モデルを配置し、バイオモデル全体として表示できます。このモードは、患者の解剖学の現実的な3D視点を提供し、追跡されたARマーカーを動かすことによってバイオモデルの移動および回転を可能にする。2番目のオプション「登録」モードでは、バイオモデルの任意の部分にマーカーアダプタをアタッチして組み合わせ、自動登録プロセスを提供します。このオプションを使用すると、マーカー アダプタを含む 3D モデルの小さなセクションを 3D プリントでき、アプリはモデルの残りの部分をホログラムとして表示できます。
セクション 4 では、3D 印刷プロセスのガイドラインを示します。まず、ユーザーは「デュアルカラーマーカー」と「ステッカーマーカー」の2つの異なるマーカーの間で選択することができます。全体の「デュアルカラーマーカー」は3Dプリントすることができますが、デュアル押出機3Dプリンタが必要です。このプリンタが利用できない場合は、「ステッカーマーカー」を提案します。これは、立方体構造を3Dプリントし、ステッカー用紙またはステッカーの接着剤で立方体の画像を貼り付けることによって得ることができる簡単なマーカーです。さらに、両方のマーカーは、特定のアダプターに完全に収まるように拡張可能なセクションで設計されました。したがって、マーカーは、いくつかのケースで再利用することができます。
セクション 5 では、Vuforia ソフトウェア開発キットを使用して AR の Unity プロジェクトを作成するプロセスについて説明します。この手順は、プログラミング経験のないユーザーにとって最も難しい部分ですが、これらのガイドラインでは、セクション 6 で説明する最終的なアプリケーションを入手する方が簡単です。アプリは、カメラが3Dプリントマーカーを認識すると、スマートフォン画面上に患者の仮想モデルを表示します。アプリが3Dマーカーを検出するためには、電話機からマーカーまでの最低距離が約40cm以下、良好な照明条件が必要です。
このプロトコルの最終的な適用は、ユーザーが視覚化する特定のバイオモデルを選択し、どの位置で追加的に、アプリは、バイオモデルに取り付けられた3Dプリントマーカーとアダプタを使用して、患者ホログラムの自動登録を実行することができます。これにより、仮想モデルを環境に直接便利に登録するという課題が解決されます。さらに、この方法論は、医療画像やソフトウェア開発に関する広範な知識を必要とせず、複雑なハードウェアや高価なソフトウェアに依存せず、短期間で実装することができます。この方法は、医療従事者によるARおよび3DP技術の採用を加速させることが期待されます。
Disclosures
The authors have nothing to disclose.
Acknowledgements
このレポートは、プロジェクトPI18/01625およびPI15/02121(大臣デシエンシア、イノヴァシオン・イ・ウニベルシダーデス、インスティトゥート・デ・サルド・カルロス3世、欧州地域開発基金「ウナ・マネラ・デ・ハセル・エウロパ」)およびIND2018/TIC-9753(コミュニダード・デ・マドリード)によって支援されました。
Materials
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) – do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a “one-stop 3D printing lab” for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
Cite This Article
Moreta-Martinez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J. A., Pascau, J. Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone. J. Vis. Exp. (155), e60618, doi:10.3791/60618 (2020).