증강 현실과 3D 프린팅을 결합하여 스마트폰에 환자 모델 표시

이 연구는 2013년에 개정된 1964년 헬싱키 선언의 원칙에 따라 수행되었습니다. 이 논문에 포함된 익명화된 환자 데이터 및 사진은 참가자 및/또는 법정 대리인으로부터 서면 동의를 얻은 후 사용되며, 이 경우 과학 출판물을 포함한 보급 활동에 이 데이터의 사용을 승인했습니다. 1. 세분화, 3D 모델 추출, 위치 지정 및 AR 앱 배포를 위한 워크스테이션 설정 참고: 이 프로토콜은 각 도구에 표시된 특정 소프트웨어 버전으로 테스트되었습니다. 보장되지는 않지만 최신 버전에서 작동할 수 있습니다. 운영 체제로 마이크로 소프트 윈도우 10 또는 맥 OS와 컴퓨터를 사용합니다. 공식 지침에 따라 해당 웹 사이트에서 다음 도구를 설치하십시오.3D 슬라이서 (v. 4.10.2): https://download.slicer.org/.메쉬믹서 (3.5절): http://www.meshmixer.com/download.html.유니티 (2019년 도시): https://unity3d.com/get-unity/download.(iOS 배포전용) Xcode (마지막 버전): https://developer.apple.com/xcode/.참고: 프로토콜을 완료하는 데 필요한 모든 소프트웨어 도구는 개인적인 목적으로 자유롭게 다운로드 할 수 있습니다. 각 단계에서 사용할 소프트웨어는 구체적으로 표시됩니다. https://github.com/BIIG-UC3M/OpenARHealth에 있는 다음 GitHub 리포지토리에서 데이터를 다운로드합니다.참고: 리포지토리에는 다음 폴더가 포함되어 있습니다.”/3DSlicerModule/”: 3D 프린팅 마커와 관련하여 3D 모델을 배치하기 위한 3D 슬라이서 모듈. 섹션 3에서 사용됩니다. https://github.com/BIIG-UC3M/OpenARHealth에서 사용할 수 있는 지침에 따라 모듈을 3D 슬라이서에 추가합니다.”/데이터/PatientData/Patient000_CT.nrrd”: 말단 다리 육종으로 고통받는 환자의 CT. 프로토콜은 예제로이 이미지를 사용 하 여 설명 됩니다.”/데이터/바이오 모델/”: 환자의 3D 모델(뼈 및 종양).”/데이터/마커/”: 가상 3D 모델을 배치하기 위해 AR 응용 프로그램에서 감지할 3D 인쇄될 마커입니다. 사용할 수 있는 두 개의 마커가 있습니다. 2. 바이오모델 창조 참고:이 섹션의 목표는 환자의 해부학의 3D 모델을 만드는 것입니다. 이들은 의료 이미지에 세분화 방법을 적용하여 얻을 수 있습니다 (여기서 CT 이미지를 사용하여). 이 프로세스는 1) 환자 데이터를 3D 슬라이서 소프트웨어로 로드하고, 2), 대상 해부학 적볼륨의 세분화 및 3) OBJ 형식의 3D 모델로 세분화의 수출의 세 가지 단계로 구성됩니다. 결과 3D 모델은 최종 AR 응용 프로그램에서 시각화됩니다. 의료 이미지 파일을 3D 슬라이서 소프트웨어 창으로 드래그하여 환자 데이터(“데이터/환자데이터/Patient000_CT.nrrd”)를 로드합니다. 확인을 클릭합니다. CT 뷰(축축, 시상, 관상)가 해당 창에 나타납니다.참고: 여기에 사용되는 데이터는 “거의 원시 래스터 데이터”(NRRD) 형식으로 발견되지만 3D 슬라이서를 사용하면 의료 이미지 형식 (DICOM) 파일을 로드 할 수 있습니다. https://www.slicer.org/wiki/Documentation/4.10/Training에서 찾을 수 있는 추가 지침은 다음 링크로 이동하십시오. 환자의 해부학을 분할하려면 3D 슬라이서의 세그먼트 편집기 모듈로 이동하십시오. 모듈을 입력할 때 “분할” 항목이 자동으로 만들어집니다. 마스터 볼륨 섹션에서 원하는 볼륨(환자의 의료 이미지)을 선택합니다. 그런 다음 아래를 마우스 오른쪽 단추를 클릭하여 세그먼트를 만듭니다. “Segment_1″라는 이름으로 새 세그먼트가 만들어집니다. 의료 이미지의 대상 영역을 적절하게 분할하는 다양한 도구가 포함된 Effects라는 패널이 있습니다. 대상에 가장 편리한 도구를 선택하고 이미지 창 영역으로 분할합니다. 뼈(이 경우 경골 및 비골)를 분할하려면 임계값 도구를 사용하여 뼈 조직에 해당하는 CT 이미지에서 최소 및 최대 HU 값을 설정합니다. 이 도구를 사용하면 이러한 임계값 을 벗어난 HU가 있는 다른 요소(예: 연조직)가 제거됩니다. 가위 도구를 사용하여 분할된 마스크에서 침대 또는 기타 해부학 적 구조와 같은 원치 않는 영역을 제거합니다. 종양이 자동 도구로 윤곽을 그리기 어렵기 때문에 그리기 및 지우기 도구를 사용하여 육종을 수동으로 분할합니다.참고: 세분화 절차에 대한 자세한 내용은 https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation. 3D 표시 버튼을 클릭하여 세분화의 3D 표현을 봅니다. 3D 슬라이서의 세분화 모듈로 이동하여 3D 모델 파일 형식으로 세분화를 내보냅니다. 모델 내보내기/가져오기 및 레이블맵으로이동합니다. 작업 단에서 내보내기를 선택하고 출력 유형 단면의 모델을 선택합니다. 내보내기를 클릭하여 완료하고 분할된 영역에서 3D 모델을 작성합니다. 모델을 저장하려면 저장(왼쪽 위)을 선택합니다. 저장할 요소를 선택합니다. 그런 다음 3D 모델의 파일 형식을 파일 형식 열 내의 “OBJ”로 변경합니다. 파일이 저장될 경로를 선택하고 저장을 클릭합니다. 2.2 단계와 2.3단계를 반복하여 다른 해부학 영역의 추가 3D 모델을 만듭니다.참고: 제공된 예제의 사전 분할 모델은 1.3 단계에서 이전에 다운로드 한 데이터 (“/데이터 / 바이오 모델 / “)에서 찾을 수 있습니다. 3. 바이오 모델 포지셔닝 참고: 이 섹션에서는 섹션 2에서 작성된 3D 모델이 증강 현실 시각화를 위한 마커와 관련하여 배치됩니다. ARHealth: 3D 슬라이서의 모델 위치 모듈이 이 작업에 사용됩니다. 1.3단계에서 제공된 지침을 따라 모듈을 3D 슬라이서에 추가합니다. 3D 모델을 배치하는 두 가지 대안이 있습니다: “시각화” 모드와 “등록” 모드. 시각화 모드참고: 시각화 모드는 AR 마커에 대하여 어떤 위치에서 3D 환자 모델의 위치를 할 수 있습니다. 이 옵션을 사용하면 사용자가 AR 앱을 사용하여 3D 인쇄 AR 마커를 참조로 사용하여 생체 모델을 시각화할 수 있습니다. 이 모드는 정밀도가 필요하지 않은 경우에 사용될 수 있으며, 가상 모델의 시각화는 스마트폰 카메라 및 마커의 시야 내에서 어디서나 표시될 수 있다. ARHealth: 모델 위치 모듈로 이동하고 초기화 섹션에서 시각화 모드를 선택합니다. 이 옵션의 마커를 로드하려면 하중 마커 모델을 클릭합니다. 섹션 2에서 작성된 3D 모델을 로드하려면 단추를 클릭하여 섹션 2에서 저장된 모델의 경로를 선택합니다. 그런 다음 모델 로드 버튼을 클릭하여 3D 슬라이서에 로드합니다. 모델은 한 번에 하나씩 로드해야 합니다. 이전에 로드된 모델을 삭제하려면 해당 모델 다음에 모델 제거 단추를 클릭하거나 모두 제거를 클릭하여 한 번에 로드된 모든 모델을 삭제합니다. 마침 및 중앙 버튼을 클릭하여 마커 내의 모든 모델을 가운데에 두는 다. 3D 모델의 위치, 방향 및 배율은 서로 다른 슬라이더 막대(즉, 변환, 회전, 배율)가 있는 마커에 대해 수정할 수 있습니다.참고: 위치를 변경하기 전에 모델의 원래 위치를 재설정하는 추가 “위치 재설정”버튼이 있습니다. 파일을 저장할 경로를 선택하고 모델 저장 단추를 클릭하여 이 위치에 모델을 저장합니다. 3D 모델은 확장 이름 “_registered.obj”와 함께 저장됩니다. 등록 모드참고: 등록 모드는 원하는 위치에서 하나의 3D 바이오 모델과 AR 마커의 결합을 할 수 있습니다. 이어서, 결합된 3D 모델(AR 마커포함)의 임의의 섹션을 추출하고 3D 프린팅할 수 있다. 모든 바이오 모델은 이 결합된 3D 프린팅 바이오모델을 참고자료로 사용하여 AR 앱에 표시됩니다. 이 모드를 사용하면 참조 마커를 사용하여 환자(여기서, 환자의 뼈의 섹션)와 가상 모델을 쉽게 등록할 수 있습니다. ARHealth: 모델 위치 모듈로 이동하고 초기화 섹션에서 등록 모드를 선택합니다. 이 옵션의 마커를 로드하려면 하중 마커 모델을 클릭합니다. 3.1.2단계에서 수행한 대로 모델을 로드합니다. 이러한 모델은 나중에 결합되고 3D 인쇄되므로 3D 모델을 이동하고 큐브 마커의 지지 구조와 교차를 확인합니다. 마커 베이스의 높이를 수정할 수 있습니다. 3D 모델의 위치, 방향 및 배율은 서로 다른 슬라이더 막대(즉, 변환, 회전, 배율)가 있는 마커에 대해 수정할 수 있습니다. 파일을 저장할 경로를 선택하고 모델 저장 단추를 클릭하여 이 위치에 모델을 저장합니다. 3D 모델은 확장 이름 “_registered.obj”와 함께 저장됩니다. 해부학 모델이 너무 클 수 있습니다. 그렇다면 마커 어댑터 주위의 3D 모델을 잘라내고 Meshmixer 소프트웨어를 사용하여 두 모델의 조합의 한 부분만 3D 인쇄합니다. 메쉬믹서를 열고 3.2.4단계에서 저장된 큐브 마커 모델의 바이오 모델 및 지지 구조를 로드합니다. 개체 브라우저 창에서 두 모델을 모두 선택하여 이러한 모델을 결합합니다. 왼쪽 위 모서리에 방금 나타난 도구 창에서 결합 옵션을 클릭합니다. Meshmixer에서 편집 메뉴 아래에 있는 평면 절단 도구를 사용하여 3D 인쇄되지 않는 모델의 원치 않는 섹션을 제거합니다. 모델을 3D 인쇄할 저장하려면 File > 내보내기로 이동하여 원하는 형식을 선택합니다. 4. 3D 프린팅 참고: 이 단계의 목적은 최종 AR 응용 프로그램에 필요한 물리적 모델을 3D 인쇄하는 것입니다. 응용 프로그램에서 감지할 마커와 필요한 다른 개체는 섹션 3에서 선택한 모드에 따라 다릅니다. 모든 재료는 각 단계에서 요구되는 색상 재료 요구 사항을 따르는 경우이 작업의 목적을 위해 3D 인쇄에 사용할 수 있습니다. 폴리락트산(PLA) 또는 아크릴로니트리리티엔 스티렌(ABS)은 모두 충분한 선택입니다. 3D 프린터를 사용하여 입방 마커를 인쇄합니다. 이중 압출기 3D 프린터를 사용할 수 없는 경우 4.2단계로 건너뜁니다. 이중 압출기 3D 프린터를 사용하여 “데이터/마커/Marker1_TwoColorCubeMarker/”에 제공된 2색 마커를 인쇄합니다. 3D 프린팅 소프트웨어에서 파일 “TwoColorCubeMarker_WHITE.obj”의 흰색 재질과 “TwoColorCubeMarker_BLACK.obj”의 검은색 재질을 선택합니다.참고: 더 나은 마커 감지를 위해, 작은 층 높이와 고품질 모드로 인쇄합니다. 이중 압출기 3D 프린터를 사용할 수 없고 4.1 단계를 수행하지 않은 경우 다음을 수행하여 스티커가 있는 3D 인쇄 마커를 인쇄합니다. 3D 프린터를 사용하여 “데이터/마커/Marker2_StickerCubeMarker/StickerCubeMarker_WHITE.obj” 파일을 흰색 색상으로 인쇄합니다. 기존 프린터를 사용하여 스티커 용지에 “데이터/마커/Marker2_StickerCubeMarker/스티커.pdf” 파일을 인쇄합니다. 그런 다음 모든 절삭 공구를 사용하여 검은 색 선을 제거하여 검은 색 프레임을 사용하여 이미지를 정확하게 잘라냅니다.참고: 더 높은 품질의 마커를 얻기 위해 스티커 용지를 사용하는 것이 좋습니다. 그러나, 이미지는 일반 종이에 인쇄 할 수 있으며, 일반적인 접착제 스틱은 큐브에 이미지를 붙여 넣기 위해 사용할 수 있습니다. 4.2.1단계에서 얻은 3D 프린팅 큐브에 스티커를 “데이터/마커/Marker2_StickerCubeMarker/Stickers.pdf”의 지침에 따라 해당 순서로 놓습니다.참고: 스티커는 큐브의 얼굴보다 작습니다. 스티커와 얼굴 가장자리 사이에 1.5mm 프레임을 둡니다. “데이터/마커/Marker2_StickerCubeMarker/StickerPlacer.stl”은 스티커 위치를 안내하고 큐브 면의 중심과 정확히 일치하도록 3D 인쇄할 수 있습니다. 섹션 3에서 선택한 모드에 따라 어댑터를 3D 인쇄합니다. 시각화 모드(섹션 3.1)를 선택한 경우 3D 인쇄 “데이터/3D 프린팅/옵션1/MarkerBaseTable.obj”를 사용하여 마커를 수평 표면에 수직 위치에 배치하는 데 사용됩니다. 등록 모드(섹션 3.2)를 선택한 경우 마커 어댑터가 부착된 3.2.8단계에서 작성된 모델을 3D 인쇄합니다. 참고: 4.3 단계에서 3D 인쇄 된 객체는 모든 색상 재료로 인쇄 할 수 있습니다. 5. AR 앱 배포 참고: 이 섹션의 목표는 이전 섹션에서 만든 3D 모델을 포함하는 Unity 엔진의 스마트폰 앱을 디자인하고 이 앱을 스마트폰에 배포하는 것입니다. 이 단계에는 Vuforia 개발 라이센스 키(개인용 무료)가 필요합니다. 앱은 Android 또는 iOS 기기에 배포할 수 있습니다. Vuforia 개발자 계정을 만들어 Unity에서 라이브러리를 사용할 수 있는 라이선스 키를 얻습니다. https://developer.vuforia.com/vui/auth/register 있는 링크로 이동하여 계정을 만드세요. https://developer.vuforia.com/vui/develop/Licenses 있는 링크로 이동하여 개발 키 받기를 선택합니다. 그런 다음 지침에 따라 사용자의 계정에 무료 개발 라이센스 키를 추가합니다. 라이센스 관리자 메뉴에서 이전 단계에서 만든 키를 선택하고 5.3.3 단계에서 사용할 제공된 키를 복사합니다. 스마트폰을 설정합니다. Unity 및 Android 장치를 시작하려면 https://docs.unity3d.com/Manual/android-GettingStarted.html있는 링크로 이동하십시오. Unity 및 iOS 장치를 시작하려면 https://docs.unity3d.com/Manual/iphone-GettingStarted.html있는 링크로 이동하십시오. Unity v.2019를 먼저 열고 새로운 3D 프로젝트를 만들어 AR 앱을 위한 Unity 프로젝트를 설정합니다. 그런 다음, 아래설정 빌드안에파일플랫폼을 Android 또는 iOS 장치로 전환합니다.편집을 선택하여 프로젝트에 Vuforia를 활성화 > 프로젝트 설정 > 플레이어 설정 > XR 설정 및 Vuforia 증강 현실 지원이라는상자를 선택. 메뉴바 > 게임오브젝트 > 부포리아 엔진 > ARCamera 에서 “ARCamera”를 만들고 메시지가 표시되면 Vuforia 구성 요소를 가져옵니다. 자원 폴더를 선택하고 Vuforia 구성을 클릭하여 Vuforia 구성 설정에 Vuforia라이센스 키를 추가합니다. 그런 다음 앱 라이선스 키 섹션에서 5.1.2절에 복사된 키를 붙여넣습니다. “/데이터/Vuforia/AR_Cube_3x3x3.unitypackage”에 제공된 Vuforia 대상 파일을 Unity로 가져오고, 여기에는 Vuforia가 섹션 4에 설명된 마커를 감지하는 데 필요한 파일이 포함되어 있습니다. 메뉴 바 에서 Vuforia 멀티 타겟을 만듭니다 > 게임 오브젝트 > 부포리아 엔진 > 멀티 이미지. 이전 단계에서 만든 MultiTarget을 클릭하여 검색에 사용할 마커 유형을 선택합니다. 다중 대상 동작아래의 데이터베이스 옵션에서 ARHealth_3DPrintedCube_30x30x30을 선택합니다. 다중 대상 동작아래의 다중 대상 옵션에서 섹션 4에서 생성된 마커에 따라 TwoColorCubeMarker 또는 StickerCubeMarker중 하나를 선택합니다. 섹션 3에서 만든 3D 모델을 “리소스” 폴더 아래에 “모델”이라는 이름으로 새 폴더를 만들어 MultiTarget 아래의 Unity 씬으로 로드합니다. 3D 모델을 이 폴더로 드래그합니다. Unity에 로드되면 5.3.5단계에서 만든 “MultiTarget” 항목 아래에 드래그합니다. 이렇게 하면 마커에 종속됩니다.참고: 모델은 Unity 3D 뷰 장면에 표시되어야 합니다. 새 재질을 작성하고 새 재질을 모델에 할당하여 3D 모델의 색상을 변경합니다. 메뉴모음 > 에셋 > [작성 > 재질]폴더 아래에 “재질” 이라는 새 폴더를 만듭니다. 재질을 선택하고 구성 섹션에서 색상을 변경합니다. 그런 다음 파일을 3D 모델 계층 구조 에서 끕을 끕습니다. 선택 사항: 사용 가능한 웹캠이 있는 경우 위중간 부분에 있는 재생 버튼을 클릭하여 컴퓨터에서 응용 프로그램을 테스트합니다. 마커가 웹캠에 표시되는 경우 이를 감지하고 3D 모델이 장면에 나타나야 합니다. Android 스마트폰을 앱 배포에 사용하는 경우 파일 > Unity의 설정 빌드로 이동하여 목록에서 연결된 휴대폰을 선택합니다. 배포 및 실행을선택합니다. 컴퓨터에 확장자 .apk로 파일을 저장하고 프로세스가 완료되도록 허용합니다. 배포가 완료되면 앱이 전화통화에 있어야 하고 실행할 준비가 되어 있어야 합니다.참고:이 프로토콜은 안드로이드 v.8.0 오레오 이상에서 테스트되었습니다. 이전 버전에는 올바른 기능이 보장되지 않습니다. 앱이 iOS 장치에 배포될 경우 Unity의 파일 > 빌드 설정으로 이동하여 실행을 선택합니다. 앱을 저장할 경로를 선택합니다. 프로세스가 완료될 수 있도록 합니다. 저장된 폴더로 이동하여 “.projectxcode”라는 확장자로 파일을 엽니다. Xcode에서 5.2.2 단계의 지침을 따라 배포를 완료합니다.참고: 유니티의 Vuforia에 대한 자세한 내용은 https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html있는 링크로 이동하십시오. 6. 앱 시각화 설치된 앱을 열면 스마트폰의 카메라를 사용할 수 있습니다. 앱을 실행할 때 짧은 거리(최소 40cm)에서 카메라로 마커를 봅니다. 앱이 마커를 감지하면 이전 단계에서 생성된 3D 모델이 스마트폰 화면의 프로시저 중에 정의된 위치에 정확하게 나타나야 합니다.참고: 조명은 마커 검출의 정밀도를 변경할 수 있습니다. 조명 상태가 양호한 환경에서는 앱을 사용하는 것이 좋습니다.