JoVE Journal > Medicine
Summary
Abstract
Introduction
Protocol
Results
Discussion
Disclosures
Acknowledgements
Materials
References
italiano

Automatically Generated
Please note that all translations are automatically generated. Click here for the English version.
Medicine

Combinazione di realtà aumentata e stampa 3D per visualizzare i modelli di paziente su uno smartphone

Published: January 02, 2020
doi:
10.3791/60618
, , , , ,
1Department of Bioengineering and Aerospace Engineering,Universidad Carlos III de Madrid, 2Instituto de Investigación Sanitaria Gregorio Marañón, 3Department of Orthopedic Surgery and Traumatology,Hospital General Universitario Gregorio Marañón, 4Department of Surgery, Faculty of Medicine,Universidad Complutense de Madrid

Summary

Presentato qui è un metodo per progettare un’applicazione per smartphone in realtà aumentata per la visualizzazione di modelli tridimensionali anatomici di pazienti utilizzando un marcatore di riferimento stampato in 3D.

Abstract

La realtà aumentata (AR) ha un grande potenziale nell’istruzione, nella formazione e nella guida chirurgica in campo medico. La sua combinazione con la stampa tridimensionale (3D) (3DP) apre nuove possibilità nelle applicazioni cliniche. Anche se queste tecnologie sono cresciute in modo esponenziale negli ultimi anni, la loro adozione da parte dei medici è ancora limitata, dal momento che richiedono una conoscenza approfondita dell’ingegneria e dello sviluppo del software. Pertanto, lo scopo di questo protocollo è descrivere una metodologia passo-passo che consente agli utenti inesperti di creare un’app per smartphone, che combina AR e 3DP per la visualizzazione di modelli 3D anatomici di pazienti con un marcatore di riferimento stampato in 3D. Il protocollo descrive come creare modelli virtuali 3D dell’anatomia di un paziente derivati da immagini mediche 3D. Viene quindi illustrato come eseguire il posizionamento dei modelli 3D rispetto ai riferimenti dei marcatori. Sono inoltre disponibili istruzioni su come stampare in 3D gli strumenti e i modelli necessari. Infine, vengono forniti i passaggi per distribuire l’app. Il protocollo si basa su software gratuito e multipiattaforma e può essere applicato a qualsiasi modalità di imaging medico o paziente. Viene descritto un approccio alternativo per fornire la registrazione automatica tra un modello stampato in 3D creato dall’anatomia di un paziente e gli ologrammi proiettati. Ad esempio, viene fornito un caso clinico di un paziente affetto da sarcoma delle gambe distale per illustrare la metodologia. Si prevede che questo protocollo accelererà l’adozione di tecnologie AR e 3DP da parte di professionisti medici.

Introduction

AR e 3DP sono tecnologie che forniscono un numero crescente di applicazioni in campo medico. Nel caso dell’AR, la sua interazione con i modelli 3D virtuali e l’ambiente reale avvantaggia i medici per quanto riguarda l’istruzione e la formazione1,2,3, comunicazione e interazioni con altri medici4, e la guida durante gli interventi clinici5,6,7,8,9,10. Allo stesso modo, 3DP è diventata una soluzione potente per i medici quando si sviluppano strumenti personalizzabili specifici del paziente11,12,13 o la creazione di modelli 3D dell’anatomia di un paziente, che possono contribuire a migliorare la pianificazione preoperatoria e gli interventi clinici14,15.

Entrambe le tecnologie AR e 3DP aiutano a migliorare l’orientamento, l’orientamento e le competenze spaziali nelle procedure mediche; quindi, la loro combinazione è il prossimo passo logico. Il lavoro precedente ha dimostrato che il loro uso congiunto può aumentare il valore nell’educazione dei pazienti16, facilitando le spiegazioni delle condizioni mediche e il trattamento proposto, ottimizzando il flusso di lavoro chirurgico17,18 e migliorando la registrazione paziente-modello19. Anche se queste tecnologie sono cresciute in modo esponenziale negli ultimi anni, la loro adozione da parte dei medici è ancora limitata, dal momento che richiedono una conoscenza approfondita dell’ingegneria e dello sviluppo del software. Pertanto, lo scopo di questo lavoro è descrivere una metodologia passo-passo che consente l’uso di AR e 3DP da parte di utenti inesperti senza la necessità di ampie conoscenze tecniche.

Questo protocollo descrive come sviluppare un’app per smartphone AR che consente la sovrapposizione di qualsiasi modello 3D basato sul paziente su un ambiente reale utilizzando un pennarello stampato in 3D tracciato dalla fotocamera dello smartphone. Inoltre, viene descritto un approccio alternativo per fornire la registrazione automatica tra un biomodello stampato in 3D (cioè un modello 3D creato dall’anatomia di un paziente) e gli ologrammi proiettati. Il protocollo descritto è interamente basato su software gratuito e multipiattaforma.

Nel lavoro precedente, la registrazione AR paziente-immagine è stata calcolata manualmente5 con algoritmi di riconoscimento della superficie10 o non è stata disponibile2. Questi metodi sono stati considerati un po ‘limitati quando è richiesta una registrazione accurata19. Per superare queste limitazioni, questo lavoro fornisce strumenti per eseguire una registrazione accurata e semplice da paziente a immagine nelle procedure AR combinando la tecnologia AR e 3DP.

Il protocollo è generico e può essere applicato a qualsiasi modalità di imaging medico o paziente. Ad esempio, viene fornito un vero e proprio caso clinico di un paziente affetto da sarcoma delle gambe distale per illustrare la metodologia. Il primo passo descrive come segmentare facilmente l’anatomia interessata dalle immagini mediche di tomografia computerizzata (CT) per generare modelli virtuali 3D. Successivamente, viene eseguito il posizionamento dei modelli 3D, gli strumenti e i modelli necessari vengono stampati in 3D. Infine, viene distribuita l’app AR desiderata. Questa applicazione consente la visualizzazione di modelli 3D paziente sovrapposti su una fotocamera smartphone in tempo reale.

Protocol

Questo studio è stato eseguito in conformità con i principi della Dichiarazione di Helsinki del 1964, riveduta nel 2013. I dati e le immagini anonimi del paziente inclusi in questo documento vengono utilizzati dopo che il partecipante e/o il suo rappresentante legale ha ottenuto il consenso informato, in cui ha approvato l’uso di tali dati per attività di diffusione, comprese le pubblicazioni scientifiche. 1. Configurazione della workstation per la segmentazione, l’estrazione di modelli 3D, il posizionamento e la distribuzione di app AR NOTA: Questo protocollo è stato testato con la versione software specifica indicata per ogni utensile. È probabile che funzioni con le versioni più recenti, anche se non è garantito. Utilizzare un computer con Microsoft Windows 10 o Mac OS come sistemi operativi. Installare i seguenti strumenti dai siti web corrispondenti in base alle istruzioni ufficiali:Filtro dei dati 3D (v. 4.10.2): https://download.slicer.org/.Meshmixer (v. 3.5): http://www.meshmixer.com/download.html.Unità (v. 2019): https://unity3d.com/get-unity/download.(Solo per la distribuzione iOS) Xcode (ultima versione): https://developer.apple.com/xcode/.NOTA: Tutti gli strumenti software necessari per completare il protocollo possono essere scaricati liberamente per scopi personali. Il software da utilizzare in ogni fase sarà specificamente indicato. Scaricare i dati dal seguente repository GitHub, disponibile allhttps://github.com/BIIG-UC3M/OpenARHealth.NOTA: Il repository contiene le seguenti cartelle:”/3DSlicerModule/”: modulo di filtro dei dati 3D per il posizionamento di modelli 3D rispetto al marcatore stampato in 3D. Utilizzato nella sezione 3. Aggiungere il modulo nel filtro dei dati 3D seguendo le istruzioni disponibili allhttps://github.com/BIIG-UC3M/OpenARHealth.”/Data/PatientData/Patient000_CT.nrrd”: TC di un paziente affetto da sarcoma delle gambe distale. Il protocollo è descritto usando questa immagine come esempio.”/Data/Biomodels/”: modelli 3D del paziente (osso e tumore).”/Data/Markers/”: Marcatori che verranno stampati in 3D, che verranno rilevati dall’applicazione AR per posizionare i modelli 3D virtuali. Sono disponibili due marcatori. 2. Creazione di biomodelli NOTA: L’obiettivo di questa sezione è quello di creare modelli 3D dell’anatomia del paziente. Essi saranno ottenuti applicando metodi di segmentazione a un’immagine medica (qui, utilizzando un’immagine CT). Il processo è costituito da tre passaggi diversi: 1) caricare i dati del paziente nel software del filtro dei dati 3D, 2), la segmentazione dei volumi di anatomia di destinazione e 3) l’esportazione della segmentazione come modelli 3D in formato OBJ. I modelli 3D risultanti verranno visualizzati nell’applicazione AR finale. Caricare i dati del paziente (“/Data/PatientData/Patient000_CT.nrrd”) trascinando il file di immagine medica nella finestra del software dei filtri dei dati 3D. Fare clic su OK. Le viste CT (assiale, sagittale, coronale) appariranno sulle finestre corrispondenti.NOTA: I dati utilizzati qui si trovano nel formato “dati raster quasi grezzi” (NRRD), ma 3D Slicer consente il caricamento di file di formato DICOM (Medical Image Format). Per ulteriori istruzioni, disponibileallhttps://www.slicer.org/wiki/Documentation/4.10/Training. Per segmentare l’anatomia del paziente, passare al modulo Editor segmento nell’affettatrice 3D. Quando si entra nel modulo, viene creato automaticamente un elemento di “segmentazione”. Selezionare il volume desiderato (immagine medica del paziente) nella sezione Volume master. Quindi, fare clic con il pulsante destro del mouse sul pulsante Aggiungi per creare un segmento. Verrà creato un nuovo segmento con il nome “Segment_1”. C’è un pannello chiamato Effetti che contiene una varietà di strumenti per segmentare correttamente l’area di destinazione dell’immagine medica. Selezionare lo strumento più conveniente per la destinazione e segmentare nell’area delle finestre dell’immagine. Per segmentare l’osso (tibia e perone in questo caso), utilizzare lo strumento Soglia per impostare i valori HU minimi e massimi dall’immagine CT, che corrisponde al tessuto osseo. Utilizzando questo strumento, altri elementi con HU al di fuori di questi valori soglia vengono rimossi, ad esempio i tessuti molli. Utilizzare lo strumento forbici per rimuovere le aree indesiderate, come il letto o altre strutture anatomiche, dalla maschera segmentata. Segmentare manualmente il sarcoma utilizzando gli strumenti Disegna e Cancella, poiché il tumore è difficile da contornare con strumenti automatici.NOTA: Per ulteriori informazioni sulla procedura di segmentazione, visitare il collegamento disponibile allhttps://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation. Fare clic sul pulsante Mostra 3D per visualizzare una rappresentazione 3D della segmentazione. Esportare la segmentazione in un formato di file di modello 3D passando al modulo Segmentazioni in Filtro dei dati 3D. Passare a Esporta/importa modelli ed etichette. Selezionare Esporta nella sezione delle operazioni e Modelli nella sezione del tipo di output. Fare clic su Esporta per terminare e creare il modello 3D dall’area segmentata. Selezionare SALVA (in alto a sinistra) per salvare il modello. Scegliere gli elementi da salvare. Quindi, modificare il formato di file del modello 3D in “OBJ” all’interno della colonna Formato file. Selezionare il percorso in cui verranno memorizzati i file e fare clic su Salva. Ripetere i passaggi 2.2 e 2.3 per creare ulteriori modelli 3D di diverse regioni anatomiche.NOTA: I modelli presegmentati dell’esempio fornito sono reperibili nei dati precedentemente scaricati nel passaggio 1.3 (“/Data/Biomodels/”). 3. Posizionamento del biomodello NOTA: In questa sezione, i modelli 3D creati nella Sezione 2 saranno posizionati rispetto al marcatore per la visualizzazione della realtà aumentata. Il modulo ARHealth: Model Position di 3D Slicer verrà utilizzato per questa attività. Seguire le istruzioni fornite nel passaggio 1.3 per aggiungere il modulo a 3D Slicer. Ci sono due diverse alternative per posizionare i modelli 3D: modalità “Visualizzazione” e modalità “Registrazione”. Modalità di visualizzazioneNOTA: La modalità di visualizzazione consente di posizionare i modelli di pazienti 3D in qualsiasi posizione rispetto al marcatore AR. Con questa opzione, l’utente è in grado di utilizzare l’app AR per visualizzare i biomodelli utilizzando il marcatore AR stampato in 3D come riferimento. Questa modalità può essere utilizzata quando la precisione non è richiesta e la visualizzazione del modello virtuale può essere visualizzata in qualsiasi punto all’interno del campo visivo della fotocamera e del marcatore dello smartphone. Passare al modulo ARHealth: Model Position e (nella sezione di inizializzazione) selezionare Modalità di visualizzazione. Fare clic su Carica modello marcatore per caricare il marcatore per questa opzione. Caricare i modelli 3D creati nella sezione 2 facendo clic sul pulsante … per selezionare il percorso dei modelli salvati dalla sezione 2. Quindi, fare clic sul pulsante Carica modello per caricarlo in filtro dei dati 3D. I modelli devono essere caricati uno alla volta. Per eliminare tutti i modelli caricati in precedenza, fare clic su tale modello seguito dal pulsante Rimuovi modello oppure fare clic su Rimuovi tutto per eliminare tutti i modelli caricati contemporaneamente. Fare clic sul pulsante Fine e Centra per centrare tutti i modelli all’interno del marcatore. La posizione, l’orientamento e il ridimensionamento dei modelli 3D possono essere modificati rispetto al marcatore con diverse barre di scorrimento (ad esempio, traslazione, rotazione, scala).NOTA: C’è un pulsante aggiuntivo “Reimposta posizione” per ripristinare la posizione originale dei modelli prima di apportare modifiche alla posizione. Salvare i modelli in questa posizione scegliendo il percorso in cui archiviare i file e facendo clic sul pulsante Salva modelli. I modelli 3D verranno salvati con il nome di estensione “_registered.obj”. Modalità di registrazioneNOTA: La modalità di registrazione consente di combinare il marcatore AR con un biomodello 3D in qualsiasi posizione desiderata. Quindi, qualsiasi sezione dei modelli 3D combinati (che include il marcatore AR) può essere estratta e stampata in 3D. Tutti i biomodelli verranno visualizzati nell’app AR utilizzando questo biomodello combinato stampato in 3D come riferimento. Questa modalità consente all’utente di registrare facilmente il paziente (qui, una sezione dell’osso del paziente) e modelli virtuali utilizzando un marcatore di riferimento. Passare al modulo ARHealth: Model Position e (nella sezione di inizializzazione) selezionare Modalità di registrazione. Fare clic su Carica modello marcatore per caricare il marcatore per questa opzione. Caricare i modelli come completato nel passaggio 3.1.2. Spostare i modelli 3D e verificarne l’intersezione con la struttura di supporto del marcatore cubo, poiché questi modelli verranno combinati e stampati in 3D in un secondo momento. L’altezza della base del marcatore può essere modificata. La posizione, l’orientamento e il ridimensionamento dei modelli 3D possono essere modificati rispetto al marcatore con diverse barre di scorrimento (ad esempio, traslazione, rotazione, scala). Salvare i modelli in questa posizione scegliendo il percorso in cui archiviare i file e facendo clic sul pulsante Salva modelli. I modelli 3D verranno salvati con il nome di estensione “_registered.obj”. Il modello di anatomia potrebbe essere troppo grande. In tal caso, tagliare il modello 3D intorno all’adattatore marcatore e stampare solo una sezione della combinazione di entrambi i modelli utilizzando il software Meshmixer. Aprire Meshmixer e caricare il biomodello e la struttura di supporto del modello di marcatore cubo salvato nel passaggio 3.2.4. Combinare questi modelli selezionando entrambi i modelli nella finestra Visualizzatore oggetti. Fare clic sull’opzione Combina nella finestra degli strumenti appena visualizzata nell’angolo in alto a sinistra. In Meshmixer, utilizzare lo strumento Taglio piano nel menu Modifica per rimuovere le sezioni indesiderate del modello che non verranno stampate in 3D. Per salvare il modello in modo che venga stampato in 3D, accedere a File > Esporta e selezionare il formato desiderato. 4. Stampa 3D NOTA: Lo scopo di questo passaggio è quello di stampare in 3D i modelli fisici necessari per l’applicazione AR finale. Il marcatore che deve essere rilevato dall’applicazione e i diversi oggetti necessari dipendono dalla modalità selezionata nella sezione 3. Qualsiasi materiale può essere utilizzato per la stampa 3D ai fini di questo lavoro, seguendo i requisiti del materiale a colori richiesti in ogni fase. L’acido polilattico (PLA) o l’acrilonitrile butadiene (ABS) sono entrambe scelte sufficienti. Utilizzare una stampante 3D per stampare il marcatore cubico. Se non è disponibile una stampante 3D a doppio estrusore, andare al passaggio 4.2. Utilizzare una stampante 3D a doppio estrusore in modo specifico per stampare il marcatore a due colori fornito in “Dati/Marcatori/Marker1_TwoColorCubeMarker/”. Nel software di stampa 3D, selezionare un materiale di colore bianco per il file “TwoColorCubeMarker_WHITE.obj” e materiale a colori nero per “TwoColorCubeMarker_BLACK.obj”.NOTA: Per un migliore rilevamento dei marcatori, stampare su modalità di alta qualità con una piccola altezza del livello. Se non è disponibile una stampante 3D a doppio estrusore e il passaggio 4.1 non è stato eseguito, seguire questo passaggio per stampare un marcatore stampato in 3D con adesivi come alternativa effettuando le seguenti operazioni: Utilizzare una stampante 3D per stampare il file “Data/Markers/ Marker2_StickerCubeMarker/ StickerCubeMarker_WHITE.obj” con materiale di colore bianco. Utilizzare una stampante convenzionale per stampare il file “Data/Markers/ Marker2_StickerCubeMarker/Stickers.pdf” su carta adesiva. Quindi, utilizzare qualsiasi strumento di taglio per tagliare con precisione le immagini attraverso la cornice nera rimuovendo le linee nere.NOTA: Si consiglia di utilizzare carta adesiva per ottenere un marcatore di qualità superiore. Tuttavia, le immagini possono essere stampate su carta normale e un comune collante può essere utilizzato per incollare le immagini sul cubo. Posizionare gli adesivi nel cubo stampato in 3D ottenuto al passo 4.2.1 nell’ordine corrispondente seguendo le istruzioni dal documento “Dati/Marcatori/ Marker2_StickerCubeMarker/Stickers.pdf”.NOTA: Gli adesivi sono più piccoli della faccia del cubo. Lasciare un telaio di 1,5 mm tra l’adesivo e il bordo del viso. “Data/Markers/Marker2_StickerCubeMarker/StickerPlacer.stl” può essere stampato in 3D per guidare il posizionamento dell’adesivo e abbinare esattamente il centro della faccia del cubo. Stampare in 3D gli adattatori, a seconda della modalità selezionata nella sezione 3. Se è stata selezionata la modalità di visualizzazione (sezione 3.1), stampa 3D “Data/3DPrinting/Option1/ MarkerBaseTable.obj”, che è un adattatore di base utilizzato per posizionare il marcatore in posizione verticale su una superficie orizzontale. Se è stata selezionata la modalità di registrazione (sezione 3.2), stampare in 3D il modello creato nel passaggio 3.2.8 con l’adattatore marcatore collegato. NOTA: gli oggetti stampati in 3D del passaggio 4.3 possono essere stampati su qualsiasi materiale a colori. 5. Distribuzione dell’app AR NOTA: L’obiettivo di questa sezione è quello di progettare un’app per smartphone nel motore Unity che includa i modelli 3D creati nelle sezioni precedenti e distribuire questa app su uno smartphone. Per questo passaggio è necessaria una chiave di licenza Vuforia Development (gratuita per uso personale). L’app può essere distribuita su dispositivi Android o iOS. Creare un account Vuforia Developer per ottenere un codice di licenza per utilizzare le librerie in Unity.Create a Vuforia Developer account to obtain a license key to use their libraries in Unity. Vai al link che trovi https://developer.vuforia.com/vui/auth/register e crea un account. Passare al collegamento disponibile nella https://developer.vuforia.com/vui/develop/Licenses e selezionare Ottieni chiave di sviluppo. Quindi, seguire le istruzioni per aggiungere una chiave di licenza di sviluppo gratuito nell’account dell’utente. Nel menu Gestione licenze, selezionare la chiave creata nel passaggio precedente e copiare la chiave fornita, che verrà utilizzata nel passaggio 5.3.3. Configurare lo smartphone. Per iniziare con i dispositivi Unity e Android, vai al link che trovi all’https://docs.unity3d.com/Manual/android-GettingStarted.html. Per iniziare a utilizzare i dispositivi Unity e iOS, vai al link disponibile in https://docs.unity3d.com/Manual/iphone-GettingStarted.html. Impostare un progetto Unity per l’app AR aprendo innanzitutto Unity v.2019 e creando un nuovo progetto 3D. Poi, sottoImpostazioni di compilazioneNelfile, passare la piattaforma a un dispositivo Android o iOS.Attivate Vuforia nel progetto selezionando Modifica > Impostazioni progetto > Impostazioni lettore > Impostazioni XR e selezionando la casella Vuforia Augmented Reality Support. Creare una “ARCamera” in Barra dei menu > GameObject > Motore Vuforia > ARCamera e importa i componenti Vuforia quando richiesto. Aggiungere la chiave di licenza Vuforia nelle impostazioni di configurazione di Vuforia selezionando la cartella Risorse e facendo clic su Configurazione Vuforia. Quindi, nella sezione Chiave di licenza dell’app, incollare la chiave copiata nella sezione 5.1.2. Importare il file Vuforia Target fornito in “/Data/Vuforia/ AR_Cube_3x3x3.unitypackage” in Unity, che contiene i file necessari a Vuforia per rilevare i marcatori descritti nella sezione 4. Creare un Vuforia MultiTarget in Barra dei menu > GameObject > Motore Vuforia > Immagine multipla. Selezionare il tipo di marcatore che verrà utilizzato per il rilevamento facendo clic sul MultiTarget creato nel passaggio precedente. Nell’opzione Database in Comportamento multidestinazioneselezionare ARHealth_3DPrintedCube_30x30x30. Nell’opzione Multi Targetin Comportamento multi target , selezionate TwoColorCubeMarker o StickerCubeMarker, a seconda del marcatore creato nella sezione 4. Caricare i modelli 3D creati nella sezione 3 in Unity Scene in MultiTarget creando una nuova cartella con il nome “Modelli” nella cartella “Risorse”. Trascinare i modelli 3D in questa cartella. Una volta caricati in Unity, trascinarli sotto l’elemento “MultiTarget” creato nel passaggio 5.3.5. Questo li renderà dipendenti dal marcatore.NOTA: I modelli devono essere visibili nella scena della vista 3D Unity. Modificare i colori dei modelli 3D creando un nuovo materiale e assegnando i nuovi materiali ai modelli. Creare una nuova cartella denominata “Materiali” nella cartella “Risorse” scegliendo Barra dei menu > Risorse > Crea > Materiale. Selezionare il materiale e modificare il colore nella sezione di configurazione. Quindi, trascinare il file nella gerarchia del modello 3D. Facoltativo: se è disponibile una webcam, fare clic sul pulsante di riproduzione situato nella parte centrale superiore per verificarne l’applicazione sul computer. Se il marcatore è visibile alla webcam, deve essere rilevato e i modelli 3D dovrebbero apparire nella scena. Se per la distribuzione di app viene utilizzato uno smartphone Android, vai a File > Impostazioni di compilazione in Unity e seleziona il telefono collegato dall’elenco. Selezionare Distribuisci ed esegui. Salvare il file con estensione .apk sul computer e consentire il completamento del processo. Al termine della distribuzione, l’app deve essere al telefono e pronta per l’esecuzione.NOTA: Questo protocollo è stato testato su Android v.8.0 Oreo o superiore. La funzionalità corretta non è garantita per le versioni precedenti. Se l’app verrà distribuita in un dispositivo iOS, vai a File > Impostazioni di compilazione in Unity e seleziona Esegui. Selezionare il percorso in cui salvare i file dell’app. Consentire il completamento del processo. Vai alla cartella salvata e apri il file con estensione “.projectxcode”. In Xcode seguire le istruzioni del passaggio 5.2.2 per completare la distribuzione.NOTA: Per ulteriori informazioni su Vuforia in Unity, visitare il collegamento disponibileallhttps://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html. 6. Visualizzazione app Aprire l’app installata, che utilizzerà la fotocamera dello smartphone. Durante l’esecuzione dell’app, guarda il marcatore con la fotocamera da una breve distanza (40 cm minimo). Una volta che l’applicazione rileva il marcatore, i modelli 3D creati nei passaggi precedenti dovrebbero apparire esattamente nella posizione definita durante la procedura sullo schermo dello smartphone.NOTA: L’illuminazione può alterare la precisione del rilevamento dei marcatori. Si consiglia di utilizzare l’applicazione in ambienti con buone condizioni di illuminazione.

Representative Results

Il protocollo è stato applicato ai dati di un paziente affetto da sarcoma delle gambe distale al fine di visualizzare la regione anatomica interessata da una prospettiva 3D. Utilizzando il metodo descritto nella sezione 2, la porzione dell’osso interessato (qui, la tibia e il perone) e il tumore sono stati segmentati dalla TAC del paziente. Quindi, utilizzando gli strumenti di segmentazione di 3D Slicer, sono stati creati due biomodelli: l’osso (sezione della tibia e del perone) (Figura 1A) e il tumore (Figura 1B). Successivamente, i due modelli 3D sono stati posizionati virtualmente rispetto al marcatore per una visualizzazione ottimale. Entrambe le modalità descritte nella sezione 3 sono state seguite per questo esempio. Per la modalità di visualizzazione, i modelli sono stati centrati nella faccia superiore del marcatore (Figura 2). Per la modalità di registrazione, l’adattatore marcatore è stato posizionato nell’osso (in particolare, la tibia [Figura 3]). Quindi, una piccola sezione della tibia è stata selezionata per essere stampata in 3D con un adattatore di pennarello 3D (Figura 4). Per creare i marcatori stampati in 3D (Figura 5A, B),la base del supporto del marcatore (Figura 5C) per la modalità “visualizzazione” e la sezione della tibia per la modalità “registrazione” (Figura 5A,) è stata utilizzata una stampante 3D estesa ultimatrice con materiale PLA. Figura 5E mostra come il marcatore è stato collegato alla base stampata in 3D modalità “visualizzazione”. Figura 5F mostra l’allegato con la modalità “registrazione” biomodello stampato in 3D. Infine, Unity è stato utilizzato per creare l’app e distribuirla sullo smartphone. Figura 6 viene illustrato come l’applicazione ha funzionato per la modalità di “visualizzazione”. L’ologramma è stato situato con precisione nella parte superiore del cubo come definito in precedenza. Figura 7 Mostra l’applicazione per la modalità “registrazione”, in cui l’applicazione posiziona il modello di osso completo sopra la sezione stampata in 3D. La visualizzazione finale degli ologrammi era chiara e realistica, manteneva le dimensioni reali dei biomodelli e posizionava con precisione. Quando si utilizza l’applicazione per smartphone, il marcatore AR deve essere visibile dalla fotocamera affinché l’app visualizzi correttamente gli ologrammi. Inoltre, le condizioni di luce nella scena devono essere di buona qualità e costanti per un corretto rilevamento dei marcatori. Condizioni di luce non corrette o riflessi sulla superficie del marcatore ostacolano il tracciamento del marcatore AR e causano malfunzionamento dell’app. Il tempo necessario per creare l’app dipende da diversi fattori. La durata della sezione 1 è limitata dalla velocità di download. Per quanto riguarda la segmentazione dell’anatomia (sezione 2), i fattori che influenzano il tempo di segmentazione includono la complessità della regione e la modalità di imaging medico (cioè, la TC è facilmente segmentata, mentre la risonanza magnetica è più difficile). Per l’esempio rappresentativo della tibia, sono stati necessari circa 10 min per generare entrambi i modelli 3D dalla TAC. Il posizionamento del biomodello (sezione 3) è semplice e diretto. In questo caso, sono voluti circa 5 min per definire la posizione del biomodello rispetto al marcatore AR. Per la fase di stampa 3D, la durata dipende fortemente dalla modalità selezionata. Il “marcatore a doppio colore” è stato prodotto ad alta qualità in un periodo di 5 h e 20 min. Il “marcatore adesivo” è stato prodotto in un periodo di 1 h e 30 min, più il tempo necessario per incollare gli adesivi. Il passaggio finale per lo sviluppo di app può richiedere molto tempo per coloro che non hanno esperienza precedente in Unity, ma può essere facilmente completato seguendo i passaggi del protocollo. Una volta che i marcatori AR sono stati stampati in 3D, lo sviluppo di un’app AR completamente nuova può essere eseguito in meno di 1 h. Questa durata può essere ulteriormente ridotta con un’esperienza aggiuntiva. Figura 1: Rappresentazione di modelli 3D creati da un’immagine TC di un paziente affetto da sarcoma delle gambe distale. (A) Tessuto osseo rappresentato in bianco (tibia e perone). (B) Tumore rappresentato in rosso. Fare clic qui per visualizzare una versione più grande di questa figura. Figura 2: Risultati che mostrano come la modalità di “visualizzazione” in 3D Slicer posiziona i modelli 3D virtuali dell’osso e del tumore rispetto al riferimento marcatore stampato in 3D. I modelli 3D del paziente (A) sono posizionati sopra la faccia superiore del cubo del marcatore (B). Fare clic qui per visualizzare una versione più grande di questa figura. Figura 3: Risultati che mostrano come la modalità di “registrazione” in 3D Slicer posiziona i modelli 3D virtuali dell’osso e del tumore (A) rispetto al riferimento marcatore stampato in 3D (B). L’adattatore marcatore è collegato al modello di tessuto osseo. Fare clic qui per visualizzare una versione più grande di questa figura. Figura 4: Piccola sezione del tessuto osseo e adattatore marcatore 3D. I due componenti vengono combinati e stampati in 3D. Fare clic qui per visualizzare una versione più grande di questa figura. Figura 5: Strumenti di stampa 3D necessari per l’applicazione finale. (A) “Marcatore cubo a due colori” stampato in 3D con due colori di materiali. (B) “Marcatore cubo di adesivo” stampato in 3D, con adesivi incollati. (C) Adattatore cubo di base. (D) Sezione del modello 3D del tessuto osseo del paziente e adattatore del cubo marcatore. (E) “Marcatore cubo di adesivo” inserito nell’adattatore del cubo di base del marcatore. (F) “Marcatore cubo a due colori” inserito nell’adattatore marcatore collegato all’anatomia del paziente. Fare clic qui per visualizzare una versione più grande di questa figura. Figura 6: Visualizzazione dell’app quando si utilizza la modalità “visualizzazione”. I modelli 3D di anatomia interessati del paziente sono posizionati sopra la faccia superiore del cubo stampato in 3D. Fare clic qui per visualizzare una versione più grande di questa figura. Figura 7: Visualizzazione AR quando si utilizza la modalità “registrazione”. Il pennarello stampato in 3D consente la registrazione del biomodello stampato in 3D con i modelli 3D virtuali. Fare clic qui per visualizzare una versione più grande di questa figura.

Discussion

L’AR ha un grande potenziale nell’istruzione, nella formazione e nella guida chirurgica in campo medico. La sua combinazione con le aperture di stampa 3D può aprire nuove possibilità nelle applicazioni cliniche. Questo protocollo descrive una metodologia che consente agli utenti inesperti di creare un’app per smartphone che combina AR e 3DP per la visualizzazione di modelli 3D anatomici di pazienti con marcatori di riferimento stampati in 3D.

In generale, una delle applicazioni cliniche più interessanti di AR e 3DP è quello di migliorare la comunicazione paziente-medico dando al paziente una prospettiva diversa del caso, migliorando le spiegazioni di specifiche condizioni mediche o trattamenti. Un’altra possibile applicazione include indicazioni chirurgiche per la localizzazione di destinazione, in cui gli strumenti specifici del paziente stampati in 3D (con un marcatore AR di riferimento collegato) possono essere posizionati su strutture rigide (cioè ossee) e utilizzati come riferimento per la navigazione. Questa applicazione è particolarmente utile per le procedure chirurgiche ortopediche e maxillo-facciali, in cui la superficie del tessuto osseo è facilmente accessibile durante l’intervento chirurgico.

Il protocollo inizia con la sezione 1, che descrive la configurazione della workstation e gli strumenti software necessari. La sezione 2 descrive come utilizzare il software 3D Slicer per segmentare facilmente le anatomie di destinazione del paziente da qualsiasi modalità di imaging medicale per ottenere modelli 3D. Questo passaggio è fondamentale, poiché i modelli 3D virtuali creati sono quelli visualizzati nell’applicazione AR finale.

Nella sezione 3, 3D Slicer viene utilizzato per registrare i modelli 3D creati nella sezione precedente con un marcatore AR. Durante questa procedura di registrazione, i modelli 3D del paziente sono posizionati in modo efficiente e semplicemente rispetto al marcatore AR. La posizione definita in questa sezione determinerà la posizione relativa dell’ologramma nell’app finale. Si ritiene che questa soluzione riduca la complessità e moltiplichi le possibili applicazioni. La sezione 3 descrive due diverse opzioni per definire le relazioni spaziali tra i modelli e gli indicatori AR: la modalità “visualizzazione” e la modalità “registrazione”. La prima opzione, la modalità “visualizzazione”, consente di posizionare i modelli 3D ovunque rispetto al marcatore e di essere visualizzati come l’intero biomodello. Questa modalità fornisce una prospettiva 3D realistica dell’anatomia del paziente e consente lo spostamento e la rotazione dei biomodelli spostando il marcatore AR tracciato. La seconda opzione, la modalità “registrazione”, consente l’attaccamento e la combinazione di un adattatore marcatore a qualsiasi parte del biomodello, offrendo un processo di registrazione automatica. Con questa opzione, una piccola sezione del modello 3D, incluso l’adattatore marcatore, può essere stampata in 3D e l’app può visualizzare il resto del modello come ologramma.

La sezione 4 fornisce linee guida per il processo di stampa 3D. In primo luogo, l’utente può scegliere tra due marcatori diversi: il “marcatore di colore doppio” e “marcatore adesivo”. L’intero “marcatore a doppio colore” può essere stampato in 3D, ma richiede una stampante 3D a doppio estrusore. Nel caso in cui questa stampante non sia disponibile, viene proposto il “marcatore adesivo”. Questo è un marcatore più semplice che può essere ottenuto stampando in 3D la struttura cubica, quindi incollando le immagini del cubo con carta adesiva o colla adesiva. Inoltre, entrambi i marcatori sono stati progettati con sezioni estensibili per adattarsi perfettamente a uno specifico adattatore. Pertanto, il marcatore può essere riutilizzato in diversi casi.

Nella sezione 5 viene descritto il processo di creazione di un progetto Unity per AR utilizzando il kit di sviluppo software Vuforia. Questo passaggio può essere la parte più difficile per gli utenti senza esperienza di programmazione, ma con queste linee guida, dovrebbe essere più facile ottenere l’applicazione finale presentata nella sezione 6. L’applicazione visualizza i modelli virtuali del paziente sullo schermo dello smartphone quando la fotocamera riconosce il marcatore stampato in 3D. Affinché l’applicazione per rilevare il marcatore 3D, una distanza minima di circa 40 cm o meno dal telefono al marcatore così come buone condizioni di illuminazione sono necessari.

L’applicazione finale di questo protocollo permette all’utente di scegliere i biomodelli specifici da visualizzare e in quali posizioni. Inoltre, l’applicazione può eseguire la registrazione automatica paziente-ologramma utilizzando un marcatore stampato 3D e adattatore collegato al biomodello. Questo risolve la sfida di registrare i modelli virtuali con l’ambiente in modo diretto e conveniente. Inoltre, questa metodologia non richiede un’ampia conoscenza dell’imaging medico o dello sviluppo di software, non dipende da hardware complesso e software costoso e può essere implementata in un breve periodo di tempo. Si prevede che questo metodo contribuirà ad accelerare l’adozione delle tecnologie AR e 3DP da parte di professionisti medici.

Disclosures

The authors have nothing to disclose.

Acknowledgements

La presente relazione è stata sostenuta dai progetti PI18/01625 e PI15/02121 (Ministerio de Ciencia, Innovaciàn y Universidades, Instituto de Salud Carlos III e Fondo europeo di sviluppo regionale “Una manera de hacer Europa”) e IND2018/TIC-9753 (Comunidad de Madrid).

Materials

3D Printing material: Acrylonitrile Butadiene Styrene (ABS) Thermoplastic polymer material usually used in domestic 3D printers.
3D Printing material: Polylactic Acid (PLA) Bioplastic material usually used in domestic 3D printers.
3D Slicer Open-source software platform for medical image informatics, image processing, and three-dimensional visualization
Android Alphabet, Inc. Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.
Autodesk Meshmixer Autodesk, Inc. Meshmixer is state-of-the-art software for working with triangle meshes. Free software.
iPhone OS Apple, Inc. iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.
Ultimaker 3 Extended Ultimaker BV Fused deposition modeling 3D printer.
Unity Unity Technologies Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software.
Xcode Apple, Inc. Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.
DOWNLOAD MATERIALS LIST

References

  1. Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
  2. Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
  3. Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
  4. Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
  5. Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
  6. Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
  7. Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
  8. Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
  9. Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
  10. Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
  11. Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
  12. Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) – do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, 131 (2016).
  13. De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
  14. Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a “one-stop 3D printing lab” for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
  15. Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
  16. Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
  17. Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
  18. Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
  19. Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).

Tags

Augmented Reality3D PrintingMedical Visualization3D ModelsPatient ModelsSmartphone App3D SlicerSegmentationOBJ File FormatAR Health Model PositionMarker Model

Play Video
PDF
DOI
DOWNLOAD MATERIALS LIST
Cite This Article
Moreta-Martinez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J. A., Pascau, J. Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone. J. Vis. Exp. (155), e60618, doi:10.3791/60618 (2020).
Download Citation
Reprints and Permissions

View Video

✖

To prove you're not a robot, please enter the text in the image below

CAPTCHA Image
Play CAPTCHA Audio
Refresh Image