JoVE Journal > Medicine
Summary
Abstract
Introduction
Protocol
Results
Discussion
Disclosures
Acknowledgements
Materials
References
français

Automatically Generated
Please note that all translations are automatically generated. Click here for the English version.
Medicine

Combiner la réalité augmentée et l'impression 3D pour afficher les modèles de patients sur un smartphone

Published: January 02, 2020
doi:
10.3791/60618
, , , , ,
1Department of Bioengineering and Aerospace Engineering,Universidad Carlos III de Madrid, 2Instituto de Investigación Sanitaria Gregorio Marañón, 3Department of Orthopedic Surgery and Traumatology,Hospital General Universitario Gregorio Marañón, 4Department of Surgery, Faculty of Medicine,Universidad Complutense de Madrid

Summary

Présenté ici est une méthode pour concevoir une application smartphone réalité augmentée pour la visualisation des modèles anatomiques en trois dimensions des patients à l’aide d’un marqueur de référence imprimé en 3D.

Abstract

La réalité augmentée (AR) a un grand potentiel dans l’éducation, la formation, et l’orientation chirurgicale dans le domaine médical. Sa combinaison avec l’impression tridimensionnelle (3D) (3DP) ouvre de nouvelles possibilités dans les applications cliniques. Bien que ces technologies aient connu une croissance exponentielle au cours des dernières années, leur adoption par les médecins est encore limitée, car elles nécessitent une connaissance approfondie de l’ingénierie et du développement de logiciels. Par conséquent, le but de ce protocole est de décrire une méthodologie étape par étape permettant aux utilisateurs inexpérimentés de créer une application smartphone, qui combine AR et 3DP pour la visualisation des modèles 3D anatomiques des patients avec un marqueur de référence imprimé en 3D. Le protocole décrit comment créer des modèles virtuels 3D de l’anatomie d’un patient dérivés d’images médicales 3D. Il explique ensuite comment effectuer le positionnement des modèles 3D en ce qui concerne les références de marqueurs. Sont également fournies des instructions sur la façon d’imprimer en 3D les outils et les modèles requis. Enfin, des étapes pour déployer l’application sont fournies. Le protocole est basé sur un logiciel gratuit et multiplateforme et peut être appliqué à toute modalité d’imagerie médicale ou le patient. Une approche alternative est décrite pour fournir l’enregistrement automatique entre un modèle 3D-imprimé créé à partir de l’anatomie d’un patient et les hologrammes projetés. Par exemple, un cas clinique d’un patient souffrant de sarcome de jambe distale est fourni pour illustrer la méthodologie. On s’attend à ce que ce protocole accélère l’adoption des technologies AR et 3DP par les professionnels de la santé.

Introduction

AR et 3DP sont des technologies qui fournissent un nombre croissant d’applications dans le domaine médical. Dans le cas de ar, son interaction avec les modèles 3D virtuels et l’environnement réel profite aux médecins en ce qui concerne l’éducation et la formation1,2,3, communication et interactions avec d’autres médecins4, et des conseils lors des interventions cliniques5,6,7,8,9,10. De même, 3DP est devenu une solution puissante pour les médecins lors du développement d’outils personnalisables spécifiques au patient11,12,13 ou la création de modèles 3D de l’anatomie d’un patient, qui peut aider à améliorer la planification préopératoire et les interventions cliniques14,15.

Les technologies AR et 3DP aident à améliorer l’orientation, l’orientation et les compétences spatiales dans les procédures médicales; ainsi, leur combinaison est la prochaine étape logique. Des travaux antérieurs ont démontré que leur utilisation conjointe peut augmenter la valeur dans l’éducation des patients16, faciliter les explications des conditions médicales et le traitement proposé, l’optimisation du flux de travail chirurgical17,18 et l’amélioration de l’enregistrement patient-à-modèle19. Bien que ces technologies aient connu une croissance exponentielle au cours des dernières années, leur adoption par les médecins est encore limitée, car elles nécessitent une connaissance approfondie de l’ingénierie et du développement de logiciels. Par conséquent, le but de ce travail est de décrire une méthodologie étape par étape qui permet l’utilisation de AR et 3DP par des utilisateurs inexpérimentés sans avoir besoin de vastes connaissances techniques.

Ce protocole décrit comment développer une application pour smartphone AR qui permet de superposer n’importe quel modèle 3D basé sur le patient sur un environnement réel à l’aide d’un marqueur imprimé en 3D suivi par la caméra du smartphone. En outre, une approche alternative est décrite pour fournir l’enregistrement automatique entre un biomodèle imprimé en 3D (c.-à-d., un modèle 3D créé à partir de l’anatomie d’un patient) et les hologrammes projetés. Le protocole décrit est entièrement basé sur des logiciels gratuits et multiplateformes.

Dans les travaux précédents, ar patient-à-image enregistrement a été calculé manuellement5 avec des algorithmes de reconnaissance de surface10 ou a été indisponible2. Ces méthodes ont été considérées comme quelque peu limitées lorsqu’un enregistrement précis est requis19. Pour surmonter ces limites, ce travail fournit des outils pour effectuer l’enregistrement précis et simple patient-à-image dans les procédures AR en combinant la technologie AR et 3DP.

Le protocole est générique et peut être appliqué à toute modalité d’imagerie médicale ou le patient. Par exemple, un vrai cas clinique d’un patient souffrant de sarcome de jambe distale est fourni pour illustrer la méthodologie. La première étape décrit comment segmenter facilement l’anatomie affectée à partir d’images médicales de tomographie calculée (CT) pour générer des modèles virtuels 3D. Par la suite, le positionnement des modèles 3D est effectué, puis les outils et modèles requis sont imprimés en 3D. Enfin, l’application AR souhaitée est déployée. Cette application permet la visualisation des modèles 3D patients superposés sur un appareil photo smartphone en temps réel.

Protocol

Cette étude a été réalisée conformément aux principes de la Déclaration d’Helsinki de 1964, révisée en 2013. Les données et les photos des patients anonymisés incluses dans le présent document sont utilisées après que le consentement éclairé écrit a été obtenu du participant et/ou de son représentant légal, dans lequel il/elle a approuvé l’utilisation de ces données pour des activités de diffusion, y compris des publications scientifiques. 1. Configuration de poste de travail pour la segmentation, l’extraction, le positionnement et le déploiement de l’application AR REMARQUE: Ce protocole a été testé avec la version logicielle spécifique indiquée pour chaque outil. Il est susceptible de fonctionner avec de nouvelles versions, bien qu’il ne soit pas garanti. Utilisez un ordinateur avec Microsoft Windows 10 ou Mac OS comme systèmes d’exploitation. Installez les outils suivants à partir des sites Web correspondants selon les instructions officielles :Trancheuse 3D (v. 4.10.2) : https://download.slicer.org/.Meshmixer (v. 3.5): http://www.meshmixer.com/download.html.Unité (v. 2019): https://unity3d.com/get-unity/download.(Pour le déploiement iOS uniquement) Xcode (dernière version): https://developer.apple.com/xcode/.REMARQUE: Tous les outils logiciels nécessaires à l’achèvement du protocole peuvent être téléchargés gratuitement à des fins personnelles. Les logiciels à utiliser à chaque étape seront spécifiquement indiqués. Téléchargez les données du référentiel GitHub suivant, trouvés à https://github.com/BIIG-UC3M/OpenARHealth.REMARQUE: Le référentiel contient les dossiers suivants :”/3DSlicerModule/”: module de trancheur 3D pour le positionnement des modèles 3D par rapport au marqueur imprimé 3D. Utilisé dans la section 3. Ajouter le module dans la trancheuse 3D en suivant les instructions disponibles à https://github.com/BIIG-UC3M/OpenARHealth.”/Data/PatientData/Patient000_CT.nrrd”: CT d’un patient souffrant de sarcome de jambe distale. Le protocole est décrit en utilisant cette image comme exemple.”/Data/Biomodels/”: modèles 3D du patient (os et tumeur).”/Données/Marqueurs/”: Marqueurs qui seront imprimés en 3D, qui seront détectés par l’application AR pour positionner les modèles 3D virtuels. Il y a deux marqueurs disponibles. 2. Création de biomodel REMARQUE: Le but de cette section est de créer des modèles 3D de l’anatomie du patient. Ils seront obtenus en appliquant des méthodes de segmentation à une image médicale (ici, à l’aide d’une image CT). Le processus se compose de trois étapes différentes : 1) le chargement des données du patient dans un logiciel de trancheur 3D, 2), la segmentation des volumes d’anatomie cible et 3) l’exportation de la segmentation sous forme de modèles 3D en format OBJ. Les modèles 3D qui en résultent seront visualisés dans l’application AR finale. Chargez les données des patients (“/Data/PatientData/Patient000_CT.nrrd”) en faisant glisser le fichier d’image médicale dans la fenêtre logicielle de trancheur 3D. Cliquez OK. Les vues CT (axial, sagittale, coronal) apparaîtront sur les fenêtres correspondantes.REMARQUE: Les données utilisées ici se trouvent dans le format « données de raster presque brutes » (NRRD), mais 3D Slicer permet le chargement des fichiers de format d’image médicale (DICOM). Rendez-vous sur le lien suivant pour obtenir d’autres instructions, trouvéesà https://www.slicer.org/wiki/Documentation/4.10/Training . Pour segmenter l’anatomie du patient, rendez-vous au module Segment Editor en trancheur 3D. Un élément de « segmentation » est créé automatiquement lors de l’entrée du module. Sélectionnez le volume désiré (une image médicale du patient) dans la section Master Volume. Ensuite, cliquez à droite ci-dessous sur le bouton Ajouter pour créer un segment. Un nouveau segment sera créé avec le nom “Segment_1”. Il existe un panneau appelé Effets qui contient une variété d’outils pour segmenter correctement la zone cible de l’image médicale. Sélectionnez l’outil le plus pratique pour la cible et segmentez-vous sur la zone des fenêtres d’image. Pour segmenter l’os (tibia et péroné dans ce cas), utilisez l’outil Seuil pour établir des valeurs d’HU minimales et maximales à partir de l’image CT, qui correspond au tissu osseux. En utilisant cet outil, d’autres éléments avec HU en dehors de ces valeurs seuils sont supprimés, tels que les tissus mous. Utilisez l’outil Ciseaux pour enlever les zones indésirables, telles que le lit ou d’autres structures anatomiques, du masque segmenté. Segmentez le sarcome manuellement à l’aide des outils Draw and Erase, car la tumeur est difficile à contourner avec des outils automatiques.REMARQUE: Pour en savoir plus sur la procédure de segmentation, rendez-vous sur le lien trouvé à https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation. Cliquez sur le bouton Afficher 3D pour afficher une représentation 3D de la segmentation. Exportez la segmentation dans un format de fichier de modèle 3D en allant au module Segmentations en tranche3D. Aller à l’exportation / importation des modèles et des labelmaps. Sélectionnez Export dans la section opération et Modèles dans la section type de sortie. Cliquez sur Export pour terminer et créer le modèle 3D à partir de la zone segmentée. Sélectionnez SAVE (en haut à gauche) pour enregistrer le modèle. Choisissez les éléments à enregistrer. Ensuite, modifiez le format de fichier du modèle 3D en “OBJ” dans la colonne format Fichier. Sélectionnez le chemin où les fichiers seront stockés et cliquez sur Enregistrer. Répétez les étapes 2.2 et 2.3 pour créer des modèles 3D supplémentaires de différentes régions anatomiques.REMARQUE: Les modèles présegmentés de l’exemple fourni peuvent être trouvés dans les données précédemment téléchargées à l’étape 1.3 (“/Données/Biomodels/”). 3. Positionnement biomodèle REMARQUE: Dans cette section, les modèles 3D créés dans la section 2 seront positionnés en fonction du marqueur de visualisation de la réalité augmentée. Le module ARHealth: Model Position de 3D Slicer sera utilisé pour cette tâche. Suivez les instructions fournies à l’étape 1.3 pour ajouter le module à 3D Slicer. Il existe deux alternatives différentes pour positionner les modèles 3D : le mode “Visualisation” et le mode “Enregistrement”. Mode de visualisationREMARQUE: Le mode visualisation permet le positionnement des modèles de patients 3D à n’importe quelle position par rapport au marqueur AR. Avec cette option, l’utilisateur est en mesure d’utiliser l’application AR pour visualiser les biomodèles en utilisant le marqueur AR imprimé en 3D comme référence. Ce mode peut être utilisé lorsque la précision n’est pas requise, et la visualisation du modèle virtuel peut être affichée n’importe où dans le champ de vision de la caméra et du marqueur du smartphone. Rendez-vous sur le module ARHealth: Model Position et (dans la section initialisation) sélectionnez Mode de visualisation. Cliquez sur Le modèle de marqueur de charge pour charger le marqueur pour cette option. Chargez les modèles 3D créés dans la section 2 en cliquant sur le bouton … pour sélectionner le chemin des modèles enregistrés de la section 2. Ensuite, cliquez sur le bouton Modèle de charge pour le charger en trancheur 3D. Les modèles doivent être chargés un à la fois. Pour supprimer tous les modèles précédemment chargés, cliquez sur ce modèle suivi du bouton Supprimer le modèle, ou cliquez sur Supprimer tout pour supprimer tous les modèles chargés à la fois. Cliquez sur le bouton Finition et Centre pour centrer tous les modèles dans le marqueur. La position, l’orientation et la mise à l’échelle des modèles 3D peuvent être modifiées par rapport au marqueur avec différentes barres de curseur (c.-à-d. traduction, rotation, échelle).REMARQUE: Il y a un bouton supplémentaire “Reset Position” pour réinitialiser la position d’origine des modèles avant d’apporter des modifications à la position. Enregistrez les modèles à cette position en choisissant le chemin pour stocker les fichiers et en cliquant sur le bouton Enregistrer des modèles. Les modèles 3D seront enregistrés avec le nom d’extension “_registered.obj”. Mode d’inscriptionREMARQUE: Le mode d’enregistrement permet de combiner le marqueur AR avec un biomodèle 3D à n’importe quelle position désirée. Ensuite, n’importe quelle section des modèles 3D combinés (qui comprend le marqueur AR) peut être extraite et imprimée en 3D. Tous les biomodèles seront affichés dans l’application AR à l’aide de ce biomodèle imprimé en 3D comme référence. Ce mode permet à l’utilisateur d’enregistrer facilement le patient (ici, une section de l’os du patient) et des modèles virtuels à l’aide d’un marqueur de référence. Rendez-vous sur le module ARHealth: Model Position et (dans la section initialisation) sélectionnez Mode d’enregistrement. Cliquez sur Le modèle de marqueur de charge pour charger le marqueur pour cette option. Chargez les modèles comme fait à l’étape 3.1.2. Déplacez les modèles 3D et assurez-vous de leur intersection avec la structure de soutien du marqueur cube, puisque ces modèles seront combinés et imprimés en 3D plus tard. La hauteur de la base de marqueur peut être modifiée. La position, l’orientation et la mise à l’échelle des modèles 3D peuvent être modifiées par rapport au marqueur avec différentes barres de curseur (c.-à-d. traduction, rotation, échelle). Enregistrez les modèles à cette position en choisissant le chemin pour stocker les fichiers et en cliquant sur le bouton Enregistrer des modèles. Les modèles 3D seront enregistrés avec le nom d’extension “_registered.obj”. Le modèle d’anatomie peut être trop grand. Si c’est le cas, coupez le modèle 3D autour de l’adaptateur de marqueurs et imprimez en 3D seulement une section de la combinaison des deux modèles à l’aide du logiciel Meshmixer. Ouvrez Meshmixer et chargez le biomodèle et la structure de support du modèle de marqueur cube enregistré à l’étape 3.2.4. Combinez ces modèles en sélectionnant les deux modèles dans la fenêtre Du navigateur d’objets. Cliquez sur l’option Combine dans la fenêtre d’outils qui vient d’apparaître dans le coin supérieur gauche. Dans Meshmixer, utilisez l’outil Plane Cut dans le menu Modifier pour supprimer les sections indésirables du modèle qui ne seront pas imprimées en 3D. Pour enregistrer le modèle à imprimer en 3D, rendez-vous sur File ‘gt; Export et sélectionnez le format désiré. 4. Impression 3D REMARQUE: L’objectif de cette étape est d’imprimer en 3D les modèles physiques requis pour l’application AR finale. Le marqueur à détecter par l’application et les différents objets nécessaires dépendent du mode sélectionné à la section 3. Tout matériau peut être utilisé pour l’impression 3D aux fins de ce travail, lors de la suite des exigences de matériel de couleur demandée à chaque étape. L’acide polylactique (PLA) ou le styrène butadène acrylonitrile (ABS) sont tous deux des choix suffisants. Utilisez une imprimante 3D pour imprimer le marqueur cubique. Si une double imprimante 3D extrudense n’est pas disponible, passez à l’étape 4.2. Utilisez une imprimante 3D à double extrudeur spécifiquement pour imprimer le marqueur bicolore fourni dans “Data/Markers/Marker1_TwoColorCubeMarker/”. Dans le logiciel d’impression 3D, sélectionnez un matériau couleur blanche pour le fichier “TwoColorCubeMarker_WHITE.obj” et un matériau de couleur noire pour “TwoColorCubeMarker_BLACK.obj”.REMARQUE: Pour une meilleure détection des marqueurs, imprimez en mode haute qualité avec une petite hauteur de couche. Si une double imprimante 3D extrudeuse n’est pas disponible et que l’étape 4.1 n’a pas été effectuée, suivez cette étape pour imprimer un marqueur imprimé en 3D avec des autocollants comme solution de rechange en faisant ce qui suit : Utilisez une imprimante 3D pour imprimer le fichier “Data/Markers/ Marker2_StickerCubeMarker/ StickerCubeMarker_WHITE.obj” avec du matériel de couleur blanche. Utilisez une imprimante conventionnelle pour imprimer le fichier “Data/Markers/Marker2_StickerCubeMarker/Stickers.pdf” sur du papier autocollant. Ensuite, utilisez n’importe quel outil de coupe pour couper précisément les images si le cadre noir en supprimant les lignes noires.REMARQUE: Il est recommandé d’utiliser du papier autocollant pour obtenir un marqueur de meilleure qualité. Cependant, les images peuvent être imprimées sur du papier ordinaire, et un bâton de colle commun peut être utilisé pour coller les images sur le cube. Placez les autocollants dans le cube imprimé en 3D obtenus à l’étape 4.2.1 dans l’ordre correspondant suivant les instructions du document “Data/Markers/Marker2_StickerCubeMarker/Stickers.pdf”.REMARQUE: Les autocollants sont plus petits que la face du cube. Laissez un cadre de 1,5 mm entre l’autocollant et le bord du visage. “Data/Markers/Marker2_StickerCubeMarker/StickerPlacer.stl” peut être imprimé en 3D pour guider le positionnement de l’autocollant et correspondre exactement au centre de la face du cube. Impression 3D des adaptateurs, selon le mode sélectionné dans la section 3. Si le mode de visualisation (section 3.1) a été sélectionné, l’impression 3D “Data/3DPrinting/Option1/ MarkerBaseTable.obj”, qui est un adaptateur de base utilisé pour placer le marqueur en position verticale sur une surface horizontale. Si le mode d’enregistrement (section 3.2) a été sélectionné, imprimez en 3D le modèle créé à l’étape 3.2.8 avec l’adaptateur de marqueur attaché. REMARQUE: Les objets imprimés en 3D de l’étape 4.3 peuvent être imprimés dans n’importe quel matériau de couleur. 5. Déploiement de l’application AR REMARQUE: L’objectif de cette section est de concevoir une application smartphone dans le moteur Unity qui inclut les modèles 3D créés dans les sections précédentes et de déployer cette application sur un smartphone. Une clé de licence de développement Vuforia (gratuite pour un usage personnel) est requise pour cette étape. L’application peut être déployée sur les appareils Android ou iOS. Créez un compte De développeur Vuforia pour obtenir une clé de licence pour utiliser leurs bibliothèques dans Unity. Rendez-vous sur le lien trouvé à https://developer.vuforia.com/vui/auth/register et créez un compte. Aller sur le lien trouvé à https://developer.vuforia.com/vui/develop/Licenses et sélectionnez Get Development Key. Ensuite, suivez les instructions pour ajouter une clé de licence de développement gratuite dans le compte de l’utilisateur. Dans le menu Gestionnaire de licence, sélectionnez la clé créée dans l’étape précédente et copiez la clé fournie, qui sera utilisée à l’étape 5.3.3. Configurez le smartphone. Pour commencer avec les appareils Unity et Android, allez sur le lien trouvé à https://docs.unity3d.com/Manual/android-GettingStarted.html. Pour commencer avec les appareils Unity et iOS, allez sur le lien trouvé à https://docs.unity3d.com/Manual/iphone-GettingStarted.html. Configurer un projet d’unité pour l’application AR en ouvrant d’abord Unity v.2019 et en créant un nouveau projet 3D. Puis, sousParamètres de constructiondans leFichiermenu, passez la plate-forme à un appareil Android ou iOS.Activer Vuforia dans le projet en sélectionnant Edit ‘gt; Réglage du projet ‘gt; Paramètres du joueur ‘gt; Paramètres XR et cochant la case étiquetée Vuforia Augmentation De mise en état de la réalité. Créer un “ARCamera” sous Menubar ‘gt; GameObject ‘gt; Vuforia Engine ‘gt; ARCamera et importer des composants Vuforia lorsqu’il est invité. Ajoutez la clé de licence Vuforia dans les paramètres de configuration Vuforia en sélectionnant le dossier Ressources et en cliquant sur Vuforia Configuration. Ensuite, dans la section Clé de licence d’application, collez la clé copiée dans la section 5.1.2. Importer le fichier Vuforia Target fourni dans “/Data/Vuforia/AR_Cube_3x3x3.unitypackage” dans Unity, qui contient les fichiers dont Vuforia a besoin pour détecter les marqueurs décrits à la section 4. Créer un MultiTarget Vuforia sous Menubar ‘gt; GameObject ‘gt; Vuforia Engine ‘gt; Multi Image. Sélectionnez le type de marqueur qui sera utilisé pour la détection en cliquant sur le MultiCible créé dans l’étape précédente. Dans l’option Base de données sous Multi Target Behaviour, sélectionnez ARHealth_3DPrintedCube_30x30x30. Dans l’option Multi Target sous Multi Target Behaviour, sélectionnez TwoColorCubeMarker ou StickerCubeMarker, en fonction du marqueur créé dans la section 4. Chargez les modèles 3D créés dans la section 3 dans Unity Scene sous MultiTarget en créant un nouveau dossier avec le nom “Modèles” sous le dossier “Ressources”. Faites glisser les modèles 3D dans ce dossier. Une fois chargés dans Unity, faites-les glisser sous l’élément “MultiTarget” créé à l’étape 5.3.5. Cela les rendra dépendants du marqueur.REMARQUE: Les modèles doivent être visibles dans la scène de vue 3D Unity. Changer les couleurs des modèles 3D en créant un nouveau matériau et en assignant les nouveaux matériaux aux modèles. Créer un nouveau dossier nommé “Matériaux” sous le dossier “Ressources” en allant à Menubar ‘gt; Actifs ‘gt; Créer ‘gt; Matériel. Sélectionnez le matériau et modifiez la couleur dans la section configuration. Ensuite, faites glisser le fichier sous la hiérarchie du modèle 3D. Facultatif : s’il y a une webcam disponible, cliquez sur le bouton de lecture situé dans la partie supérieure du milieu pour tester son application sur l’ordinateur. Si le marqueur est visible sur la webcam, il doit être détecté, et les modèles 3D doivent apparaître dans la scène. Si un smartphone Android est utilisé pour le déploiement de l’application, rendez-vous sur File ‘gt; Build Settings in Unity, et sélectionnez le téléphone branché de la liste. Sélectionnez Déployer et exécuter. Enregistrer le fichier avec extension .apk sur l’ordinateur et permettre au processus de terminer. Une fois le déploiement effectué, l’application doit être sur le téléphone et prête à fonctionner.REMARQUE: Ce protocole a été testé sur Android v.8.0 Oreo ou au-dessus. La fonctionnalité correcte n’est pas garantie pour les anciennes versions. Si l’application sera déployée dans un appareil iOS, rendez-vous sur Fichier ‘gt; Build Paramètres dans Unity et sélectionnez Exécuter. Sélectionnez le chemin pour enregistrer les fichiers de l’application. Laisser le processus se terminer. Aller au dossier enregistré et ouvrir le fichier avec l’extension “.projectxcode”. Dans Xcode, suivez les instructions de l’étape 5.2.2 pour terminer le déploiement.REMARQUE: Pour plus d’informations sur Vuforia dans Unity, rendez-vous sur le lien trouvé à https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html. 6. Visualisation d’applications Ouvrez l’application installée, qui utilisera l’appareil photo du smartphone. Lorsque vous exécutez l’application, regardez le marqueur avec la caméra à une courte distance (40 cm minimum). Une fois que l’application détecte le marqueur, les modèles 3D créés dans les étapes précédentes doivent apparaître exactement à l’emplacement défini lors de la procédure sur l’écran du smartphone.REMARQUE: L’éclairage peut modifier la précision de la détection des marqueurs. Il est recommandé d’utiliser l’application dans des environnements avec de bonnes conditions d’éclairage.

Representative Results

Le protocole a été appliqué aux données d’un patient souffrant du sarcome distal de jambe afin de visualiser la région anatomique affectée d’une perspective 3D. Utilisant la méthode décrite dans la section 2, la partie de l’os affecté (ici, le tibia et le péroné) et la tumeur ont été segmentées du balayage de CT du patient. Puis, à l’aide des outils de segmentation de 3D Slicer, deux biomodèles ont été créés : l’os (section du tibia et du péroné) (Figure 1A) et la tumeur (Figure 1B). Ensuite, les deux modèles 3D ont été positionnés virtuellement par rapport au marqueur pour une visualisation optimale. Les deux modes décrits à la section 3 ont été suivis pour cet exemple. Pour le mode de visualisation, les modèles étaient centrés sur la face supérieure du marqueur (Figure 2). Pour le mode d’enregistrement, l’adaptateur marqueur a été placé dans l’os (en particulier, le tibia [figure 3]). Ensuite, une petite section du tibia a été sélectionnée pour être imprimée en 3D avec un adaptateur de marqueur 3D (Figure 4). Une imprimante 3D allongée Ultimaker 3 avec du matériel PLA a été utilisée pour créer les marqueurs imprimés en 3D (Figure 5A, B), base de porte-marqueurs ( Figure5C) pour le mode « visualisation » et section du tibia pour le mode « enregistrement » (figure 5D). La figure 5E montre comment le marqueur a été fixé à la base imprimée en 3D en mode « visualisation ». La figure 5F montre la pièce jointe avec le biomodel imprimé en 3D en mode « enregistrement ». Enfin, Unity a été utilisé pour créer l’application et la déployer sur le smartphone. La figure 6 montre comment l’application a fonctionné pour le mode « visualisation ». L’hologramme a été localisé avec précision dans la partie supérieure du cube tel que défini précédemment. La figure 7 montre l’application pour le mode « enregistrement », dans lequel l’application a placé le modèle complet d’os sur le dessus de la section imprimée en 3D. La visualisation finale des hologrammes était claire et réaliste, maintenait les tailles réelles des biomodèles, et positionné avec précision. Lors de l’utilisation de l’application smartphone, le marqueur AR doit être visible par la caméra pour l’application pour afficher correctement les hologrammes. En outre, les conditions de lumière dans la scène doivent être de bonne qualité et constantes pour la détection appropriée des marqueurs. Les mauvaises conditions de lumière ou les reflets sur la surface du marqueur entravent le suivi du marqueur AR et provoquent un mauvais fonctionnement de l’application. Le temps nécessaire à la création de l’application dépend de plusieurs facteurs. La durée de la section 1 est limitée par la vitesse de téléchargement. En ce qui concerne la segmentation de l’anatomie (section 2), les facteurs affectant le temps de segmentation comprennent la complexité de la région et la modalité de l’imagerie médicale (c.-à-d. que la tomodensitométrie est facilement segmentée, tandis que l’IRM est plus difficile). Pour l’exemple représentatif du tibia, environ 10 min a été nécessaire pour générer les deux modèles 3D à partir de la tomodensitome. Le positionnement des biomodèles (section 3) est simple et simple. Ici, il a fallu environ 5 min pour définir la position du biomodèle par rapport au marqueur AR. Pour l’étape d’impression 3D, la durée dépend fortement du mode sélectionné. Le « marqueur à double couleur » a été fabriqué à haute qualité en 5 h et 20 min. Le « marqueur d’autocollants » a été fabriqué en 1 h et 30 min, plus le temps nécessaire pour coller les autocollants. La dernière étape pour le développement d’applications peut prendre beaucoup de temps pour ceux qui n’ont pas d’expérience préalable dans Unity, mais elle peut être facilement complétée après les étapes du protocole. Une fois que les marqueurs AR ont été imprimés en 3D, le développement d’une application AR entièrement nouvelle peut être effectué en moins de 1 h. Cette durée peut être encore réduite avec une expérience supplémentaire. Figure 1 : Représentation des modèles 3D créés à partir d’une image de CT d’un patient souffrant du sarcome distal de jambe. (A) Tissu osseux représenté en blanc (tibia et péroné). (B) Tumeur représentée en rouge. Veuillez cliquer ici pour voir une version plus grande de ce chiffre. Figure 2 : Résultats montrant comment le mode « visualisation » dans le Slicer 3D positionne les modèles 3D virtuels de l’os et de la tumeur par rapport à la référence de marqueur 3D-imprimée. Les modèles 3D patients (A) sont positionnés au-dessus de la face supérieure du cube de marqueur (B). Veuillez cliquer ici pour voir une version plus grande de ce chiffre. Figure 3 : Résultats montrant comment le mode « enregistrement » en tranche 3D positionne les modèles 3D virtuels de l’os et de la tumeur (A) en ce qui concerne la référence de marqueur imprimée en 3D (B). L’adaptateur marqueur est fixé au modèle de tissu osseux. Veuillez cliquer ici pour voir une version plus grande de ce chiffre. Figure 4 : Petite section du tissu osseux et adaptateur de marqueur 3D. Les deux composants sont combinés puis imprimés en 3D. Veuillez cliquer ici pour voir une version plus grande de ce chiffre. Figure 5 : Outils imprimés en 3D requis pour l’application finale. (A) “Deux marqueurs cube de couleur” imprimé en 3D avec deux couleurs de matériaux. (B) “Sticker cube marker” imprimé en 3D, avec des autocollants collés. (C) Adaptateur de cube de base marqueur. (D) Section du modèle 3D de tissu osseux du patient et adaptateur de cube de marqueur. (E) “Marqueur cube d’autocollant” placé dans l’adaptateur de cube de base marqueur. (F) “Deux marqueurs de cube de couleur” placés dans l’adaptateur de marqueur attaché à l’anatomie du patient. Veuillez cliquer ici pour voir une version plus grande de ce chiffre. Figure 6 : Affichage de l’application lors de l’utilisation du mode « visualisation ». Les modèles 3D affectés d’anatomie du patient sont placés au-dessus de la face supérieure du cube 3D-imprimé. Veuillez cliquer ici pour voir une version plus grande de ce chiffre. Figure 7 : Visualisation AR lors de l’utilisation du mode « enregistrement ». Le marqueur imprimé en 3D permet l’enregistrement du biomodèle imprimé en 3D avec les modèles 3D virtuels. Veuillez cliquer ici pour voir une version plus grande de ce chiffre.

Discussion

AR détient un grand potentiel dans l’éducation, la formation et l’orientation chirurgicale dans le domaine médical. Sa combinaison avec l’impression 3D ouvre peut ouvrir de nouvelles possibilités dans les applications cliniques. Ce protocole décrit une méthodologie qui permet aux utilisateurs inexpérimentés de créer une application smartphone combinant AR et 3DP pour la visualisation de modèles 3D anatomiques de patients avec des marqueurs de référence imprimés en 3D.

En général, l’une des applications cliniques les plus intéressantes de l’AR et de la 3DP est d’améliorer la communication patient-médecin en donnant au patient une perspective différente du cas, en améliorant les explications de conditions médicales ou de traitements spécifiques. Une autre application possible comprend des conseils chirurgicaux pour la localisation ciblée, dans lequel les outils 3D-imprimés spécifiques au patient (avec un marqueur AR de référence attaché) peuvent être placés sur des structures rigides (c.-à-d., os) et utilisés comme référence pour la navigation. Cette application est particulièrement utile pour les interventions chirurgicales orthopédiques et maxillo-faciales, dans lesquelles la surface du tissu osseux est facilement accessible pendant la chirurgie.

Le protocole commence par la section 1, décrivant la configuration du poste de travail et les outils logiciels nécessaires. La section 2 décrit comment utiliser le logiciel 3D Slicer pour segmenter facilement les anatomies cibles du patient à partir de toute modalité d’imagerie médicale pour obtenir des modèles 3D. Cette étape est cruciale, car les modèles 3D virtuels créés sont ceux affichés dans l’application AR finale.

Dans la section 3, le slicer 3D est utilisé pour enregistrer les modèles 3D créés dans la section précédente avec un marqueur AR. Au cours de cette procédure d’enregistrement, les modèles 3D des patients sont positionnés efficacement et simplement par rapport au marqueur AR. La position définie dans cette section déterminera la position relative de l’hologramme dans l’application finale. On pense que cette solution réduit la complexité et multiplie les applications possibles. La section 3 décrit deux options différentes pour définir les relations spatiales entre les modèles et les marqueurs AR : le mode « visualisation » et « enregistrement ». La première option, le mode « visualisation », permet aux modèles 3D d’être positionnés n’importe où par rapport au marqueur et affichés comme l’ensemble du biomodèle. Ce mode offre une perspective réaliste et 3D de l’anatomie du patient et permet de déplacer et de tourner les biomodèles en déplaçant le marqueur AR suivi. La deuxième option, le mode « enregistrement », permet l’attachement et la combinaison d’un adaptateur de marqueur à n’importe quelle partie du biomodèle, offrant un processus d’enregistrement automatique. Avec cette option, une petite section du modèle 3D, y compris l’adaptateur de marqueur, peut être imprimée en 3D, et l’application peut afficher le reste du modèle sous forme d’hologramme.

La section 4 fournit des lignes directrices pour le processus d’impression 3D. Tout d’abord, l’utilisateur peut choisir entre deux marqueurs différents: le “marqueur de double couleur” et “marqueur d’autocollant”. L’ensemble “marqueur de double couleur” peut être imprimé en 3D, mais nécessite une double imprimante 3D extrudeur. Dans le cas où cette imprimante n’est pas disponible, le « marqueur d’autocollants » est proposé. Il s’agit d’un marqueur plus simple qui peut être obtenu par l’impression 3D de la structure cubique, puis coller les images du cube avec du papier autocollant ou de la colle autocollant. En outre, les deux marqueurs ont été conçus avec des sections extensibles pour s’adapter parfaitement dans un adaptateur spécifique. Ainsi, le marqueur peut être réutilisé dans plusieurs cas.

La section 5 décrit le processus de création d’un projet Unity pour AR à l’aide du kit de développement logiciel Vuforia. Cette étape peut être la partie la plus difficile pour les utilisateurs qui n’ont aucune expérience en programmation, mais avec ces lignes directrices, il devrait être plus facile d’obtenir la demande finale qui est présentée à la section 6. L’application affiche les modèles virtuels du patient sur l’écran du smartphone lorsque l’appareil photo reconnaît le marqueur imprimé en 3D. Pour que l’application détecte le marqueur 3D, une distance minimale d’environ 40 cm ou moins entre le téléphone et le marqueur est nécessaire ainsi que de bonnes conditions d’éclairage.

L’application finale de ce protocole permet à l’utilisateur de choisir les biomodèles spécifiques à visualiser et dans quelles positions. En outre, l’application peut effectuer l’enregistrement automatique patient-hologramme à l’aide d’un marqueur imprimé en 3D et d’un adaptateur attaché au biomodèle. Cela résout le défi d’enregistrer les modèles virtuels avec l’environnement d’une manière directe et pratique. En outre, cette méthodologie ne nécessite pas une connaissance approfondie de l’imagerie médicale ou du développement de logiciels, ne dépend pas de matériel complexe et de logiciels coûteux, et peut être mise en œuvre sur une courte période de temps. On s’attend à ce que cette méthode contribue à accélérer l’adoption des technologies AR et 3DP par les professionnels de la santé.

Disclosures

The authors have nothing to disclose.

Acknowledgements

Ce rapport a été soutenu par les projets PI18/01625 et PI15/02121 (Ministerio de Ciencia, Innovacion y Universidades, Instituto de Salud Carlos III et European Regional Development Fund “Una manera de hacer Europa”) et IND2018/TIC-9753 (Comunidad de Madrid).

Materials

3D Printing material: Acrylonitrile Butadiene Styrene (ABS) Thermoplastic polymer material usually used in domestic 3D printers.
3D Printing material: Polylactic Acid (PLA) Bioplastic material usually used in domestic 3D printers.
3D Slicer Open-source software platform for medical image informatics, image processing, and three-dimensional visualization
Android Alphabet, Inc. Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.
Autodesk Meshmixer Autodesk, Inc. Meshmixer is state-of-the-art software for working with triangle meshes. Free software.
iPhone OS Apple, Inc. iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.
Ultimaker 3 Extended Ultimaker BV Fused deposition modeling 3D printer.
Unity Unity Technologies Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software.
Xcode Apple, Inc. Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.
DOWNLOAD MATERIALS LIST

References

  1. Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
  2. Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
  3. Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
  4. Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
  5. Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
  6. Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
  7. Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
  8. Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
  9. Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
  10. Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
  11. Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
  12. Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) – do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, 131 (2016).
  13. De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
  14. Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a “one-stop 3D printing lab” for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
  15. Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
  16. Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
  17. Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
  18. Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
  19. Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).

Tags

Augmented Reality3D PrintingMedical Visualization3D ModelsPatient ModelsSmartphone App3D SlicerSegmentationOBJ File FormatAR Health Model PositionMarker Model

Play Video
PDF
DOI
DOWNLOAD MATERIALS LIST
Cite This Article
Moreta-Martinez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J. A., Pascau, J. Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone. J. Vis. Exp. (155), e60618, doi:10.3791/60618 (2020).
Download Citation
Reprints and Permissions

View Video

✖

To prove you're not a robot, please enter the text in the image below

CAPTCHA Image
Play CAPTCHA Audio
Refresh Image