Kombinieren von Augmented Reality und 3D-Druck zum Anzeigen von Patientenmodellen auf einem Smartphone
Summary
Präsentiert wird hier eine Methode zur Entwicklung einer Augmented-Reality-Smartphone-Anwendung zur Visualisierung anatomischer dreidimensionaler Patientenmodelle mit einem 3D-gedruckten Referenzmarker.
Abstract
Augmented Reality (AR) hat großes Potenzial in der Aus- und Weiterbildung und chirurgischen Beratung im medizinischen Bereich. Die Kombination mit dem dreidimensionalen (3D) Druck (3DP) eröffnet neue Möglichkeiten in klinischen Anwendungen. Obwohl diese Technologien in den letzten Jahren exponentiell gewachsen sind, ist ihre Akzeptanz durch Ärzte immer noch begrenzt, da sie umfangreiche Kenntnisse in der Entwicklung von Ingenieuren und Software erfordern. Daher ist der Zweck dieses Protokolls, eine Schritt-für-Schritt-Methodik zu beschreiben, die es unerfahrenen Benutzern ermöglicht, eine Smartphone-App zu erstellen, die AR und 3DP zur Visualisierung anatomischer 3D-Modelle von Patienten mit einem 3D-gedruckten Referenzmarker kombiniert. Das Protokoll beschreibt, wie virtuelle 3D-Modelle der Anatomie eines Patienten erstellt werden, die aus medizinischen 3D-Bildern abgeleitet sind. Anschließend wird erläutert, wie die Positionierung der 3D-Modelle in Bezug auf Markerreferenzen durchgeführt wird. Außerdem finden Sie Anweisungen zum 3D-Drucken der benötigten Werkzeuge und Modelle. Schließlich werden Schritte zum Bereitstellen der App bereitgestellt. Das Protokoll basiert auf kostenloser und plattformübergreifender Software und kann auf jede medizinische Bildgebungsmethode oder jeden Patienten angewendet werden. Ein alternativer Ansatz wird beschrieben, um eine automatische Registrierung zwischen einem 3D-gedruckten Modell, das aus der Anatomie eines Patienten erstellt wurde, und den projizierten Hologrammen bereitzustellen. Als Beispiel wird ein klinischer Fall eines Patienten mit distalen Beinsarkomen zur Veranschaulichung der Methodik bereitgestellt. Es wird erwartet, dass dieses Protokoll die Einführung von AR- und 3DP-Technologien durch medizinisches Fachpersonal beschleunigen wird.
Introduction
AR und 3DP sind Technologien, die immer mehr Anwendungen im medizinischen Bereich ermöglichen. Im Falle von AR, seine Interaktion mit virtuellen 3D-Modellen und die reale Umgebung profitiert Ärzte in Bezug auf Bildung und Ausbildung1,2,3, Kommunikation und Interaktionen mit anderen Ärzten 4,und Beratung während der klinischen Interventionen5,6,7,8,9,10. Ebenso ist 3DP eine leistungsstarke Lösung für Ärzte bei der Entwicklung patientenspezifischer anpassbarer Werkzeuge11,12,13 oder die Erstellung von 3D-Modellen der Anatomie eines Patienten geworden, die dazu beitragen können, die präoperative Planung und klinische Interventionen14,15zu verbessern.
Sowohl AR- als auch 3DP-Technologien tragen zur Verbesserung der Orientierung, Der Orientierung und der räumlichen Fähigkeiten in medizinischen Verfahren bei; daher ist ihre Kombination der nächste logische Schritt. Frühere Arbeiten haben gezeigt, dass ihre gemeinsame Verwendung den Wert in der Patientenerziehung erhöhen kann16, Erleichterung der Erklärung von Erkrankungen und vorgeschlagene Behandlung, Optimierung des chirurgischen Arbeitsablaufs17,18 und Verbesserung der Patienten-zu-Modell-Registrierung19. Obwohl diese Technologien in den letzten Jahren exponentiell gewachsen sind, ist ihre Akzeptanz durch Ärzte immer noch begrenzt, da sie umfangreiche Kenntnisse in der Entwicklung von Ingenieuren und Software erfordern. Daher besteht der Zweck dieser Arbeit darin, eine Schritt-für-Schritt-Methodik zu beschreiben, die den Einsatz von AR und 3DP durch unerfahrene Benutzer ermöglicht, ohne dass umfassende technische Kenntnisse erforderlich sind.
Dieses Protokoll beschreibt, wie eine AR-Smartphone-App entwickelt wird, die es ermöglicht, jedes patientenbasierte 3D-Modell mithilfe eines von der Smartphone-Kamera verfolgten 3D-gedruckten Markers auf eine reale Umgebung zu überlagern. Darüber hinaus wird ein alternativer Ansatz beschrieben, um die automatische Registrierung zwischen einem 3D-gedruckten Biomodell (d. h. einem aus der Anatomie eines Patienten erstellten 3D-Modell) und den projizierten Hologrammen bereitzustellen. Das beschriebene Protokoll basiert vollständig auf freier und plattformübergreifender Software.
In früheren Arbeiten wurde die AR-Patienten-Bild-Registrierung manuell5 mit Oberflächenerkennungsalgorithmen10 berechnet oder war nicht verfügbar2. Diese Methoden wurden als etwas eingeschränkt angesehen, wenn eine genaue Registrierung erforderlich ist19. Um diese Einschränkungen zu überwinden, bietet diese Arbeit Tools zur präzisen und einfachen Patienten-zu-Bild-Registrierung in AR-Verfahren durch die Kombination von AR-Technologie und 3DP.
Das Protokoll ist generisch und kann auf jede medizinische Bildgebungsmethode oder jeden Patienten angewendet werden. Als Beispiel wird ein echter klinischer Fall eines Patienten mit distalen Beinsarkomen zur Veranschaulichung der Methodik bereitgestellt. Im ersten Schritt wird beschrieben, wie die betroffene Anatomie aus medizinischen Bildern der Computertomographie (CT) einfach segmentiert werden kann, um virtuelle 3D-Modelle zu generieren. Danach erfolgt die Positionierung der 3D-Modelle, dann werden die erforderlichen Werkzeuge und Modelle 3D-gedruckt. Schließlich wird die gewünschte AR-App bereitgestellt. Diese App ermöglicht die Visualisierung von Patienten-3D-Modellen, die auf einer Smartphone-Kamera in Echtzeit überlagert werden.
Protocol
Representative Results
Discussion
AR birgt großes Potenzial in der Aus- und Weiterbildung und chirurgischen Beratung im medizinischen Bereich. Die Kombination mit 3D-Druck eröffnet neue Möglichkeiten in klinischen Anwendungen. Dieses Protokoll beschreibt eine Methode, die es unerfahrenen Benutzern ermöglicht, eine Smartphone-App zu erstellen, die AR und 3DP kombiniert, um anatomische 3D-Modelle von Patienten mit 3D-gedruckten Referenzmarkern zu visualisierungen.
Im Allgemeinen ist eine der interessantesten klinischen Anwendungen von AR und 3DP, die Kommunikation zwischen Patienten und Ärzten zu verbessern, indem dem Patienten eine andere Perspektive des Falles gegeben wird, indem die Erklärungen zu bestimmten medizinischen Bedingungen oder Behandlungen verbessert werden. Eine weitere mögliche Anwendung beinhaltet chirurgische Leitfäden für die Ziellokalisierung, bei der 3D-gedruckte patientenspezifische Werkzeuge (mit einem Referenz-AR-Marker) auf starren Strukturen (d.h. Knochen) platziert und als Referenz für die Navigation verwendet werden können. Diese Anwendung ist besonders nützlich für orthopädische und kiefer-gesichtschirurgische Eingriffe, bei denen die Knochengewebeoberfläche während der Operation leicht zugänglich ist.
Das Protokoll beginnt mit Abschnitt 1 und beschreibt die Einrichtung von Arbeitsstationen und die erforderlichen Softwaretools. In Abschnitt 2 wird beschrieben, wie Sie die 3D-Slicer-Software verwenden, um Zielanatomien des Patienten einfach von jeder medizinischen Bildgebungsmethode zu segmentieren, um 3D-Modelle zu erhalten. Dieser Schritt ist von entscheidender Bedeutung, da die virtuellen 3D-Modelle, die erstellt wurden, diejenigen sind, die in der endgültigen AR-Anwendung angezeigt werden.
In Abschnitt 3 wird 3D Slicer verwendet, um die im vorherigen Abschnitt erstellten 3D-Modelle mit einer AR-Markierung zu registrieren. Bei diesem Registrierungsverfahren werden Patienten-3D-Modelle effizient und einfach in Bezug auf den AR-Marker positioniert. Die in diesem Abschnitt definierte Position bestimmt die relative Hologrammposition in der endgültigen App. Es wird angenommen, dass diese Lösung die Komplexität reduziert und die möglichen Anwendungen multipliziert. In Abschnitt 3 werden zwei verschiedene Optionen beschrieben, um die räumlichen Beziehungen zwischen den Modellen und AR-Markern zu definieren: “Visualisierung” und “Registrierung”-Modus. Die erste Option, der “Visualisierungsmodus”, ermöglicht es, die 3D-Modelle an einer beliebigen Stelle in Bezug auf den Marker zu positionieren und als gesamtes Biomodell anzuzeigen. Dieser Modus bietet eine realistische 3D-Perspektive der Anatomie des Patienten und ermöglicht das Bewegen und Drehen der Biomodelle durch Bewegen des verfolgten AR-Markers. Die zweite Option, der “Registrierungsmodus”, ermöglicht das Anbringen und Kombinieren eines Markeradapters an jedem Teil des Biomodells und bietet einen automatischen Registrierungsprozess. Mit dieser Option kann ein kleiner Teil des 3D-Modells, einschließlich des Markeradapters, 3D-gedruckt werden, und die App kann den Rest des Modells als Hologramm anzeigen.
Abschnitt 4 enthält Richtlinien für den 3D-Druckprozess. Zunächst kann der Benutzer zwischen zwei verschiedenen Markern wählen: dem “Dual Color Marker” und dem “Sticker Marker”. Der gesamte “Dual-Color-Marker” kann 3D-gedruckt werden, erfordert aber einen Dual-Extruder-3D-Drucker. Falls dieser Drucker nicht verfügbar ist, wird der “Aufklebermarker” vorgeschlagen. Dies ist eine einfachere Markierung, die durch 3D-Druck der kubischen Struktur erhalten werden kann, dann die Bilder des Würfels mit Aufkleber Papier oder Aufkleber Kleber einfügen. Darüber hinaus wurden beide Marker mit erweiterbaren Profilen entworfen, um perfekt in einen bestimmten Adapter zu passen. Somit kann der Marker in mehreren Fällen wiederverwendet werden.
Abschnitt 5 beschreibt den Prozess zum Erstellen eines Unity-Projekts für AR mithilfe des Vuforia-Softwareentwicklungskits. Dieser Schritt mag für Benutzer ohne Programmiererfahrung der schwierigste Teil sein, aber mit diesen Richtlinien sollte es einfacher sein, die endgültige Anwendung zu erhalten, die in Abschnitt 6 vorgestellt wird. Die App zeigt die virtuellen Modelle des Patienten über den Smartphone-Bildschirm an, wenn die Kamera den 3D-gedruckten Marker erkennt. Damit die App den 3D-Marker erkennen kann, sind ein Mindestabstand von ca. 40 cm oder weniger vom Telefon zum Marker sowie gute Lichtverhältnisse erforderlich.
Die endgültige Anwendung dieses Protokolls ermöglicht es dem Benutzer, die spezifischen Biomodelle zu visualisieren und in welchen Positionen zu visualisieren. Addierend kann die App die automatische Patienten-Hologramm-Registrierung mit einem 3D-gedruckten Marker und Adapter durchführen, der am Biomodell befestigt ist. Dies löst die Herausforderung, virtuelle Modelle direkt und bequem bei der Umgebung zu registrieren. Darüber hinaus erfordert diese Methodik keine umfassenden Kenntnisse der medizinischen Bildgebung oder Softwareentwicklung, hängt nicht von komplexer Hardware und teurer Software ab und kann über einen kurzen Zeitraum implementiert werden. Es wird erwartet, dass diese Methode dazu beitragen wird, die Einführung von AR- und 3DP-Technologien durch medizinisches Fachpersonal zu beschleunigen.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Dieser Bericht wurde durch die Projekte PI18/01625 und PI15/02121 (Ministerio de Ciencia, Innovacién y Universidades, Instituto de Salud Carlos III und Europäischer Fonds für regionale Entwicklung “Una manera de hacer Europa”) und IND2018/TIC-9753 (Comunidad de Madrid) unterstützt.
Materials
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) – do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a “one-stop 3D printing lab” for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
