שילוב מציאות רבודה והדפסה 3D כדי להציג מודלים החולה על הטלפון החכם
Summary
הציג כאן היא שיטה לעצב יישום החכם המציאות הרבודה עבור ויזואליזציה של מודלים אנטומיים תלת ממדיים של חולים באמצעות סמן הפניה 3D מודפס.
Abstract
מציאות רבודה (AR) יש פוטנציאל רב בתחום החינוך, ההכשרה וההדרכה הכירורגית בשדה הרפואי. השילוב שלה עם תלת מימדי (3D) הדפסה (3 DP) פותח אפשרויות חדשות ביישומים קליניים. למרות שטכנולוגיות אלה גדלו באופן אקספוננציאלי בשנים האחרונות, האימוץ שלהם על ידי רופאים עדיין מוגבל, שכן הם דורשים ידע נרחב של הנדסה ופיתוח תוכנה. לכן, המטרה של פרוטוקול זה היא לתאר מתודולוגיה צעד אחר צעד המאפשרת למשתמשים לא מנוסים ליצור app smartphone, אשר משלבת AR ו 3DP עבור ויזואליזציה של מודלים אנטומיים תלת-ממדיים של חולים עם סמן 3Dp-הפניה מודפס. הפרוטוקול מתאר כיצד ליצור 3D מודלים וירטואליים של האנטומיה של החולה נגזר תמונות רפואיות 3D. לאחר מכן הוא מסביר כיצד לבצע מיקום של דגמי תלת-ממד ביחס להפניית סמן. מסופקים גם הוראות כיצד 3D להדפיס את הכלים הדרושים ומודלים. לבסוף, צעדים לפריסת האפליקציה מסופקים. הפרוטוקול מבוסס על תוכנה חופשית ומרובת פלטפורמות והוא יכול להיות מיושם על כל הדמיה רפואית מודאלית או חולה. גישה חלופית מתוארת על מנת לספק רישום אוטומטי בין מודל תלת-ממדי שנוצר מהאנטומיה של המטופל לבין הולוגרמות המתוכננות. לדוגמה, מקרה קליני של חולה הסובל מסרקומה של הרגל המרוחק מסופק כדי להמחיש את המתודולוגיה. הוא צפוי כי פרוטוקול זה יהיה להאיץ את אימוץ טכנולוגיות AR ו 3DP על ידי אנשי מקצוע רפואיים.
Introduction
AR ו-3DP הם טכנולוגיות המספקים מספר גדל והולך של יישומים בתחום הרפואי. במקרה של AR, האינטראקציה שלה עם דגמי תלת-ממד וירטואליים והסביבה האמיתית מטבות לרופאים לגבי חינוך והכשרה1,2,3, תקשורת ואינטראקציות עם רופאים אחרים4, והדרכה במהלך התערבויות קליניות5,6,7,8,9,10. כמו כן, 3dp הפך לפתרון רב עוצמה עבור רופאים כאשר פיתוח כלים ספציפיים ללקוח להתאמה אישית11,12,13 או יצירת דגמי תלת-ממד של האנטומיה של החולה, אשר יכול לעזור לשפר את תכנון preאופרטיבית התערבויות קליניות14,15.
הן טכנולוגיות AR ו-3DP לעזור לשפר את האוריינטציה, הדרכה, ומיומנויות מרחבית בהליכים רפואיים; לכן, השילוב שלהם הוא הצעד הלוגי הבא. העבודה הקודמת הוכיחה כי השימוש המשותף שלהם יכול להגדיל את הערך בחינוך החולה16, הקלה על הסברים של מצבים רפואיים הציע טיפול, אופטימיזציה של זרימת עבודה כירורגית17,18 ושיפור מטופל לדגם הרישום19. למרות שטכנולוגיות אלה גדלו באופן אקספוננציאלי בשנים האחרונות, האימוץ שלהם על ידי רופאים עדיין מוגבל, שכן הם דורשים ידע נרחב של הנדסה ופיתוח תוכנה. לכן, מטרת העבודה היא לתאר מתודולוגיה צעד-אחר-צעד המאפשרת שימוש ב-AR ו-3DP על-ידי משתמשים לא מנוסים, ללא צורך בידע טכני רחב.
פרוטוקול זה מתאר כיצד לפתח app החכם AR המאפשר את המרשים של כל מודל 3D מבוסס החולה על סביבת העולם האמיתי באמצעות סמן 3D מודפס מעקב על ידי מצלמת הטלפון החכם. בנוסף, גישה חלופית מתוארת כדי לספק רישום אוטומטי בין 3D מודפס ביודל (כלומר, דגם תלת-ממד שנוצר מתוך האנטומיה של המטופל) ואת הולוגרמות מוקרן. הפרוטוקול המתואר מבוסס לחלוטין על תוכנה חופשית ומרובת פלטפורמות.
בעבודה קודמת, הרישום מטופל לתמונה חושב באופן ידני5 עם אלגוריתמים של זיהוי פני שטח10 או לא זמין2. שיטות אלה נחשבו מוגבלות במקצת כאשר נדרש רישום מדויק19. כדי להתגבר על מגבלות אלה, עבודה זו מספקת כלים לביצוע רישום מדויק ופשוט לתמונה בהליכים AR על ידי שילוב טכנולוגיית AR ו 3DP.
הפרוטוקול הוא גנרי וניתן להחילו על כל הדמיה רפואית או מטופל. כדוגמה, מקרה קליני אמיתי של חולה הסובל סרקומה של הרגל המרוחק מסופק כדי להמחיש את המתודולוגיה. השלב הראשון מתאר כיצד לפלח בקלות את האנטומיה המושפעת מטומוגרפיה ממוחשבת (CT) כדי ליצור מודלים וירטואליים תלת-ממדיים. לאחר מכן, המיקום של דגמי תלת-ממד מבוצע, ולאחר מכן הכלים והמודלים הדרושים הם תלת-ממד מודפסים. לבסוף, יישום AR הרצוי נפרס. יישום זה מאפשר ויזואליזציה של מודלים 3D החולה המצופים במצלמת הטלפון החכם בזמן אמת.
Protocol
Representative Results
Discussion
AR מחזיקה בפוטנציאל רב בחינוך, הכשרה וכירורגי בתחום הרפואי. השילוב עם הדפסה תלת-ממדית עשוי לפתוח אפשרויות חדשות ביישומים קליניים. פרוטוקול זה מתאר מתודולוגיה המאפשרת למשתמשים לא מנוסים ליצור app smartphone המשלב AR ו 3DP עבור ויזואליזציה של מודלים אנטומיים תלת-ממדיים של חולים עם 3Dp-מודפס סמנים הפניה.
באופן כללי, אחד היישומים הקליניים המעניינים ביותר של AR ו-3DP הוא לשפר את התקשורת מטופל לרופא על ידי מתן המטופל פרספקטיבה שונה של המקרה, שיפור הסברים של מצבים רפואיים ספציפיים או טיפולים. יישום אחר אפשרי כולל הדרכה כירורגית ללוקליזציה היעד, שבו מודפס 3D כלים ספציפיים לחולה (עם התייחסות AR סמן מחובר) ניתן להציב על מבנים קשיחים (כלומר, עצם) ומשמש כהפניה לניווט. יישום זה שימושי במיוחד עבור אורתופדיה והליכים כירורגי הפנים, שבו משטח רקמת העצם ניתן לגשת בקלות במהלך הניתוח.
הפרוטוקול מתחיל בסעיף 1, המתאר את כלי הגדרת תחנת העבודה והתוכנה הנחוצים. סעיף 2 מתאר כיצד להשתמש בתוכנה מבצעה תלת-ממד כדי לפלח בקלות את האנטומיות היעד של המטופל מכל הדמיה רפואית מודאליות כדי להשיג דגמי תלת-ממד. שלב זה הוא קריטי, כמו דגמי תלת-ממד וירטואליים שנוצרו הם אלה המוצגים ביישום AR הסופי.
בסעיף 3, האפשרות ‘ פריסה תלת-ממדית ‘ משמשת לרישום דגמי תלת-ממד שנוצרו במקטע הקודם באמצעות סמן AR. במהלך הליך רישום זה, מודלים תלת-ממדיים מטופלים באופן יעיל ופשוט ממוקמים ביחס לסמן AR. המיקום המוגדר בסעיף זה יקבע את המיקום היחסי של ההולוגרמה באפליקציה הסופית. הוא האמין כי פתרון זה מפחית את המורכבות ומכפיל את היישומים האפשריים. סעיף 3 מתאר שתי אפשרויות שונות כדי להגדיר את הקשרים המרחבית בין המודלים ו-AR סמנים: “ויזואליזציה” ו “רישום” מצב. האפשרות הראשונה, “ויזואליזציה” מצב, מאפשר לדגמי תלת-ממד להיות ממוקם בכל מקום ביחס לסמן ומוצג כמו ביואודל כולו. מצב זה מספק מציאותית, 3D פרספקטיבה של האנטומיה של המטופל מאפשר לנוע וסיבוב של ביודלים על ידי הזזת סמן AR מעקב. האפשרות השנייה, “רישום” מצב, מאפשר חיבור ושילוב של מתאם סמן לכל חלק של ביואודל, המציע תהליך ההרשמה אוטומטית. באמצעות אפשרות זו, קטע קטן של דגם תלת-ממד, כולל מתאם סמן, יכול להיות מודפס 3D, והאפליקציה יכולה להציג את שאר הדגם כהולוגרמה.
סעיף 4 מספק קווים מנחים לתהליך הדפסת תלת-ממד. ראשית, המשתמש יכול לבחור בין שני סמנים שונים: “סמן הצבע הכפול” ו “סמן מדבקה”. כל “סמן צבע כפול” יכול להיות 3D-מודפס, אך דורש מדפסת תלת-ממד כפול מכבש. במקרה שמדפסת זו אינה זמינה, מוצע “סמן המדבקה”. זהו סמן פשוט שניתן להשיג על ידי 3D-הדפסת מבנה מעוקב, ולאחר מכן הדבקת תמונות של הקוביה עם נייר מדבקה או דבק מדבקה. יתר על כן, שני סמנים עוצבו עם מקטעים הניתן להרחבה כדי להתאים באופן מושלם במתאם ספציפי. לפיכך, ניתן לעשות שימוש חוזר בסמן במספר מקרים.
סעיף 5 מתאר את התהליך ליצירת פרויקט אחדות עבור AR באמצעות ערכת הפיתוח של התוכנה Vuforia. שלב זה עשוי להיות החלק הקשה ביותר עבור משתמשים ללא ניסיון תיכנות, אך עם הנחיות אלה, זה צריך להיות קל יותר להשיג את היישום הסופי המוצג בסעיף 6. האפליקציה מציגה מודלים וירטואליים של המטופל מעל מסך הטלפון החכם כאשר המצלמה מזהה את הסמן 3D-מודפס. כדי app לזהות את סמן 3D, מרחק מינימלי של כ 40 ס”מ או פחות מהטלפון אל הסמן, כמו גם תנאי תאורה טובים נדרשים.
היישום הסופי של פרוטוקול זה מאפשר למשתמש לבחור את הסמנים הספציפיים כדי להמחיש ובאילו תנוחות. עם זאת, האפליקציה יכולה לבצע רישום אוטומטי הולוגרמה המטופל באמצעות סמן 3D מודפס ומתאם מצורף ביואודל. זה פותר את האתגר של רישום מודלים וירטואליים עם הסביבה באופן ישיר ונוח. יתרה מזאת, מתודולוגיה זו אינה דורשת ידע נרחב על הדמיה או פיתוח תוכנה רפואית, אינה תלויה בחומרה מורכבת ובתוכנה יקרה, וניתן ליישם אותה במשך זמן קצר. הוא צפוי כי שיטה זו תסייע להאיץ אימוץ של טכנולוגיות AR ו 3DP על ידי אנשי מקצוע רפואיים.
Disclosures
The authors have nothing to disclose.
Acknowledgements
דו ח זה נתמך על ידי פרויקטים PI18/01625 ו PI15/02121 (Ministerio de ciencia, חדשנות האוניברסיטה, המכון דה salud קרלוס השלישי והאירופי לפיתוח אזורי הקרן “אונה סון נרה דה האג”) ו IND2018/טיק-9753 (comunidad דה מדריד).
Materials
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) – do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a “one-stop 3D printing lab” for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
