الجمع بين الواقع المعزز والطباعة ثلاثية الابعاد لعرض نماذج المريض علي الهاتف الذكي
Summary
تقدم هنا طريقه لتصميم تطبيق الهاتف الذكي الواقع المعزز لتصور النماذج ثلاثية الابعاد التشريحية للمرضي باستخدام علامة مرجعيه مطبوعه بالابعاد الثلاثية.
Abstract
الواقع المعزز لديه إمكانات كبيره في التعليم والتدريب والتوجيه الجراحي في المجال الطبي. ان الجمع بين الطباعة ثلاثية الابعاد (3D) يفتح إمكانيات جديده في التطبيقات السريرية. وعلي الرغم من ان هذه التكنولوجيات قد نمت باطراد في السنوات الاخيره ، فان اعتمادها من قبل الأطباء لا يزال محدودا ، لأنها تتطلب معرفه واسعه بتطوير الهندسة والبرمجيات. ولذلك ، فان الغرض من هذا البروتوكول هو وصف منهجيه خطوه بخطوه تمكين المستخدمين عديمي الخبرة لإنشاء التطبيق الهاتف الذكي ، والذي يجمع بين AR و 3DP لتصور نماذج 3Dp التشريحية من المرضي الذين يعانون من علامة مرجعيه المطبوعة 3Dp. يصف البروتوكول كيفيه إنشاء نماذج افتراضيه ثلاثية الابعاد لتشريح المريض المستمدة من الصور الطبية ثلاثية الابعاد. ثم يشرح كيفيه اجراء تحديد موضع النماذج الثلاثية الابعاد فيما يتعلق بمراجع العلامات. كما قدمت تعليمات لكيفيه 3D طباعه الاداات والنماذج المطلوبة. وأخيرا ، يتم توفير خطوات لنشر التطبيق. ويستند البروتوكول علي البرمجيات الحرة ومتعددة منصة ويمكن تطبيقها علي اي طريقه التصوير الطبي أو المريض. يتم وصف نهج بديل لتوفير التسجيل التلقائي بين نموذج المطبوعة 3D التي تم إنشاؤها من تشريح المريض والصور المجسمة المتوقعة. علي سبيل المثال ، يتم توفير حاله سريريه للمريض الذي يعاني من ساركوما الساق البعيدة لتوضيح المنهجية. ومن المتوقع ان يعجل هذا البروتوكول باعتماد تكنولوجيات القطاع الخاص والتكنولوجيا الثلاثية من قبل المهنيين الطبيين.
Introduction
AR و 3DP هي التقنيات التي توفر اعداد متزايدة من التطبيقات في المجال الطبي. في حاله AR, تفاعلها مع نماذج 3d الظاهري والبيئة الحقيقية فوائد الأطباء في ما يتعلق التعليم والتدريب1,2,3, الاتصالات والتفاعلات مع الأطباء الآخرين4, والتوجيه خلال التدخلات السريرية5,6,7,8,9,10. المثل ، أصبح 3dp حلا قويا للأطباء عند تطوير أدوات قابله للتخصيص خاصه بالمريض11،12،13 أو إنشاء نماذج ثلاثية الابعاد لتشريح المريض ، والتي يمكن ان تساعد في تحسين التخطيط قبل الجراحة والتدخلات السريرية14،15.
وتساعد تكنولوجيات الدعم التقني والتقنيات الثلاثية علي تحسين التوجيه والإرشاد والمهارات المكانية في الإجراءات الطبية ؛ التالي ، فان الجمع بينهما هو الخطوة المنطقية التالية. وقد أظهرت الاعمال السابقة ان استخدامها المشترك يمكن ان تزيد من قيمه في تعليم المرضي16، وتسهيل تفسيرات الظروف الطبية والعلاج المقترح ، وتحسين سير العمل الجراحي17،18 وتطوير المريض إلى نموذج التسجيل19. وعلي الرغم من ان هذه التكنولوجيات قد نمت باطراد في السنوات الاخيره ، فان اعتمادها من قبل الأطباء لا يزال محدودا ، لأنها تتطلب معرفه واسعه بتطوير الهندسة والبرمجيات. ولذلك ، فان الغرض من هذا العمل هو وصف منهجيه خطوه بخطوه تمكن المستخدمين غير المتمرسين من استخدام التكنولوجيا الشاملة والثلاثية الابعاد دون الحاجة إلى معرفه تقنيه واسعه.
يصف هذا البروتوكول كيفيه تطوير تطبيق الهاتف الذكي AR الذي يسمح بفرض اي نموذج ثلاثي الابعاد يستند إلى المريض علي بيئة العالم الحقيقي باستخدام علامة مطبوعه ثلاثية الابعاد تتبعها كاميرا الهاتف الذكي. الاضافه إلى ذلك ، يوصف نهج بديل لتوفير التسجيل التلقائي بين العلامات البيولوجية المطبوعة ثلاثية الابعاد (اي نموذج ثلاثي الابعاد تم إنشاؤه من تشريح المريض) والصور المجسمة المسقطة. ويستند البروتوكول الموصوف بالبالكامل إلى برامج مجانية ومتعددة المنصات.
في العمل السابق ، تم حساب تسجيل المريض إلى صوره يدويا5 مع خوارزميات التعرف علي السطح10 أو غير متوفر2. وقد اعتبرت هذه الأساليب محدوده نوعا ما عندما يشترط التسجيل الدقيق19. للتغلب علي هذه القيود ، وهذا العمل يوفر أدوات لأداء دقيقه وبسيطه المريض إلى صوره التسجيل في إجراءات AR من خلال الجمع بين التكنولوجيا AR و 3DP.
البروتوكول هو عام ويمكن تطبيقه علي اي طريقه التصوير الطبي أو المريض. علي سبيل المثال ، يتم توفير حاله سريريه حقيقية للمريض الذي يعاني من ساركوما الساق البعيدة لتوضيح المنهجية. توضح الخطوة الاولي كيفيه تقسيم التشريح المصاب بسهوله من الصور الطبية المقطعية (CT) لإنشاء نماذج افتراضيه ثلاثية الابعاد. بعد ذلك ، يتم تنفيذ تحديد المواقع من النماذج 3D ، ثم الاداات والنماذج المطلوبة هي 3D المطبوعة. وأخيرا ، يتم نشر التطبيق AR المطلوب. هذا التطبيق يسمح لتصور نماذج 3D المريض مضافه علي كاميرا الهاتف الذكي في الوقت الحقيقي.
Protocol
Representative Results
Discussion
تمتلك المستشفى إمكانات كبيره في التعليم والتدريب والتوجيه الجراحي في المجال الطبي. ان الجمع بين الطباعة الثلاثية الابعاد يفتح احتمالات جديده في التطبيقات السريرية. يصف هذا البروتوكول منهجيه تمكن المستخدمين عديمي الخبرة من إنشاء تطبيق الهاتف الذكي الذي يجمع بين AR و 3DP لتصور نماذج ثلاثية الابعاد تشريحيه للمرضي الذين لديهم علامات مرجعيه مطبوعه ثلاثية الابعاد.
بشكل عام ، واحده من التطبيقات السريرية الأكثر أثاره للاهتمام من AR و 3DP هو تحسين التواصل بين المريض والطبيب من خلال إعطاء المريض وجهه نظر مختلفه من الحالة ، وتحسين تفسيرات الحالات الطبية المحددة أو العلاجات. ويشمل تطبيق آخر ممكن التوجيه الجراحي لتوطين الهدف ، حيث يمكن وضع الاداات الخاصة بالمريض المطبوعة ثلاثية الابعاد (مع علامة AR المرجعية المرفقة) علي الهياكل الجامدة (اي العظام) وتستخدم كمرجع للملاحة. هذا التطبيق مفيد بشكل خاص لجراحات العظام والوجه والفكين ، حيث يتم الوصول إلى سطح الانسجه العظمية بسهوله خلال العملية الجراحية.
يبدا البروتوكول بالقسم 1 ، واصفا اعداد محطه العمل وأداات البرامج اللازمة. يصف القسم 2 كيفيه استخدام برنامج تقطيع اللحم ثلاثي الابعاد بسهوله لتقسيم التشريح المستهدف للمريض من اي طريقه تصوير طبية للحصول علي نماذج ثلاثية الابعاد. هذه الخطوة حاسمه ، كما نماذج 3D الظاهرية التي تم إنشاؤها هي تلك المعروضة في التطبيق AR النهائي.
في القسم 3 ، يتم استخدام تقطيع اللحم ثلاثي الابعاد لتسجيل النماذج الثلاثية الابعاد التي تم إنشاؤها في القسم السابق بعلامة AR. خلال هذا الاجراء التسجيل ، ونماذج 3D المريض بكفاءة وببساطه وضعها فيما يتعلق علامة AR. سيحدد الموضع المحدد في هذا القسم الموضع النسبي ثلاثي الابعاد في التطبيق النهائي. ويعتقد ان هذا الحل يقلل من التعقيد ويضاعف التطبيقات الممكنة. يصف القسم 3 خيارين مختلفين لتعريف العلاقات المكانية بين النماذج وعلامات AR: “التصور” ووضع “التسجيل”. الخيار الأول ، “التصور” الوضع ، يسمح للنماذج 3D ان توضع في اي مكان فيما يتعلق العلامة وعرضها ككل الحيوية. يوفر هذا الوضع منظورا واقعيا ثلاثي الابعاد لتشريح المريض ويسمح بتحريك وتدوير المؤشرات الحيوية عن طريق تحريك علامة AR المتعقبة. الخيار الثاني ، “تسجيل” الوضع ، يسمح التعلق والجمع بين محول علامة إلى اي جزء من الحيوية ، وتقديم عمليه التسجيل التلقائي. مع هذا الخيار ، يمكن ان يكون قسم صغير من النموذج 3D ، بما في ذلك محول علامة ، 3D المطبوعة ، والتطبيق يمكن عرض بقية النموذج كما الهولوغرام.
ويقدم القسم 4 مبادئ توجيهيه لعمليه الطباعة ثلاثية الابعاد. أولا ، يمكن للمستخدم الاختيار بين علامتين مختلفتين: “علامة اللون المزدوج” و “علامة الملصق”. كل “علامة اللون المزدوج” يمكن ان تكون 3D المطبوعة ولكن يتطلب طابعه مزدوجة 3D الطارد. في حاله عدم توفر هذه الطابعة ، يتم اقتراح “علامة الملصق”. هذا هو علامة ابسط التي يمكن الحصول عليها من قبل 3D-طباعه هيكل مكعب ، ثم لصق الصور من المكعب مع ورقه لاصقه أو ملصقا الغراء. وعلاوة علي ذلك ، تم تصميم كل من علامات مع المقاطع القابلة للتوسيع لتناسب تماما في محول معين. التالي ، يمكن أعاده استخدامها علامة في عده حالات.
يصف القسم 5 عمليه إنشاء مشروع وحده لل AR باستخدام مجموعه أدوات تطوير البرمجيات Vuforia. وقد تكون هذه الخطوة هي الجزء الأصعب بالنسبة للمستخدمين الذين ليس لديهم خبره في البرمجة ، ولكن مع هذه المبادئ التوجيهية ، ينبغي ان يكون من الأسهل الحصول علي الطلب النهائي المقدم في القسم 6. يعرض التطبيق النماذج الظاهرية للمريض عبر شاشه الهاتف الذكي عندما تتعرف الكاميرا علي العلامة المطبوعة بالابعاد الثلاثية. من أجل التطبيق للكشف عن علامة 3D ، والمسافة الدنيا من حوالي 40 سم أو اقل من الهاتف إلى علامة ، فضلا عن ظروف الاضاءه الجيدة مطلوبه.
التطبيق النهائي لهذا البروتوكول يسمح للمستخدم باختيار العلامات الحيوية المحددة لتصور وفي اي المواقف. أدتيونالي ، يمكن للتطبيق اجراء التسجيل التلقائي المريض-الهولوغرام باستخدام علامة 3D المطبوعة ومحول تعلق علي الحيوية. وهذا يحل التحدي المتمثل في تسجيل النماذج الظاهرية مع البيئة بطريقه مباشره ومريحه. وعلاوة علي ذلك ، فان هذه المنهجية لا تتطلب معرفه واسعه بالتصوير الطبي أو تطوير البرمجيات ، ولا تعتمد علي المعدات المعقدة والبرمجيات المكلفة ، ويمكن تنفيذها علي مدي فتره زمنيه قصيرة. ومن المتوقع ان تساعد هذه الطريقة في التعجيل باعتماد تقنيات القطاع الخاص والتكنولوجيا الثلاثية من قبل المهنيين الطبيين.
Disclosures
The authors have nothing to disclose.
Acknowledgements
وحظي هذا التقرير بدعم من المشروعين PI18/01625 و PI15/02121 (وزاره المالية والابتكار واليقع ومعهد الصليب كارلوس الثالث والصندوق الأوروبي للتنمية الاقليميه “Una manera de هاجر Europa”) والIND2018/TIC 9753 (اتحاد مدريد).
Materials
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -. M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) – do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a “one-stop 3D printing lab” for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
