Burada sunulan bir 3D baskılı referans belirteci kullanarak hastaların anatomik üç boyutlu modellerinin görselleştirilmesi için bir artırılmış gerçeklik akıllı telefon uygulaması tasarlamak için bir yöntemdir.
Artırılmış gerçeklik (AR) eğitim, eğitim ve tıp alanında cerrahi rehberlik büyük bir potansiyele sahiptir. Üç boyutlu (3D) baskı (3DP) ile birleşimi klinik uygulamalarda yeni olanaklar sunar. Bu teknolojiler son yıllarda katlanarak büyümüş olsa da, mühendislik ve yazılım geliştirme konusunda geniş bilgi gerektirdiğinden, hekimler tarafından benimsenmeleri hala sınırlıdır. Bu nedenle, bu protokolün amacı, deneyimsiz kullanıcıların 3D baskılı referans işaretçisi ile hastaların anatomik 3D modellerinin görselleştirilmesi için AR ve 3DP’yi birleştiren bir akıllı telefon uygulaması oluşturmalarını sağlayan adım adım bir metodolojiyi tanımlamaktır. Protokol, bir hastanın anatomisinin 3Boyutlu tıbbi görüntülerden türetilen 3Boyutlu sanal modellerinin nasıl oluşturulacak olduğunu açıklar. Daha sonra işaretleyici referansları ile ilgili olarak 3B modellerin konumlandırma nasıl gerçekleştirilip açıklanır. Ayrıca, gerekli araçları ve modelleri 3B yazdırmak için talimatlar da sağlanır. Son olarak, uygulamayı dağıtmak için adımlar sağlanır. Protokol ücretsiz ve çok platformlu yazılımlara dayanmaktadır ve herhangi bir tıbbi görüntüleme yöntemine veya hastaya uygulanabilir. Alternatif bir yaklaşım bir hastanın anatomisinden oluşturulan 3D baskılı model ve öngörülen hologramlar arasında otomatik kayıt sağlamak için açıklanmıştır. Örnek olarak, distal bacak sarkomu muzdarip bir hastanın klinik bir olgu metodolojigöstermek için sağlanmaktadır. Bu protokolün AR ve 3DP teknolojilerinin tıp uzmanları tarafından benimsenmesini hızlandırması beklenmektedir.
AR ve 3DP tıp alanında giderek artan sayıda uygulama sağlayan teknolojilerdir. AR durumunda, sanal 3D modelleri ve gerçek çevre ile etkileşimi eğitim ve öğretim açısından hekimlerin yararları1,2,3, iletişim ve diğer hekimler ileetkileşimler 4, ve rehberlik sırasında klinik müdahaleler5,6,7,8,9,10. Aynı şekilde, 3DP hastaya özgü özelleştirilebilir araçlar geliştirirken hekimler için güçlü bir çözüm haline gelmiştir11,12,13 veya bir hastanın anatomisi 3D modelleri oluştururken, hangi preoperatif planlama ve klinik müdahaleler geliştirmeye yardımcı olabilir14,15.
Hem AR hem de 3DP teknolojileri tıbbi prosedürlerde oryantasyon, rehberlik ve mekansal becerileri geliştirmeye yardımcı olur; böylece, onların kombinasyonu sonraki mantıksal adımdır. Önceki çalışmalar, eklem kullanımı nın hasta eğitiminde değeri artırabileceğini göstermiştir16, tıbbi durumların ve önerilen tedavinin açıklamalarını kolaylaştırarak, cerrahi iş akışını optimize ederek17,18 ve hastadan modele kaydını iyileştirmek19. Bu teknolojiler son yıllarda katlanarak büyümüş olsa da, mühendislik ve yazılım geliştirme konusunda geniş bilgi gerektirdiğinden, hekimler tarafından benimsenmeleri hala sınırlıdır. Bu nedenle, bu çalışmanın amacı geniş teknik bilgiye gerek kalmadan deneyimsiz kullanıcılar tarafından AR ve 3DP kullanımını sağlayan bir adım-adım metodoloji tanımlamaktır.
Bu protokol, akıllı telefon kamerası tarafından izlenen 3D baskılı bir işaretçi kullanarak herhangi bir hasta tabanlı 3D modelin gerçek dünya ortamına üst üste bindirilen bir AR akıllı telefon uygulamasının nasıl geliştirilebildiğini açıklar. Buna ek olarak, alternatif bir yaklaşım 3D baskılı biyomodel (yani, bir hastanın anatomisinden oluşturulan bir 3D model) ve öngörülen hologramlar arasında otomatik kayıt sağlamak için açıklanmıştır. Açıklanan protokol tamamen ücretsiz ve çok platformlu yazılıma dayanmaktadır.
Önceki çalışmada, AR hasta-görüntü kaydı el ile hesaplandı5 yüzey tanıma algoritmaları ile10 veya kullanılamaz olmuştur2. Bu yöntemler, doğru bir kayıt19gerekli olduğunda biraz sınırlı olarak kabul edilmiştir. Bu sınırlamaları aşmak için, bu çalışma AR teknolojisi ve 3DP birleştirerek AR prosedürleri doğru ve basit hasta-görüntü kayıt gerçekleştirmek için araçlar sağlar.
Protokol geneldir ve herhangi bir tıbbi görüntüleme yöntemi ne de hastaya uygulanabilir. Örnek olarak, distal bacak sarkomu muzdarip bir hastanın gerçek bir klinik durumda metodolojigöstermek için sağlanmaktadır. İlk adım, etkilenen anatominin bilgisayarlı tomografi (BT) tıbbi görüntülerinden 3D sanal modeller oluşturmak için kolayca nasıl segmente edilebildiğini açıklar. Daha sonra, 3B modellerin konumlandırılması gerçekleştirilir, daha sonra gerekli araçlar ve modeller 3D baskılı. Son olarak, istenilen AR uygulaması dağıtılır. Bu uygulama gerçek zamanlı olarak bir akıllı telefon kamerası üzerine kaplanmış hasta 3D modellerin görselleştirme sağlar.
AR, tıp alanında eğitim, öğretim ve cerrahi rehberlik alanlarında büyük bir potansiyele sahiptir. 3D baskı açıkları ile birleşimi klinik uygulamalarda yeni olanaklar açabilir. Bu protokol, deneyimsiz kullanıcıların 3D baskılı referans belirteçleri olan hastaların anatomik 3D modellerinin görselleştirilmesi için AR ve 3DP’yi birleştiren bir akıllı telefon uygulaması oluşturmalarına olanak tanıyan bir metodolojiyi açıklar.
Genel olarak, AR ve 3DP’nin en ilginç klinik uygulamalarından biri, hastaya vakaya farklı bir bakış açısı vererek, belirli tıbbi durum veya tedavilerin açıklamalarını geliştirerek hasta-hekim iletişimini geliştirmektir. Başka bir olası uygulama, 3D baskılı hastaya özgü aletlerin (referans AR işaretleyicisi takılı) sert yapılara (örn. kemik) yerleştirilebildiği ve navigasyon için referans olarak kullanılabildiği hedef lokalizasyonu için cerrahi kılavuzluk içerir. Bu uygulama özellikle ameliyat sırasında kemik dokusu yüzeyine kolayca erişilebilen ortopedik ve maksillofasiyal cerrahi işlemler için yararlıdır.
Protokol, iş istasyonu kurulumu ve gerekli yazılım araçlarını açıklayan bölüm 1 ile başlar. Bölüm 2, 3D modeller elde etmek için herhangi bir tıbbi görüntüleme yönteminden hastanın hedef atomlarını kolayca segmente etmek için 3D Slicer yazılımının nasıl kullanılacağını açıklar. Oluşturulan sanal 3D modeller son AR uygulamasında görüntülenen olduğundan, bu adım çok önemlidir.
Bölüm 3’te, 3B Dilimleyici önceki bölümde oluşturulan 3B modelleri ar işaretçisiyle kaydetmek için kullanılır. Bu kayıt işlemi sırasında, hasta 3D modelleri verimli ve sadece AR marker ile ilgili olarak konumlandırılmış. Bu bölümde tanımlanan konum, son uygulamadaki hologram göreli konumunu belirler. Bu çözümün karmaşıklığı azalttığına ve olası uygulamaları çoğalttığına inanılmaktadır. Bölüm 3, modeller ve AR işaretçileri arasındaki uzamsal ilişkileri tanımlamak için iki farklı seçenek açıklar: “görselleştirme” ve “kayıt” modu. İlk seçenek, “görselleştirme” modu, 3D modellerin işaretçiye göre herhangi bir yere konumlandırılmasını ve tüm biyomodel olarak görüntülenmesini sağlar. Bu mod hastanın anatomisinin gerçekçi, 3Boyutlu bir perspektifini sağlar ve izlenen AR işaretleyicisini hareket ettirerek biyomodellerin hareket ettirilmesine ve döndürülmesine olanak tanır. İkinci seçenek, “kayıt” modu, otomatik bir kayıt işlemi sunan, biyomodel herhangi bir bölümüne bir işaretadaptörü eki ve birleştirme sağlar. Bu seçenekle, işaretleyici adaptörü de dahil olmak üzere 3B modelin küçük bir bölümü 3D yazdırılabilir ve uygulama modelin geri kalanını hologram olarak görüntüleyebilir.
Bölüm 4, 3B yazdırma işlemi için yönergeler sağlar. İlk olarak, kullanıcı iki farklı işaretçi arasında seçim yapabilir: “çift renk işaretçisi” ve “etiket işaretçisi”. Tüm “çift renk işaretçisi” 3D baskılı olabilir, ancak çift ekstrüder 3D yazıcı gerektirir. Bu yazıcının kullanılamaması durumunda, “etiket işaretçisi” önerilir. Bu, kübik yapının 3D baskısı yla elde edilebilen, daha sonra küpün görüntülerini etiket kağıdı veya etiket tutkalı ile yapıştırarak elde edilebilen daha basit bir işarettir. Ayrıca, her iki belirteç de belirli bir adaptöre mükemmel bir şekilde sığacak şekilde genişletilebilir kesitlerle tasarlanmıştır. Böylece, işaretçi birkaç durumda yeniden kullanılabilir.
Bölüm 5, Vuforia yazılım geliştirme kitini kullanarak AR için bir Birlik projesi oluşturma sürecini açıklar. Bu adım, programlama deneyimi olmayan kullanıcılar için en zor bölüm olabilir, ancak bu yönergelerle, bölüm 6’da sunulan son uygulamayı elde etmek daha kolay olmalıdır. Kamera 3D baskılı işaretleyiciyi tanıdığında uygulama hastanın sanal modellerini akıllı telefon ekranında görüntüler. Uygulamanın 3D işaretleyiciyi tespit edebilmesi için, telefondan işaretçiye en az 40 cm veya daha az mesafenin yanı sıra iyi aydınlatma koşulları gereklidir.
Bu protokolün son uygulaması, kullanıcının görselleştirmek için belirli biyomodelleri ve hangi konumlarda seçmesini sağlar. Ek olarak, uygulama biyomodele bağlı 3D baskılı işaretçi ve adaptör kullanarak otomatik hasta-hologram kaydı gerçekleştirebilir. Bu, sanal modelleri çevreye doğrudan ve uygun bir şekilde kaydetme sorununu çözer. Ayrıca, bu metodoloji tıbbi görüntüleme veya yazılım geliştirme geniş bilgi gerektirmez, karmaşık donanım ve pahalı yazılım bağlı değildir ve kısa bir süre içinde uygulanabilir. Bu yöntemin ar ve 3DP teknolojilerinin tıp uzmanları tarafından benimsenmesini hızlandırmaya yardımcı olması beklenmektedir.
The authors have nothing to disclose.
Bu rapor PI18/01625 ve PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III ve Avrupa Bölgesel Kalkınma Fonu “Una manera de hacer Europa”) ve IND2018/TIC-9753 (Comunidad de Madrid) projeleri tarafından desteklenmiştir.
3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |