Multimodal Cross-Device and Marker-Free Co-Registration of Preclinical Imaging Modalities

Mirko Thamm; Justin J. Jeffery; Yapei Zhang; Bryan R. Smith; Stephen Marchant; Fabian Kiessling; Felix Gremse

doi:10.3791/65701

JoVE Journal > Bioengineering

Please note that all translations are automatically generated. Click here for the English version.

Bioengineering

Multimodale cross-device en markervrije co-registratie van preklinische beeldvormingsmodaliteiten

Published: October 27, 2023

doi:

10.3791/65701

Mirko Thamm^1,2, Justin J. Jeffery³, Yapei Zhang⁴, Bryan R. Smith⁴, Stephen Marchant⁵, Fabian Kiessling^1,6, Felix Gremse^1,2

¹Institute for Experimental Molecular Imaging,RWTH Aachen University, ²Gremse-IT GmbH, ³Carbone Cancer Center,University of Wisconsin, ⁴Department of Biomedical Engineering and Institute for Quantitative Health Science and Engineering,Michigan State University, ⁵MediLumine Inc., ⁶Fraunhofer Institute for Digital Medicine MEVIS

Summary

De combinatie van meerdere beeldvormingsmodaliteiten is vaak nodig om een uitgebreid begrip van de pathofysiologie te krijgen. Deze benadering maakt gebruik van fantomen om een differentiële transformatie tussen de coördinatensystemen van twee modaliteiten te genereren, die vervolgens wordt toegepast voor co-registratie. Deze methode elimineert de noodzaak van fiducials in productiescans.

Abstract

Geïntegreerde preklinische multimodale beeldvormingssystemen, zoals röntgencomputertomografie (CT) in combinatie met positronemissietomografie (PET) of magnetische resonantiebeeldvorming (MRI) in combinatie met PET, zijn op grote schaal beschikbaar en leveren doorgaans robuust co-geregistreerde volumes. Er zijn echter vaak aparte apparaten nodig om een op zichzelf staande MRI te combineren met een bestaande PET-CT of om aanvullende gegevens van optische tomografie of röntgenmicrotomografie met hoge resolutie op te nemen. Dit vereist co-registratie van afbeeldingen, waarbij complexe aspecten betrokken zijn, zoals multimodaal muizenbedontwerp, opname van fiduciale markers, beeldreconstructie en op software gebaseerde beeldfusie. Fiduciale markers vormen vaak problemen voor in vivo gegevens vanwege problemen met het dynamisch bereik, beperkingen van het beeldvormingsveld, problemen bij het plaatsen van markers of verlies van markersignaal in de loop van de tijd (bijv. door drogen of verval). Deze uitdagingen moeten worden begrepen en aangepakt door elke onderzoeksgroep die co-registratie van afbeeldingen vereist, wat resulteert in herhaalde inspanningen, aangezien de relevante details zelden worden beschreven in bestaande publicaties.

Dit protocol schetst een algemene workflow die deze problemen oplost. Hoewel een differentiële transformatie in eerste instantie wordt gemaakt met behulp van fiduciale markers of visuele structuren, zijn dergelijke markers niet vereist in productiescans. De vereisten voor de volumegegevens en de metadata die door de reconstructiesoftware worden gegenereerd, zijn gedetailleerd. De discussie gaat over het behalen en verifiëren van vereisten voor elke modaliteit afzonderlijk. Een op fantoom gebaseerde benadering wordt beschreven om een differentiële transformatie te genereren tussen de coördinatensystemen van twee beeldvormingsmodaliteiten. Deze methode laat zien hoe je productiescans kunt co-registreren zonder fiducial markers. Elke stap wordt geïllustreerd met behulp van beschikbare software, met aanbevelingen voor in de handel verkrijgbare fantomen. De haalbaarheid van deze aanpak met verschillende combinaties van beeldvormingsmodaliteiten die op verschillende locaties zijn geïnstalleerd, wordt getoond.

Introduction

Verschillende modaliteiten voor preklinische beeldvorming hebben duidelijke voor- en nadelen. Röntgencomputertomografie (CT) is bijvoorbeeld zeer geschikt voor het onderzoeken van anatomische structuren met verschillende radiodichtheden, zoals botten en longen. Het wordt veel gebruikt vanwege de hoge acquisitiesnelheid, hoge driedimensionale resolutie, relatief gemak van beeldbeoordeling en veelzijdigheid met of zonder contrastmiddelen ^1,2,3. Magnetische resonantiebeeldvorming (MRI) biedt het meest veelzijdige contrast van zacht weefsel zonder ioniserende straling⁴. Aan de andere kant zijn op tracers gebaseerde modaliteiten zoals positronemissietomografie (PET), computertomografie met enkelvoudige fotonemissie (SPECT), fluorescentie-gemedieerde tomografie (FMT) en magnetische deeltjesbeeldvorming (MPI) gevestigde hulpmiddelen voor het kwantitatief beoordelen van moleculaire processen, metabolisme en de biodistributie van radioactief gelabelde diagnostische of therapeutische verbindingen met hoge gevoeligheid. Ze missen echter resolutie en anatomische informatie ^5,6. Daarom worden meer anatomie-georiënteerde modaliteiten meestal gecombineerd met zeer gevoelige modaliteiten die hun kracht hebben in tracerdetectie⁷. Deze combinaties maken het mogelijk om de concentraties van tracers binnen een specifiek interessegebied te kwantificeren ^8,9. Voor gecombineerde beeldvormingsapparaten is modaliteit co-registratie meestal een ingebouwde functie. Het is echter ook nuttig om scans van verschillende apparaten mee te registreren, bijvoorbeeld als de apparaten afzonderlijk zijn aangeschaft of als er geen hybride apparaat beschikbaar is.

Dit artikel richt zich op cross-modale fusie in beeldvorming van kleine dieren, wat essentieel is voor fundamenteel onderzoek en de ontwikkeling van geneesmiddelen. Een eerdere studie¹⁰ wijst erop dat dit kan worden bereikt met functieherkenning, contourmapping of fiducials markers (fiducials). Fiducials zijn referentiepunten voor het nauwkeurig uitlijnen en correleren van beelden van verschillende beeldvormingsmodaliteiten. In speciale gevallen kunnen fiducials zelfs stippen Chinese inkt op de huid van naakte muizen zijn¹¹; Vaak wordt echter een beeldvormingscartridge met ingebouwde fiduciale markeringen gebruikt. Hoewel dit een robuuste en goed ontwikkelde methode¹⁰ is, levert het gebruik ervan voor elke scan praktische problemen op. MRI-detecteerbare fiducials zijn vaak op vloeistofbasis en hebben de neiging om tijdens opslag uit te drogen. PET vereist radioactieve markers, waarvan het signaal vervalt volgens de halfwaardetijd van de zender, die meestal kort is voor biomedische toepassingen, waardoor voorbereiding kort voor de scan nodig is. Andere zaken, zoals de mismatch in het dynamisch bereik van het signaal van de fiduciale marker en het onderzochte object, hebben een sterke invloed op in vivo beeldvorming. Het brede scala aan dynamisch contrast vereist een frequente aanpassing van de signaalsterkte van de markering aan het te onderzoeken object. Hoewel een zwak markeringssignaal mogelijk niet wordt gedetecteerd in de analyse, kan een sterk markeringssignaal artefacten veroorzaken die de beeldkwaliteit aantasten. Om de markeringen consequent op te nemen, moet het gezichtsveld bovendien onnodig groot zijn voor veel toepassingen, wat mogelijk kan leiden tot een hogere blootstelling aan straling, grotere gegevensvolumes, langere scantijden en, in sommige gevallen, een lagere resolutie. Dit kan gevolgen hebben voor de gezondheid van proefdieren en de kwaliteit van de gegenereerde gegevens.

Transformatie en differentiële transformatie
Een afbeeldingsdataset bestaat uit voxelgegevens en metagegevens. Elke voxel is gekoppeld aan een intensiteitswaarde (Figuur 1A). De metadata bevatten een transformatie die de plaatsing van de dataset in het coördinatensysteem van het beeldvormingsapparaat specificeert (Figuur 1B) en de voxelgrootte die wordt gebruikt om het coördinatensysteem te schalen. Aanvullende informatie, zoals het apparaattype of de scandatum, kan optioneel worden opgeslagen in de metagegevens. De genoemde transformatie wordt wiskundig een transformatie van het stijve lichaam genoemd. Stijve lichaamstransformaties worden gebruikt om de oriëntatie of positie van objecten in een afbeelding of geometrische ruimte te veranderen met behoud van de afstand tussen elk paar punten, wat betekent dat het getransformeerde object zijn grootte en vorm behoudt terwijl het wordt geroteerd en vertaald in de ruimte. Elke reeks van dergelijke transformaties kan worden beschreven als een enkele transformatie bestaande uit een rotatie gevolgd door een translatie. De formule die door de software wordt gebruikt om van de gegevenscoördinaat naar de metrische doelcoördinaat te gaan, wordt weergegeven in figuur 1C, waarbij R een orthonormale rotatiematrix is, d en v voxelindices en -groottes zijn, en t een 3 x 1 translatievector¹² is. De rotatie is gedetailleerd in figuur 1D.

Figuur 1: 2D-weergave van de structuur en plaatsing van een afbeeldingsdataset in een globaal coördinatensysteem. (A) Een afbeeldingsdataset bestaat uit voxelgegevens en metadata. De transformatie die de plaatsing en voxelgrootte specificeert, zijn essentiële metadatacomponenten. (B) Het beeld wordt weergegeven in het coördinatensysteem van het apparaat. De noodzakelijke transformatie om het object te plaatsen bestaat uit een rotatie (blauw) gevolgd door een translatie (groen). (C) Om van de gegevenscoördinaat naar de doelcoördinaat te gaan, gebruikt de software deze formule waarbij R een orthonormale rotatiematrix is, d en v voxelindices en -groottes zijn, en t een 3 x 1 translatievector. (D) Een rotatiematrix (blauw in vlak A) vertegenwoordigt de lineaire transformatie van roterende punten. Het vermenigvuldigen van de coördinaten van een punt met deze matrix resulteert in de nieuwe, geroteerde coördinaten. Klik hier om een grotere versie van deze figuur te bekijken.

Een differentiële transformatie is een transformatie van het stijve lichaam waarbij coördinaten van het ene coördinatensysteem naar het andere worden omgezet, bijvoorbeeld van PET naar röntgenmicrotomografie (μCT), en het kan worden berekend met behulp van fiduciale markers. In beide coördinatensystemen worden ten minste drie gemeenschappelijke punten geselecteerd – de fiducials. Uit hun coördinaten kan een wiskundige transformatie worden afgeleid die de coördinaten omzet. De software maakt gebruik van de kleinste kwadratenmethode, die een best passende oplossing biedt voor een systeem van vergelijkingen met fouten of ruis in de gemeten gegevens. Dit wordt het Procrustes-probleem¹³ genoemd en wordt opgelost met behulp van singuliere waardedecompositie. De methode is betrouwbaar en robuust omdat ze leidt tot een unieke en goed gedefinieerde oplossing (als er ten minste drie niet-collineaire markers worden gegeven). Er worden zes vrije parameters berekend: drie voor translatie en drie voor rotatie. In het volgende zullen we de term transformatiematrix gebruiken, ook al bestaat deze technisch gezien uit een rotatiematrix en een translatievector.

Elk beeldvormingsapparaat heeft zijn eigen coördinatensysteem en de software berekent een differentiële transformatie om ze uit te lijnen. Figuur 2A,B beschrijft hoe de differentiaaltransformatie wordt bepaald, terwijl Figuur 2C,D beschrijft hoe deze wordt toegepast. De afbeeldingen van beide modaliteiten kunnen verschillende dimensies hebben en deze in het proces houden, zoals te zien is in de voorbeeldafbeelding met de fusie van CT en PET in Figuur 2E.

Figuur 2: Differentiële transformatie. (A-D) vereenvoudigd tot 2D. Hoewel van toepassing op andere modaliteiten, wordt aangenomen dat de modaliteiten in dit voorbeeld CT en PET zijn. (A,C) Een CT-afbeelding met een rood begrenzingsvak wordt in het coördinatensysteem geplaatst. Toegepast op hetzelfde coördinatensysteem wordt de PET-afbeelding met een geel begrenzingsvak afwijkend gepositioneerd. (B) Met behulp van fiduciale markers die zowel in CT als PET kunnen worden gelokaliseerd, kan een differentiële transformatie T worden bepaald. Dit wordt gesymboliseerd door de pijl. De differentiële transformatiematrix wordt opgeslagen. (D) De eerder opgeslagen differentiële transformatiematrix T kan vervolgens op elk PET-beeld worden toegepast. Dit resulteert in een nieuwe transformatie die de oorspronkelijke transformatie in de metadata vervangt. (E) Een CT-beeld dat is versmolten met een PET-beeld. De transformaties in de metadata van beide afbeeldingen verwijzen naar hetzelfde coördinatensysteem. Klik hier om een grotere versie van deze figuur te bekijken.

Methode en vereisten
Voor de gepresenteerde methode wordt in beide apparaten een fantoom gescand met markeringen die in beide modaliteiten zichtbaar zijn. Het volstaat dan om deze fiducials in de voorgestelde software te markeren om een differentiële transformatie tussen de twee modaliteiten te berekenen. De differentiële transformatie moet voor elk paar apparaten afzonderlijk worden gemaakt. Het kan worden opgeslagen en later op elke nieuwe afbeelding worden toegepast, waardoor er bij volgende scans geen fiduciale markeringen meer nodig zijn. De uiteindelijke plaatsing van de afbeelding in het coördinatensysteem van een ander apparaat kan opnieuw worden beschreven als een transformatie en worden opgeslagen in de metadata van de afbeelding, ter vervanging van de oorspronkelijke transformatie daar.

Voor deze methode kunnen vier vereisten worden geformuleerd: (1) Multimodaal fantoom: Er moet een fantoom beschikbaar zijn met markers die in beide modaliteiten zichtbaar zijn. Een grote selectie fantomen is in de handel verkrijgbaar en het gebruik van 3D-printen voor fantoomconstructie is uitgebreid beschreven¹⁴, zelfs met inbegrip van de integratie van radio-isicomissen¹⁵. De fantomen die in de volgende voorbeelden worden gebruikt, worden vermeld in de materiaaltabel. Er zijn ten minste drie niet-collineaire punten vereist¹⁶. De markeringen kunnen holtes zijn die kunnen worden gevuld met een geschikte tracer, kleine voorwerpen gemaakt van een materiaal dat gemakkelijk te detecteren is in elke modaliteit, of gewoon gaten, sneden of randen in het fantoom zelf, zolang ze maar in beide modaliteiten kunnen worden geïdentificeerd. (2) Multimodale drager: Er is een drager nodig, zoals een muizenbed, die in beide apparaten in een reproduceerbare positie kan worden bevestigd. Idealiter zou het niet mogelijk moeten zijn om het in een omgekeerde positie te gebruiken om fouten te voorkomen. De drager is vooral belangrijk voor in vivo beeldvorming omdat het nodig is om een verdoofd dier van het ene beeldvormingsapparaat naar het andere te vervoeren zonder van positie te veranderen. Op basis van onze ervaring is de kans groter dat verdoofde muizen van positie veranderen in een plat muizenbed dan in een concaaf bed. Bovendien is eerder een op maat gemaakte 3D-geprinte mal voorgesteld om het scheenbeen van de muis vast te houden om beweging te minimaliseren¹⁷. (3) Zelfconsistentie: Elk beeldvormingsapparaat moet de rotatie en vertaling van het gereconstrueerde volume in zijn referentiekader op een reproduceerbare en coherente manier leveren. Dit betekent ook dat een coördinatensysteem voor het hele apparaat behouden blijft wanneer slechts een klein gebied wordt gescand. Het maakt deel uit van het protocol om een beeldvormingsapparaat te testen op zijn zelfconsistentie. (4) Software-ondersteuning: De voorgestelde software moet in staat zijn om de metadata (voxelgrootte, vertaling, oriëntatie) te interpreteren die zijn opgeslagen met het gereconstrueerde volume dat door het apparaat wordt geleverd. Het volume kan de bestandsindeling DICOM, NIfTI, Analyze of GFF hebben. Voor een overzicht van verschillende bestandsformaten, zie Yamoah et ^al.12.

Hoewel de co-registratie van twee modaliteiten wordt beschreven, is de procedure ook van toepassing op drie of meer modaliteiten, bijvoorbeeld door twee modaliteiten mee te registreren op één referentiemodaliteit.

Protocol

De softwarestappen van het protocol moeten worden uitgevoerd in Imalytics Preclinical, waarnaar wordt verwezen als de “analysesoftware” (zie Tabel met materialen). Het kan volumes laden als twee verschillende lagen, genaamd “underlay” en “overlay”18. De ondervloerweergave wordt meestal gebruikt om een anatomisch gedetailleerde dataset te inspecteren waarop een segmentatie kan worden gebaseerd; De overlay, die transparant kan worden weergegeven, kan worden gebruikt om aanvullende informatie in de afbeelding te visualiseren. Gewoonlijk wordt de signaalverdeling van een op tracer gebaseerde modaliteit weergegeven in de overlay. Het protocol vereist dat de geselecteerde laag meerdere keren wordt verwisseld. Dit is de laag die wordt beïnvloed door de bewerkingsbewerkingen. De momenteel geselecteerde laag is zichtbaar in de vervolgkeuzelijst in de bovenste werkbalk tussen de muis- en vensterpictogrammen. Men kan op tab drukken om te schakelen tussen onderlaag en overlay, of de gewenste laag rechtstreeks uit de vervolgkeuzelijst selecteren. Het protocol verwijst naar scans (of afbeeldingen) die worden gebruikt om de zelfconsistentie te testen en een differentiële transformatie te bepalen als “kalibratiescans”, in tegenstelling tot “productiescans” die vervolgens worden gebruikt voor inhoudgenererende beeldvorming. De modaliteiten die in het protocol worden gebruikt zijn CT en PET. Zoals eerder beschreven, is deze methode echter van toepassing op alle preklinische beeldvormingsmodaliteiten die volumetrische gegevens kunnen verkrijgen. 1. Montage van de drager en het fantoom OPMERKING: Er moet een geschikte multimodale drager beschikbaar zijn, bijv. een muizenbed, waarop het fantoom kan worden bevestigd. Zie de discussie voor suggesties, veelvoorkomende problemen en het oplossen van problemen met betrekking tot deze assembly. Bereid de fiduciale markeringen in het fantoom voor.OPMERKING: De specifieke voorbereiding die nodig is, varieert afhankelijk van de modaliteit en de gebruikte tracer. Veel MRI-fantomen bevatten bijvoorbeeld holtes die met water moeten worden gevuld, terwijl PET bijvoorbeeld een radioactieve tracer vereist. Plaats het fantoom in de drager en zet het vast met een materiaal, zoals tape, dat de beeldkwaliteit niet aantast.OPMERKING: De vereisten voor het fantoom worden beschreven in het gedeelte Inleiding. 2. Uitvoeren van kalibratiescans en controleren van de zelfconsistentie OPMERKING: Deze stap moet voor elk beeldvormingsapparaat worden herhaald. Verkrijg twee scans met verschillende gezichtsvelden.Plaats de drager in het beeldvormingsapparaat. Zorg ervoor dat het op een betrouwbare en reproduceerbare manier wordt geplaatst. Scan volgens de instructies van de fabrikant van het apparaat, met behulp van een groot gezichtsveld dat het hele fantoom bedekt. Deze afbeelding wordt in de volgende stappen “Afbeelding A” genoemd.OPMERKING: Het is belangrijk om alle fiducials op te nemen, aangezien deze scan ook zal worden gebruikt om de differentiële transformatiematrix te berekenen. Verwijder de houder van het beeldvormingsapparaat en vervang deze.OPMERKING: Deze stap zorgt ervoor dat de plaatsing van de drager in het apparaat betrouwbaar is. Als het beeldvormingsapparaat geen beperkt gezichtsveld ondersteunt, d.w.z. altijd het hele gezichtsveld scant, kan men redelijkerwijs uitgaan van zelfconsistentie. Ga direct door naar stap 3. Voer een tweede scan uit volgens de instructies van de fabrikant van het apparaat, dit keer met een aanzienlijk kleiner gezichtsveld. Deze afbeelding wordt in de volgende stappen “Afbeelding B” genoemd.OPMERKING: Het is belangrijk om twee scans te maken met verschillende gezichtsvelden. De exacte positie van het gezichtsveld is niet cruciaal voor afbeelding B, zolang er maar wat zichtbare informatie wordt opgenomen, zoals fantoomstructuren of zoveel mogelijk fiducials. Laad de ondervloer.Open de analysesoftware. Afbeelding A als ondervloer laden: Menu Bestand > Ondervloer > Ondervloer laden. Kies in het volgende dialoogvenster het afbeeldingsbestand en klik op openen. Als de 3D-weergave niet aanwezig is, drukt u op [Alt + 3] om deze te activeren. Pas de vensterweergave aan: Druk op [Ctrl + W] en pas de verticale linker- en rechterbalken in het volgende dialoogvenster aan, zodat het fantoom, of, afhankelijk van de modaliteit, de tracers, duidelijk te onderscheiden zijn. Klik op OK om het dialoogvenster te sluiten. Laad de overlay.Laad afbeelding B als overlay: Menubestand > Overlay > Laad overlay. Kies in het volgende dialoogvenster het afbeeldingsbestand en klik op openen. Wijzig de rendermethode: Menu 3D-rendering > Overlay-modus > controleer Iso-rendering.OPMERKING: Hoewel op tracers gebaseerde modaliteiten zoals PET of SPECT meestal worden bekeken met volumeweergave, maakt Iso-rendering in dit geval een eenvoudigere vergelijking van posities mogelijk. De ondervloer werd standaard geopend in Iso-weergave. Activeer de weergave van begrenzingsvakken: Menuweergave > Symbolen weergeven > Begrenzingsvak weergeven > Begrenzingsvak onderlaag weergeven; Menu Weergave > Symbolen weergeven > Begrenzingsvak weergeven > Begrenzingsvak overlay weergeven. Controleer de uitlijning van het beeld.Plaats de muisaanwijzer op de 3D-weergave en gebruik [Ctrl + muiswiel] om in te zoomen op de weergave zodat beide begrenzingsvakken volledig zichtbaar zijn. Houd [Alt + linkermuisknop] ingedrukt terwijl u de muisaanwijzer beweegt om de weergave te draaien. Verander de geselecteerde laag naar overlay. De vensterindeling en de kleurentabel aanpassen: Druk op [Ctrl + w]. Selecteer in de vervolgkeuzelijst aan de linkerkant van het volgende dialoogvenster de optie Geel. Pas het bereik in het volgende dialoogvenster aan naar een vergelijkbaar bereik dat is gekozen voor de ondervloer en wijzig vervolgens de instelling in kleine stappen totdat de gele weergave net zichtbaar is in de witte weergave. Klik op OK om het dialoogvenster te sluiten.OPMERKING: De weergave van afbeelding A (onderlaag) wordt nu in het wit weergegeven en omgeven door een rood begrenzingsvak. De weergave van afbeelding B (overlay) wordt geel weergegeven en omgeven door een geel begrenzingsvak. Controleer visueel of het beeldvormingsapparaat en de methode voor het plaatsen van het fantoom zelfconsistent zijn zoals vereist. Het fantoom (of, afhankelijk van de modaliteit, de tracers) moet volledig zijn uitgelijnd in onderlaag en overlay. De gele weergave moet een subset zijn van de witte weergave.OPMERKING: Het gele begrenzingsvak moet kleiner zijn en binnen het rode begrenzingsvak vallen. Zie de sectie Representatieve resultaten voor visuele voorbeelden. Als de uitlijning niet overeenkomt, raadpleegt u de discussie voor veelvoorkomende plaatsingsproblemen en probleemoplossing. 3. Berekening van de differentiële transformatie Laad afbeeldingen van beide modaliteiten.Open de analysesoftware. Laad de CT-afbeelding A als ondervloer: Menu Bestand > Ondervloer > Ondervloer laden. Kies in het volgende dialoogvenster het afbeeldingsbestand en druk op openen. Laad de PET-afbeelding A als overlay: Menubestand > Overlay > Laad Overlay. Kies in het volgende dialoogvenster het afbeeldingsbestand en druk op openen. Meerdere segmentweergaven weergeven: Druk op [Alt + A], [Alt + S] en [Alt + C] om axiale, sagittale en coronale segmentweergaven weer te geven.OPMERKING: Hoewel technisch gezien één vliegtuig voldoende zou zijn om de fiducials te vinden, zorgt de gelijktijdige weergave van alle vliegtuigen voor een betere oriëntatie en snellere navigatie. Voer fusie op basis van markers uit.OPMERKING: Stap 3.2 en stap 3.3 zijn alternatieve methoden om onder- en overlay uit te lijnen. Probeer eerst stap 3.2, omdat deze gemakkelijker te reproduceren is en mogelijk nauwkeuriger. Stap 3.3 is een uitwijkmogelijkheid als er niet genoeg markeringen duidelijk te onderscheiden zijn.Verander de weergave om alleen de onderlaag weer te geven: Menuweergave > Laaginstellingen > Laagzichtbaarheid > schakel overlay uit; Menu Weergave > Laaginstellingen > Laagzichtbaarheid > controleer de onderlaag. Wissel de geselecteerde laag naar de ondervloer. Pas indien nodig de vensterweergave aan: Druk op [Ctrl + W] en pas de verticale linker- en rechterbalken in het volgende dialoogvenster aan om de fiducials beter te zien. Klik op OK om het dialoogvenster te sluiten. Activeer de muisactiemodus “markering maken” door op het markeringssymbool op de verticale werkbalk aan de linkerkant te klikken. De muisaanwijzer toont een markeringssymbool. Voer uit voor elke fiducial van het fantoom: Navigeer naar een fiducial. Plaats hiervoor de muisaanwijzer op de weergave van een vlak en gebruik [Alt + muiswiel] om door de vlakken te snijden. Plaats de muisaanwijzer op het midden van de fiducial en klik met de linkermuisknop.Dit opent een dialoogvenster waarin de software een naam met opeenvolgende nummers voorstelt. Bewaar de voorgestelde naam, bijvoorbeeld “Marker001”, en klik op ok om de markering op te slaan.OPMERKING: Het is mogelijk om verschillende namen te gebruiken als u dezelfde markeringsnamen opnieuw gebruikt voor de overlay. Pas de weergave-instellingen aan om de overlay weer te geven: Menuweergave > Laaginstellingen > Laagzichtbaarheid > controleer de overlay.OPMERKING: Het wordt aangeraden om het zicht op de ondervloer geactiveerd te houden, omdat het handig is om georiënteerd te blijven en ervoor te zorgen dat u in beide modaliteiten de juiste markering identificeert. Als de twee modaliteiten ver uit de pas lopen of als de overlay verwarrend is, deactiveer deze dan: Menuweergave > Laaginstellingen > Laagzichtbaarheid > schakel de onderlaag uit. Verander de geselecteerde laag naar overlay. Pas de vensters aan: Als de fiduciale markeringen niet duidelijk zichtbaar zijn, drukt u op [Ctrl + W] en past u de verticale balken links en rechts in het volgende dialoogvenster aan zodat de fiducials zo goed mogelijk kunnen worden gelokaliseerd. Klik op OK om het dialoogvenster te sluiten. Voer uit voor elke fiducial van het fantoom: Navigeer naar een fiducial. Plaats hiervoor de muisaanwijzer op de weergave van een vlak en gebruik [Alt + muiswiel] om door de vlakken te snijden. Plaats de muisaanwijzer op het midden van de fiducial en klik met de linkermuisknop.Dit opent een dialoogvenster waarin de software een naam met opeenvolgende nummers voorstelt. Bewaar de voorgestelde naam en klik op ok om de markering op te slaan.OPMERKING: Het is belangrijk om dezelfde naam te hebben voor bijpassende softwaremarkeringen in onder- en overlay. Dit wordt gegarandeerd als u de voorgestelde namen behoudt en dezelfde volgorde gebruikt om de markeringen in beide modaliteiten te maken. Als u de namen wijzigt, zorg er dan voor dat ze overeenkomen. Activeer de aanzichten van beide lagen: Menuweergave > Laaginstellingen > Laagzichtbaarheid > controleer onderlaag; Menu Weergave > Laaginstellingen > Laagzichtbaarheid > overlay controleren. De markeringen van onderlaag en overlay uitlijnen: Menu Fusion > Overlay registreren naar onderlaag > Bereken rotatie en translatie (markeringen). In het volgende dialoogvenster wordt het restant van de fusie weergegeven. Noteer deze meting en klik op ok. Controleer het resultaat van de uitlijning: De markeringen in de onder- en overlay moeten visueel overeenkomen. Raadpleeg de discussiesectie voor het oplossen van problemen en opmerkingen over de nauwkeurigheid met betrekking tot het residu van fusie.OPMERKING: De transformatie van de overlay is gewijzigd. Als u de details van de nieuwe overlaytransformatie wilt weergeven, drukt u op [Ctrl + I]. Als fusie op basis van markers niet mogelijk is, voer dan interactieve fusie uit. Als stap 3.2 is voltooid, gaat u direct door naar stap 3.4.Activeer de aanzichten van beide lagen: Menuweergave > Laaginstellingen > Laagzichtbaarheid > controleer de onderlaag; Menu Weergave > Laaginstellingen > Laagzichtbaarheid > overlay controleren. Activeer de muismodus “interactieve beeldfusie” door op het symbool op de verticale werkbalk aan de linkerkant te klikken. Het symbool bestaat uit drie verschoven ellipsen met een punt in het gemeenschappelijke midden. De muisaanwijzer toont nu dit symbool. Zorg ervoor dat de instellingenwerkbalk voor de muismodus wordt weergegeven in het bovenste gedeelte onder de permanente werkbalk. Er zijn drie selectievakjes voor ondervloer, overlay en segmentatie. Controleer de overlay. Schakel ondervloer en segmentatie uit. Lijn de overlay interactief uit op de ondervloer: Voer rotaties en vertalingen uit op de verschillende aanzichten totdat de ondervloer en de overlay zo goed mogelijk zijn uitgelijnd:Rotatie: Plaats de muisaanwijzer in de buurt van de rand van een weergave (axiaal, coronaal of sagittaal); Het symbool van de muisaanwijzer wordt nu omcirkeld door een pijl. Houd de linkermuisknop ingedrukt en beweeg de muis om de overlay te draaien. Vertaling: Plaats de muisaanwijzer in de buurt van het midden van een weergave. De muisaanwijzer is niet omcirkeld. Houd de linkermuisknop ingedrukt en beweeg de muis om de overlay te verplaatsen. De differentiële transformatie maken en opslaan: Menu Fusion > Overlay-transformatie > Differentiële transformatie maken en opslaan. Selecteer in het volgende dialoogvenster het originele overlay-bestand en klik op Openen. Voer in het tweede dialoogvenster een bestandsnaam in voor de differentiële transformatie en druk op Opslaan.OPMERKING: De software heeft het originele overlay-bestand nodig om de oorspronkelijke transformatie te lezen en vervolgens de differentiële transformatie te berekenen. We raden aan om de differentiële transformatiematrix op te slaan met een bestandsnaam die de gebruikte beeldvormingsapparaten specificeert. 4. Productie beeldvorming Scan in beide beeldvormingsapparaten.Bevestig het monster (bijv. een verdoofd proefdier) op de drager.OPMERKING: Het is belangrijk om ervoor te zorgen dat de positie van het monster binnen de drager niet verandert tussen de twee scans. Plaats de drager in het CT-apparaat. Zorg ervoor dat u de drager op dezelfde manier plaatst als tijdens de kalibratiescan. Scan volgens de instructies van de fabrikant van het apparaat. Plaats de drager in het PET-apparaat. Zorg ervoor dat u de drager op dezelfde manier plaatst als tijdens de kalibratiescan. Scan volgens de instructies van de fabrikant van het apparaat. Voer de toepassing van de differentiële transformatie uit.Open de analysesoftware. Laad CT-bestand als ondervloer: Menubestand > Ondervloer > Ondervloer laden. Kies in het volgende dialoogvenster het CT-afbeeldingsbestand en druk op ok. Laad PET-bestand als overlay: Menubestand > Overlay > Laad overlay. Kies in het volgende dialoogvenster het PET-afbeeldingsbestand en druk op ok. Activeer de aanzichten van beide lagen: Menuweergave > Laaginstellingen > Laagzichtbaarheid > controleer de onderlaag; Menu Weergave > Laaginstellingen > Laagzichtbaarheid > overlay controleren. Laad en pas de eerder opgeslagen differentiële transformatiematrix toe: Menu > Fusion > Overlay-transformatie > Transformatie laden en toepassen. Selecteer het bestand met de differentiële transformatiematrix die u tijdens het kalibratieproces hebt opgeslagen en druk op openen.OPMERKING: Met deze stap worden de metagegevens van de overlay gewijzigd. De gewijzigde overlay opslaan: Menu > Bestand > Overlay > Overlay opslaan. Voer in het volgende dialoogvenster een naam in en klik op opslaan.OPMERKING: Het wordt aanbevolen om de ongewijzigde originele gegevens te behouden en daarom de overlay onder een nieuwe naam op te slaan.

Representative Results

Figuur 3 en Figuur 4 geven voorbeelden van een fantoom dat zichtbaar is in CT en buisvormige holtes bevat gevuld met een tracer, in dit geval voor SPECT. Het gebruikte fantoom en de tracer staan vermeld in de Materiaaltabel. Stap 2 van het protocol schetst de kalibratiescans en verifieert de zelfconsistentie van elk beeldvormingsapparaat. De weergaven van de twee scans met verschillende gezichtsvelden moeten voor elk apparaat congruent zijn. Bijgevolg moet afbeelding B, afgebeeld in geel, een subset zijn van afbeelding A, afgebeeld in wit. Een voorbeeld van CT is weergegeven in figuur 3A. Op tracers gebaseerde modaliteiten zoals PET of SPECT worden doorgaans gevisualiseerd met volumerendering (Figuur 3B). Iso-rendering maakt het echter gemakkelijker om posities te vergelijken. Daarom instrueert het protocol gebruikers om de underlay en overlay over te schakelen naar Iso-rendering, ongeacht de gebruikte modaliteit. In het SPECT-voorbeeld zou de gele weergave dus ook een subset moeten zijn van de witweergave (Figuur 3C). In elk geval moet het gele begrenzingsvak kleiner zijn en binnen het rode begrenzingsvak worden geplaatst. Als de uitlijning niet overeenkomt, worden in de discussie veelvoorkomende plaatsingsproblemen belicht en worden suggesties voor probleemoplossing gegeven. Stap 3 van het protocol beschrijft hoe de differentiële transformatie tussen twee modaliteiten kan worden bepaald met behulp van fiduciale markers. Aangezien de tracer in op tracer gebaseerde modaliteiten aanwezig is als een volume, moet de gebruiker de juiste punten bepalen om te gebruiken als een (puntvormige) fiduciale marker. In figuur 4 wordt een CT-beeld van het fantoom als onderlaag geladen en een SPECT-beeld als onderlaag. Het midden van een kromming van een buis in het fantoom wordt gekozen als een fiduciale marker voor de CT-onderlaag, zoals weergegeven in figuur 4A-C in axiale, coronale en sagittale aanzichten. Het overeenkomstige punt moet worden gemarkeerd in de overlay, die wordt geïllustreerd in figuur 4D-F in axiale, coronale en sagittale aanzichten. De software kan nu de differentiële transformatie berekenen en toepassen op de overlay. Dit lijnt de markers in beide modaliteiten uit, zoals te zien is in figuur 4G,H. Figuur 3: Afbeeldingen die zelfconsistentie aantonen. (A) CT-volume. Stap 2.4 van het protocol vereist het controleren van de beelduitlijning. Volgens de stappen in het protocol wordt de onderlaag wit weergegeven, terwijl de overlay en het begrenzingsvak van de overlay geel worden weergegeven. Beide lagen zijn uitgelijnd (hier wordt de tweede scan gesimuleerd door een bijgesneden kopie van de eerste scan). (B) SPECT-beeldvorming van het fantoom met met tracers gevulde buisjes. Volumeweergave met NIH-kleurentabel. (C) SPECT-beeld in ISO-rendering. De onderlaag wordt wit weergegeven, terwijl de overlay en het begrenzingsvak van de overlay geel worden weergegeven. Beide lagen zijn uitgelijnd (hier wordt de tweede scan gesimuleerd door een bijgesneden kopie van de eerste scan). Klik hier om een grotere versie van deze figuur te bekijken. Figuur 4: Plaatsing van markers in CT- en SPECT-beelden. Een CT-beeld van het fantoom wordt als onderlaag geladen. Een SPECT-afbeelding wordt als overlay geladen en gerenderd met behulp van de NIH-kleurentabel. (A-C) Stap 3.2 van het protocol vereist het plaatsen van markeringen in de ondervloer. Het midden van een kromming van een buis in het fantoom wordt gekozen als fiduciaal, en Marker001 wordt daar geplaatst, zoals aangegeven door een rode stip in axiale, coronale en sagittale aanzichten. (D-F) De bijpassende marker wordt in de overlay geplaatst. (G) Axiale weergave na de transformatie. (H) 3D-weergave van de gefuseerde modaliteiten. Maximale intension projection rendering wordt gebruikt om de SPECT-tracer zichtbaar te maken in het fantoom. Klik hier om een grotere versie van deze figuur te bekijken.

Discussion

Er wordt een methode gepresenteerd voor multimodale co-registratie van beelden waarvoor geen fiduciale markers nodig zijn voor productiescans. De op fantoom gebaseerde benadering genereert een differentiële transformatie tussen de coördinatensystemen van twee beeldvormingsmodaliteiten.

Residu van fusie en validatie van de differentiële transformatie
Bij het berekenen van de differentiële transformatie geeft de software een residu van fusie in millimeters weer, wat de gemiddelde kwadratische fout¹⁹ van de transformatie vertegenwoordigt. Als dit residu de orde van grootte van de voxelgrootte overschrijdt, is het raadzaam om de datasets te inspecteren op algemene problemen. Omdat alle afbeeldingen echter lichte vervormingen hebben, kan het residu niet willekeurig klein worden; Het weerspiegelt alleen de pasvorm van de gebruikte markeringen. Zo kan een co-registratie met drie markers resulteren in een kleiner residu op dezelfde datasets dan een transformatie met vier goed verdeelde markers. Dit komt omdat de markers zelf mogelijk te veel worden aangebracht wanneer er minder fiducials worden gebruikt. De nauwkeurigheid over de gehele dataset verbetert met een groter aantal markers.

De kwantitatieve nauwkeurigheid van de methode is afhankelijk van het specifieke paar apparaten dat wordt gebruikt. De berekende differentiële transformatie tussen de coördinatensystemen van twee apparaten kan worden gevalideerd door de volgende stappen te volgen: Vasthouden aan stap 4 van het protocol, maar het fantoom met fiduciale markers opnieuw als “monster” gebruiken. Het fantoom in een willekeurige positie plaatsen en ervoor zorgen dat het anders is dan degene die wordt gebruikt voor het schatten van de differentiële transformatie. Het is ook mogelijk om een ander fantoom te gebruiken dat geschikt is voor de respectievelijke modaliteiten, als er een beschikbaar is. Vervolgens wordt de eerder bepaalde differentiaaltransformatie (stap 4.2.5) toegepast om de twee modaliteiten op elkaar af te stemmen. Vervolgens worden markeringen op de afbeeldingen van beide modaliteiten geplaatst volgens stap 3.2 van het protocol. Om het fusieresidu voor deze markers te berekenen, klikt u op Menu Fusion > Overlay registreren naar onderlay > Residuele score weergeven.

De restfout beschrijft de gemiddelde verkeerde plaatsing van het signaal en moet in de orde van grootte van de voxel zijn. Concrete acceptatiedrempels zijn toepassingsafhankelijk en kunnen afhankelijk zijn van verschillende factoren, zoals de stijfheid en nauwkeurigheid van de beeldvormingssystemen, maar kunnen ook worden beïnvloed door beeldreconstructieartefacten.

Problemen met zelfconsistentie oplossen
Vaak komen problemen met zelfconsistentie voort uit een onbetrouwbare plaatsing. Een veel voorkomende fout is het plaatsen van de drager in een zijwaarts omgekeerde positie. Idealiter zou het mechanisch in slechts één richting in het beeldvormingsapparaat moeten worden ingebracht. Als dit niet haalbaar is, moeten begrijpelijke markeringen voor de gebruiker worden toegevoegd. Een ander veel voorkomend probleem is de mogelijkheid van beweging in de lengteas, waardoor axiale positionering onbetrouwbaar wordt. Het wordt aanbevolen om een afstandhouder te gebruiken die aan het ene uiteinde kan worden bevestigd om het muisbed op zijn plaats te houden. Afstandhouders op maat kunnen bijvoorbeeld snel en eenvoudig worden gemaakt door ze te 3D-printen. Sommige apparaten kunnen echter geen zelfconsistentie bieden met verschillende gezichtsvelden. In dergelijke gevallen wordt geadviseerd contact op te nemen met de leverancier, die de incompatibiliteit moet bevestigen en mogelijk in een toekomstige update moet aanpakken. Voor het overige blijft de methode betrouwbaar als voor alle scans, inclusief kalibratie en productiebeeldvorming, een identiek gezichtsveld wordt aangehouden.

Voor sommige productiescans met afwijkende plaatsing is transformatie naar de gekalibreerde positie mogelijk, als er voldoende dragerstructuur waarneembaar is. Voor in vivo beeldvorming moet het verdoofde dier in één drager blijven, en het is niet altijd haalbaar om een enkele drager te maken die stevig in beide apparaten past. Vaak wordt een muizenbed gebruikt voor een op tracer gebaseerde modaliteit en vervolgens wordt de plaatsing geïmproviseerd in een CT-apparaat. In figuur 5A werd bijvoorbeeld een MPI-muizenbed bovenop een CT-muizenbed geplaatst vanwege mechanische beperkingen. Axiale speelruimte en de mogelijkheid om te rollen maken deze positionering onbetrouwbaar. In dergelijke gevallen wordt aanbevolen om een adapter te ontwerpen die het onderste muisbed vervangt en een in elkaar grijpende pasvorm mogelijk maakt. Het kan bijvoorbeeld tappen gebruiken die aan het onderste deel zijn bevestigd en extra gaten in de bodem van het bovenste muizenbed.

Correctie achteraf voor bestaande beelden is echter mogelijk, omdat het muizenbed detecteerbaar is in het CT-beeld. Het protocol vereist kalibratiescans, gevolgd door het berekenen van een differentiële transformatie van de overlay naar de ondervloer. De procedure is vergelijkbaar, maar moet ook elke individuele productie-CT-scan toewijzen aan de kalibratiescan, waarbij de muisbedstructuren als fiducials worden gebruikt.

Afbeelding 5: Problemen met plaatsing oplossen. (A) Een MPI-muizenbed wordt bovenop een CT-muizenbed geplaatst. Daarom kan de positie in de CT niet betrouwbaar worden gereproduceerd. Zelfconsistentie kan worden bereikt door elk CT-beeld te fuseren met het referentie-CT-beeld dat wordt gebruikt voor het schatten van de differentiële transformatie. (B-D) Vereenvoudigd tot 2D. (B) Elk productie-CT-beeld wordt als een overlay geladen en geregistreerd op het referentie-CT-beeld (underlay) met behulp van structuren van het muisbed die zichtbaar zijn in de CT. Het gecorrigeerde productie-CT-beeld is nu consistent met de referentie-CT en kan worden gebruikt met de differentiële transformatie T. (C) Een MPI-overlay wordt geregistreerd op het referentie-CT-beeld met behulp van de fiduciale markers van een fantoom. (D) De multimodale beelden worden samengevoegd. Voor dit doel wordt elk CT-beeld in kaart gebracht op de referentiepositie met zijn individuele differentiële transformatie. Vervolgens wordt de MPI-overlay ook geregistreerd op de referentiepositie met behulp van de differentiële transformatie, die geldig is voor alle beelden van het apparaat. Klik hier om een grotere versie van deze figuur te bekijken.

Om de productie-CT-scans toe te wijzen aan de kalibratiescan, raadpleegt u sectie 3 van het protocol, waarin de volgende wijzigingen zijn opgenomen. Voor de duidelijkheid gaat de beschrijving verder aan de hand van het voorbeeld van een CT-onderlaag en MPI-overlay: In stap 3.1 laadt u de CT-kalibratiescan (afbeelding A) als onderlaag en de te corrigeren CT-scan als de overlay. Gebruik structuren van het MPI-muizenbed als markeringen voor stap 3.2 of als visuele referenties voor stap 3.3. Sla stap 3.4 over, maar de overlay opslaan vertegenwoordigt het gecorrigeerde CT-volume (Menubestand > Overlay > Overlay opslaan als). Voer in het volgende dialoogvenster een nieuwe naam in en klik op opslaan. Sluit de overlay door naar Menu File > Overlay > Closing overlay te gaan. Laad de volgende CT-scan die moet worden gecorrigeerd als overlay en hervat de procedure vanaf stap 3.2 van het protocol. Het concept dat aan deze stap ten grondslag ligt, wordt geïllustreerd in figuur 5B.

Het muizenbed is nu vrijwel identiek uitgelijnd met de kalibratiescan in alle recent opgeslagen CT-volumes. Als onderdeel van de standaardprocedure wordt de kalibratiescan geregistreerd op de MPI-beelden met behulp van de differentiële transformatie T (Figuur 5C). Om het CT-beeld vervolgens samen te voegen met MPI, gebruikt u altijd het gecorrigeerde CT-volume (Figuur 5D).

Problemen met gespiegelde afbeeldingen en schalen oplossen
De hier geïntroduceerde registratiemethode gaat uit van een redelijk nauwkeurige beeldkwaliteit en past alleen rotatie en vertaling aan. Het corrigeert niet voor gespiegelde afbeeldingen of onjuiste schaling. Deze twee problemen kunnen echter handmatig worden aangepakt voordat de differentiële transformatie wordt berekend.

Inconsistenties tussen gegevensindelingen van verschillende fabrikanten kunnen ertoe leiden dat sommige gegevenssets, met name die in DICOM-indeling, in de software als gespiegeld omgekeerd worden weergegeven. Omdat fantomen en muizenbedden vaak symmetrisch zijn, is dit probleem misschien niet meteen duidelijk. Het detecteren van gespiegelde afbeeldingen is gemakkelijker wanneer de scan herkenbare letters bevat in de betreffende modaliteit, zoals de verhoogde letters in de juiste richting die te zien zijn in het fantoom in figuur 3H. In het voorbeeld dat in afbeelding 6 wordt geïllustreerd, worden CT-gegevens geladen als de onderlaag en MPI-gegevens als de overlay. Het is een in vivo scan van een muis die in een MPI-muizenbed is geplaatst met bijgevoegde fiduciale markeringen. Het MPI-muizenbed bevindt zich bovenop een μCT-muizenbed (Figuur 6A). Door zich aan het protocol te houden en de fiducials in zowel de onderlaag als de overlay in een consistente draairichting te markeren, wordt een zichtbaar ongerijmd resultaat geproduceerd (Figuur 6B). Bij nadere beschouwing kan het probleem echter worden geïdentificeerd. De fiducials vormen een asymmetrische driehoek. Bij het observeren van de zijden van de driehoek in het axiale aanzicht (Figuur 6C, D) van de kortste naar het midden naar de langste, is een rotatie met de klok mee duidelijk in de CT-gegevens, terwijl een rotatie tegen de klok in zichtbaar is in de MPI-gegevens. Dit toont aan dat een van de afbeeldingen zijdelings omgekeerd is. In dit geval gaan we ervan uit dat de CT-gegevens juist zijn. Om de MPI-overlay te corrigeren, wordt de afbeelding gespiegeld: om dat te doen, schakelt u de geselecteerde laag naar een overlay en klikt u op Menu Edit > Flip > Flip X. De differentiële transformatie die door de software wordt berekend, omvat alle noodzakelijke rotaties, dus “Flip X” is voldoende, zelfs als het beeld in een andere richting lijkt te zijn gespiegeld.

Afbeelding 6: Problemen met transformatie oplossen. CT-gegevens worden geladen als onderlaag met een voxelgrootte van 0,240 mm en MPI-gegevens als overlay met een voxelgrootte van 0,249 mm. Het muizenbed bevat fiduciale markers. (A) 3D-weergave van de niet-gecorrigeerde overlay-afbeelding. De fiducials in de CT-ondervloer zijn aangegeven met pijlen. De fiducials in de MPI-overlay zijn zichtbaar als bollen in de NIH-kleurentabel. (B) Niet-overeenkomend resultaat van een transformatie die is uitgevoerd zonder passende correcties. Residu van fusie = 6,94 mm. (C) Meting van de afstanden tussen de fiducials in CT. Rotatie met de klok mee van de kortste naar de langste afstand. (D) Meting van de afstanden tussen de fiducials in MPI. Rotatie tegen de klok in van de kortste naar de langste afstand. Vergelijking met de CT-metingen resulteert in een schaalfactor van 0,928774. (E) Gecorrigeerde overlay na spiegelen en schalen. (F) Transformatie met overeenkomende resultaten in 3D-weergave. (G) Transformatie met overeenkomende resultaten in axiale weergave. Restant van fusie = 0,528 mm. Klik hier om een grotere versie van deze figuur te bekijken.

Datasets met onjuiste voxelgroottes kunnen ook handmatig worden gecorrigeerd. Aangezien de afmetingen van het fantoom bekend moeten zijn, kan dit in de afbeelding worden geverifieerd. De eenvoudigste methode is het gebruik van een rand van bekende lengte. Druk op [Ctrl + rechtermuisknop] aan het ene uiteinde van een rand en terwijl u de knop ingedrukt houdt, verplaatst u de muisaanwijzer naar het andere uiteinde van de rand en laat u de knop los. In het daaropvolgende dialoogvenster geeft de software de lengte van de gemeten afstand in het beeld weer. In het voorbeeld dat in figuur 6 wordt geïllustreerd, is het duidelijk dat de maten niet congruent zijn bij het vergelijken van de afstanden tussen de fiducials in beide modaliteiten (figuur 6C,D). Nogmaals, de CT-gegevens worden verondersteld nauwkeurig te zijn. Om de schaling te wijzigen, wordt een schaalfactor (SF) berekend. Aangezien de verhouding van de lengtes (CT/MPI) niet precies identiek is voor elke zijde van de driehoek, wordt het gemiddelde quotiënt berekend: SF = ((l_1CT/l_1MPI) + (l_2CT/l_2MPI) + (l_2CT/l_2MPI)) / 3.

Pas vervolgens de voxelgrootte van de overlay aan door elke dimensie te vermenigvuldigen met SF. Om dit te bereiken, schakelt u de geselecteerde laag over naar een overlay en opent u Menu Bewerken > Voxel-maten wijzigen. Bereken elke dimensie, voer de waarde in en klik vervolgens op OK. Het resultaat van beide correcties is weergegeven in figuur 6E. Hierna wordt de overlay volgens het protocol geregistreerd op de ondervloer. De resulterende uitlijning wordt weergegeven in figuur 6F,G. Hoewel dit een snelle oplossing biedt voor het corrigeren van een bestaande scan, raden we aan om het beeldvormingsapparaat te kalibreren voor productiegebruik.

Beperkingen
Deze methode is beperkt tot ruimtelijke co-registratie van bestaande volumetrische gegevens die zijn samengesteld uit kubusvormige voxels. Het omvat geen reconstructieproces dat het volume berekent op basis van onbewerkte gegevens die door het beeldvormingsapparaat worden gegenereerd (bijv. projecties in CT). Aan deze stap zijn verschillende beeldverbeteringstechnieken gekoppeld, zoals iteratieve methoden^20,21 en de toepassing van kunstmatige intelligentie²¹. Hoewel de beschreven methode in principe van toepassing is op alle modaliteiten die 3D-beelden met kubusvormige voxels produceren, kan deze niet worden gebruikt voor het samenvoegen van 3D-gegevens met 2D-gegevens, zoals een MRI-volume in combinatie met 2D-infraroodthermografie²² of fluorescentiebeeldvorming, die relevant kunnen zijn in beeldgeleide chirurgische toepassingen. Bij de registratie van 3D-gegevens wordt niet gecorrigeerd voor vervormingen, zoals die optreden in MRI-beelden aan de rand van de spoel. Hoewel het niet verplicht is, worden optimale resultaten bereikt wanneer vervormingen worden gecorrigeerd tijdens het reconstructieproces. De geautomatiseerde transformatie heeft ook geen betrekking op omgedraaide afbeeldingen of onjuiste schaling. Deze twee problemen kunnen echter handmatig worden opgelost, zoals beschreven in het gedeelte over probleemoplossing.

Betekenis van de methode
De voorgestelde methode elimineert de noodzaak van fiduciale markers in productiescans, wat verschillende voordelen biedt. Het komt ten goede aan modaliteiten waarvoor onderhoud van de marker of frequente vervanging vereist is. De meeste MRI-markers zijn bijvoorbeeld gebaseerd op vocht, maar hebben de neiging om na verloop van tijd uit te drogen en radioactieve PET-markers vervallen. Door de noodzaak van fiducials in productiescans weg te nemen, kan het gezichtsveld worden verkleind, wat leidt tot kortere acquisitietijden. Dit is handig in instellingen met een hoge doorvoer om de kosten te verlagen en de röntgendosis bij CT-scans te minimaliseren. Een verlaagde dosis is wenselijk omdat straling de biologische routes van proefdieren in longitudinale beeldvormingsstudies kan beïnvloeden²³.

Bovendien is de methode niet beperkt tot specifieke modaliteiten. Het nadeel van deze veelzijdigheid is dat er minder stappen worden geautomatiseerd. Een eerder gepubliceerde methode voor het samenvoegen van μCT- en FMT-gegevens maakt gebruik van ingebouwde markers in een muisbed voor elke scan en kan geautomatiseerde markerdetectie en vervormingscorrectie uitvoeren tijdens reconstructie²⁴. Andere methoden elimineren de noodzaak van markeringen door gebruik te maken van beeldgelijkenis. Hoewel deze aanpak goede resultaten oplevert en ook vervormingen kan corrigeren²⁵, is deze alleen van toepassing als de twee modaliteiten voldoende vergelijkbare beelden opleveren. Dit is meestal niet het geval in de combinatie van een anatomisch gedetailleerde modaliteit en een op tracers gebaseerde modaliteit. Deze combinaties zijn echter nodig voor het beoordelen van de farmacokinetiek van gerichte middelen²⁶, die toepassingen hebben op gebieden zoals nanotherapie tegen kanker^27,28.

Omdat de kwaliteitscontrole in preklinische toepassingen minder rigoureus is in vergelijking met klinische toepassingen, is een verkeerde uitlijning van gecombineerde beeldvormingsapparaten een erkend probleem²⁹. Gegevens die door deze verkeerde uitlijning worden beïnvloed, kunnen met terugwerkende kracht worden verbeterd door een fantoom te scannen en de differentiële transformatie te bepalen, waardoor de kosten mogelijk worden verlaagd en dierenschade wordt geminimaliseerd. Naast de gedemonstreerde methode die fiduciale markers gebruikt om een differentiële transformatie te berekenen, die vervolgens wordt toegepast op productiescans, worden verdere mogelijkheden voor beeldfusie beschreven en gebruikt. Een overzicht, met verwijzingen naar diverse beschikbare software, is te vinden in Birkfellner et ^al.30.

Concluderend biedt de gepresenteerde methode een effectieve oplossing voor multimodale beeldco-registratie. Het protocol is gemakkelijk aan te passen voor verschillende beeldvormingsmodaliteiten en de aangeboden technieken voor probleemoplossing verbeteren de robuustheid van de methode tegen typische problemen.

Disclosures

The authors have nothing to disclose.

Acknowledgements

De auteurs willen de federale regering van Noordrijn-Westfalen en de Europese Unie (EFRE), de Duitse Onderzoeksstichting (CRC1382 project ID 403224013 – SFB 1382, project Q1) bedanken voor de financiering.

Materials

177Lu			radiotracer
Custom-build MPI mousebed
Hot Rod Derenzo	Phantech LLC. Madison, WI, USA	D271626	linearly-filled channel derenzo phantom
Imalytics Preclinical 3.0	Gremse-IT GmbH, Aachen, Germany		Analysis software
Magnetic Insight	Magnetic Insight Inc., Alameda, CA, USA		MPI Imaging device
Quantum GX microCT	PerkinElmer		µCT Imaging device
U-SPECT/CT-UHR	MILabs B.V., CD Houten, The Netherlands		CT/SPECT Imaging device
VivoTrax (5.5 Fe mg/mL)	Magnetic Insight Inc., Alameda, CA, USA	MIVT01-LOT00004	MPI Markers

References

Hage, C., et al. Characterizing responsive and refractory orthotopic mouse models of hepatocellular carcinoma in cancer immunotherapy. PLOS ONE. 14 (7), (2019).
Mannheim, J. G., et al. Comparison of small animal CT contrast agents. Contrast Media & Molecular Imaging. 11 (4), 272-284 (2016).
Kampschulte, M., et al. Nano-computed tomography: technique and applications. RöFo – Fortschritte auf dem Gebiet der Röntgenstrahlen und der bildgebenden Verfahren. 188 (2), 146-154 (2016).
Wang, X., Jacobs, M., Fayad, L. Therapeutic response in musculoskeletal soft tissue sarcomas: evaluation by magnetic resonance imaging. NMR in Biomedicine. 24 (6), 750-763 (2011).
Hage, C., et al. Comparison of the accuracy of FMT/CT and PET/MRI for the assessment of Antibody biodistribution in squamous cell carcinoma xenografts. Journal of Nuclear Medicine: Official Publication, Society of Nuclear Medicine. 59 (1), 44-50 (2018).
Borgert, J., et al. Fundamentals and applications of magnetic particle imaging. Journal of Cardiovascular Computed Tomography. 6 (3), 149-153 (2012).
Vermeulen, I., Isin, E. M., Barton, P., Cillero-Pastor, B., Heeren, R. M. A. Multimodal molecular imaging in drug discovery and development. Drug Discovery Today. 27 (8), 2086-2099 (2022).
Liu, Y. -. H., et al. Accuracy and reproducibility of absolute quantification of myocardial focal tracer uptake from molecularly targeted SPECT/CT: A canine validation. Journal of Nuclear Medicine Official Publication, Society of Nuclear Medicine. 52 (3), 453-460 (2011).
Zhang, Y. -. D., et al. Advances in multimodal data fusion in neuroimaging: Overview, challenges, and novel orientation. An International Journal on Information Fusion. 64, 149-187 (2020).
Nahrendorf, M., et al. Hybrid PET-optical imaging using targeted probes. Proceedings of the National Academy of Sciences. 107 (17), 7910-7915 (2010).
Zhang, S., et al. In vivo co-registered hybrid-contrast imaging by successive photoacoustic tomography and magnetic resonance imaging. Photoacoustics. 31, 100506 (2023).
Yamoah, G. G., et al. Data curation for preclinical and clinical multimodal imaging studies. Molecular Imaging and Biology. 21 (6), 1034-1043 (2019).
Schönemann, P. H. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).
Filippou, V., Tsoumpas, C. Recent advances on the development of phantoms using 3D printing for imaging with CT, MRI, PET, SPECT, and ultrasound. Medical Physics. 45 (9), e740-e760 (2018).
Gear, J. I., et al. Radioactive 3D printing for the production of molecular imaging phantoms. Physics in Medicine and Biology. 65 (17), 175019 (2020).
Sra, J. Cardiac image integration implications for atrial fibrillation ablation. Journal of Interventional Cardiac Electrophysiology: An International Journal of Arrhythmias and Pacing. 22 (2), 145-154 (2008).
Zhao, H., et al. Reproducibility and radiation effect of high-resolution in vivo micro computed tomography imaging of the mouse lumbar vertebra and long bone. Annals of Biomedical Engineering. 48 (1), 157-168 (2020).
Gremse, F., et al. Imalytics preclinical: interactive analysis of biomedical volume data. Theranostics. 6 (3), 328-341 (2016).
Willmott, C. J., Matsuura, K. On the use of dimensioned measures of error to evaluate the performance of spatial interpolators. International Journal of Geographical Information Science. 20 (1), 89-102 (2006).
Thamm, M., et al. Intrinsic respiratory gating for simultaneous multi-mouse µCT imaging to assess liver tumors. Frontiers in Medicine. 9, 878966 (2022).
La Riviere, P. J., Crawford, C. R. From EMI to AI: a brief history of commercial CT reconstruction algorithms. Journal of Medical Imaging. 8 (5), 052111 (2021).
Hoffmann, N., et al. Framework for 2D-3D image fusion of infrared thermography with preoperative MRI. Biomedical Engineering / Biomedizinische Technik. 62 (6), 599-607 (2017).
Boone, J. M., Velazquez, O., Cherry, S. R. Small-animal X-ray dose from micro-CT. Molecular Imaging. 3 (3), 149-158 (2004).
Gremse, F., et al. Hybrid µCt-Fmt imaging and image analysis. Journal of Visualized Experiments. 100, e52770 (2015).
Bhushan, C., et al. Co-registration and distortion correction of diffusion and anatomical images based on inverse contrast normalization. NeuroImage. 115, 269-280 (2015).
Lee, S. Y., Jeon, S. I., Jung, S., Chung, I. J., Ahn, C. -. H. Targeted multimodal imaging modalities. Advanced Drug Delivery Reviews. 76, 60-78 (2014).
Dasgupta, A., Biancacci, I., Kiessling, F., Lammers, T. Imaging-assisted anticancer nanotherapy. Theranostics. 10 (3), 956-967 (2020).
Zhu, X., Li, J., Peng, P., Hosseini Nassab, N., Smith, B. R. Quantitative drug release monitoring in tumors of living subjects by magnetic particle imaging nanocomposite. Nano Letters. 19 (10), 6725-6733 (2019).
McDougald, W. A., Mannheim, J. G. Understanding the importance of quality control and quality assurance in preclinical PET/CT imaging. EJNMMI Physics. 9 (1), 77 (2022).
Birkfellner, W., et al. Multi-modality imaging: a software fusion and image-guided therapy perspective. Frontiers in Physics. 6, 00066 (2018).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Thamm, M., Jeffery, J. J., Zhang, Y., Smith, B. R., Marchant, S., Kiessling, F., Gremse, F. Multimodal Cross-Device and Marker-Free Co-Registration of Preclinical Imaging Modalities. J. Vis. Exp. (200), e65701, doi:10.3791/65701 (2023).

Automatically Generated