Multimodale geräteübergreifende und markerfreie Co-Registrierung von präklinischen Bildgebungsmodalitäten
Summary
Die Kombination mehrerer bildgebender Verfahren ist oft notwendig, um ein umfassendes Verständnis der Pathophysiologie zu erlangen. Bei diesem Ansatz werden Phantome verwendet, um eine differentielle Transformation zwischen den Koordinatensystemen zweier Modalitäten zu erzeugen, die dann für die Co-Registrierung verwendet wird. Diese Methode macht Passermarken bei Produktionsscans überflüssig.
Abstract
Integrierte präklinische multimodale Bildgebungssysteme, wie z. B. die Röntgen-Computertomographie (CT) in Kombination mit der Positronen-Emissions-Tomographie (PET) oder die Magnetresonanztomographie (MRT) in Kombination mit PET, sind weit verbreitet und liefern in der Regel robust co-registrierte Volumina. Oft werden jedoch separate Geräte benötigt, um ein eigenständiges MRT mit einem bestehenden PET-CT zu kombinieren oder zusätzliche Daten aus der optischen Tomographie oder der hochauflösenden Röntgenmikrotomographie einzubeziehen. Dies erfordert eine Bildkoregistrierung, die komplexe Aspekte wie multimodales Mausbettdesign, die Einbeziehung von Passermarkern, die Bildrekonstruktion und softwarebasierte Bildfusion umfasst. Passermarken stellen häufig Probleme für In-vivo-Daten dar, da sie Probleme mit dem Dynamikbereich, Einschränkungen des bildgebenden Sichtfelds, Schwierigkeiten bei der Markerplatzierung oder Markersignalverlust im Laufe der Zeit (z. B. durch Austrocknung oder Zerfall) verursachen. Diese Herausforderungen müssen von jeder Forschungsgruppe, die eine Bildkoregistrierung benötigt, verstanden und angegangen werden, was zu wiederholten Bemühungen führt, da die relevanten Details in bestehenden Publikationen selten beschrieben werden.
Dieses Protokoll beschreibt einen allgemeinen Arbeitsablauf, der diese Probleme überwindet. Obwohl eine differentielle Transformation zunächst mit Hilfe von Passermarken oder visuellen Strukturen erstellt wird, sind solche Marker in Produktionsscans nicht erforderlich. Die Anforderungen an die Volumendaten und die Metadaten, die von der Rekonstruktionssoftware generiert werden, werden detailliert beschrieben. Die Diskussion befasst sich mit der separaten Erreichung und Überprüfung der Anforderungen für jede Modalität. Es wird ein phantombasierter Ansatz beschrieben, um eine differentielle Transformation zwischen den Koordinatensystemen zweier Bildgebungsmodalitäten zu erzeugen. Diese Methode zeigt, wie Produktionsscans ohne Passermarken co-registriert werden können. Jeder Schritt wird mit verfügbarer Software veranschaulicht, mit Empfehlungen für kommerziell erhältliche Phantome. Die Machbarkeit dieses Ansatzes mit verschiedenen Kombinationen von Bildgebungsmodalitäten, die an verschiedenen Standorten installiert sind, wird gezeigt.
Introduction
Unterschiedliche präklinische Bildgebungsmodalitäten haben unterschiedliche Vor- und Nachteile. Die Röntgen-Computertomographie (CT) eignet sich zum Beispiel gut, um anatomische Strukturen mit unterschiedlichen Radiodichten wie Knochen und Lungen zu untersuchen. Es ist aufgrund seiner schnellen Erfassungsgeschwindigkeit, seiner hohen dreidimensionalen Auflösung, seiner relativ einfachen Bildbeurteilung und seiner Vielseitigkeit mit oder ohne Kontrastmittel weit verbreitet 1,2,3. Die Magnetresonanztomographie (MRT) bietet den vielseitigsten Weichteilkontrast ohne ionisierende Strahlung4. Auf der anderen Seite sind Tracer-basierte Modalitäten wie die Positronen-Emissions-Tomographie (PET), die Einzelphotonen-Emissions-Computertomographie (SPECT), die Fluoreszenz-vermittelte Tomographie (FMT) und die Magnetpulver-Bildgebung (MPI) etablierte Werkzeuge zur quantitativen Beurteilung molekularer Prozesse, des Stoffwechsels und der Bioverteilung von radioaktiv markierten diagnostischen oder therapeutischen Verbindungen mit hoher Sensitivität. Ihnen fehlen jedoch die Auflösung und die anatomischen Informationen 5,6. Daher werden in der Regel eher anatomisch orientierte Modalitäten mit hochempfindlichen Modalitäten gepaart, die ihre Stärke in der Tracerdetektion haben7. Diese Kombinationen ermöglichen die Quantifizierung von Tracerkonzentrationen innerhalb eines bestimmten interessierenden Bereichs 8,9. Bei kombinierten Bildgebungsgeräten ist die Modalitäts-Co-Registrierung in der Regel eine integrierte Funktion. Es ist jedoch auch sinnvoll, Scans von verschiedenen Geräten gemeinsam zu registrieren, z. B. wenn die Geräte separat gekauft wurden oder wenn kein Hybridgerät verfügbar ist.
Dieser Artikel konzentriert sich auf die crossmodale Fusion in der Kleintierbildgebung, die für die Grundlagenforschung und Arzneimittelentwicklung unerlässlich ist. Eine frühere Studie10 weist darauf hin, dass dies mit Merkmalserkennung, Contour Mapping oder Fiducials-Markern (Fiducials) erreicht werden kann. Passermarken sind Referenzpunkte für die genaue Ausrichtung und Korrelation von Bildern aus verschiedenen Bildgebungsmodalitäten. In besonderen Fällen können Passermarken sogar Tuschepunkte auf der Haut von Nacktmäusen sein11; Häufig wird jedoch eine Imaging-Patrone mit eingebauten Passermarkenmarkern verwendet. Obwohl es sich um eine robuste und gut entwickelte Methode10 handelt, bringt ihre Verwendung für jeden Scan praktische Probleme mit sich. MRT-nachweisbare Passermarken sind oft flüssig und neigen dazu, während der Lagerung auszutrocknen. PET benötigt radioaktive Marker, deren Signal entsprechend der für biomedizinische Anwendungen normalerweise kurzen Halbwertszeit des Emitters abklingt, was eine Vorbereitung kurz vor dem Scan erfordert. Andere Probleme, wie z. B. die Nichtübereinstimmung des Dynamikbereichs des Signals vom Passermarkenzeichen und dem untersuchten Objekt, wirken sich stark auf die In-vivo-Bildgebung aus. Der große Bereich des dynamischen Kontrasts erfordert eine häufige Anpassung der Signalstärke des Markers an das zu untersuchende Objekt. Während ein schwaches Markersignal in der Analyse möglicherweise nicht erkannt wird, kann ein starkes Markersignal Artefakte erzeugen, die die Bildqualität beeinträchtigen. Darüber hinaus muss das Sichtfeld für viele Anwendungen unnötig groß sein, um die Marker konsistent einzubeziehen, was zu einer höheren Strahlenbelastung, größeren Datenmengen, längeren Scanzeiten und in einigen Fällen zu einer geringeren Auflösung führen kann. Dies kann sich auf die Gesundheit von Versuchstieren und die Qualität der generierten Daten auswirken.
Transformation und differentielle Transformation
Ein Bilddatensatz besteht aus Voxeldaten und Metadaten. Jedem Voxel ist ein Intensitätswert zugeordnet (Abbildung 1A). Zu den Metadaten gehört eine Transformation, die die Position des Datasets im Koordinatensystem des Imaging-Geräts (Abbildung 1B) und die Voxelgröße angibt, die zum Skalieren des Koordinatensystems verwendet wird. Zusätzliche Informationen, wie z.B. Gerätetyp oder Scan-Datum, können optional in den Metadaten hinterlegt werden. Die erwähnte Transformation wird mathematisch als Starrkörpertransformation bezeichnet. Steifkörpertransformationen werden verwendet, um die Ausrichtung oder Position von Objekten in einem Bild oder geometrischen Raum zu ändern, während der Abstand zwischen den einzelnen Punktpaaren erhalten bleibt, was bedeutet, dass das transformierte Objekt seine Größe und Form beibehält, während es im Raum gedreht und verschoben wird. Jede Reihe solcher Transformationen kann als eine einzelne Transformation beschrieben werden, die aus einer Drehung gefolgt von einer Translation besteht. Die Formel, die von der Software verwendet wird, um von der Datenkoordinate zur metrischen Zielkoordinate zu gelangen, ist in Abbildung 1C dargestellt, wobei R eine orthonormale Rotationsmatrix, d und v Voxelindizes und -größen und t ein 3 x 1-Translationsvektor12 ist. Die Drehung ist in Abbildung 1D dargestellt.
Abbildung 1: 2D-Darstellung der Struktur und Platzierung eines Bilddatensatzes in einem globalen Koordinatensystem. (A) Ein Bilddatensatz besteht aus Voxeldaten und Metadaten. Die Transformation, die die Platzierung und die Voxelgröße angibt, sind wesentliche Metadatenkomponenten. (B) Das Bild wird in das Koordinatensystem des Geräts gerendert. Die notwendige Transformation, um das Objekt zu platzieren, besteht aus einer Drehung (blau), gefolgt von einer Verschiebung (grün). (C) Um von der Datenkoordinate zur Zielkoordinate zu gelangen, verwendet die Software diese Formel, wobei R eine orthonormale Rotationsmatrix, d und v Voxelindizes und -größen und t ein 3 x 1-Translationsvektor ist. (D) Eine Rotationsmatrix (blau in Ebene A) stellt die lineare Transformation von rotierenden Punkten dar. Wenn Sie die Koordinaten eines Punktes mit dieser Matrix multiplizieren, erhalten Sie die neuen, gedrehten Koordinaten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Eine differentielle Transformation ist eine Starrkörpertransformation, bei der Koordinaten von einem Koordinatensystem in ein anderes umgewandelt werden, z. B. von PET in Röntgenmikrotomographie (μCT), und sie kann mit Hilfe von Passermarken berechnet werden. Mindestens drei gemeinsame Punkte – die Passermarken – werden in beiden Koordinatensystemen ausgewählt. Aus ihren Koordinaten kann eine mathematische Transformation abgeleitet werden, die die Koordinaten umwandelt. Die Software verwendet die Methode der kleinsten Quadrate, die eine am besten geeignete Lösung für ein Gleichungssystem mit Fehlern oder Rauschen in den gemessenen Daten bietet. Dies wird als Prokrustes-Problem13 bezeichnet und wird durch die Singulärwertzerlegung gelöst. Die Methode ist zuverlässig und robust, da sie zu einer eindeutigen und klar definierten Lösung führt (wenn mindestens drei nicht-kollineare Marker angegeben sind). Es werden sechs freie Parameter berechnet: drei für die Verschiebung und drei für die Rotation. Im Folgenden werden wir den Begriff Transformationsmatrix verwenden, obwohl er technisch gesehen aus einer Rotationsmatrix und einem Translationsvektor besteht.
Jedes bildgebende Gerät verfügt über ein eigenes Koordinatensystem, und die Software berechnet eine differentielle Transformation, um sie auszurichten. Abbildung 2A,B beschreibt, wie die differentielle Transformation bestimmt wird, während Abbildung 2C,D beschreibt, wie sie angewendet wird. Die Bilder beider Modalitäten können unterschiedliche Dimensionen haben und diese im Prozess halten, wie das Beispielbild mit der Fusion von CT und PET in Abbildung 2E zeigt.
Abbildung 2: Differentielle Transformation. (A-D) Vereinfacht zu 2D. Obwohl sie auf andere Modalitäten anwendbar sind, wird in diesem Beispiel davon ausgegangen, dass es sich bei den Modalitäten um CT und PET handelt. (A,C) Ein CT-Bild mit einem roten Begrenzungsrahmen wird im Koordinatensystem positioniert. Auf das gleiche Koordinatensystem angewendet, wird das PET-Bild mit einem gelben Begrenzungsrahmen abweichend positioniert. (B) Unter Verwendung von Referenzmarkern, die sowohl in CT als auch in PET lokalisiert werden können, kann eine differentielle Transformation T bestimmt werden. Dies wird durch den Pfeil symbolisiert. Die differentielle Transformationsmatrix wird gespeichert. (D) Die zuvor gespeicherte differentielle Transformationsmatrix T kann dann auf jedes PET-Bild angewendet werden. Dies führt zu einer neuen Transformation, die die ursprüngliche Transformation in den Metadaten ersetzt. (E) Ein CT-Bild, das mit einem PET-Bild verschmolzen ist. Die Transformationen in den Metadaten beider Bilder beziehen sich auf dasselbe Koordinatensystem. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Methode und Voraussetzungen
Für die vorgestellte Methode wird ein Phantom mit Markern, die in beiden Modalitäten sichtbar sind, in beiden Geräten gescannt. Es genügt dann, diese Passermarken in der vorgeschlagenen Software zu markieren, um eine differentielle Transformation zwischen den beiden Modalitäten zu berechnen. Die differentielle Transformation muss für jedes Gerätepaar einzeln erstellt werden. Es kann gespeichert und später auf jedes neue Bild angewendet werden, wodurch bei nachfolgenden Scans keine Passermarken mehr erforderlich sind. Die endgültige Platzierung des Bildes im Koordinatensystem eines anderen Gerätes kann wiederum als Transformation beschrieben und in den Metadaten des Bildes gespeichert werden, wodurch dort die ursprüngliche Transformation ersetzt wird.
Für diese Methode können vier Anforderungen formuliert werden: (1) Multimodales Phantom: Es muss ein Phantom vorhanden sein, das Marker enthält, die in beiden Modalitäten sichtbar sind. Eine große Auswahl an Phantomen ist kommerziell erhältlich, und die Verwendung des 3D-Drucks für die Konstruktion von Phantomen ist weithin beschrieben14, einschließlich des Einbaus von Radioisitopen15. Die in den folgenden Beispielen verwendeten Dummys sind in der Materialtabelle aufgeführt. Mindestens drei nicht-kollineare Punkte sind erforderlich16. Bei den Markern kann es sich um Hohlräume handeln, die mit einem geeigneten Tracer gefüllt werden können, um kleine Objekte aus einem Material, das in jeder Modalität leicht erkennbar ist, oder einfach um Löcher, Schnitte oder Kanten im Phantom selbst, solange sie in beiden Modalitäten identifiziert werden können. (2) Multimodaler Träger: Es wird ein Träger, wie z.B. ein Mausbett, benötigt, der in beiden Geräten in einer reproduzierbaren Position fixiert werden kann. Im Idealfall sollte es nicht möglich sein, es in umgekehrter Position zu verwenden, um Fehler zu vermeiden. Der Träger ist besonders wichtig für die In-vivo-Bildgebung , da er benötigt wird, um ein sediertes Tier von einem bildgebenden Gerät zum anderen zu transportieren, ohne seine Position zu verändern. Unserer Erfahrung nach ist es wahrscheinlicher, dass sedierte Mäuse ihre Position in einem flachen Mausbett ändern als in einem konkav geformten. Darüber hinaus wurde zuvor eine benutzerdefinierte 3D-gedruckte Vorrichtung zum Halten des Schienbeins der Maus vorgeschlagen, um Bewegungen zu minimieren17. (3) Selbstkonsistenz: Jedes bildgebende Gerät muss die Drehung und Translation des rekonstruierten Volumens in seinem Bezugssystem reproduzierbar und kohärent bereitstellen. Das bedeutet auch, dass ein Koordinatensystem für das gesamte Gerät erhalten bleibt, wenn nur ein kleiner Bereich gescannt wird. Es ist Teil des Protokolls, ein bildgebendes Gerät auf seine Selbstkonsistenz zu testen. (4) Software-Unterstützung: Die vorgeschlagene Software muss in der Lage sein, die Metadaten (Voxelgröße, Translation, Ausrichtung) zu interpretieren, die mit dem vom Gerät bereitgestellten rekonstruierten Volumen gespeichert sind. Das Volume kann im DICOM-, NIfTI-, Analyze- oder GFF-Dateiformat vorliegen. Für einen Überblick über verschiedene Dateiformate siehe Yamoah et al.12.
Während die Koregistrierung von zwei Modalitäten beschrieben wird, ist das Verfahren auch auf drei oder mehr Modalitäten anwendbar, beispielsweise durch die gemeinsame Registrierung von zwei Modalitäten für eine Referenzmodalität.
Protocol
Representative Results
Discussion
Es wird eine Methode zur multimodalen Bildkoregistrierung vorgestellt, die keine Passermarken für Produktionsscans benötigt. Der phantombasierte Ansatz erzeugt eine differentielle Transformation zwischen den Koordinatensystemen zweier Bildgebungsmodalitäten.
Residuum der Fusion und Validierung der differentiellen Transformation
Bei der Berechnung der Differentialtransformation zeigt die Software ein Fusionsresiduen in Millimetern an, das dem mittleren quadratischen Fehler19 der Transformation entspricht. Wenn dieses Residuum die Größenordnung der Voxelgröße überschreitet, ist es ratsam, die Datasets auf allgemeine Probleme zu überprüfen. Da jedoch alle Bilder leichte Verzerrungen aufweisen, kann das Residuum nicht beliebig klein werden; Sie spiegelt nur die Passform der verwendeten Marker wider. Beispielsweise kann eine Ko-Registrierung mit drei Markern zu einem kleineren Residuum in denselben Datensätzen führen als eine Transformation mit vier gut verteilten Markern. Dies liegt daran, dass die Marker selbst möglicherweise überangepasst sind, wenn weniger Treuhänder eingesetzt werden. Die Genauigkeit über den gesamten Datensatz hinweg verbessert sich mit einer größeren Anzahl von Markern.
Die quantitative Genauigkeit der Methode hängt von dem jeweiligen verwendeten Gerätepaar ab. Die berechnete differentielle Transformation zwischen den Koordinatensystemen zweier Geräte kann in folgenden Schritten validiert werden: Halten Sie sich an Schritt 4 des Protokolls, verwenden Sie jedoch wieder das Phantom mit Passermarken als “Probe”. Platzieren Sie das Phantom in einer beliebigen Position, um sicherzustellen, dass es sich von der Position unterscheidet, die für die Schätzung der Differentialtransformation verwendet wird. Es ist auch möglich, ein anderes Phantom zu verwenden, das für die jeweiligen Modalitäten geeignet ist, falls eines verfügbar ist. Als nächstes wenden Sie die zuvor festgelegte differentielle Transformation (Schritt 4.2.5) an, um die beiden Modalitäten aufeinander abzustimmen. Platzieren Sie dann Markierungen auf den Bildern beider Modalitäten gemäß Schritt 3.2 des Protokolls. Um das Fusionsresiduum für diese Marker zu berechnen, klicken Sie auf das Menü Fusion > Register Overlay to Underlay > Showing Residual Score.
Der Restfehler beschreibt die durchschnittliche Fehlplatzierung des Signals und sollte in der Größenordnung der Voxelgröße liegen. Die konkreten Akzeptanzschwellen sind anwendungsabhängig und können von mehreren Faktoren abhängen, wie z. B. der Steifigkeit und Genauigkeit der Bildgebungssysteme, können aber auch durch Bildrekonstruktionsartefakte beeinflusst werden.
Fehlerbehebung bei der Selbstkonsistenz
Oft entstehen Schwierigkeiten mit der Selbstkonsistenz durch eine unzuverlässige Platzierung. Ein häufiger Fehler besteht darin, den Träger in eine seitlich vertauschte Position zu bringen. Im Idealfall sollte es nur in eine Richtung mechanisch in das bildgebende Gerät eingeführt werden. Ist dies nicht möglich, sollten für den Nutzer verständliche Markierungen angebracht werden. Ein weiteres häufiges Problem ist die Möglichkeit der Bewegung in der Längsachse, was die axiale Positionierung unzuverlässig macht. Es empfiehlt sich, einen Abstandshalter zu verwenden, der an einem Ende angebracht werden kann, um das Mausbett an Ort und Stelle zu halten. Kundenspezifische Abstandshalter können zum Beispiel schnell und einfach durch den 3D-Druck erstellt werden. Einige Geräte können jedoch keine Selbstkonsistenz mit unterschiedlichen Sichtfeldern bieten. In solchen Fällen wird empfohlen, sich an den Anbieter zu wenden, der die Inkompatibilität bestätigen und möglicherweise in einem zukünftigen Update beheben sollte. Andernfalls bleibt die Methode zuverlässig, wenn für alle Scans, einschließlich Kalibrierung und Produktionsbildgebung, ein identisches Sichtfeld beibehalten wird.
Bei einigen Produktionsscans mit abweichender Platzierung ist eine Transformation in die kalibrierte Position möglich, wenn eine ausreichende Trägerstruktur erkennbar ist. Bei der In-vivo-Bildgebung muss das sedierte Tier in einer Box verbleiben, und es ist nicht immer möglich, einen einzigen Carrier zu konstruieren, der sicher in beide Geräte passt. Oft wird ein Mausbett für eine Tracer-basierte Modalität verwendet, und dann wird die Platzierung in ein CT-Gerät improvisiert. In Abbildung 5A wurde beispielsweise ein MPI-Mausbett aufgrund mechanischer Einschränkungen auf einem CT-Mausbett platziert. Axialer Spielraum und die Möglichkeit des Walzens machen diese Positionierung unzuverlässig. In solchen Fällen empfiehlt es sich, einen Adapter zu konstruieren, der das untere Mausbett ersetzt und eine ineinandergreifende Passform ermöglicht. Es können zum Beispiel Knüppel verwendet werden, die am unteren Teil befestigt sind, und zusätzliche Löcher im Boden des oberen Mausbettes.
Eine nachträgliche Korrektur für vorhandene Bilder ist jedoch möglich, da das Mausbett im CT-Bild erkennbar ist. Das Protokoll erfordert Kalibrierungsscans, gefolgt von der Berechnung einer differentiellen Transformation des Overlays zur Unterlage. Das Verfahren ist ähnlich, muss aber auch jeden einzelnen Produktions-CT-Scan dem Kalibrierungsscan zuordnen, wobei die Mausbettstrukturen als Passermarken verwendet werden.
Abbildung 5: Fehlerbehebung bei der Platzierung. (A) Ein MPI-Mausbett wird auf ein CT-Mausbett gelegt. Daher kann die Position im CT nicht zuverlässig reproduziert werden. Selbstkonsistenz kann erreicht werden, indem jedes CT-Bild mit dem Referenz-CT-Bild fusioniert wird, das zur Schätzung der differentiellen Transformation verwendet wird. (B-D) Vereinfacht zu 2D. (B) Jedes Produktions-CT-Bild wird als Overlay geladen und unter Verwendung der Strukturen des Mausbetts, die in der CT sichtbar sind, auf das Referenz-CT-Bild (Underlay) registriert. Das korrigierte Produktions-CT-Bild ist nun konsistent mit dem Referenz-CT und kann mit der differentiellen Transformation T verwendet werden. (C) Ein MPI-Overlay wird unter Verwendung der Passermarken eines Phantoms auf dem Referenz-CT-Bild registriert. (D) Die multimodalen Bilder werden zusammengesetzt. Zu diesem Zweck wird jedes CT-Bild auf die Referenzposition mit seiner individuellen differentiellen Transformation abgebildet. Anschließend wird das MPI-Overlay auch mit Hilfe der differentiellen Transformation, die für alle Bilder des Geräts gültig ist, an der Referenzposition registriert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Informationen zur Zuordnung der Produktions-CT-Scans zum Kalibrierungs-Scan finden Sie in Abschnitt 3 des Protokolls, in dem die folgenden Änderungen vorgenommen wurden. Zur besseren Übersichtlichkeit wird die Beschreibung am Beispiel einer CT-Unterlage und eines MPI-Overlays fortgesetzt: Laden Sie in Schritt 3.1 den CT-Kalibrierungsscan (Bild A) als Underlay und den zu korrigierenden CT-Scan als Overlay. Nutzen Sie die Strukturen des MPI-Mausbettes entweder als Marker für Schritt 3.2 oder als visuelle Referenz für Schritt 3.3. Überspringen Sie Schritt 3.4, aber speichern Sie das Overlay, das das korrigierte CT-Volumen darstellt (Menü Datei > Overlay > Overlay speichern unter). Geben Sie im folgenden Dialogfeld einen neuen Namen ein und klicken Sie auf Speichern. Schließen Sie das Overlay, indem Sie zu Menü Datei > Overlay > Closing Overlay navigieren. Laden Sie den nächsten CT-Scan, der als Overlay korrigiert werden muss, und setzen Sie den Vorgang aus Schritt 3.2 des Protokolls fort. Das Konzept, das diesem Schritt zugrunde liegt, ist in Abbildung 5B dargestellt.
Das Mausbett ist nun in allen kürzlich gespeicherten CT-Volumina praktisch identisch mit dem Kalibrierungsscan ausgerichtet. Im Rahmen des Standardverfahrens wird der Kalibrierungsscan mit Hilfe der differentiellen Transformation T auf den MPI-Bildern registriert (Abbildung 5C). Um das CT-Bild anschließend mit MPI zusammenzuführen, verwenden Sie immer das korrigierte CT-Volumen (Abbildung 5D).
Problembehandlung bei gespiegelten Bildern und Skalierung
Die hier vorgestellte Registrierungsmethode geht von einer einigermaßen genauen Bildqualität aus und passt nur die Drehung und Verschiebung an. Er korrigiert nicht für gespiegelte Bilder oder falsche Skalierung. Diese beiden Probleme können jedoch manuell behoben werden, bevor die Differentialtransformation berechnet wird.
Inkonsistenzen zwischen Datenformaten verschiedener Hersteller können dazu führen, dass einige Datensätze, insbesondere solche im DICOM-Format, in der Software spiegelverkehrt angezeigt werden. Da Phantome und Mausbetten oft symmetrisch sind, ist dieses Problem möglicherweise nicht sofort offensichtlich. Das Erkennen von gespiegelten Bildern ist einfacher, wenn der Scan erkennbare Schriftzüge in der jeweiligen Modalität enthält, wie z. B. die erhabene Beschriftung in der richtigen Ausrichtung, die im Phantom in Abbildung 3H zu sehen ist. In dem in Abbildung 6 dargestellten Beispiel werden CT-Daten als Unterlage und MPI-Daten als Overlay geladen. Es handelt sich um einen in vivo-Scan einer Maus, die in einem MPI-Mausbett mit angebrachten Referenzmarkern platziert wurde. Das MPI-Mausbett befindet sich auf einem μCT-Mausbett (Abbildung 6A). Durch das Einhalten des Protokolls und die Markierung der Passermarken sowohl in der Unterlage als auch im Overlay in einer gleichbleibenden Drehrichtung wird ein sichtbar inkongruentes Ergebnis erzeugt (Abbildung 6B). Bei genauerem Hinsehen lässt sich das Problem jedoch erkennen. Die Passermarken bilden ein asymmetrisches Dreieck. Betrachtet man die Seiten des Dreiecks in der axialen Ansicht (Abbildung 6C, D) von der kürzesten über die mittlere bis zur längsten, so ist in den CT-Daten eine Drehung im Uhrzeigersinn zu erkennen, während in den MPI-Daten eine Drehung gegen den Uhrzeigersinn erkennbar ist. Dies zeigt, dass eines der Bilder seitlich invertiert ist. In diesem Fall gehen wir davon aus, dass die CT-Daten korrekt sind. Um das MPI-Overlay zu korrigieren, wird das Bild gespiegelt: Schalten Sie dazu die ausgewählte Ebene auf Overlay um und klicken Sie auf Menü Bearbeiten > Spiegeln > X spiegeln. Die von der Software berechnete differentielle Transformation umfasst alle notwendigen Umdrehungen, so dass “Flip X” auch dann ausreicht, wenn das Bild in eine andere Richtung gespiegelt erscheint.
Abbildung 6: Problembehandlung bei der Transformation. CT-Daten werden als Underlay mit einer Voxelgröße von 0,240 mm geladen, MPI-Daten als Overlay mit einer Voxelgröße von 0,249 mm. Das Mausbett enthält Passermarken. (A) 3D-Ansicht des unkorrigierten Overlay-Bildes. Die Passermarken in der CT-Unterlage sind durch Pfeile gekennzeichnet. Die Passermarken im MPI-Overlay sind als Kugeln in der NIH-Farbtabelle sichtbar. (B) Nicht übereinstimmendes Ergebnis einer Transformation, die ohne entsprechende Korrekturen durchgeführt wurde. Rückstand der Fusion = 6,94 mm. (C) Messung der Abstände zwischen den Passern in CT. Drehung im Uhrzeigersinn von der kürzesten zur längsten Entfernung. (D) Messung der Abstände zwischen den Passermarken in MPI. Drehung gegen den Uhrzeigersinn von der kürzesten zur längsten Entfernung. Der Vergleich mit den CT-Messungen ergibt einen Skalierungsfaktor von 0,928774. (E) Korrigierte Überlagerung nach dem Spiegeln und Skalieren. (F) Transformation mit übereinstimmenden Ergebnissen in der 3D-Ansicht. (G) Transformation mit passenden Ergebnissen in axialer Ansicht. Restschmelze = 0,528 mm. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Datensätze mit falschen Voxelgrößen können auch manuell korrigiert werden. Da die Abmessungen des Phantoms bekannt sein sollten, kann dies im Bild überprüft werden. Die einfachste Methode ist die Verwendung einer Kante bekannter Länge. Drücken Sie [Strg + rechte Maustaste] an einem Ende einer Kante, bewegen Sie den Mauszeiger bei gedrückter Taste an das andere Ende der Kante und lassen Sie die Taste los. Im folgenden Dialog zeigt die Software die Länge der gemessenen Distanz im Bild an. In dem in Abbildung 6 dargestellten Beispiel ist ersichtlich, dass die Größen nicht kongruent sind, wenn man die Abstände zwischen den Passern in beiden Modalitäten vergleicht (Abbildung 6C,D). Auch hier wird davon ausgegangen, dass die CT-Daten korrekt sind. Um die Skalierung zu ändern, wird ein Skalierungsfaktor (SF) berechnet. Da das Verhältnis der Längen (CT/MPI) nicht für jede Seite des Dreiecks genau identisch ist, wird der mittlere Quotient berechnet: SF = ((l1CT/l1MPI) + (l2CT/l2MPI) + (l2CT/l2MPI)) / 3.
Passen Sie anschließend die Voxelgröße des Overlays an, indem Sie jede Dimension mit SF multiplizieren. Um dies zu erreichen, schalten Sie die ausgewählte Ebene auf Überlagerung und öffnen Sie das Menü Bearbeiten > Voxelgrößen ändern. Berechnen Sie jede Dimension, geben Sie den Wert ein und klicken Sie dann auf OK. Das Ergebnis beider Korrekturen ist in Abbildung 6E dargestellt. Anschließend wird das Overlay gemäß dem Protokoll auf der Unterlage registriert. Die resultierende Ausrichtung ist in Abbildung 6F,G dargestellt. Dies bietet zwar eine schnelle Lösung für die Korrektur eines vorhandenen Scans, wir empfehlen jedoch, das Bildgebungsgerät für den Einsatz in der Produktion zu kalibrieren.
Begrenzungen
Diese Methode ist auf die räumliche Co-Registrierung vorhandener volumetrischer Daten beschränkt, die aus würfelförmigen Voxeln bestehen. Es beinhaltet keinen Rekonstruktionsprozess, der das Volumen aus Rohdaten berechnet, die vom Bildgebungsgerät erzeugt werden (z. B. Projektionen in CT). Mit diesem Schritt sind verschiedene Bildverbesserungstechniken verbunden, wie z. B. iterative Methoden20,21 und die Anwendung künstlicher Intelligenz21. Obwohl das beschriebene Verfahren prinzipiell auf alle Modalitäten anwendbar ist, die 3D-Bilder mit würfelförmigen Voxeln erzeugen, kann es nicht für die Fusion von 3D-Daten mit 2D-Daten verwendet werden, wie z.B. ein MRT-Volumen in Kombination mit 2D-Infrarot-Thermografie22 oder Fluoreszenzbildgebung, die in bildgeführten Chirurgieanwendungen relevant sein kann. Durch die Registrierung von 3D-Daten werden Verzerrungen, wie sie in MRT-Bildern am Spulenrand auftreten, nicht korrigiert. Obwohl dies nicht zwingend erforderlich ist, werden optimale Ergebnisse erzielt, wenn Verzerrungen während des Rekonstruktionsprozesses korrigiert werden. Die automatische Transformation befasst sich auch nicht mit gespiegelten Bildern oder falscher Skalierung. Diese beiden Probleme können jedoch manuell behoben werden, wie im Abschnitt zur Fehlerbehebung beschrieben.
Bedeutung der Methode
Die vorgeschlagene Methode macht Passermarken in Produktionsscans überflüssig und bietet mehrere Vorteile. Es kommt Modalitäten zugute, für die eine Wartung des Markers oder ein häufiger Austausch erforderlich ist. Zum Beispiel basieren die meisten MRT-Marker auf Feuchtigkeit, neigen aber dazu, mit der Zeit auszutrocknen, und radioaktive PET-Marker zerfallen. Durch den Wegfall von Passermarken bei Produktionsscans kann das Sichtfeld verkleinert werden, was zu kürzeren Erfassungszeiten führt. Dies ist bei hohen Durchsätzen hilfreich, um Kosten zu senken und die Röntgendosis bei CT-Scans zu minimieren. Eine verringerte Dosis ist wünschenswert, da Strahlung die biologischen Signalwege von Versuchstieren in longitudinalen bildgebenden Studien beeinflussen kann23.
Darüber hinaus ist die Methode nicht auf bestimmte Modalitäten beschränkt. Der Nachteil dieser Vielseitigkeit besteht darin, dass weniger Schritte automatisiert werden. Eine zuvor veröffentlichte Methode zur Fusion von μCT- und FMT-Daten verwendet bei jedem Scan eingebaute Marker in einem Mausbett und kann während der Rekonstruktion eine automatische Markererkennung und Verzerrungskorrektur durchführen24. Andere Methoden machen Marker überflüssig, indem sie die Bildähnlichkeit nutzen. Dieser Ansatz liefert zwar gute Ergebnisse und kann auch Verzerrungenkorrigieren 25, ist aber nur anwendbar, wenn die beiden Modalitäten ausreichend ähnliche Bilder liefern. Dies ist in der Regel nicht der Fall in der Kombination aus einer anatomisch detaillierten Modalität und einer Tracer-basierten Modalität. Diese Kombinationen sind jedoch für die Beurteilung der Pharmakokinetik von zielgerichteten Wirkstoffen26 erforderlich, die in Bereichen wie der Nanotherapie gegen KrebsAnwendung finden 27,28.
Da die Qualitätskontrolle in der präklinischen im Vergleich zu klinischen Anwendungen weniger streng ist, ist die Fehlausrichtung kombinierter Bildgebungsgeräte ein anerkanntes Problem29. Daten, die von dieser Fehlausrichtung betroffen sind, könnten retrospektiv verbessert werden, indem ein Phantom gescannt und die differentielle Transformation bestimmt wird, wodurch möglicherweise Kosten gesenkt und Tierschäden minimiert werden. Neben der demonstrierten Methode, bei der Passermarken zur Berechnung einer differentiellen Transformation verwendet werden, die dann auf Produktionsscans angewendet wird, werden weitere Möglichkeiten der Bildfusion beschrieben und genutzt. Eine Übersicht, die Verweise auf verschiedene verfügbare Software enthält, findet sich in Birkfellner et al.30.
Zusammenfassend lässt sich sagen, dass die vorgestellte Methode eine effektive Lösung für die multimodale Bild-Co-Registrierung bietet. Das Protokoll lässt sich leicht an verschiedene Bildgebungsmodalitäten anpassen, und die bereitgestellten Fehlerbehebungstechniken erhöhen die Robustheit der Methode gegenüber typischen Problemen.
Divulgations
The authors have nothing to disclose.
Acknowledgements
Die Autoren danken der Bundesregierung des Landes Nordrhein-Westfalen und der Europäischen Union (EFRE), der Deutschen Forschungsgemeinschaft (CRC1382 Projekt-ID 403224013 – SFB 1382, Projekt Q1) für die Förderung.
Materials
| 177Lu | radiotracer | ||
| Custom-build MPI mousebed | |||
| Hot Rod Derenzo | Phantech LLC. Madison, WI, USA | D271626 | linearly-filled channel derenzo phantom |
| Imalytics Preclinical 3.0 | Gremse-IT GmbH, Aachen, Germany | Analysis software | |
| Magnetic Insight | Magnetic Insight Inc., Alameda, CA, USA | MPI Imaging device | |
| Quantum GX microCT | PerkinElmer | µCT Imaging device | |
| U-SPECT/CT-UHR | MILabs B.V., CD Houten, The Netherlands | CT/SPECT Imaging device | |
| VivoTrax (5.5 Fe mg/mL) | Magnetic Insight Inc., Alameda, CA, USA | MIVT01-LOT00004 | MPI Markers |
References
- Hage, C., et al. Characterizing responsive and refractory orthotopic mouse models of hepatocellular carcinoma in cancer immunotherapy. PLOS ONE. 14 (7), (2019).
- Mannheim, J. G., et al. Comparison of small animal CT contrast agents. Contrast Media & Molecular Imaging. 11 (4), 272-284 (2016).
- Kampschulte, M., et al. Nano-computed tomography: technique and applications. RöFo – Fortschritte auf dem Gebiet der Röntgenstrahlen und der bildgebenden Verfahren. 188 (2), 146-154 (2016).
- Wang, X., Jacobs, M., Fayad, L. Therapeutic response in musculoskeletal soft tissue sarcomas: evaluation by magnetic resonance imaging. NMR in Biomedicine. 24 (6), 750-763 (2011).
- Hage, C., et al. Comparison of the accuracy of FMT/CT and PET/MRI for the assessment of Antibody biodistribution in squamous cell carcinoma xenografts. Journal of Nuclear Medicine: Official Publication, Society of Nuclear Medicine. 59 (1), 44-50 (2018).
- Borgert, J., et al. Fundamentals and applications of magnetic particle imaging. Journal of Cardiovascular Computed Tomography. 6 (3), 149-153 (2012).
- Vermeulen, I., Isin, E. M., Barton, P., Cillero-Pastor, B., Heeren, R. M. A. Multimodal molecular imaging in drug discovery and development. Drug Discovery Today. 27 (8), 2086-2099 (2022).
- Liu, Y. -. H., et al. Accuracy and reproducibility of absolute quantification of myocardial focal tracer uptake from molecularly targeted SPECT/CT: A canine validation. Journal of Nuclear Medicine Official Publication, Society of Nuclear Medicine. 52 (3), 453-460 (2011).
- Zhang, Y. -. D., et al. Advances in multimodal data fusion in neuroimaging: Overview, challenges, and novel orientation. An International Journal on Information Fusion. 64, 149-187 (2020).
- Nahrendorf, M., et al. Hybrid PET-optical imaging using targeted probes. Proceedings of the National Academy of Sciences. 107 (17), 7910-7915 (2010).
- Zhang, S., et al. In vivo co-registered hybrid-contrast imaging by successive photoacoustic tomography and magnetic resonance imaging. Photoacoustics. 31, 100506 (2023).
- Yamoah, G. G., et al. Data curation for preclinical and clinical multimodal imaging studies. Molecular Imaging and Biology. 21 (6), 1034-1043 (2019).
- Schönemann, P. H. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).
- Filippou, V., Tsoumpas, C. Recent advances on the development of phantoms using 3D printing for imaging with CT, MRI, PET, SPECT, and ultrasound. Medical Physics. 45 (9), e740-e760 (2018).
- Gear, J. I., et al. Radioactive 3D printing for the production of molecular imaging phantoms. Physics in Medicine and Biology. 65 (17), 175019 (2020).
- Sra, J. Cardiac image integration implications for atrial fibrillation ablation. Journal of Interventional Cardiac Electrophysiology: An International Journal of Arrhythmias and Pacing. 22 (2), 145-154 (2008).
- Zhao, H., et al. Reproducibility and radiation effect of high-resolution in vivo micro computed tomography imaging of the mouse lumbar vertebra and long bone. Annals of Biomedical Engineering. 48 (1), 157-168 (2020).
- Gremse, F., et al. Imalytics preclinical: interactive analysis of biomedical volume data. Theranostics. 6 (3), 328-341 (2016).
- Willmott, C. J., Matsuura, K. On the use of dimensioned measures of error to evaluate the performance of spatial interpolators. International Journal of Geographical Information Science. 20 (1), 89-102 (2006).
- Thamm, M., et al. Intrinsic respiratory gating for simultaneous multi-mouse µCT imaging to assess liver tumors. Frontiers in Medicine. 9, 878966 (2022).
- La Riviere, P. J., Crawford, C. R. From EMI to AI: a brief history of commercial CT reconstruction algorithms. Journal of Medical Imaging. 8 (5), 052111 (2021).
- Hoffmann, N., et al. Framework for 2D-3D image fusion of infrared thermography with preoperative MRI. Biomedical Engineering / Biomedizinische Technik. 62 (6), 599-607 (2017).
- Boone, J. M., Velazquez, O., Cherry, S. R. Small-animal X-ray dose from micro-CT. Molecular Imaging. 3 (3), 149-158 (2004).
- Gremse, F., et al. Hybrid µCt-Fmt imaging and image analysis. Journal of Visualized Experiments. 100, e52770 (2015).
- Bhushan, C., et al. Co-registration and distortion correction of diffusion and anatomical images based on inverse contrast normalization. NeuroImage. 115, 269-280 (2015).
- Lee, S. Y., Jeon, S. I., Jung, S., Chung, I. J., Ahn, C. -. H. Targeted multimodal imaging modalities. Advanced Drug Delivery Reviews. 76, 60-78 (2014).
- Dasgupta, A., Biancacci, I., Kiessling, F., Lammers, T. Imaging-assisted anticancer nanotherapy. Theranostics. 10 (3), 956-967 (2020).
- Zhu, X., Li, J., Peng, P., Hosseini Nassab, N., Smith, B. R. Quantitative drug release monitoring in tumors of living subjects by magnetic particle imaging nanocomposite. Nano Letters. 19 (10), 6725-6733 (2019).
- McDougald, W. A., Mannheim, J. G. Understanding the importance of quality control and quality assurance in preclinical PET/CT imaging. EJNMMI Physics. 9 (1), 77 (2022).
- Birkfellner, W., et al. Multi-modality imaging: a software fusion and image-guided therapy perspective. Frontiers in Physics. 6, 00066 (2018).
