Summary

临床前成像模式的多模式跨设备和无标记物共同配准

Published: October 27, 2023
doi:

Summary

为了全面了解病理生理学,通常需要结合多种影像学检查方式。这种方法利用 Phantom 在两种模态的坐标系之间生成差分转换,然后将其应用于共同配准。此方法消除了生产扫描中对基准点的需求。

Abstract

集成的临床前多模态成像系统,例如 X 射线计算机断层扫描 (CT) 结合正电子发射断层扫描 (PET) 或磁共振成像 (MRI) 结合 PET,已广泛使用,并且通常提供稳健的共同配准体积。然而,通常需要单独的设备来将独立的 MRI 与现有的 PET-CT 相结合,或者整合来自光学断层扫描或高分辨率 X 射线显微断层扫描的额外数据。这需要图像共同配准,这涉及复杂的方面,例如多模态小鼠床设计、基准标记包含、图像重建和基于软件的图像融合。由于动态范围问题、成像视野的限制、标记物放置困难或标记物信号随时间损失(例如,由于干燥或衰减),基准标记物通常会给体内数据带来问题。每个需要图像共同配准的研究小组都必须理解和解决这些挑战,这需要反复努力,因为相关细节在现有出版物中很少描述。

该协议概述了克服这些问题的一般工作流程。尽管差分转换最初是使用基准标记或视觉结构创建的,但在生产扫描中不需要此类标记。详细介绍了 reconstruction 软件生成的卷数据和元数据的要求。讨论涵盖分别为每种模式实现和验证需求。描述了一种基于幻影的方法,用于在两种成像模式的坐标系之间生成差分变换。此方法展示了如何在没有基准标记的情况下共同配准生产扫描。每个步骤都使用可用的软件进行说明,并推荐市售模型。展示了这种方法在不同站点安装不同成像模式组合的可行性。

Introduction

不同的临床前成像方式有明显的优点和缺点。例如,X 射线计算机断层扫描 (CT) 非常适合检查具有不同无线电密度的解剖结构,例如骨骼和肺。由于其采集速度快、三维分辨率高、图像评估相对容易以及使用或不使用造影剂的多功能性,它被广泛使用 1,2,3。磁共振成像 (MRI) 提供最通用的软组织造影剂,而不会产生电离辐射4。另一方面,基于示踪剂的模式,如正电子发射断层扫描 (PET)、单光子发射计算机断层扫描 (SPECT)、荧光介导的断层扫描 (FMT) 和磁粒子成像 (MPI),是定量评估分子过程、代谢和放射性标记诊断或治疗化合物的生物分布的成熟工具高灵敏度。然而,它们缺乏分辨率和解剖信息 5,6。因此,更多面向解剖学的模式通常与在示踪剂检测方面具有优势的高灵敏度模式配对7。这些组合使得特定感兴趣区域内示踪剂浓度的定量成为可能 8,9。对于组合成像设备,模态协同配准通常是一项内置功能。但是,从不同设备共同配准扫描也很有用,例如,如果设备是单独购买的,或者混合设备不可用。

本文重点介绍小动物成像中的跨模态融合,这对于基础研究和药物开发至关重要。之前的研究10 指出,这可以通过特征识别、等值线映射或基准标记(基准)来实现。基准点是准确对齐和关联来自不同成像模式的图像的参考点。在特殊情况下,基准点甚至可以是裸鼠皮肤上的中国墨水点11;但是,通常会使用带有内置基准标记的成像盒。虽然这是一种强大且完善的方法10,但将其用于每次扫描都会带来实际问题。MRI 可检测的基准通常是基于液体的,并且在储存过程中往往会变干。PET 需要放射性标记物,其信号根据发射器的半衰期而衰减,对于生物医学应用来说,半衰期通常很短,因此需要在扫描前不久进行准备。其他问题,例如来自基准标记和被检查对象的信号动态范围不匹配,会强烈影响 体内 成像。广泛的动态对比度要求标记信号强度根据被检查的对象频繁调整。因此,虽然在分析中可能无法检测到微弱的标志物信号,但强标志物信号可能会产生影响图像质量的伪影。此外,为了始终如一地包含标记,对于许多应用来说,视场必须不必要地大,这可能会导致更高的辐射暴露、更大的数据量、更长的扫描时间,并且在某些情况下,分辨率会降低。这可能会影响实验动物的健康和生成数据的质量。

变换和差分变换
图像数据集由体素数据和元数据组成。每个体素都与一个强度值相关联(图 1A)。元数据包括一个转换,该转换指定数据集在成像设备坐标系中的位置(图 1B)和用于缩放坐标系的体素大小。可以选择将其他信息(例如设备类型或扫描日期)存储在元数据中。上述变换在数学上称为刚体变换。刚体变换用于更改图像或几何空间中对象的方向或位置,同时保持每对点之间的距离,这意味着变换后的对象在空间中旋转和平移时保持其大小和形状。任何一系列此类转换都可以描述为由旋转和平移组成的单个转换。软件用于从数据坐标移动到公制目标坐标的公式如图 1C 所示其中 R 是正交旋转矩阵,d 和 v 是体素索引和大小,t 是 3 x 1 平移向量12图 1D 中详细介绍了旋转。

Figure 1
图 1:图像数据集结构和在全局坐标系中的位置的 2D 表示。A) 图像数据集由体素数据和元数据组成。指定位置和体素大小的转换是必不可少的元数据组件。(B) 将图像渲染到设备的坐标系中。放置对象所需的转换包括旋转 (蓝色) 和平移 (绿色)。(C) 为了从数据坐标移动到目标坐标,软件使用以下公式,其中 R 是正交旋转矩阵,d 和 v 是体素索引和大小,t 是 3 x 1 平移向量。(D) 旋转矩阵(平面 A 中的蓝色)表示旋转点的线性变换。将点的坐标乘以此矩阵会得到新的旋转坐标。 请单击此处查看此图的较大版本。

差分变换是将坐标从一个坐标系转换为另一个坐标系的刚体变换,例如,从 PET 到 X 射线显微断层扫描 (μCT),并且可以使用基准标记进行计算。在两个坐标系中至少选择了三个公共点 – 基准。从它们的坐标中,可以得出一个数学变换来转换坐标。该软件使用最小二乘法,该方法为测量数据中存在误差或噪声的方程组提供了最佳解决方案。这称为 Procrustes 问题13 ,使用奇异值分解来解决。该方法可靠且稳健,因为它导致了唯一且定义明确的解决方案(如果至少给出了三个非共线标记)。计算 6 个自由参数:3 个用于平移,3 个用于旋转。在下文中,我们将使用术语 transformation matrix,即使它在技术上由旋转矩阵和平移向量组成。

每个成像设备都有自己的坐标系,软件会计算差分变换以对齐它们。 图 2AB 描述了如何确定差分变换,而 图 2CD 描述了如何应用差分变换。两种模式的图像可以具有不同的尺寸并在此过程中保持它们,如图 2E 中 CT 和 PET 融合的示例图像所示。

Figure 2
图 2:差分变换。A-D) 简化为 2D。虽然适用于其他模式,但本例假设模式为 CT 和 PET。(答,C)带有红色边界框的 CT 图像位于坐标系中。应用于同一坐标系,带有黄色边界框的 PET 图像将偏向定位。B) 使用可以在 CT 和 PET 中定位的基准标记,可以确定差异转化 T。这由箭头表示。将存储差分变换矩阵。(D) 然后可以将先前保存的差分变换矩阵 T 应用于每个 PET 图像。这将产生一个新的转换,该转换将替换元数据中的原始转换。(E) 与 PET 图像融合的 CT 图像。两个图像的元数据中的转换引用相同的坐标系。请单击此处查看此图的较大版本。

方法和要求
对于所提出的方法,在两种设备中扫描包含两种模式中可见标记的虚拟。然后,在所提出的软件中标记这些基准点就足够了,以计算两种模态之间的差分变换。必须为每对设备单独创建差分转换。它可以保存并在以后应用于任何新图像,从而在后续扫描中无需基准标记。图像在另一个设备的坐标系中的最终放置可以再次描述为转换,并存储在图像的元数据中,替换那里的原始转换。

可以制定此方法的四个要求:(1) 多模态虚拟:包含两种模态中可见标记的虚拟必须可用。大量的模型可以在商业上获得,并且使用 3D 打印进行模型构建已被广泛描述14,甚至包括放射性isitopes 的加入 15。以下示例中使用的模型列在 材料表中。至少需要三个非共线点16.标记可以是可以用适当的示踪剂填充的空腔,由在每种模态中都很容易检测到的材料制成的小物体,或者只是体模本身的孔、切口或边缘,只要它们可以在两种模态中识别即可。(2) 多模式载体:需要一个载体,例如鼠标床,可以在两种设备中固定在可重复的位置。理想情况下,不应将其反向使用以避免错误。载体对于 体内 成像尤为重要,因为需要将镇静动物从一个成像设备运送到另一个成像设备而不改变其位置。根据我们的经验,与凹形小鼠相比,镇静小鼠在平坦的小鼠床中更有可能改变它们的位置。此外,之前曾建议使用定制的 3D 打印夹具来固定鼠标的胫骨以最大限度地减少运动17。(3) 自洽性:每个成像设备必须以可重现和连贯的方式在其参考系中提供重建体积的旋转和平移。这也意味着,当仅扫描一小部分区域时,将保留整个设备的坐标系。它是测试成像设备自洽性的协议的一部分。(4) 软件支持:建议的软件必须能够解释与设备提供的重建体积一起存储的元数据(体素大小、平移、方向)。该卷可以是 DICOM、NIfTI、Analyze 或 GFF 文件格式。有关各种文件格式的概述,请参阅 Yamoah et al.12

虽然描述了两种模式的共同注册,但该程序也适用于三种或三种以上的模式,例如,通过将两种模式共同注册到一个参考模式。

Protocol

该方案的软件步骤将在 Imalytics Preclinical 中执行,该临床前称为“分析软件”(参见 材料表)。它可以将卷加载为两个不同的层,称为 “underlay” 和 “overlay” 18。底层渲染通常用于检查解剖学上详细的数据集,分割可能基于该数据集;叠加层可以透明地呈现,可用于可视化图像中的其他信息。通常,基于示踪剂的模态的信号分布显示在叠加层中。该协议需要多次切换所选层。这是将受编辑操作影响的图层。当前选定的图层显示在鼠标和窗口图标之间顶部工具栏的下拉列表中。可以按 Tab 键在参考底图和叠加之间切换,也可以直接从下拉列表中选择所需的图层。该协议将用于测试自洽性并确定差分变换的扫描(或图像)称为“校准扫描”,与随后用于内容生成成像的“生产扫描”形成鲜明对比。方案中使用的模式是 CT 和 PET。然而,如前所述,该方法适用于所有能够获取体积数据的临床前成像方式。 1. 组装载体和模型 注意: 必须提供合适的多式联运载体,例如鼠标床,可以固定模型。有关此程序集的建议、常见问题和疑难解答,请参阅讨论。 在模型中准备基准标记。注:所需的具体准备工作因所使用的模式和示踪剂而异。例如,许多 MRI 模型包含需要注水的空腔,而 PET 作为另一个例子,需要放射性示踪剂。 将模型放在托架中,并用胶带等不会影响图像质量的材料固定。注意:Demo 部分详细介绍了 Phantom 的要求。 2. 执行校准扫描并检查自洽性 注意:需要对每个成像设备重复此步骤。 采集具有不同视野的两次扫描。将托架放入成像设备中。确保以可靠且可重复的方式放置。 根据设备制造商的说明进行扫描,使用覆盖整个模型的大视野。在以下步骤中,此图像将称为 “Image A”。注意:包括所有基准点很重要,因为此扫描也将用于计算差分变换矩阵。 从成像设备中取出托架并更换。注意: 此步骤可确保托架在设备中的位置可靠。 如果成像设备不支持有限的视野,即始终扫描整个视野,则可以合理地假设自洽。直接进入步骤 3。 根据设备制造商的说明执行第二次扫描,这次使用的视场要小得多。在以下步骤中,此图像将称为 “Image B”。注意:使用不同的视场进行两次扫描非常重要。视野的确切位置对于图像 B 来说并不重要,只要包含一些可见信息,例如虚拟结构或尽可能多的基准点即可。 加载参考底图。打开分析软件。 将图像 A 加载为参考底图: 菜单 File > Underlay > Load underlay。在下面的对话框中,选择图像文件,然后单击 打开。 如果 3D 视图不存在,请按 [Alt + 3] 将其激活。 调整窗口:按 [Ctrl + W] 并调整以下对话框中的左右垂直条,以便可以清楚地区分幻象或根据模态,示踪剂。点击 Ok 关闭对话框。 加载叠加层。将图像 B 加载为叠加层: 菜单 File > Overlay > Load overlay。在下面的对话框中,选择图像文件,然后单击 打开。 更改渲染方法: 菜单 3D-Rendering > Overlay mode >选中 Iso 渲染。注意:尽管 PET 或 SPECT 等基于示踪剂的模态通常使用体积渲染进行查看,但在这种情况下,Iso 渲染可以更轻松地比较位置。默认情况下,参考底图在 ISO 渲染中打开。 激活边界框的视图: 菜单视图 > 显示符号 > 显示边界框 > 显示参考底图边界框;菜单视图 > Show symbols > Show bounding box > Show overlay bounding box。 检查图像对齐方式。将鼠标指针放在 3D 视图上,然后使用 [Ctrl + 鼠标滚轮] 缩放视图,以便两个边界框都完全可见。按住 [Alt + 鼠标左键] 同时移动鼠标指针可旋转视图。 将所选图层切换到叠加层。 调整窗口和颜色表:按 [Ctrl + w]。在以下对话框左侧的下拉列表中,选择 Yellow。将以下对话框中的范围调整为为底层选择的类似范围,然后以小步骤更改设置,直到黄色渲染在白色渲染中可见。点击 Ok 关闭对话框。注意:图像 A(参考底图)的渲染现在以白色表示,并由红色边界框包围。图像 B(叠加)的渲染以黄色表示,并由黄色边界框包围。 目视检查成像设备和放置模型的方法是否按要求自洽。虚拟(或者,根据模态,示踪剂)应在 Undertier 和 Overlay 中完全对齐。黄色渲染应该是白色渲染的子集。注意:黄色边界框应较小,且在红色边界框内。有关直观示例,请参阅 Representative Results 部分。如果对齐方式不匹配,请参阅讨论以了解常见的放置问题和故障排除。 3. 微分变换的计算 加载两种模式的图像。打开分析软件。 将 CT 图像 A 作为参考底图加载: 菜单 File > Underlay > Load underlay。在以下对话框中,选择图像文件,然后按 open。 将 PET 图像 A 加载为叠加层: 菜单 File > Overlay > Load Overlay。在以下对话框中,选择图像文件,然后按 open。 显示多个切片视图:按 [Alt + A]、[Alt + S] 和 [Alt + C] 可显示轴向、矢状和冠状切片视图。注意:虽然从技术上讲,一架飞机就足以找到基准点,但所有飞机的同时视图可以提供更好的方向和更快的导航。 执行基于标记物的融合。注意:步骤 3.2 和步骤 3.3 是对齐参考底图和叠加层的替代方法。首先尝试步骤 3.2,因为它更容易重现并且可能更准确。如果没有足够的标记清晰可辨,则步骤 3.3 是一个后备方案。将视图切换为仅显示参考底图:菜单 View > Layer Settings > Layer Visibility >取消选中叠加;>图层设置>图层可见性>检查参考底图的菜单视图。 将所选图层切换到参考底图。 如有必要,调整窗口:按 [Ctrl + W] 并调整以下对话框中的左右垂直条,以便更好地查看基准。点击 Ok 关闭对话框。 通过单击左侧垂直工具栏上的 标记 符号来激活鼠标操作模式“create marker”。鼠标指针显示标记符号。 Perform for each fiducial of the phantom (对虚拟的每个基准执行):导航到基准。为此,将鼠标指针放在平面视图上,并使用 [Alt + 鼠标滚轮] 切开平面。将鼠标指针放在基准的中心并单击鼠标左键。这将打开一个对话框,软件将在其中建议一个带有连续数字的名称。保留建议的名称,例如 “Marker001”,然后单击 ok 保存标记。注意:如果您再次对叠加使用相同的标记名称,则可以使用不同的名称。 调整查看设置以显示叠加层: 菜单视图>图层设置>图层可见性 >检查 叠加层。注意:建议保持基线视图处于激活状态,因为保持方向并确保在两种模式下识别正确的标记是有帮助的。如果两种模式不同步或叠加令人困惑,请将其停用: 菜单视图>图层设置>图层可见性 >取消选中 底层。 将所选图层切换到叠加层。 调整窗口:如果基准标记不清晰可见,请按 [Ctrl + W] 并在以下对话框中调整左右竖线,以便尽可能最好地定位基准。点击 Ok 关闭对话框。 Perform for each fiducial of the phantom (对虚拟的每个基准执行):导航到基准。为此,将鼠标指针放在平面视图上,并使用 [Alt + 鼠标滚轮] 切开平面。将鼠标指针放在基准的中心并单击鼠标左键。这将打开一个对话框,软件将在其中建议一个带有连续数字的名称。保留建议的名称,然后单击 ok 保存标记。注意: 在底层和叠加中匹配软件标记时,必须具有相同的名称。如果您保留建议的名称并使用相同的顺序在两种模式下创建标记,则可以确保这一点。如果更改名称,请确保它们匹配。 激活两个图层的视图: 菜单视图 > 图层设置 > 图层可见性 > 检查参考底图;菜单视图>图层设置>图层可见性 >检查 叠加。 对齐参考底图和叠加层的标记: 菜单 Fusion > 将叠加层注册到参考底图 > 计算旋转和平移 (标记)。以下对话框显示了熔合的残差。记下此测量值,然后单击 ok(确定)。 检查对齐结果:参考底图和叠加层中的标记应在视觉上匹配。查看讨论部分,了解有关熔合残差的故障排除和准确性说明。注意:叠加层的变换已更改。要显示新叠加变换的详细信息,请按 [Ctrl + I]。 如果无法进行基于标记的融合,请执行交互式融合。如果 3.2 步骤完成,请直接执行 3.4 步骤。激活两个图层的视图: 菜单视图 > 图层设置 > 图层可见性 > 检查底图;菜单视图 > 图层设置 > 图层可见性 > 检查 叠加。 通过单击左侧垂直工具栏上的符号来激活鼠标模式“交互式图像融合”。该符号由三个偏移省略号组成,其中有一个点位于公共中心。鼠标指针现在显示此符号。 确保鼠标模式的设置工具栏显示在永久工具栏下方的上部区域。有三个复选框分别用于 Underlay、Overlay 和 Segmentation。检查 overlay。取消选中 underlay 和 segmentation。 以交互方式将叠加与参考底图对齐:对不同的视图执行旋转和平移,直到参考底图和叠加尽可能对齐:旋转:将鼠标指针放在视图边缘附近(轴向、冠状或矢状);鼠标指针元件现在由箭头包围。按住鼠标左键并移动鼠标以旋转叠加层。 平移:将鼠标指针放在视图中心附近。鼠标指针未被圈出。按住鼠标左键并移动鼠标以移动叠加层。 创建并保存差分变换: 菜单 Fusion > Overlay 变换 > 创建并保存差分变换。在以下对话框中,选择原始叠加文件,然后单击 Open。在第二个对话框中,输入差异转换的文件名,然后按 Save。注意:软件需要原始叠加文件来读取原始变换,然后计算差分变换。我们建议使用指定所用成像设备的文件名保存差分转换矩阵。 4. 生产成像 在两个成像设备中扫描。将样品(例如,镇静的实验动物)固定在载体上。注意:重要的是要确保样品在载体中的位置在两次扫描之间不会发生变化。 将载体放入 CT 设备中。确保按照校准扫描期间的相同方式放置托架。 根据设备制造商的说明进行扫描。 将载体放入 PET 设备中。确保按照校准扫描期间的相同方式放置托架。 根据设备制造商的说明进行扫描。 执行差分变换的应用。打开分析软件。 将 CT 文件加载为参考底图: 菜单文件> 参考底图 > 加载参考底图。在以下对话框中,选择 CT 图像文件,然后按 ok。 将 PET 文件加载为叠加层: 菜单 File > Overlay > Load overlay。在以下对话框中,选择 PET 图像文件,然后按 ok。 激活两个图层的视图: 菜单 View > 图层设置 > 图层可见性 > 检查 底图;菜单视图>图层设置>图层可见性 >检查 叠加。 加载并应用以前保存的差分变换矩阵: 菜单 > Fusion > 叠加变换 > 加载并应用变换。选择包含您在校准过程中保存的差分变换矩阵的文件,然后按 open。注意:此步骤将更改叠加层的元数据。 存储更改的叠加: 菜单 > 文件 > 叠加 > 存储叠加。在以下对话框中,输入名称并单击 Save 。注意:建议保留未更改的原始数据,因此,以新名称保存叠加。

Representative Results

图 3 和 图 4 提供了在 CT 中可见的体模示例,其中包含填充示踪剂的管状腔,在本例中为 SPECT。使用的模型和示踪剂在 材料表中列出。 该协议的第 2 步概述了校准扫描并验证每个成像设备的自洽性。对于每个设备,具有不同视野的两次扫描的渲染应该是一致的。因此,以黄色表示的图像 B 应该是以白色表示的图像 A 的子集。 图 3A 显示了一个使用 CT 的示例。基于示踪剂的模态,如 PET 或 SPECT,通常通过体积渲染进行可视化(图 3B)。但是,ISO 渲染有助于更轻松地进行位置比较。因此,该协议指示用户将 Underlay 和 overlay 切换到 Iso 渲染,而不管使用何种模式。因此,在 SPECT 示例中,黄色渲染也应该是白色渲染的子集(图 3C)。在每种情况下,黄色边界框都应该更小,并位于红色边界框内。如果对齐方式不匹配,则讨论会突出显示常见的放置问题并提供故障排除建议。 该协议的第 3 步描述了如何使用基准标记确定两种模态之间的差分转换。由于基于示踪剂的模态中的示踪剂以体积的形式存在,因此用户必须确定用作(点形)基准标记的适当点。在图 4 中,体模的 CT 图像作为底图加载,SPECT 图像作为底图加载。体模内管子的曲线中心被选为 CT 衬垫的基准标记,如图 4A-C 所示,在轴向、冠状和矢状视图中。需要在叠加层中标记相应的点,如图 4D-F 中的轴向、冠状和矢状视图所示。软件现在可以计算差分变换并将其应用于叠加层。这将对齐两种模式中的标记,如图 4G,H 所示。 图 3:显示自洽性的图像。 (A) CT 体积。该协议的步骤 2.4 需要检查图像对齐。根据协议中的步骤,底层渲染为白色,而叠加层和叠加层的边界框渲染为黄色。两个图层都对齐(此处,第二次扫描由第一次扫描的裁剪副本模拟)。(B) 使用填充示踪剂的管对模型进行 SPECT 成像。使用 NIH 颜色表进行体积渲染。(C) ISO 渲染中的 SPECT 图像。参考底图渲染为白色,而叠加层和叠加层的边界框渲染为黄色。两个图层都对齐(此处,第二次扫描由第一次扫描的裁剪副本模拟)。 请单击此处查看此图的较大版本。 图 4:标记在 CT 和 SPECT 图像中的位置。 模型的 CT 图像将作为参考底图加载。SPECT 图像作为叠加层加载并使用 NIH 颜色表进行渲染。(A-C)实验方案的步骤 3.2 要求在底层放置标记。选择模型内管的曲线中心作为基准,并将 Marker001 放置在该处,如轴向、冠状和矢状视图中的红点所示。(D-F)匹配的标记将放置在叠加中。(G) 变换后的轴向视图。(H) 融合模态的 3D 视图。最大强度投影渲染用于使 SPECT 跟踪器在虚拟中可见。请单击此处查看此图的较大版本。

Discussion

提出了一种不需要基准标记进行生产扫描的多模态图像共配准方法。基于体模的方法在两种成像模式的坐标系之间产生差分变换。

融合残差和验证差分变换
在计算差分变换时,软件会显示以毫米为单位的 熔合残差 ,表示变换的均方根误差19 。如果此残差超过体素大小的数量级,建议检查数据集是否存在一般问题。但是,由于所有图像都有轻微的失真,因此残差不能任意变小;它仅反映所用标记的拟合度。例如,与具有四个分布良好的标记的转换相比,具有三个标记的共同配准可能导致同一数据集上的残差更小。发生这种情况是因为当使用的基准较少时,标记本身可能会过度拟合。标记数量越多,整个数据集的准确性就越高。

该方法的定量准确性取决于所使用的特定设备对。可以按照以下步骤验证两个器件坐标系之间计算的差分变换:遵守协议的第 4 步,但再次使用带有基准标记的模型作为“样本”。将模型放置在任何位置,确保它与用于估计差分变换的位置不同。如果有的话,也可以使用适合相应模式的不同模型。接下来,应用之前确定的差分变换(步骤 4.2.5)来对齐两种模态。然后,按照协议的步骤 3.2 在两种模式的图像上放置标记。要计算这些标记的融合残差,请单击 菜单 Fusion > Register Overlay to Underlay > 显示残差分数

残差描述信号的平均错位,应按体素大小的顺序排列。具体的验收阈值取决于应用,可能取决于多个因素,例如成像系统的刚度和精度,但也可能会受到图像重建伪影的影响。

自洽性问题排查
通常,不可靠的放置会导致自洽困难。一个常见的错误是将载体置于横向反转的位置。理想情况下,它应仅从一个方向机械插入成像设备中。如果这不可行,则应为用户添加易于理解的标记。另一个常见的问题是纵轴上可能移动,这使得轴向定位不可靠。建议使用可连接在一端的垫片将鼠标床固定到位。例如,可以通过 3D 打印快速轻松地创建定制垫片。但是,某些设备无法在不同的视场下提供自洽性。在这种情况下,建议联系供应商,供应商应确认不兼容并可能在将来的更新中解决该问题。否则,如果所有扫描(包括校准和生产成像)都保持相同的视场,该方法将保持可靠。

对于一些放置位置偏差的生产扫描,如果可以看出足够的载体结构,则可以转换为校准位置。对于 体内 成像,镇静动物必须留在一个载体中,并且构建一个可以牢固地安装在两个设备中的单个载体并不总是可以实现的。通常,使用基于示踪剂的小鼠床,然后临时放置在 CT 设备中。例如,在 图 5A 中,由于机械限制,MPI 小鼠床被放置在 CT 小鼠床上。轴向回旋余地和滚动的可能性使这种定位不可靠。在这种情况下,建议设计一个适配器来取代下部鼠标床并允许互锁配合。例如,它可以使用连接到下部的耳轴和上部鼠标床底部的附加孔。

然而,对现有图像进行回顾性校正是可能的,因为在 CT 图像中可以检测到小鼠床。该协议需要校准扫描,然后计算叠加层到底层的差分变换。该过程类似,但也必须将每个单独的生产 CT 扫描映射到校准扫描,使用鼠标床结构作为基准。

Figure 5
图 5:放置故障排除。A) 将 MPI 鼠标床放置在 CT 鼠标床的顶部。因此,CT 中的位置无法可靠地再现。通过将每个 CT 图像与用于估计差分变换的参考 CT 图像融合,可以实现自洽性。(B D)(B) 每个生产 CT 图像都作为叠加层加载,并使用 CT 中可见的小鼠床结构注册到参考 CT 图像(底层)。校正后的生产 CT 图像现在与参考 CT 一致,并且可以与差分变换 T 一起使用。(C) 使用模型的基准标记将 MPI 叠加配准到参考 CT 图像。(D) 组合多模态图像。为此,每个 CT 图像都通过其单独的差分变换映射到参考位置。随后,MPI 叠加层也使用差分变换注册到参考位置,该变换对设备的所有图像都有效。请单击此处查看此图的较大版本。

要将生产 CT 扫描映射到校准扫描,请参阅协议的第 3 节,其中包含以下修改。为清楚起见,该描述继续使用 CT 底层和 MPI 叠加示例:在步骤 3.1 中,将 CT 校准扫描(图像 A)加载为底层,将要校正的 CT 扫描加载为叠加。利用 MPI 小鼠床的结构作为步骤 3.2 的标记或作为步骤 3.3 的视觉参考。绕过步骤 3.4,但保存叠加表示更正后的 CT 体积(菜单文件 > 叠加 > 将叠加另存为)。在随后的对话框中,输入新名称,然后单击 Save 。导航到 Menu File > Overlay > Closing overlay 来关闭叠加层。加载需要校正的下一次 CT 扫描作为叠加层,并从协议的步骤 3.2 恢复程序。 图 5B 说明了此步骤背后的概念。

小鼠床现在几乎与所有最近保存的 CT 体积中的校准扫描相同。作为标准程序的一部分,使用差分变换 T 将校准扫描注册到 MPI 图像(图 5C)。为了随后将 CT 图像与 MPI 合并,请始终使用校正后的 CT 体积(图 5D)。

翻转图像和缩放疑难解答
此处介绍的套准方法假定图像质量相当准确,并且仅调整旋转和平移。它无法校正图像翻转或不正确的缩放。但是,这两个问题可以在计算差分变换之前手动解决。

来自不同制造商的数据格式之间的不一致可能会导致某些数据集(尤其是 DICOM 格式的数据集)在软件中显示为镜像倒置。由于模型和鼠标床通常是对称的,因此此问题可能不会立即显现出来。当扫描包含相应模态的可识别字体时,检测翻转图像会更容易,例如 图 3H 中体模中正确方向的凸起字体。在 图 6 所示的示例中,CT 数据作为底层加载,MPI 数据作为叠加加载。它是放置在 MPI 小鼠床中的小鼠的体内扫描,并附有基准标记。MPI 小鼠床位于 μCT 小鼠床的顶部(图 6A)。通过遵守协议并在衬垫和覆盖层中以一致的旋转方向标记基准,会产生明显不协调的结果(图 6B)。但是,经过仔细检查,可以确定问题所在。基准点形成一个不对称三角形。在轴向视图(图 6C、D)中从最短到中间再到最长观察三角形的边,CT 数据中顺时针旋转很明显,而 MPI 数据中逆时针旋转很明显。这表明其中一个图像是横向倒置的。在这种情况下,我们假设 CT 数据是准确的。要校正 MPI 叠加层,图像会翻转:为此,请将所选图层切换到叠加层,然后单击 菜单编辑 > 翻转 > 翻转 X。软件计算的差分变换包含所有必要的旋转,因此即使图像向另一个方向翻转,“Flip X”也足够了。

Figure 6
图 6:转换疑难解答。 CT 数据作为体素大小为 0.240 mm 的底层加载,MPI 数据作为体素大小为 0.249 mm 的叠加层加载。鼠床包含基准标记。(A) 未校正叠加图像的 3D 视图。CT 参考底图中的基准由箭头表示。MPI 叠加层中的基准在 NIH 颜色表中显示为球体。(B) 未进行适当校正而执行的转换的不匹配结果。熔合残差 = 6.94 毫米。(C) 以 CT 为单位测量基准点之间的距离。从最短距离到最长距离顺时针旋转。(D) 以 MPI 为单位测量基准点之间的距离。从最短距离到最长距离逆时针旋转。与 CT 测量值进行比较,得出比例因子为 0.928774。(E) 在翻转和缩放后更正了叠加。(F) 在 3D 视图中具有匹配结果的转换。(G) 轴视图中具有匹配结果的变换。熔合残差 = 0.528 毫米。 请点击此处查看此图的较大版本。

也可以手动更正体素大小不正确的数据集。由于应该知道模型的尺寸,因此可以在图像中验证这一点。最简单的方法是使用已知长度的边。在边缘的一端按 [Ctrl + 鼠标右键],在按住按钮的同时,将鼠标指针移动到边缘的另一端并释放按钮。在随后的对话框中,软件会在图像中显示测量距离的长度。在图 6 所示的示例中,很明显,在比较两种模态中基准点之间的距离时,尺寸不一致(图 6C,D)。同样,假设 CT 数据是准确的。要修改缩放,需要计算缩放因子 (SF)。由于三角形每条边的长度比 (CT/MPI) 不完全相同,因此计算平均商:SF = ((l1CT/l1MPI) + (l2CT/l2MPI) + (l2CT/l2MPI)) / 3。

随后,通过将每个维度乘以 SF 来调整叠加层的体素大小。为此,请将所选图层切换到叠加层,然后打开 菜单 编辑 > 更改体素大小.计算每个维度,输入值,然后单击 OK(确定)。两次校正的结果如图 6E 所示。在此之后,根据协议将叠加注册到底层。结果对齐如图 6F、G 所示。虽然这为校正现有扫描提供了快速解决方案,但我们建议校准成像设备以供生产使用。

局限性
此方法仅限于由立方体形状体素组成的现有体积数据的空间共配准。它不包括根据成像设备生成的原始数据(例如,CT 中的投影)计算体积的重建过程。各种图像增强技术都与此步骤相关联,例如迭代方法20,21 和人工智能的应用21。尽管所描述的方法原则上适用于所有使用立方体体素生成 3D 图像的模式,但它不能用于将 3D 数据与 2D 数据融合,例如 MRI 体积与 2D 红外热成像22 或荧光成像相结合,这可能与图像引导手术应用相关。3D 数据的配准不会校正失真,例如 MRI 图像中线圈边缘发生的失真。虽然不是强制性的,但在重建过程中校正变形时,可以获得最佳结果。自动转换也无法解决图像翻转或不正确的缩放问题。但是,这两个问题可以按照故障排除部分中的概述手动解决。

该方法的意义
所提出的方法消除了生产扫描中对基准标记的需求,具有几个优点。它有利于需要标记维护或频繁更换的模式。例如,大多数 MRI 标志物都基于水分,但随着时间的推移往往会变干,而放射性 PET 标志物会衰减。通过在生产扫描中消除基准点的必要性,可以减少视野,从而缩短采集时间。这有助于在高通量设置中降低成本并最大限度地减少 CT 扫描中的 X 射线剂量。减少剂量是可取的,因为辐射会影响纵向成像研究中测试动物的生物通路23

此外,该方法不限于特定模式。这种多功能性的权衡是自动化的步骤更少。以前发表的融合 μCT 和 FMT 数据的方法在每次扫描时都在鼠标床中采用内置标记,并且可以在重建过程中执行自动标记检测和失真校正24。其他方法通过利用图像相似性消除了对标记的需求。虽然这种方法产生了良好的结果,并且还可以校正失真25,但仅当两种模式提供足够相似的图像时,它才适用。在解剖学详细模式和基于示踪剂的模式相结合时,通常情况并非如此。然而,这些组合对于评估靶向药物的药代动力学26 是必要的,靶向药物在抗癌纳米疗法等领域有应用27,28

由于与临床应用相比,临床前的质量控制不那么严格,因此组合成像设备的错位是一个公认的问题29。通过扫描模型并确定差分变换,可以回顾性地改进受这种错位影响的数据,从而可能降低成本并最大限度地减少对动物的伤害。除了使用基准标记计算差分变换,然后将其应用于生产扫描的演示方法外,还描述和使用图像融合的更多可能性。概述,包括对各种可用软件的引用,可以在 Birkfellner 等人 30 中找到。

总之,该方法为多模态图像共配准提供了一种有效的解决方案。该方案很容易适应各种成像模式,并且提供的故障排除技术增强了该方法对典型问题的稳健性。

Disclosures

The authors have nothing to disclose.

Acknowledgements

作者感谢北莱茵-威斯特法伦州联邦政府、欧盟 (EFRE)、德国研究基金会(CRC1382项目 ID 403224013 – SFB 1382,项目 Q1)的资助。

Materials

177Lu radiotracer
Custom-build MPI mousebed
Hot Rod Derenzo  Phantech LLC. Madison, WI, USA D271626 linearly-filled channel derenzo phantom
Imalytics Preclinical 3.0 Gremse-IT GmbH, Aachen, Germany Analysis software
Magnetic Insight Magnetic Insight Inc., Alameda, CA, USA MPI Imaging device
Quantum GX microCT PerkinElmer µCT Imaging device
U-SPECT/CT-UHR MILabs B.V., CD  Houten, The Netherlands CT/SPECT Imaging device
VivoTrax (5.5 Fe mg/mL) Magnetic Insight Inc., Alameda, CA, USA MIVT01-LOT00004 MPI Markers

References

  1. Hage, C., et al. Characterizing responsive and refractory orthotopic mouse models of hepatocellular carcinoma in cancer immunotherapy. PLOS ONE. 14 (7), (2019).
  2. Mannheim, J. G., et al. Comparison of small animal CT contrast agents. Contrast Media & Molecular Imaging. 11 (4), 272-284 (2016).
  3. Kampschulte, M., et al. Nano-computed tomography: technique and applications. RöFo – Fortschritte auf dem Gebiet der Röntgenstrahlen und der bildgebenden Verfahren. 188 (2), 146-154 (2016).
  4. Wang, X., Jacobs, M., Fayad, L. Therapeutic response in musculoskeletal soft tissue sarcomas: evaluation by magnetic resonance imaging. NMR in Biomedicine. 24 (6), 750-763 (2011).
  5. Hage, C., et al. Comparison of the accuracy of FMT/CT and PET/MRI for the assessment of Antibody biodistribution in squamous cell carcinoma xenografts. Journal of Nuclear Medicine: Official Publication, Society of Nuclear Medicine. 59 (1), 44-50 (2018).
  6. Borgert, J., et al. Fundamentals and applications of magnetic particle imaging. Journal of Cardiovascular Computed Tomography. 6 (3), 149-153 (2012).
  7. Vermeulen, I., Isin, E. M., Barton, P., Cillero-Pastor, B., Heeren, R. M. A. Multimodal molecular imaging in drug discovery and development. Drug Discovery Today. 27 (8), 2086-2099 (2022).
  8. Liu, Y. -. H., et al. Accuracy and reproducibility of absolute quantification of myocardial focal tracer uptake from molecularly targeted SPECT/CT: A canine validation. Journal of Nuclear Medicine Official Publication, Society of Nuclear Medicine. 52 (3), 453-460 (2011).
  9. Zhang, Y. -. D., et al. Advances in multimodal data fusion in neuroimaging: Overview, challenges, and novel orientation. An International Journal on Information Fusion. 64, 149-187 (2020).
  10. Nahrendorf, M., et al. Hybrid PET-optical imaging using targeted probes. Proceedings of the National Academy of Sciences. 107 (17), 7910-7915 (2010).
  11. Zhang, S., et al. In vivo co-registered hybrid-contrast imaging by successive photoacoustic tomography and magnetic resonance imaging. Photoacoustics. 31, 100506 (2023).
  12. Yamoah, G. G., et al. Data curation for preclinical and clinical multimodal imaging studies. Molecular Imaging and Biology. 21 (6), 1034-1043 (2019).
  13. Schönemann, P. H. A generalized solution of the orthogonal procrustes problem. Psychometrika. 31 (1), 1-10 (1966).
  14. Filippou, V., Tsoumpas, C. Recent advances on the development of phantoms using 3D printing for imaging with CT, MRI, PET, SPECT, and ultrasound. Medical Physics. 45 (9), e740-e760 (2018).
  15. Gear, J. I., et al. Radioactive 3D printing for the production of molecular imaging phantoms. Physics in Medicine and Biology. 65 (17), 175019 (2020).
  16. Sra, J. Cardiac image integration implications for atrial fibrillation ablation. Journal of Interventional Cardiac Electrophysiology: An International Journal of Arrhythmias and Pacing. 22 (2), 145-154 (2008).
  17. Zhao, H., et al. Reproducibility and radiation effect of high-resolution in vivo micro computed tomography imaging of the mouse lumbar vertebra and long bone. Annals of Biomedical Engineering. 48 (1), 157-168 (2020).
  18. Gremse, F., et al. Imalytics preclinical: interactive analysis of biomedical volume data. Theranostics. 6 (3), 328-341 (2016).
  19. Willmott, C. J., Matsuura, K. On the use of dimensioned measures of error to evaluate the performance of spatial interpolators. International Journal of Geographical Information Science. 20 (1), 89-102 (2006).
  20. Thamm, M., et al. Intrinsic respiratory gating for simultaneous multi-mouse µCT imaging to assess liver tumors. Frontiers in Medicine. 9, 878966 (2022).
  21. La Riviere, P. J., Crawford, C. R. From EMI to AI: a brief history of commercial CT reconstruction algorithms. Journal of Medical Imaging. 8 (5), 052111 (2021).
  22. Hoffmann, N., et al. Framework for 2D-3D image fusion of infrared thermography with preoperative MRI. Biomedical Engineering / Biomedizinische Technik. 62 (6), 599-607 (2017).
  23. Boone, J. M., Velazquez, O., Cherry, S. R. Small-animal X-ray dose from micro-CT. Molecular Imaging. 3 (3), 149-158 (2004).
  24. Gremse, F., et al. Hybrid µCt-Fmt imaging and image analysis. Journal of Visualized Experiments. 100, e52770 (2015).
  25. Bhushan, C., et al. Co-registration and distortion correction of diffusion and anatomical images based on inverse contrast normalization. NeuroImage. 115, 269-280 (2015).
  26. Lee, S. Y., Jeon, S. I., Jung, S., Chung, I. J., Ahn, C. -. H. Targeted multimodal imaging modalities. Advanced Drug Delivery Reviews. 76, 60-78 (2014).
  27. Dasgupta, A., Biancacci, I., Kiessling, F., Lammers, T. Imaging-assisted anticancer nanotherapy. Theranostics. 10 (3), 956-967 (2020).
  28. Zhu, X., Li, J., Peng, P., Hosseini Nassab, N., Smith, B. R. Quantitative drug release monitoring in tumors of living subjects by magnetic particle imaging nanocomposite. Nano Letters. 19 (10), 6725-6733 (2019).
  29. McDougald, W. A., Mannheim, J. G. Understanding the importance of quality control and quality assurance in preclinical PET/CT imaging. EJNMMI Physics. 9 (1), 77 (2022).
  30. Birkfellner, W., et al. Multi-modality imaging: a software fusion and image-guided therapy perspective. Frontiers in Physics. 6, 00066 (2018).

Play Video

Cite This Article
Thamm, M., Jeffery, J. J., Zhang, Y., Smith, B. R., Marchant, S., Kiessling, F., Gremse, F. Multimodal Cross-Device and Marker-Free Co-Registration of Preclinical Imaging Modalities. J. Vis. Exp. (200), e65701, doi:10.3791/65701 (2023).

View Video