基于深度学习的冷冻电子断层扫描

注意：蜻蜓 2022.1 需要高性能工作站。系统建议与用于此协议的工作站的硬件一起包含在 材料表中 。此协议中使用的所有断层图像都从 3.3 到 13.2 ang/pix 的像素大小进行 4 倍分箱。代表性结果中使用的样品来自一家遵循符合该机构道德标准的动物护理指南的公司（见 材料表）。该协议中使用的断层图和作为训练输入生成的多ROI已作为捆绑数据集包含在 补充文件1 中（可在 https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct 中找到），因此用户可以根据需要跟踪相同的数据。Dragonfly还托管了一个名为Infinite Toolbox的开放访问数据库，用户可以在其中共享经过训练的网络。 1. 设置 更改默认工作区：要更改工作空间以镜像此协议中使用的工作空间，请在主面板的左侧向下滚动到场景的视图属性部分，然后取消选择显示图例。向下滚动到布局部分，然后选择单个场景和四个相等视图视图。 要更新默认单位，请转至 “文件”|”首选项。在打开的窗口中，将 默认单位 从毫米更改为 纳米。 有用的默认键绑定：按 Esc 键可在 2D 视图中显示十字准线，并允许在 3D 视图中旋转 3D 体积。按 X 可隐藏 2D 视图中的十字准线，并允许在 3D 视图中进行 2D 平移和 3D 体积平移。 将鼠标悬停在 十字准线 上可查看小箭头，单击和拖动这些 小箭头 以更改其他 2D 视图中查看平面的角度。 按 Z 在两个视图中进入 缩放状态 ，允许用户单击并拖动任意位置以放大和缩小。 双击 四视图场景中 的视图以仅聚焦该视图;再次双击可返回到所有四个视图。 通过将“ 属性 ”选项卡中的所有内容导出为 ORS 对象来定期保存进度，以便于导入。选择列表中的所有对象，然后右键单击 “导出 |作为 ORS 对象。命名文件并保存。或者，转到 “文件”|”保存会话。要使用软件中的自动保存功能，请通过 “文件”|”偏好 |自动保存。 2. 图片导入 要 导入图像，请转到 “文件”|”导入图像文件。单击 添加，导航到图像文件，然后单击 打开 |下一页 |完成。注：软件无法识别 .rec 文件。所有断层扫描必须具有 .mrc 后缀。如果使用提供的数据，请改为转到 “文件”|”导入对象。导航到 Training.ORSObject 文件 并单击“ 打开”，然后单击“ 确定”。 3. 预处理（图 1.1） 创建自定义强度等级（用于跨数据集校准图像强度）。转到 实用程序 |维度单元管理器。在 左下角，单击 + 以创建新的 维度单位。 选择所有感兴趣的断层图中的高强度（明亮）和低强度（暗）特征。为单位指定名称和缩写（例如，对于此刻度，将 基准磁珠 设置为 0.0 标准强度 ， 将背景 设置为 100.0）。 保存 自定义维度单位。注意：自定义强度标度是创建并应用于数据的任意刻度，以确保所有数据都位于相同的强度标度上，尽管这些数据是在不同时间或不同设备上收集的。选择最能代表信号落入范围的明暗要素。如果数据中没有基准点，只需选择要分割的最暗特征（例如，蛋白质最暗的区域）。 要将图像校准为自定义强度刻度，请右键单击屏幕右侧“属性”列中的数据集，然后选择“校准强度标度”。在屏幕左侧的“主要”选项卡上，向下滚动到“探测”部分。使用具有适当直径的圆形探针工具，单击断层扫描背景区域中的几个位置，然后在“原始强度”列中记录平均数;对基准标记重复此操作，然后单击校准。如有必要，请使用“主要”选项卡的“窗口调配”部分中的“区域”工具调整对比度以使结构再次可见。 图像过滤：注意：图像滤波可以降低噪声并增强信号。该协议使用软件中内置的三个过滤器，因为它们最适合此数据，但有许多过滤器可用。一旦确定了感兴趣数据的图像过滤协议，就必须在分割之前对所有断层图应用 完全相同的协议 。在左侧 的主选项卡中， 向下滚动到 图像处理面板。单击 高级 并等待新窗口打开。在 “属性 ”面板中，选择要筛选的数据集，并通过单击数据集左侧的 眼睛 图标使其可见。 在 “ 操作”面板中，使用下拉菜单为第一个操作选择 直方图均衡 （在 “对比度 ”部分下）。选择 “添加操作”|”高斯（ 在 平滑 部分下）。将 内核尺寸 更改为 3D。 添加第三个操作;然后，选择“ 取消锐 化”（在 “锐化 ”部分下）。将输出留给这个。应用于所有切片并让过滤运行，然后关闭 图像处理 窗口以返回主界面。 4. 创建训练数据（图 1.2） 首先在“数据属性”面板中单击未筛选数据集左侧的眼睛图标来隐藏训练区域，从而识别训练区域。然后，显示新过滤的数据集（将自动命名为DataSet-HistEq-Gauss-Unsharp）。使用过滤后的数据集，确定包含所有感兴趣要素的断层影像子区域。 若要在感兴趣区域周围创建框，请在左侧 的主选项卡中向下 滚动到 “形状 ”类别，然后选择“ 创建框”。在 “四视图 ”面板中，使用不同的 2D 平面 来帮助引导/拖动框的边缘，以仅包围所有维度的感兴趣区域。在 数据列表中，选择 Box 区域并通过单击眼睛符号旁边的 灰色方块 更改边框的颜色以便于查看。注意：2D U-Net 的最小图块大小为 32 x 32 像素;400 x 400 x 50 像素是开始的合理框大小。 要创建多投资回报率，请在左侧选择 细分 选项卡 |新建 并选中 创建为多投资回报率。确保类的数量与感兴趣的要素数量 + 背景类相对应。命名多 ROI 训练数据 并确保几何与数据集相对应，然后单击 确定。 对训练数据进行分段滚动浏览数据，直到在框内的区域的边界内。在右侧的属性菜单中选择多投资回报率。双击多 ROI 中的第一个空白类名称以对其进行命名。 使用 2D 画笔绘画。在左侧的 分割 选项卡中，向下滚动到 2D 工具 并选择 圆形画笔。然后，从下拉菜单中选择 自适应高斯 或 局部 OTSU 。要绘画，请按住 左键 并单击。要擦除，请按住 左移 键并单击。注意：画笔将反映当前所选类的颜色。 对多 ROI 中的每个对象类重复上一步。确保框内区域中的所有结构都已完全分段，否则它们将被网络视为背景。 标记完所有结构后，右键单击多 ROI 中的背景类，然后选择将所有未标记的体素添加到类。 创建一个名为 掩码的新单类 ROI。确保几何设置为过滤后的数据集，然后单击 应用。在右侧 的属性 选项卡中，右键单击 该框 ，然后选择添加到 ROI。将其添加到 掩码投资回报率。 要使用掩码修剪训练数据，请在属性选项卡中，通过按住 Ctrl 并单击每个 ROI 来选择训练数据多 ROI 和掩码 ROI。接下来，单击标记为布尔运算的部分中的数据属性列表下方的相交。将新数据集命名为修剪训练输入，并确保几何与过滤后的数据集相对应，然后单击确定。 5. 使用分割向导进行迭代训练（图 1.3） 首先右键单击“ 属性 ”选项卡中筛选的数据集，然后选择“分割向导”选项，将训练数据导入分段 向导 。当新窗口打开时，查找右侧的 输入 选项卡。单击 从多 ROI 导入帧 ，然后选择 修剪的训练输入。 （可选）创建视觉反馈框架以实时监控培训进度。从未分割的数据中选择一个帧，然后单击 + 将其添加为新帧。双击帧右侧的 混合 标签并将其更改为 “监视”。 要生成新的神经网络模型，请在模型选项卡的右侧单击 + 按钮以生成新模型。从列表中选择 U-Net，然后对于输入维度，选择 2.5D 和 5 个切片，然后单击生成。 要训练网络，请单击 SegWiz 窗口右下角的训练。注意：培训可以提前停止，而不会丢失进度。 要使用经过训练的网络对新帧进行分段，请在 U-Net 训练完成后创建一个新帧，然后单击 预测 （右下角）。然后，单击预测帧右上角的向上箭头，将分割转移到真实帧。 若要更正预测，请 按住 Ctrl 并单击两个 类以将一个类的分割像素更改为另一个类。选择这两个类并使用 画笔 进行绘画，以仅绘制属于任一类的像素。在至少五个新帧中更正分割。注意：在选择两个类时，使用画笔工具绘画意味着它不会像往常那样按住 Shift 单击擦除，而是将第一个类的像素转换为第二个类。按住 Ctrl 并单击将完成相反的操作。 对于迭代训练，再次单击 Train 按钮，并允许网络再训练 30-40 个 epoch，此时停止训练并重复步骤 4.5 和 4.6 进行另一轮训练。注意：通过这种方式，可以使用单个数据集迭代训练和改进模型。 要发布网络，如果对其性能感到满意，请退出分段向导。在自动弹出的对话框中，询问要发布（保存）哪些模型，选择成功的网络，为其命名，然后发布它以使网络可在分段向导之外使用。 6. 应用网络（图 1.4） 要先应用于训练断层影像，请在 “属性 ”面板中选择筛选的数据集。在左侧的 细分 面板中，向下滚动到 使用 AI 的细分 部分。确保选择了正确的数据集，在下拉菜单中选择刚刚发布的模型，然后单击 分段 |所有切片。或者，选择 “ 预览”以查看细分的单切片预览。 要应用于推理数据集，请导入新的断层影像。按照步骤3进行预处理（图1.1）。在“ 分段 ”面板中，转到 “使用 AI 进行分段 ”部分。确保新过滤的断层影像是所选数据集，选择之前训练的模型，然后单击 分段 |所有切片。 7. 分段操作和清理 通过首先选择一个具有分段噪声和感兴趣特征的类来快速清除噪声。 右键单击 |工艺孤岛 |按体素计数删除 |选择体素大小。从小（~200）开始，逐渐增加计数以消除大部分噪音。 对于分割校正，按住 Ctrl 并单击两个类以仅绘制属于这些类的像素。按住 Ctrl 并单击 + 使用分割工具拖动以将第二个类的像素更改为第一个类，按住 Shift 键并单击 + 拖动以完成相反的操作。继续执行此操作以快速更正错误标记的像素。 单独的连接组件。选择一个班级。右键单击 多投资回报率中的类 |分离连接的 组件，为未连接到同一类的另一个组件的每个组件创建一个新类。使用 多ROI下方的按钮轻松合并类。 将投资回报率导出为二进制/TIFF。在多 ROI 中选择一个类，然后右键单击并将类提取为 ROI。在上面的属性面板中，选择新的 ROI，右键单击 |出口 |ROI 为二进制（确保选中将所有图像导出到一个文件中的选项）。注意：用户可以使用IMOD程序tif2mrc20轻松地从tiff转换为mrc格式。这对于灯丝跟踪很有用。 8. 根据 ROI 生成子断层图平均值的坐标 提取类。右键单击要用于平均的类 |将类提取为 ROI。右键单击类投资回报率 |互联组件 |新的多投资回报率（已连接 26 个）。 生成坐标。右键单击 新的多投资回报率 |标量生成器。使用 数据集展开基本测量 | 选中 加权质心 X、Y 和 Z。选择数据集并计算。右键单击 多投资回报率 |导出标量值。选中 选择所有标量插槽，然后 选中确定 ，以 CSV 文件的形式为多 ROI 中的每个类生成质心世界坐标。注意：如果粒子靠近并且分割接触，则可能需要执行分水岭变换以将组件分离为多ROI。 9. 流域变换 通过在 多ROI中右键单击类来提取类以用于平均 |将类提取为 ROI。将此 ROI 流域掩码命名为。 （可选） 关闭孔。如果分割的颗粒有孔或开口，请关闭分水岭的孔或开口。单击“数据属性”中的 ROI。在“分割”选项卡（左侧）中，转到“形态学操作”，并使用“扩张”、“侵蚀”和“闭合”的任何必要组合来实现无孔的实心分割。 通过单击投资回报率 |复制所选对象（在“数据属性”下方）。选择复制的 ROI，然后在左侧的“细分”选项卡中单击“反转”。 通过右键单击 倒置的 ROI |创建映射 |距离图。供以后使用，请复制距离图并将其反转（右键单击 |修改和转换 |反转值 |申请）。将此倒置地图命名 为景观。 创建种子点。隐藏 ROI 并显示 距离图。在 分割 选项卡中，单击定义范围并缩小 范围 ，直到每个点中心只有几个像素被突出显示，而没有一个像素连接到另一个点。在“ 范围 ”部分的底部，单击 “添加到新项”。将此新的 ROI 种子点命名为 种子点。 执行流域变换。右键单击 种子点投资回报率 |互联组件 |新的多投资回报率（已连接 26 个）。右键单击 新生成的多投资回报率 |流域转型。选择名为 “横向 ”的距离地图，然后单击 “确定”;选择名为 “流域蒙版 ”的 ROI，然后单击 确定 以计算每个种子点的流域变换，并将单个粒子分离到多 ROI 中的单独类中。生成坐标，如步骤 8.2 所示。 图 1：工作流程。 1） 通过校准强度尺度和过滤数据集来预处理训练断层图。2） 通过手动分割断层图的一小部分来创建训练数据，其中包含用户希望识别的所有适当标签。3）使用过滤后的断层图作为输入，手部分割作为训练输出，在分割向导中训练五层多层U-Net。4）训练好的网络可以应用于完整的断层图以对其进行注释，并且可以从每个分段类生成3D渲染。 请点击此处查看此图的大图。