A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management

Madeline  Dressel Dukes; Nynke Albertine Krans; Katherine Marusak; Stamp Walden; Tim Eldred; Alan Franks; Ben Larson; Yaofeng Guo; David Nackashi; John Damiano

doi:10.3791/65446

JoVE Journal > Biology

Please note that all translations are automatically generated. Click here for the English version.

生物学

透射电子显微镜工作流程、结果分析和数据管理的机器视觉方法

Published: June 23, 2023

doi:

10.3791/65446

Madeline Dressel Dukes¹, Nynke Albertine Krans¹, Katherine Marusak¹, Stamp Walden¹, Tim Eldred¹, Alan Franks¹, Ben Larson¹, Yaofeng Guo¹, David Nackashi¹, John Damiano¹

¹Protochips, Inc.

Summary

在这里，我们提出了一种协议，利用机器视觉软件在TEM成像期间稳定动态过程，同时将每个图像的多个元数据流索引到可导航的时间轴中。我们演示了该平台如何在实验过程中实现电子剂量的自动校准和映射。

Abstract

透射电子显微镜（TEM）使用户能够在基本的原子尺度上研究材料。复杂的实验通常会生成数千张具有大量参数的图像，这些参数需要耗时且复杂的分析。AXON同步性是一种机器视觉同步（MVS）软件解决方案，旨在解决TEM研究固有的痛点。一旦安装在显微镜上，它就可以在实验过程中连续同步显微镜、检测器和原位系统生成的图像和元数据。这种连接性支持机器视觉算法的应用，这些算法应用空间、光束和数字校正的组合来居中和跟踪视野内的感兴趣区域，并提供即时的图像稳定。除了这种稳定带来的分辨率的实质性改进之外，元数据同步还支持应用计算和图像分析算法来计算图像之间的变量。这种计算出的元数据可用于分析趋势或识别数据集中的关键感兴趣区域，从而在未来产生新的见解和更复杂的机器视觉功能的开发。基于此计算元数据构建的一个此类模块是剂量校准和管理。剂量模块提供最先进的校准、跟踪和管理电子能量（e^–/Å 2·^s-1）和累积剂量（e^–/Å²），以逐像素的方式输送到样品的特定区域。这样可以全面了解电子束和样品之间的相互作用。通过专用分析软件简化实验分析，其中由图像和相应元数据组成的数据集可以轻松可视化、排序、过滤和导出。这些工具相结合，促进了高效的协作和实验分析，鼓励了数据挖掘并增强了显微镜体验。

Introduction

透射电子显微镜（TEM）及其功能从相机、探测器、样品架和计算技术的进步中受益匪浅。然而，这些进步受到数据流断开连接、人为操作限制和繁琐的数据分析的阻碍 ^1,2.此外，原位和操作实验使TEM适应实时纳米级实验室，使样品能够在气体或液体环境中进行研究，同时施加一系列外部刺激^3,4,5。采用如此复杂的工作流程只会放大这些限制，随之而来的这些数据流的大小和复杂性的增加是一个日益受到关注的领域。因此，人们越来越强调利用机器可操作性来查找、访问、互操作和重用数据，这种做法被称为 FAIR 原则⁶。根据FAIR原则概念发布研究数据已^{受到世界各地政府机构}的青睐7,8^，^使用机器视觉软件应用FAIR原则是采用FAIR原则的关键步骤。

为了应对执行和分析复杂的、元数据繁重的 TEM 实验（特别是原位和操作实验）所固有的特定痛点，已经开发了一个机器视觉同步（MVS）软件平台⁹。一旦安装在TEM上，MVS软件就可以与显微镜柱、检测器和集成的原位系统连接、集成和通信。这使其能够连续收集图像并将这些图像与其实验元数据对齐，形成一个全面的可搜索数据库，即实验从头到尾的时间线（图1）。这种连接性使MVS软件能够应用算法，智能地跟踪和稳定感兴趣区域（ROI），即使样品正在经历形态变化。该软件根据需要对载物台、光束和数字校正进行调整，以通过其漂移控制和对焦辅助功能稳定投资回报率。除了使用不同实验系统产生的原始元数据丰富图像外，该软件还可以使用图像分析算法生成新的计算元数据，以计算图像之间的变量，从而自动校正样品漂移或焦点变化。

TEM图像及其通过MVS软件收集的相关元数据被组织为实验时间线，任何人都可以通过分析软件Studio（以下简称分析软件）的免费离线版本打开和查看¹⁰。在实验过程中，MVS软件同步并记录来自显微镜相机或探测器的三种类型的图像，这些图像显示在图像查看器下方的时间轴顶部：单次采集（直接从TEM软件获取的单个单次采集图像），原始图像（来自检测器/相机实时流的图像，未应用任何数字漂移校正;这些图像可能已通过载物台移动或光束偏移）和漂移校正（来自探测器/摄像机实时流的图像已进行数字漂移）。在实验或会话期间收集的数据可以进一步细化为较小的数据部分或片段，称为集合，而不会丢失嵌入的元数据。从分析软件中，图像、图像堆栈和元数据可以直接导出为各种开放格式的图像和电子表格类型，以便使用其他工具和程序进行分析。

MVS软件支持的显微镜控制、稳定和元数据集成框架还允许实施额外的机器视觉程序或模块，旨在减轻当前TEM工作流程的限制。为利用这种同步平台而开发的首批模块之一是电子剂量校准和样品内光束暴露区域的空间跟踪。所有TEM图像都是由样品和电子束之间的相互作用形成的。然而，这些相互作用也会对样品造成不可避免的负面影响，例如放射解和连锁损伤11,12，并且需要在施加足够高的电子剂量以生成图像和最小化产生的光束损伤之间仔细平衡^13,14。

尽管许多用户依靠屏幕电流测量来估计电子剂量，但这种方法已被证明广泛低估了实际光束电流¹⁵。定性剂量值可以通过具有相同设置的同一显微镜上的屏幕电流获得，但使用不同的显微镜或设置重现这些剂量条件是非常主观的。此外，用户在实验过程中所做的任何成像参数调整，例如光斑尺寸、孔径、放大倍数或强度，都需要单独测量屏幕电流以计算结果剂量。用户必须严格限制给定实验期间使用的成像条件，或者仔细测量和记录所使用的每个镜头条件，这大大复杂化并扩展了实验范围，超出了显微镜^16,17的正常运行范围。

剂量，称为本协议的剂量软件，是一种剂量校准软件模块，它利用专用的校准支架，旨在实现自动电流测量。法拉第杯是精确光束电流校准的黄金标准¹⁵，集成在校准支架的尖端。MVS软件针对每种镜头条件执行一系列光束电流和光束面积校准，并将这些值嵌入像素级别的图像中。

在本视频文章中，使用具有代表性的纳米材料样品介绍了旨在增强TEM工作流程所有领域的MVS软件协议。束敏沸石纳米颗粒样品¹⁴用于演示校准和剂量管理工作流程。我们使用Au / FeO_x纳米催化剂^18,19样品进行具有代表性的原位加热实验，该样品在加热时会发生显着的形态变化。这个原位实验突出了软件的稳定算法及其整理多个元数据流的能力，这是原位和操作研究的固有挑战。虽然协议中没有描述，但由于其独特的电子剂量灵敏度，我们讨论了该软件在液电镜研究中的实用性的代表性示例（其方案之前已在文献^20,21,22中报道过），以及如何应用这些技术来提高对液电镜实验剂量影响的理解。最后，我们展示了如何使用离线分析软件来可视化、过滤各种图像、视频和数据文件并将其导出为其他可访问格式，从而简化数据分析。

图 1：MVS 和分析软件的用户界面示例。（A）同步软件的图像查看窗格和控制面板。通过激活连接按钮在TEM和同步软件之间建立连接，该按钮将图像和元数据从显微镜流式传输到同步软件中。通过图像查看器，操作员可以执行各种机器视觉辅助操作，例如漂移校正和焦点辅助。它还提供了在不中断数据收集的情况下应用标记图像和查看会话的功能。（B）图像分析软件的屏幕截图，突出显示“图像视图端口”、“时间轴”以及“元数据和分析”面板的位置。可以在实验过程中随时访问分析软件，以使用“检查会话”按钮查看截至该时间点采集的图像。请点击此处查看此图的大图。

Protocol

1. 方法1：透射电子显微镜的剂量校准，用于TEM和扫描TEM（STEM）成像模式打开皮安表，让它预热至少30分钟，然后再开始剂量校准。将剂量校准支架装入 TEM 并使用快速连接电缆将校准支架连接到皮安表。显微镜处于TEM模式，打开柱阀并定位剂量支架上的35μm基准孔（图2）。启动MVS软件应用程序，然后从实验选项中选择剂量（校准自动化）。注意：基准孔位置在初始校准后由软件保存，使软件能够自动定位其位置以供将来校准。单击连接图标（图1A）并选择显微镜以激活TEM和MVS软件之间的连接。连接后，来自相机/探测器的图像将在软件的图像查看器中可见。注意：没有必要优化共心高度，基准孔的边缘可能会因尖端的厚度而显得模糊。这不会影响电流测量。导航到剂量选项卡，然后导航到剂量校准。选择剂量面积校准过程，按照软件提示操作，然后输入请求的用户可配置值（例如孔径和单色器设置）。剂量区域校准完成后，选择剂量电流校准过程并按照软件提示进行操作。对实验过程中可能使用的每个光斑尺寸、孔径或单色器设置重复校准过程（步骤1.4）。 TEM模式的校准过程完成后，通过重复步骤1.4来校准STEM模式的电子剂量。注意：STEM模式不需要执行剂量面积校准。完成所有所需的校准后，单击关闭会话，卸下剂量校准支架，然后返回MVS软件的开始屏幕。 2. 方法2：使用MVS和剂量软件确定剂量阈值将带有样品（本例中使用市售ZSM-5沸石纳米颗粒）的标准TEM网格加载到标准TEM支架中。将支架插入 TEM 并定位感兴趣的区域（结晶沸石纳米颗粒）。打开 MVS 软件应用程序，然后选择其他。注意：有关样品的其他信息（例如样品标识符和描述、操作员姓名和实验注释）可以添加到实验参数字段中。重复步骤 1.3 以连接到 MVS 软件并导航到 MVS 软件界面中的图像元数据选项卡，以选择要叠加在实时显示的图像流上的以下元数据：放大倍率、最大剂量和剂量率。如果用户愿意，可以包含其他元数据。补充文件 1 中提供了显示剂量管理控制的 MVS 软件界面的屏幕截图。打开剂量选项卡并选择剂量管理和启用剂量监测以激活自动电子剂量跟踪。选择显示剂量层以显示剂量颜色叠加。设置高剂量水平和高剂量率的值，然后按保存（在本例中，分别使用了 60,000 e-/Å 2和 500 e-/Å2·s 的值）。导航到“设置”选项卡，选择“剂量”，然后设置“剂量导航地图不透明度”和“剂量图像叠加不透明度”值（在本例中，分别使用值 0.50 和 0.30）。在实时图像查看器窗口中，通过单击漂移校正来激活漂移校正。导航到数据视图选项卡，并在 Y 轴上绘制元数据值散焦和焦点商。注意：任何可用的元数据值都可以在实验期间从数据视图表中实时绘制。激活对焦助手，然后选择校准对焦以运行自动对焦辅助校准。校准焦点例程完成后，关闭“ 数据视图 ”选项卡。打开MVS软件中的图像分析选项卡，然后激活 Live FFT 和象限1和2 选项。使用显微镜的软件控制，调整光束条件，使电子通量为~500 e-/Å2·s.，并移动到样品中的新区域，并在MVS软件的实时视图中将样品ROI居中。注意：进行大型载物台移动时，漂移控制和对焦辅助将自动停用，并且必须在选择新的ROI后重新接合。使用标签功能在软件中记下剂量条件。突出显示标签图标并输入所需的文本以表示时间轴中的特定图像系列。图像将使用此文本进行标记，直到取消选择标记图标。保持恒定的剂量率，同时连续成像相同的ROI，直到FFT图中与原子结构相对应的峰消失。降低放大倍率，打开剂量管理选项卡，然后激活显示剂量图层以叠加颜色编码的剂量图。注意：此功能提供了已暴露于电子束的样品区域及其相对剂量暴露的视觉参考。用光标在单个图像中突出显示这些区域将指示它们各自的剂量值。通过取消选择连接来断开连接并结束会话，然后选择关闭会话。将会话数据的副本保存到外部源，以防止保存在MVS软件中的数据在后续实验中被覆盖（补充文件2）。 3. 方法三：使用分析软件进行元数据和趋势分析以及数据导出启动分析软件（用于查看完全同步数据集的离线软件），然后通过从文件库中选择实验会话文件来打开该文件。注意：在实验期间，用户还可以通过MVS软件中的检查会话图标访问分析软件。通过激活图像视图端口下方的 DC 选项卡来显示漂移校正图像，并通过选中图像元数据选项卡中各自的叠加数据框来选择所需的数据叠加（在本例中使用了显微镜、日期/时间、剂量率、最大剂量和放大倍率）。其他元数据可以根据用户需要绘制。选中最大剂量和剂量率的时间轴框，将这些值的图形图添加到时间轴中。突出显示或滚动这些图形图以更新视口中显示的图像。通过注释、图像分析、工具箱和数据视图选项卡访问各种工具。通过图像分析选项卡访问每个图像的FFT，然后单击实时FFT以在滚动图像时更新 FFT 。使用 FFT 峰的衰落来确定沸石结构失去结晶度的时间点。记录用该图像记录的最大剂量值。使用 “筛选器 ”选项可以轻松地将大型数据集筛选为较小的可共享数据集，而不会丢失其关联的元数据。打开过滤器面板并调整滑块，以便仅选择剂量率等于或高于 ~500 e-/Å2·s 的数据，并使用名称“ 剂量阈值研究”保存新集合。注意：过滤器可以应用于任何关联的元数据类型。将会话中的图像和元数据导出为使用比例尺和元数据叠加层扩充的其他文件类型。在库窗格中突出显示集合，然后右键单击所选内容选择“发布”。从“发布”窗口中，为文件类型导出选择所需的选项。选择漂移校正数据选项卡，并应用任何所需元数据和FFT的叠加（根据需要定位FFT叠加;使用FFT导出的图像示例如图 3所示）。使用相同的 “发布” 选项将图像系列导出为影片文件。通过在时间轴中突出显示图像、使用过滤器选项或导出完整的数据库文件来选择图像。选择所需的影片格式、帧速率和文件位置。补充文件 3 中提供了使用 200 kV TEM 获得的沸石降解实验的影片。通过在发布时选择元数据（CSV）选项，将元数据与获取的图像分开导出为 CSV 文件。注意：原始图像和漂移校正图像将导出为单独的 CSV（补充文件 4 和补充文件 5）。 4. 方法4：金在氧化铁纳米颗粒上的原位加热研究将悬浮在乙醇中的纳米催化剂（Au/FeOx）滴落到原位加热器 E 芯片、微电机械（MEM）样品载体上，并使其风干。将样品安装在原位加热支架中，将带有样品的支架插入 TEM，然后使用随附的电缆将支架连接到电源。使用 TEM 控件查找样本 ROI。注意：该实验使用与MVS软件完全集成的加热支架，使温度元数据嵌入图像中。从 MVS 软件中选择适当的工作流程选项（在本例中，使用了 Fusion 工作流程，但可以通过选择其他来使用其他制造商的加热支架）。按照工作流程提示，通过加载校准文件并执行设备检查来确认支架和加热电子芯片之间的电气连接。将显微镜连接到MVS软件，如前面的步骤2.3-2.10所示（在本例中，选择了剂量率、最大剂量、匹配相关性、漂移率和通道A温度的元数据值），并将样品ROI居中在视野中。打开 “融合轴 ”选项卡，然后设置并应用温度。单击通道 A 设置按钮以访问温度控制设置。选择温度功能和手动控制模式。单击实验按钮以访问实验性控件。将升温速率设置为10°C/s，将目标设置为600°C。单击“ 应用 ”开始实验。注意：可以使用MVS软件右下角的快速访问按钮随时暂停或停止实验，而无需打开 Fusion AX 选项卡。达到 600 °C 的设定温度后，打开 Fusion AX 选项卡并选择实验。将升温速率更改为2°C，将目标更改为800°C。单击“ 应用 ”开始实验。注意：应用加热斜坡的过程取决于所使用的原位加热系统。上面突出显示的应用温差的步骤适用于此示例中使用的系统。使用标记功能突出显示实验期间的任何事件或兴趣点，如步骤 2.10 所示。继续对样品进行成像并根据需要调整温度曲线。完成后，单击“ 结束会话 ”并使用分析软件保存数据文件（代表性结果中讨论的数据库文件的一部分作为补充文件 6 提供）。打开分析软件以查看会话。在时间轴中绘制温度、模板变形因子、剂量率和累积剂量。使用步骤 3.6 和 3.7 中概述的步骤根据需要导出图像和动画。图像和动画可以在有或没有剂量图叠加的情况下导出（图4）。

Representative Results

这项工作突出了使用MVS软件进行TEM成像和原位实验的数据采集的实用性。显微镜对准和条件设置是通过TEM制造商的默认控件执行和选择的。初始设置后，本视频文章中介绍的协议是通过 MVS 软件执行的。300 kV TEM 用于视频协议和代表性数据中提供的所有实验，但使用 200 kV 冷 FEG 获取的比较沸石数据除外（图 3D-F 和表 1）。所有元数据都由MVS软件自动收集并与其各自的图像对齐。启动软件并从菜单中选择适当的工作流程后，通过激活图像查看器最左侧工具栏中的 “连接 ”按钮来建立与显微镜的连接，如图 1A所示。当 “连接 ”按钮突出显示时，显微镜中的图像和相关元数据将自动流式传输到MVS软件中，并显示在图像视图窗格中。这些图像及其相关元数据按时间顺序保存在时间轴中，可以打开、查看和分析该时间轴，而不会中断将新数据记录到时间轴中（图 1B）。用户可以随时通过停用 “连接 ”图标来中断流式传输。激活连接后，可以访问依赖于 MVS 软件框架的其他工作流程。在本视频协议所示的示例中，在使用MVS软件的其他功能之前，必须执行剂量校准。剂量校准是由MVS软件控制的自动化过程;它使用专用的法拉第杯剂量校准支架来测量光束的电流和参数组合的面积。图2所示的法拉第杯校准支架连接到外部皮安表，该皮安表可精确测量光束电流。插入显微镜后，基准对准孔居中，并在软件中输入要校准的所需光束条件（光斑尺寸、孔径和放大倍率）。该软件对所选条件的每个组合执行一系列校准步骤。在剂量校准期间，支架自动在集成的法拉第集流体杯和通孔之间移动。每种透镜条件组合的电流测量值由皮安表在法拉第杯上测量。然后，软件将载物台转换为将光束居中于通孔中，并通过机器视觉算法确定光束区域。这一系列测量构建了强度/亮度与光束区域之间关系的轮廓。这使得软件能够在实验期间调整强度/亮度设置时推断光束区域，而不管视场如何。使用这些光束电流和光束面积测量值计算累积剂量和剂量率的值，并生成剂量校准文件。该过程基本上定义了TEM及其各个晶状体条件的剂量“指纹”。一旦针对TEM校准了剂量，用户就可以正常操作并自由调整放大倍数和强度，而不会丢失剂量信息或手动记录17。校准完成后，移除剂量校准支架，允许正常插入样品。TEM 和 STEM 模式的校准过程通常需要不到 10 分钟。校准剂量条件后，在高剂量率条件下对商业购买的沸石纳米颗粒（ZSM-5）样品进行成像，以确定样品损坏太大而无法提供结构信息的阈值（累积）剂量。将ZSM-5纳米颗粒悬浮在乙醇中并滴铸在传统的铜TEM网格上。它们在 TEM 模式下以 300 kV 连续成像，光斑尺寸为 3 和 100 μm 聚光镜孔径。MVS软件在高剂量率条件下读取的剂量率为519 e-/Å2·s。对视场中的纳米颗粒进行连续成像，直到FFT中的峰消失，表明晶体结构退化，如图3A-C和补充文件3所示。将叠加（可以在现场实验期间或之后在分析软件中添加）应用于TEM图像，以显示日期和时间，剂量率，最大（累积）剂量和放大倍数。在实验过程中，剂量率保持恒定，累积剂量（最大剂量）随时间增加。连续成像42秒后，FFT峰开始消失（图3B）。在1分钟20秒和~60,000 e-/Å2的累积剂量下，FFT峰完全消失（图3C）。为了证明这种校准方法产生的定量剂量测量值可以应用于在不同设置下运行的其他显微镜，使用200 kV冷场发射枪（FEG）TEM和光斑尺寸为1进行了相同的校准过程和沸石降解实验。该显微镜使用方法1中描述的相同程序进行校准，并使用新的光斑尺寸和孔径设置执行方法2中描述的相同实验。调整光束设置，使两个实验之间施加的剂量率的差异可以忽略不计（499 e-/Å 2·s vs. 519 e-/Å2·s）。如图3 D-F所示，并在表1中总结，在连续成像1分钟和50秒后FFT斑点完全消失，累积剂量为58,230 e-/Å2，这与第一次实验中获得的值一致。通过执行加热实验展示了MVS软件如何使原位实验受益的示例。选择具有代表性的纳米催化剂样品Au / FeOx（按照已发表的程序19合成）作为示例系统，因为它在高温下经历动态形态和结构变化。这种温度引起的迁移率使得将ROI保持在视场内具有挑战性，因为样品自身的运动和样品支撑本身在温度变化期间的热膨胀18。启用漂移校正和聚焦辅助功能后，样品在800°C下在~30 s的时间内成像。在高温下，Au/FeOx内的金纳米颗粒沿着氧化铁载体表面迁移并烧结形成更大的颗粒，如图4所示，如补充文件7中的电影所示。图5显示了在原位加热实验期间在不同时间点（图5G）记录的Au / FeOx纳米催化剂内多孔区域的一系列TEM快照（图5A-F）。ROI的协调漂移值由软件自动计算。图像在整个系列过程中的协调漂移和温度值如图5G所示。正如预期的那样，样品的协调漂移随着温度曲线的增加而增加，从~9 nm/min的速率增加到~62 nm/min，并且随着温度保持恒定，开始趋于平稳。尽管漂移率很高，并且样品的形态发生了变化，但在升温过程中很容易获得高分辨率图像，揭示了多孔区域内的运动，如补充文件8所示。有关下载说明和计算机规格，请参阅补充文件 9。图 2：电子剂量校准和跟踪。（A）使用专用样品架校准剂量，该样品支架包含一个位于样品平面上的集电器，用于光束电流测量。（B）尖端设计特点图示：左：法拉第杯;中间：基准孔;右：通孔（C）。施加的电子剂量可以在软件中使用颜色编码图可视化，以表示图像中的不同剂量暴露。请点击此处查看此图的大图。图 3：电子剂量诱导沸石（ZSM-5）纳米颗粒的降解。（A-C）在 1 分 20 秒的时间内拍摄的快照，显示了使用 300 kV FEG 和测量剂量率为 519 e-/Å2· 获得的降解数据s;沸石在 1 分 20 秒内降解。（D-E）在 1 分 50 秒的时间段内拍摄的快照显示了使用 200 kV 冷 FEG TEM 和 499 e-/Å2 的电子剂量率获得的降解数据 2·s;插图显示FFT光斑随时间褪色。比例尺为 60 nm。请点击此处查看此图的大图。图 4：AXON 同步性应用机器视觉算法来跟踪和稳定动态演变的样本。实验期间生成的元数据可以沿着时间线绘制，允许用户在滚动浏览实验期间生成的图像系列时快速将图像与其关联的元数据配对。（A-H）在800°C下记录的纳米催化剂样品（Au / FeOx）的图像在28秒的时间内记录，包括（A-D）和没有（E-H）剂量图叠加。叠加层中的红色区域表示累积剂量暴露较高的区域，黄色区域表示较低暴露的区域。突出显示单个像素表示该像素的累积剂量。面板E-H中的白色箭头表示在实验过程中合并的两个粒子，橙色箭头表示移动的金粒子的轨迹。（I）分析软件为A-H所示的图像系列生成的实验时间线。时间轴顶部的橙色点表示原始（非数字校正）图像，蓝点表示漂移校正图像。橙色竖条表示时间轴上与面板 A-H 显示的图像对应的点。比例尺为 40 nm。请点击此处查看此图的大图。图 5：不同时间点 Au/FeOx 纳米催化剂内多孔区域的 TEM 快照。MVS 软件即使在高漂移率下也能稳定和居中样品，例如在温度上升期间通过应用载物台、光束偏移和数字校正发生的漂移，如机器视觉算法所示。（A-F）在原位加热实验期间在不同（G）时间点记录的 Au/FeOx 纳米催化剂内多孔区域的 TEM 快照。ROI的漂移率在实验过程中由MVS软件自动计算和记录。如（G）所示，随着温度曲线的变化（蓝线），漂移率（橙色线）随着温度的升高而增加，随着温度保持恒定而降低。请点击此处查看此图的大图。显微镜类型 300 kV 热电灯 200 kV 冷极热透射电镜光斑尺寸/聚光镜 2 孔径 3/100 微米 1/100 微米剂量率 519 e-/A2•s1 499 e-/A2•s1 通过FFT测量的结构损失（累积剂量） 60,270 e-/A2 58,230 e-/A2 表 1：从不同显微镜获得的沸石降解结果的汇总比较。补充文件1：打开剂量管理选项卡的MVS软件界面的屏幕截图。请点击此处下载此文件。补充文件2：束诱导沸石降解实验的MVS软件数据库文件。该查看/分析软件可免费下载。有关下载说明和计算机规格，请参阅补充文件 9 。请点击此处下载此文件。补充文件3：光束诱导沸石降解的电影。请点击此处下载此文件。补充文件 4：CSV 文件 1（沸石降解：原始数据 [仅限机械校正]）请点击此处下载此文件。补充文件5：CSV文件（沸石降解：漂移校正[机械+数字校正]）请点击这里下载此文件。补充文件6：MVS软件数据库文件纳米催化剂原位加热实验。请点击此处下载此文件。补充文件7：800°C下纳米催化剂的薄膜，剂量叠加。请点击此处下载此文件。补充文件8：具有协调漂移值的温度斜坡期间纳米催化剂的电影。请点击此处下载此文件。补充文件9：下载免费分析软件的说明。请点击此处下载此文件。

Discussion

TEM实验结果的解释通常取决于许多相互关联的实验参数，例如显微镜设置，成像条件，以及在操作或原位实验的情况下，环境或刺激的变化^1,23。对大型TEM数据集的准确分析（这些参数可能会不断修改）需要操作员特别注意在实验室期刊或其他外部文档源中准确记录每个图像的每个条件和设置。随着 TEM 数据集的规模和复杂性的增长，手动记录保存变得难以管理，关键信息可能会丢失或不准确记录。此处描述的MVS软件整合了实验期间从显微镜、检测器/相机和其他系统（例如原位样品架）生成的元数据，并将它们与各自的图像对齐。

除了元数据整合之外，该软件还应用机器视觉算法，通过使用其漂移校正和 对焦辅助 功能，通过空间、光束和数字校正的组合来跟踪和稳定视野。当使用 漂移校正 功能时，使用拉入MVS软件的第一个图像生成互相关“模板”图像。然后将模板与传入图像进行比较，以计算样品漂移或移动的方向和幅度。有了这些信息，MVS软件会自动应用必要的校正，通过调整三个参数中的至少一个来保持图像特征在同一位置：载物台位置、光束或图像偏移以及数字图像校正。对焦辅助功能利用多种算法的组合来分配一个对焦值，称为每张图像的对焦分数，并比较这些分数以确定散焦调整的大小和方向，以保持样品对焦。在 STEM 成像模式下，MVS 软件尝试通过专有版本的归一化方差来分配焦点分数，从而最大限度地提高对比度。在TEM模式下，在FFT中计算强度的径向总和，并用于计算焦点得分。当 MVS 软件无法准确计算图像的正确对焦分数时，就会出现对 MVS 软件优化对焦能力的限制。这通常发生在显微镜未对准或样品在校准过程中明显失焦时，导致软件无法正确计算正确的起始焦点分数值。MVS 软件可能难以计算具有明确定义的晶格条纹的样品的焦点分数，因为 FFT 中的晶格条纹可能会“压倒”焦点评分算法;因此，如果样本移出焦点，焦点分数可能无法准确反映焦点的变化。相反，在低放大倍率下工作或处理具有低FFT信号的样品也会使计算良好的焦点分数变得具有挑战性。为了缓解这些困难，MVS软件包含许多额外的算法，如果默认设置不适合样品，用户可以选择这些算法来计算焦点分数。这些必须根据具体情况进行测试和应用，以确定给定实验的最佳算法。

样品结构随时间的形态变化使用模板变形因子进行解释。此滤波器由运算符可调，因此配准算法可以考虑随时间推移的形态变化。此外，该软件还监控连续图像、显微镜设置以及相机或检测器设置，以便在样品结构变化触发时以及操作员引起的显微镜、相机或检测器参数发生任何更改后自动更新模板。如图 4、 图 5、补充 文件 7 和 补充文件 8 所示，MVS 软件提供有效、即时的稳定，允许对动态移动或变化的样品进行高分辨率成像。尽管该软件能够控制非常高的漂移率或样品移动率，例如在原位实验期间应用加热斜坡时发生的漂移率，但如果样品移动或漂移非常迅速，软件可以控制的最大载物台校正或光束偏移存在限制。此限制是图像更新速率、视场大小和漂移速率的函数。对于给定的视野和图像更新速率，有一个可以校正的最大漂移率，如果物理运动跟不上，那么该过程可能会结束或变得不稳定。根据应用“ 漂移校正 ”等要素时生成的注册模板，可以生成其他计算元数据。例如， 匹配相关性 是序列中模板之间变化程度的数字记录，用于识别实验时间线中样本发生变化的点。高匹配相关值对应于其形态发生变化的样本，低匹配相关值对应于结构保持相对静态的样本。匹配相关性对于原位研究特别有价值，因为它可以图形方式绘制，使用户能够快速确定与显着样品变化相对应的系列图像。但是，重要的是要了解，如果在 漂移校正 功能保持活动状态时执行这些操作，则高匹配相关值也可以对应于成像条件的变化，例如移动载物台或改变放大倍率。

这里介绍的校准工作流程利用独特的校准支架和半自动校准程序，在各种镜头条件下以最少的操作员干预准确校准光束。剂量校准程序可通过安装在TEM上的MVS软件访问。MVS软件会自动读取相关的显微镜设置，以保存所有测量值以供以后的实验参考。在某些TEM上，无法读取孔径或单色器设置，操作员必须在校准和使用期间将这些设置输入MVS软件设置。软件中内置了提醒功能，有助于按照程序提示更新这些操作员输入设置。开发带有内置集流体的支架，而不是依赖于集成在显微镜柱中其他地方的支架，是一种深思熟虑的设计选择。这使得集流体能够与样品定位在同一平面上，从而消除了由光束偏转或不同光束位置的孔径吸收电子的差异引起的电流测量误差。MVS软件遵循自动化程序来测量任何透镜条件组合的光束电流和面积。然后，该软件可以将这些测量的校准与相机或屏幕电流相关联，并在实验过程中将放大倍率等的任何变化外推到光束区域。一旦生成，这些校准文件可以立即使用，如果软件检测到在将来的会话中使用了相同的设置，则会自动保存以供以后使用。尽管校准文件的寿命因显微镜而异，但作者发现他们能够使用相同的校准文件几个月，而不会观察到当前值的实质性变化。有内置的例程来监测喷枪的发射曲线，以帮助保持这些校准的相关性，特别是在冷FEG发射枪上。

显微镜之间剂量测量的标准化和样品光束曝光的自动跟踪是MVS软件的关键功能，因为它们允许在不同显微镜系统上进行实验之间剂量条件的定量比较。在使用不同显微镜的相同实验中获得的沸石样品（ZSM-5）的剂量诱导降解导致在最大累积或阈值电子剂量（~60.000 e-/Å^{2 当}应用~500 e^–/Å²·s的剂量速率时）后FFT 斑点完全消失两种设置。这些比较结果表明，剂量软件有助于可重复的定量剂量测量。每个实验观察到完全FFT斑点消失的累积剂量的微小差异可能是由于两个显微镜采用的不同加速电压的结果，较低的加速电压导致更多的辐射损伤途径，而较高的加速电压通常会导致更多的连锁损伤²⁴。使用第一个FFT斑点消失而不是所有FFT斑点完全消失的ZSM-5纳米颗粒临界剂量的文献结果范围为9,000-14,000 e^–/Å²，而不是所有FFT斑点^25,26的完全消失。在我们的结果中，第一次FFT斑点消失对应于大约25,000 e^–/Å²的累积剂量。以前的研究依赖于使用荧光屏获得的电流测量值，与法拉第杯¹⁵相比，荧光屏低估了光束电流测量值。确定的临界剂量可以变化两倍或更多，具体取决于用于跟踪剂量的FFT峰。这表明较高的空间频率首先退化，并且根据测量期间使用的区域访问，可能导致不同的值（我们的结果侧重于整个沸石晶体的FFT斑点，而不是特定的结构特征）^25,26。技术和当前校准的这些差异解释了我们的结果和以前的文献研究中报告的两个实验之间的值差异。

尽管电子剂量相互作用是许多TEM实验中的一个重要因素，但原位和特别是液电镜研究对其影响特别敏感。电子束对液体的放射性分解导致一系列化学反应物质，这些物质可以与样品相互作用，使分析复杂化。液体电镜实验期间使用的剂量率或能量以及累积剂量都会对液体放射性分解产生的自由基物质浓度产生影响^27,28。因此，在整个实验中收集和记录累积剂量和剂量率元数据允许图像与样品的剂量历史之间直接关联，并且是阐明和控制电子束在这些实验中的影响的更准确方法。虽然本协议未涵盖，但图6显示了液体电镜剂量管理功能的实用性示例。

图 6：原位液体 EM 实验期间光束诱导的金纳米颗粒生长。（A）低放大倍率STEM概述所得颗粒生长，并在整个区域的累积剂量图的颜色叠加。叠加层中的红色区域表示累积剂量暴露较高的区域，黄色区域表示较低暴露的区域。使用光标突出显示单个像素或使用随附的绘图工具在某个区域上绘制框表示该像素或区域的累积剂量。比例尺为2μm。（B，C）A中橙色框（b，c）表示的区域的更高放大倍率STEM图像。暴露于较高累积剂量（10.811 e^–/Å 2）的区域b含有比暴露于较低累积剂量（0.032 e^–/Å²）的区域c中发现的颗粒更大的颗粒。请点击此处查看此图的大图。

富集剂量率和累积剂量元数据简化了剂量依赖性纳米材料生长和降解途径的分析。图6显示了在液EM实验期间光束诱导的水中金氯化金（HAuCl₃）离子溶液的还原。从图6A中的彩色剂量图叠加，很容易想象累积电子剂量影响纳米颗粒29,30,31,32的结果尺寸和形状。低放大倍率STEM概述显示暴露于高（红色）和低（黄色）累积剂量的区域。暴露于较高剂量区域的颗粒大于暴露于较低累积剂量区域的颗粒。由于剂量元数据在像素级别直接嵌入到每个图像中，因此现在可以以前所未有的方式系统地分析电子剂量在液电镜实验中的复杂影响。

在该协议中，我们已经证明MVS软件提供了一个全面的解决方案，用于逐像素校准，监测和跟踪传递给样品的电子剂量和总剂量。这种能力为对剂量敏感的样品进行成像和理解电子束相互作用开启了一种新的范式。这对于液电镜实验尤其令人兴奋，因为它将允许更有效地询问电子剂量所起的作用并提高实验的可重复性。我们希望这个新框架能够准确收集剂量率和累积剂量信息，促进与社区共享这些数据，以便更准确地解释TEM结果，并通过启用FAIR主要报告和分析来推进科学合作和数据共享。

Disclosures

The authors have nothing to disclose.

Acknowledgements

这项工作部分是在北卡罗来纳州立大学的分析仪器设施（AIF）进行的，该设施得到了北卡罗来纳州和国家科学基金会（奖励号ECCS-2025064）的支持。AIF是北卡罗来纳州研究三角纳米技术网络（RTNN）的成员，该网络是国家纳米技术协调基础设施（NNCI）的一个站点。作者要感谢巴黎城市大学CNRS研究主任Damien Alloyeau提供200 kV CFEG沸石剂量阈值研究结果。

Materials

ARM200F CFEG	JEOL		Transmission Electron Microscope (200 kV)
AXON DOSE Calibration Holder	Protochips, Inc.	AXA-FC-TFS	Dose calibration and management hardware package for ThermoFisher ScientificTEM
AXON DOSE Software: Version 10.6.5.3	Protochips, Inc.	AX-MOD-DOSE-01-1YR	Dose calibration and management software
AXON Studio Software: Version 10.6.5.3	Protochips, Inc.	No Part Number. Available to download at success.protochips.com	Offline analysis software for AXON datasets. A free copy of the AXON Studio software is available for down load at: success.protochips.com
AXON Synchronicity Core	Protochips, Inc.	AXON-CORE	Hardware component of the synchronization software.
AXON Synchronicity Software: Version 10.6.5.3	Protochips, Inc.	AX-MOD-SYNCPRO-01-1YR	Synchronization software
Fusion In-Situ Heating E-chip	Protochips, Inc.	E-FHDC-VO-10	Sample Support E-chip with carbon film. Used with in situ heating system
Fusion Select In Situ Heating System	Protochips, Inc.	FFAD-6200-EXP	In-situ MEMs heating system for ThermoFisher Scientific TEM.
Gold(III) chloride (50% gold basis) hydrate 50790	Sigma Aldrich	27988-77-8	Used to prepare Au/FeOx nanocatalyst. Coprecipitation synthesis procedure followed in C. Sze et al. Materials Letters. 36 (1–4), 11–16 (1998)
Iron (III) Oxide 310050 (Fe₂O₃)	Sigma Aldrich	1309-37-1	Used to prepare Au/FeOx nanocatalyst. Coprecipitation synthesis procedure followed in C. Sze et al. Materials Letters. 36 (1–4), 11–16 (1998)
Titan ChemiSTEM	ThermoFisher Scientific		Transmission Electron Microscope (300 kV)
Zeolite ZSM-5	Zeolyst	CBV 8014	Nanocatalyst sample: 80 SiO₂/Al₂O₃Mole Ratio

References

Thomas, J. M., Leary, R. K., Eggeman, A. S., Midgley, P. A. The rapidly changing face of electron microscopy. Chemical Physics Letters. 631, 103-113 (2015).
Spurgeon, S. R., et al. Towards data-driven next-generation transmission electron microscopy. Nature Materials. 20 (3), 274-279 (2021).
Gai, P. L., Boyes, E. D. In situ visualisation and analysis of dynamic single atom processes in heterogeneous catalysts. Journal of Materials Chemistry A. 10 (11), 5850-5862 (2022).
Zheng, H., Lu, X., He, K. In situ transmission electron microscopy and artificial intelligence enabled data analytics for energy materials. Journal of Energy Chemistry. 68, 454-493 (2022).
Topsøe, H. Developments in operando studies and in situ characterization of heterogeneous catalysts. Journal of Catalysis. 216 (1), 155-164 (2003).
Wilkinson, M. D., et al. The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data. 3 (1), 160018 (2016).
FAIR Principles. Go Fair Available from: https://www.go-fair.org/fair-principles/ (2023)
Draxl, C., Scheffler, M. NOMAD: The FAIR concept for big data-driven materials science. MRS Bulletin. 43 (9), 676-682 (2018).
Kelly, D. F., et al. Liquid-EM goes viral-visualizing structure and dynamics. Current Opinion in Structural Biology. 75, 102426 (2022).
AXON Studio Software Download. Protochips, Inc Available from: https://success.protochips.com/s/?language=en_US (2023)
Egerton, R. F., Li, P., Malac, M. Radiation damage in the TEM and SEM. Micron. 35 (6), 399-409 (2004).
Grubb, D. T. Radiation damage and electron microscopy of organic polymers. Journal of Materials Science. 9 (10), 1715-1736 (1974).
Buban, J. P., Ramasse, Q., Gipson, B., Browning, N. D., Stahlberg, H. High-resolution low-dose scanning transmission electron microscopy. Journal of Electron Microscopy. 59 (2), 103-112 (2010).
Chen, Q., et al. Imaging beam-sensitive materials by electron microscopy. Advanced Materials. 32 (16), 1907619 (2020).
Krause, F. F., et al. Precise measurement of the electron beam current in a TEM. Ultramicroscopy. 223, 113221 (2021).
Żak, A. Guide to controlling the electron dose to improve low-dose imaging of sensitive samples. Micron. 145, 103058 (2021).
Damiano, J., et al. AXON dose: A solution for measuring and managing electron dose in the TEM. Microscopy Today. 30 (4), 22-25 (2022).
Allard, L. F., Flytzani-Stephanopoulos, M., Overbury, S. H. Behavior of Au species in Au/Fe2O3 catalysts characterized by novel in situ heating techniques and aberration-corrected STEM imaging. Microscopy and Microanalysis. 16 (4), 375-385 (2010).
Sze, C., Gulari, E., Demczyk, B. G. Structure of coprecipitated gold-iron oxide catalyst materials. Materials Letters. 36 (1-4), 11-16 (1998).
DiCecco, L. A., et al. Advancing high-resolution imaging of virus assemblies in liquid and ice. Journal of Visualized Experiments. (185), e63856 (2022).
Dukes, M. J., Gilmore, B. L., Tanner, J. R., McDonald, S. M., Kelly, D. F. In situ TEM of biological assemblies in liquid. Journal of Visualized Experiments. (82), e50936 (2013).
Scheutz, G. M., et al. Probing thermoresponsive polymerization-induced self-assembly with variable-temperature liquid-cell transmission electron microscopy. Matter. 4 (2), 722-736 (2020).
Howe, J. Y., Allard, L. F., Bigelow, W. C., Demers, H., Overbury, S. H. Understanding catalyst behavior during in situ heating through simultaneous secondary and transmitted electron imaging. Nanoscale Research Letters. 9 (1), 614 (2014).
Egerton, R. F. Mechanisms of radiation damage in beam-sensitive specimens, for TEM accelerating voltages between 10 and 300 kV. Microscopy Research and Technique. 75 (11), 1550-1556 (2012).
Yoshida, K., Sasaki, Y. Optimal accelerating voltage for HRTEM imaging of zeolite. Microscopy. 62 (3), 369-375 (2013).
Yoshida, K., Sasaki, Y., Kurata, H. High-resolution imaging of zeolite with aberration-corrected transmission electron microscopy. AIP Advances. 3 (4), 042113 (2013).
Lee, J., Nicholls, D., Browning, N. D., Mehdi, B. L. Controlling radiolysis chemistry on the nanoscale in liquid cell scanning transmission electron microscopy. Physical Chemistry Chemical Physics. 23 (33), 17766-17773 (2021).
Schneider, N. M., et al. Electron-water interactions and implications for liquid cell electron microscopy. The Journal of Physical Chemistry C. 118 (38), 22373-22382 (2014).
Fritsch, B., et al. Radiolysis-driven evolution of gold nanostructures – model verification by scale bridging in situ liquid-phase transmission electron microscopy and x-ray diffraction. Advanced Science. 9 (25), e2202803 (2022).
Alloyeau, D., et al. Unravelling kinetic and thermodynamic effects on the growth of gold nanoplates by liquid transmission electron microscopy. Nano Letters. 15 (4), 2574-2581 (2015).
Ahmad, N., Le Bouar, Y., Ricolleau, C., Alloyeau, D. Growth of dendritic nanostructures by liquid-cell transmission electron microscopy: a reflection of the electron-irradiation history. Advanced Structural and Chemical Imaging. 2 (1), 9 (2016).
Zhang, Y., Keller, D., Rossell, M. D., Erni, R. Formation of Au nanoparticles in liquid cell transmission electron microscopy: From a systematic study to engineered nanostructures. Chemistry of Materials. 29 (24), 10518-10525 (2017).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Dukes, M. D., Krans, N. A., Marusak, K., Walden, S., Eldred, T., Franks, A., Larson, B., Guo, Y., Nackashi, D., Damiano, J. A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management. J. Vis. Exp. (196), e65446, doi:10.3791/65446 (2023).