A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management

Madeline  Dressel Dukes; Nynke Albertine Krans; Katherine Marusak; Stamp Walden; Tim Eldred; Alan Franks; Ben Larson; Yaofeng Guo; David Nackashi; John Damiano

doi:10.3791/65446

JoVE Journal > Biology

Please note that all translations are automatically generated. Click here for the English version.

生物学

Подход машинного зрения к рабочим процессам просвечивающей электронной микроскопии, анализу результатов и управлению данными

Published: June 23, 2023

doi:

10.3791/65446

Madeline Dressel Dukes¹, Nynke Albertine Krans¹, Katherine Marusak¹, Stamp Walden¹, Tim Eldred¹, Alan Franks¹, Ben Larson¹, Yaofeng Guo¹, David Nackashi¹, John Damiano¹

¹Protochips, Inc.

Summary

Здесь мы представляем протокол для использования программного обеспечения машинного зрения для стабилизации динамических процессов во время визуализации ПЭМ при одновременном индексировании нескольких потоков метаданных для каждого изображения на навигационной временной шкале. Мы демонстрируем, как эта платформа позволяет автоматически калибровать и отображать дозу электронов в ходе эксперимента.

Abstract

Просвечивающая электронная микроскопия (ПЭМ) позволяет пользователям изучать материалы в их фундаментальном, атомном масштабе. Сложные эксперименты обычно генерируют тысячи изображений с многочисленными параметрами, которые требуют трудоемкого и сложного анализа. AXON synchronicity – это программное решение для синхронизации машинного зрения (MVS), предназначенное для решения болевых точек, присущих исследованиям TEM. После установки на микроскоп он обеспечивает непрерывную синхронизацию изображений и метаданных, генерируемых микроскопом, детектором и системами in situ во время эксперимента. Эта связь позволяет применять алгоритмы машинного зрения, которые применяют комбинацию пространственной, лучевой и цифровой коррекции для центрирования и отслеживания интересующей области в поле зрения и обеспечивают немедленную стабилизацию изображения. В дополнение к существенному улучшению разрешения, обеспечиваемому такой стабилизацией, синхронизация метаданных позволяет применять алгоритмы вычислений и анализа изображений, которые вычисляют переменные между изображениями. Эти вычисленные метаданные можно использовать для анализа тенденций или определения ключевых областей интереса в наборе данных, что приведет к новым идеям и развитию более сложных возможностей машинного зрения в будущем. Одним из таких модулей, основанных на этих рассчитанных метаданных, является калибровка дозы и управление ею. Дозовый модуль обеспечивает современную калибровку, отслеживание и управление как флюенсом электронов (e-/Å 2·^s-1), так и кумулятивной дозой (e^–/Å²), которая доставляется в определенные области образца попиксельно. Это позволяет получить всесторонний обзор взаимодействия между электронным пучком и образцом. Анализ экспериментов оптимизируется с помощью специального программного обеспечения для анализа, в котором наборы данных, состоящие из изображений и соответствующих метаданных, легко визуализируются, сортируются, фильтруются и экспортируются. В совокупности эти инструменты способствуют эффективному сотрудничеству и экспериментальному анализу, стимулируют интеллектуальный анализ данных и улучшают возможности микроскопии.

Introduction

Просвечивающие электронные микроскопы (ПЭМ) и их возможности значительно выиграли от достижений в области камер, детекторов, держателей образцов и вычислительных технологий. Однако этим достижениям препятствуют разрозненные потоки данных, ограничения человеческой деятельности и громоздкий анализ данных ^1,2. Кроме того, эксперименты in situ и operando адаптируют ПЭМ в наноразмерных лабораториях в режиме реального времени, позволяя изучать образцы в газовой или жидкой среде с одновременным применением ряда внешних стимулов ^3,4,5. Внедрение таких сложных рабочих процессов только усилило эти ограничения, и в результате увеличение размера и сложности этих потоков данных вызывает растущую озабоченность. Таким образом, все большее внимание уделяется использованию машинных действий для поиска, доступа, взаимодействия и повторного использования данных, практика, известная как принципы FAIR⁶. Публикация данных исследований в соответствии с концепцией принципов FAIR получила благосклонное внимание со стороны правительственных органов по всему миру^7,8^, и применение принципов FAIR с использованием программного обеспечения машинного зрения является ключевым шагом в их принятии.

Программная платформа синхронизации машинного зрения (MVS) была разработана в ответ на конкретные проблемы, присущие проведению и анализу сложных экспериментов TEM с большим количеством метаданных (особенно экспериментов in situ и operando)⁹. После установки на ПЭМ программное обеспечение MVS подключается, интегрируется и взаимодействует с колонкой микроскопа, детекторами и интегрированными системами in situ . Это позволяет ему непрерывно собирать изображения и согласовывать эти изображения с их экспериментальными метаданными, формируя всеобъемлющую базу данных с возможностью поиска, временную шкалу эксперимента от начала до конца (рис. 1). Эта связь позволяет программному обеспечению MVS применять алгоритмы, которые интеллектуально отслеживают и стабилизируют интересующую область (ROI), даже когда образцы претерпевают морфологические изменения. Программное обеспечение применяет корректировки сцены, луча и цифровой коррекции по мере необходимости для стабилизации рентабельности инвестиций с помощью функций Drift Control и Focus Assist . В дополнение к обогащению изображений необработанными метаданными, полученными из различных экспериментальных систем, программное обеспечение может создавать новые вычислительные метаданные, используя алгоритмы анализа изображений для вычисления переменных между изображениями, что позволяет ему автоматически корректировать дрейф образца или изменения фокуса.

Изображения ТЕА и связанные с ними метаданные, собранные с помощью программного обеспечения MVS, организованы в виде экспериментальной временной шкалы, которая может быть открыта и просмотрена любым пользователем с помощью бесплатной автономной версии аналитического программного обеспечения Studio (далее именуемой программным обеспечением для анализа)¹⁰. Во время эксперимента программное обеспечение MVS синхронизирует и записывает три типа изображений с камеры или детектора микроскопа, которые отображаются в верхней части временной шкалы под просмотрщиком изображений: одиночные съемки (отдельные одиночные изображения, полученные непосредственно с помощью программного обеспечения TEM), необработанные (изображения из прямой трансляции детектора/камеры, к которым не были применены какие-либо цифровые коррекции дрейфа; эти изображения могли быть физически скорректированы с помощью движение сцены или сдвиг луча) и с коррекцией дрейфа (изображения из прямой трансляции детектора/камеры, которые были дрейфовать в цифровом виде). Данные, собранные во время эксперимента или сеанса, могут быть дополнительно уточнены в более мелкие разделы или фрагменты данных, известные как коллекции, без потери встроенных метаданных. Из программного обеспечения для анализа изображения, стеки изображений и метаданные могут быть напрямую экспортированы в различные изображения открытого формата и типы электронных таблиц для анализа с использованием других инструментов и программ.

Система управления микроскопом, стабилизации и интеграции метаданных, обеспечиваемая программным обеспечением MVS, также позволяет внедрять дополнительные программы или модули машинного зрения, предназначенные для устранения ограничений в текущих рабочих процессах ТЕА. Одним из первых модулей, разработанных для использования преимуществ этой платформы синхронизации, является калибровка дозы электронов и пространственное отслеживание областей облучения пучка в образце. Все изображения ПЭМ формируются в результате взаимодействия между образцом и электронным пучком. Однако эти взаимодействия могут также приводить к отрицательным, неизбежным воздействиям на образец, таким как радиолиз и домино^11,12, и требуют тщательного баланса между применением достаточно высокой дозы электронов для получения изображения и минимизацией результирующего повреждения луча^13,14.

Хотя многие пользователи полагаются на измерения тока экрана для оценки дозы электронов, было показано, что этот метод значительно недооценивает фактический ток^{пучка 15}. Качественные значения дозы могут быть получены с помощью экранного тока на одном и том же микроскопе с теми же настройками, но воспроизведение этих дозовых условий с использованием разных микроскопов или настроек очень субъективно. Кроме того, любые настройки параметров изображения, сделанные пользователем во время эксперимента, такие как размер пятна, апертура, увеличение или интенсивность, требуют отдельного измерения тока экрана для расчета результирующей дозы. Пользователи должны либо строго ограничивать условия визуализации, используемые во время данного эксперимента, либо тщательно измерять и записывать каждое используемое состояние линзы, что значительно усложняет и расширяет эксперимент за пределы того, что возможно для нормальной работы микроскопа^16,17.

Доза, называемая программным обеспечением дозы для этого протокола, представляет собой программный модуль калибровки дозы, в котором используется специальный калибровочный держатель, предназначенный для автоматического измерения тока. Чашка Фарадея, золотой стандарт точной калибровки тока^{пучка 15}, встроена в наконечник калибровочного держателя. Программное обеспечение MVS выполняет серию калибровок тока луча и площади луча для каждого состояния объектива и встраивает эти значения в изображения на уровне пикселей.

В этой видеостатье представлены программные протоколы MVS, предназначенные для улучшения всех областей рабочего процесса TEM, с использованием репрезентативных образцов наноматериалов. Чувствительный к пучку образец¹⁴ цеолитовых наночастиц используется для демонстрации рабочих процессов калибровки и управления дозой. Мы проводим репрезентативный эксперимент по нагреву in situ с использованием образца нанокатализатора Au/FeO_x ^18,19^, который претерпевает значительные морфологические изменения при нагревании. Этот эксперимент in situ подчеркивает алгоритмы стабилизации программного обеспечения и его способность сопоставлять несколько потоков метаданных, что является неотъемлемой проблемой для исследований in situ и operando. Несмотря на то, что это не описано в протоколе, из-за его уникальной чувствительности к дозе электронов мы обсуждаем репрезентативные примеры полезности программного обеспечения для исследований жидкостных ЭМ (протоколы для которых ранее сообщалось в литературе^20,21,22) и то^, как эти методы могут быть применены для улучшения понимания влияния дозы на эксперименты с жидкостными ЭМ. Наконец, мы покажем, как оптимизируется анализ данных с помощью программного обеспечения для автономного анализа для визуализации, фильтрации и экспорта различных файлов изображений, видео и данных в другие доступные форматы.

Рисунок 1: Примеры пользовательского интерфейса для MVS и программного обеспечения для анализа. (A) Панель просмотра изображений программного обеспечения синхронизации и панель управления. Соединение между TEM и программным обеспечением синхронизации устанавливается путем активации кнопки «Подключить», которая передает изображения и метаданные с микроскопа в программное обеспечение синхронизации. С помощью средства просмотра изображений оператор может выполнять различные операции с помощью машинного зрения, такие как коррекция дрейфа и помощь при фокусировке. Он также предоставляет возможность применять изображения тегов и сеанс просмотра, не прерывая сбор данных. (B) Снимок экрана программного обеспечения для анализа изображений, на котором выделено расположение порта просмотра изображения, временной шкалы и панели «Метаданные и анализ». Доступ к аналитическому программному обеспечению можно получить в любой момент во время эксперимента для просмотра изображений, полученных до этого момента времени, с помощью кнопки «Сеанс просмотра». Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Protocol

1. Метод 1: Калибровка дозы просвечивающего электронного микроскопа для режимов визуализации ПЭМ и сканирующего ПЭМ (STEM) Включите пикоамперметр и дайте ему нагреться не менее 30 минут перед началом калибровки дозы. Загрузите калибровочный держатель дозы в ПЭМ и подключите калибровочный держатель к пикоамперметру с помощью быстроразъемного кабеля. С микроскопом в режиме ПЭМ откройте клапаны колонки и найдите фидуциальное отверстие 35 мкм на дозодержателе (рис. 2). Запустите программное приложение MVS и выберите «Доза (автоматизация калибровки)» в параметрах эксперимента.ПРИМЕЧАНИЕ: Местоположение реперного отверстия сохраняется программным обеспечением после первоначальной калибровки, что позволяет программному обеспечению автоматически определять его положение для будущих калибровок. Нажмите на значок Connect (рис. 1A) и выберите микроскоп, чтобы активировать соединение между TEM и программным обеспечением MVS. После подключения изображения с камеры/детектора будут видны в средстве просмотра изображений программного обеспечения.ПРИМЕЧАНИЕ: Нет необходимости оптимизировать эуцентрическую высоту, и край реперного отверстия может казаться размытым из-за толщины наконечника. Это не повлияет на текущие измерения. Перейдите на вкладку « Доза », а затем на вкладку «Калибровка дозы». Выберите «Процесс калибровки области дозы », следуйте инструкциям программного обеспечения и введите запрошенные настраиваемые пользователем значения (например, настройки диафрагмы и монохроматора). После завершения калибровки области дозы выберите процесс калибровки тока дозы и следуйте инструкциям программного обеспечения. Повторите процесс калибровки (шаг 1.4) для каждого размера пятна, диафрагмы или настройки монохроматора, которые могут быть использованы во время эксперимента. Когда процесс калибровки для режима ПЭМ будет завершен, откалибруйте дозу электронов для режима STEM , повторив шаг 1.4.ПРИМЕЧАНИЕ: Режим STEM не требует калибровки зоны дозы . Когда все необходимые калибровки будут завершены, нажмите « Закрыть сеанс», извлеките держатель калибровки дозы и вернитесь на начальный экран программного обеспечения MVS. 2. Метод 2: Определение порога дозы с помощью МВС и программного обеспечения дозы Загрузите стандартную сетку ПЭМ с образцом (в этом примере использовались коммерчески доступные наночастицы цеолита ZSM-5) в стандартный держатель ПЭМ. Вставьте держатель в ПЭМ и найдите интересующую область (кристаллические наночастицы цеолита). Откройте программное приложение MVS и выберите «Другое».ПРИМЕЧАНИЕ: Дополнительная информация об образце (например, идентификатор и описание образца, имя оператора и примечания к эксперименту) может быть добавлена в поле параметров эксперимента. Повторите шаг 1.3, чтобы подключиться к программному обеспечению MVS, и перейдите на вкладку метаданных изображения в программном интерфейсе MVS, чтобы выбрать следующие метаданные для наложения на поток изображения, отображаемый на дисплее в реальном времени: увеличение, максимальная доза и мощность дозы. Другие метаданные могут быть включены, если пользователь пожелает. Снимок экрана программного интерфейса MVS, показывающий элементы управления дозой, приведен в дополнительном файле 1. Откройте вкладку «Доза » и выберите « Управление дозой » и «Включить мониторинг дозы », чтобы активировать автоматическое отслеживание дозы электронов. Выберите «Показать слой дозы», чтобы отобразить наложение цвета дозы. Установите значения для высокого уровня дозы и высокой мощности дозы и нажмите «Сохранить» (в этом примере использовались значения 60 000 e-/Å 2 и 500 e-/Å2·s соответственно). Перейдите на вкладку « Настройки », выберите «Доза» и установите значения «Непрозрачность карты навигации по дозе » и « Непрозрачность наложения изображения дозы » (в этом примере использовались значения 0,50 и 0,30 соответственно). В окне Live Image Viewer активируйте коррекцию дрейфа, нажав « Drift Correct». Перейдите на вкладку « Представление данных » и отстройте на оси Y значения метаданных « Разфокусировка » и «Коэффициент фокусировки ».ПРИМЕЧАНИЕ: Любое из доступных значений метаданных может быть построено в режиме реального времени во время эксперимента из таблицы просмотра данных. Активируйте функцию «Помощь при фокусировке», а затем выберите «Калибровка фокуса», чтобы запустить автоматическую калибровку помощи при фокусировке. После завершения процедуры калибровки фокуса закройте вкладку «Просмотр данных». Откройте вкладку «Анализ изображений » в программном обеспечении MVS и активируйте параметры Live FFT и Quadrants 1 и 2 . Используя программные элементы управления микроскопа, отрегулируйте условия пучка так, чтобы поток электронов составлял ~500 e-/Å2·s., и переместитесь в новую область образца и центрируйте ROI образца в режиме реального времени программного обеспечения MVS.ПРИМЕЧАНИЕ: При выполнении больших движений на сцене управление дрейфом и помощь при фокусировке автоматически отключаются и должны быть снова задействованы после выбора нового ROI. Запишите условия дозы в программном обеспечении с помощью функции Tag . Выделите значок тега и введите нужный текст, чтобы обозначить определенную серию изображений на временной шкале. Изображения будут помечены этим текстом до тех пор, пока значок тега не будет снят. Поддерживайте постоянную мощность дозы, непрерывно визуализируя одну и ту же рентабельность инвестиций до тех пор, пока пики, соответствующие атомной структуре на графике БПФ, не исчезнут. Уменьшите увеличение, откройте вкладку «Управление дозой» и активируйте «Показать слой дозы», чтобы наложить карту доз с цветовой кодировкой.ПРИМЕЧАНИЕ: Эта функция обеспечивает визуальную привязку областей образца, подвергшихся воздействию электронного пучка, и их относительного дозового воздействия. Выделение этих областей на отдельных изображениях курсором укажет на их соответствующие значения дозы. Отключитесь и завершите сеанс, сняв флажок «Подключиться», а затем выберите «Закрыть сеанс». Сохраните копию данных сеанса во внешнем источнике, чтобы предотвратить перезапись данных, сохраненных в программном обеспечении MVS, во время последующих экспериментов (дополнительный файл 2). 3. Метод 3: анализ метаданных и тенденций и экспорт данных с помощью программного обеспечения для анализа Запустите программное обеспечение для анализа (автономное программное обеспечение для просмотра полностью синхронизированных наборов данных) и откройте файл сеанса эксперимента, выбрав его из библиотеки файлов.ПРИМЕЧАНИЕ: Пользователи также могут получить доступ к аналитическому программному обеспечению с помощью значка «Сеанс обзора » в программном обеспечении MVS во время эксперимента. Отобразите изображения с коррекцией дрейфа, активировав вкладку DC под портом просмотра изображения, и выберите нужные наложения данных, установив соответствующие флажки « Данные наложения » на вкладке «Метаданные изображения » (в этом примере использовались микроскоп, дата/время, мощность дозы, максимальная доза и увеличение). Другие метаданные могут быть нанесены по желанию пользователя. Установите флажок « Временная шкала » для параметра «Максимальная доза и мощность дозы », чтобы добавить графический график этих значений на временную шкалу. Выделите или прокрутите эти графические графики, чтобы обновить изображение, отображаемое в окне просмотра. Получите доступ к различным инструментам с помощью вкладок « Заметки», « Анализ изображений», « Панель инструментов» и «Просмотр данных ».Получите доступ к БПФ для каждого изображения через вкладку «Анализ изображений» и нажмите «Живой БПФ», чтобы обновить БПФ при прокрутке изображений. Используйте затухание пиков БПФ, чтобы определить момент времени, когда структура цеолита теряет кристалличность. Запишите максимальное значение дозы, записанное с помощью этого изображения. Используйте параметр «Фильтр », чтобы легко фильтровать большие наборы данных в меньшие наборы данных, которыми можно поделиться, без потери связанных с ними метаданных. Откройте панель фильтров и отрегулируйте ползунки так, чтобы были выбраны только данные с мощностью дозы, равной или превышающей ~500 e-/Å2·s, и сохраните новую коллекцию, используя название Dose Threshold Study.ПРИМЕЧАНИЕ: Фильтры могут быть применены к любому из связанных типов метаданных. Экспортируйте изображения и метаданные из сеанса в другие типы файлов, обогащенные масштабными линейками и наложениями метаданных.Выделите коллекцию на панели библиотеки и выберите Опубликовать , щелкнув выделенный фрагмент правой кнопкой мыши. В окне «Публикация » выберите нужные параметры для экспорта типа файла. Выберите вкладку данных с коррекцией дрейфа и примените наложения любых желаемых метаданных и БПФ (расположите наложение БПФ по своему усмотрению; примеры изображений, экспортированных с помощью БПФ, показаны на рисунке 3). Экспортируйте серию изображений в виде файла фильма, используя тот же параметр «Опубликовать ». Выберите изображения, выделив их на временной шкале, используя параметры фильтра или экспортировав полный файл базы данных. Выберите нужный формат фильма, частоту кадров и расположение файла. Видеозапись эксперимента по разложению цеолита, полученного с использованием ПЭМ напряжением 200 кВ, представлена в дополнительном файле 3. Экспортируйте метаданные отдельно от полученных изображений в виде CSV-файла, выбрав параметр « Метаданные (CSV) » во время публикации.ПРИМЕЧАНИЕ: Необработанные изображения и изображения с коррекцией дрейфа экспортируются как отдельные CSV-файлы (дополнительный файл 4 и дополнительный файл 5). 4. Метод 4: Исследование нагрева золота in situ на наночастицах оксида железа Капля нанокатализатора (Au/FeOx), суспендированного в этаноле, на электронный чип нагревателя in situ , микроэлектромеханический (MEM) носитель образца и дайте ему высохнуть на воздухе. Установите образец в нагревательный держатель in situ , вставьте держатель с образцом в TEM и подключите держатель к источнику питания с помощью прилагаемого кабеля. Найдите пример ROI с помощью элементов управления TEM.ПРИМЕЧАНИЕ: В этом эксперименте использовался нагреватель, который полностью интегрирован с программным обеспечением MVS, что позволяет встраивать метаданные температуры в изображения. Выберите соответствующий параметр рабочего процесса в программном обеспечении MVS (в этом примере использовался рабочий процесс Fusion , но можно использовать другие нагревательные держатели производителя, выбрав «Другое»). Следуйте инструкциям рабочего процесса, чтобы подтвердить электрическое соединение между держателем и нагревательным электронным чипом, загрузив файл калибровки и выполнив проверку устройства. Подключите микроскоп к программному обеспечению MVS, как показано ранее на шагах 2.3-2.10 (в этом примере были выбраны значения метаданных для мощности дозы, максимальной дозы, корреляции соответствия, скорости дрейфа и температуры канала A), и центрируйте ROI образца в поле зрения. Откройте вкладку Fusion AX , настройте и примените температуру. Нажмите кнопку «Настройка канала A », чтобы получить доступ к настройкам контроля температуры. Выберите функцию «Температура» и режим ручного управления. Нажмите кнопку «Эксперимент », чтобы получить доступ к экспериментальным элементам управления. Установите скорость нарастания на 10 °C/s, а цель — на 600 °C. Нажмите « Применить », чтобы начать эксперимент.ПРИМЕЧАНИЕ: Эксперимент можно приостановить или остановить в любое время с помощью кнопок быстрого доступа в правом нижнем углу программного обеспечения MVS, не открывая вкладку Fusion AX . После достижения заданной температуры 600 °C откройте вкладку Fusion AX и выберите Эксперимент. Измените скорость нарастания на 2 °C, а целевой показатель на 800 °C. Нажмите « Применить », чтобы начать эксперимент.ПРИМЕЧАНИЕ: Процедура применения отопительной рампы зависит от используемой системы отопления in situ . Описанные выше шаги по применению температурного диапазона применимы к системе, используемой в этом примере. Выделите все события или достопримечательности во время эксперимента с помощью функции тегов, как показано на шаге 2.10. Продолжайте получать изображение образца и отрегулируйте температурный профиль по своему усмотрению. Когда закончите, нажмите « Завершить сеанс » и сохраните файл данных с помощью программного обеспечения для анализа (часть файла базы данных, обсуждаемая в репрезентативных результатах, предоставляется в виде дополнительного файла 6). Откройте аналитическое программное обеспечение, чтобы просмотреть сеанс. Постройте температуру, коэффициент морфинга шаблона, мощность дозы и кумулятивную дозу на временной шкале. Экспортируйте изображения и видеоролики по желанию, выполнив действия, описанные в шагах 3.6 и 3.7. Изображения и видеоролики могут быть экспортированы с наложениями карты доз или без них (рис. 4).

Representative Results

В этой работе подчеркивается полезность сбора данных с использованием программного обеспечения MVS для получения изображений ПЭМ и экспериментов in situ. Юстировка микроскопа и настройка условий были выполнены и выбраны с помощью элементов управления производителя ПЭМ по умолчанию. После первоначальной настройки протоколы, представленные в этой видеостатье, были проведены через программное обеспечение MVS. ПЭМ 300 кВ использовался для всех экспериментов, представленных в видеопротоколе и репрезентативных данных, за исключением сравнительных данных по цеолиту, которые были получены с помощью холодного ТЭГ 200 кВ (рис. 3D-F и таблица 1). Все метаданные были собраны и автоматически выровнены с соответствующими изображениями программным обеспечением MVS. После запуска программного обеспечения и выбора соответствующего рабочего процесса в меню устанавливается соединение с микроскопом путем активации кнопки Connect на панели инструментов в крайнем левом углу средства просмотра изображений, как показано на рисунке 1A. Когда кнопка «Подключить » выделена, изображения и связанные с ними метаданные с микроскопа автоматически передаются в программное обеспечение MVS и отображаются на панели просмотра изображений. Эти изображения и связанные с ними метаданные сохраняются в хронологическом порядке на временной шкале, которую можно открывать, просматривать и анализировать, не прерывая запись новых данных на временную шкалу (рис. 1B). Потоковая передача может быть прервана пользователем в любое время, отключив значок «Подключиться ». После активации подключения можно получить доступ к другим рабочим процессам, зависящим от программной платформы MVS. В примерах, показанных в этом видеопротоколе, калибровка дозы должна быть выполнена перед использованием других функций программного обеспечения MVS. Калибровка дозы – это автоматизированный процесс, управляемый программным обеспечением MVS; в нем используется специальный калибровочный держатель дозы чашки Фарадея для измерения тока и площади луча для комбинации параметров. Калибровочный держатель чашки Фарадея, показанный на рисунке 2, подключается к внешнему пикоамперметру, который точно измеряет ток луча. После введения в микроскоп отверстие для выравнивания фидуциальной кости центрируется, и в программное обеспечение вводятся желаемые условия калибровки луча (размеры пятна, апертуры и увеличения). Программное обеспечение выполняет серию шагов калибровки для каждой комбинации выбранных условий. Во время калибровки дозы держатель автоматически перемещается между встроенной чашкой токосъемника Фарадея и сквозным отверстием. Измерение тока для каждой комбинации условий линзы измеряется на чашке Фарадея пикоамперметром. Затем программное обеспечение переводит сцену для центрирования луча в сквозном отверстии, и площадь луча определяется с помощью алгоритмов машинного зрения. Эта серия измерений строит профиль взаимосвязи между интенсивностью/яркостью и площадью луча. Это позволяет программному обеспечению экстраполировать площадь луча при регулировке интенсивности/яркости во время эксперимента независимо от поля зрения. Значения кумулятивной дозы и мощности дозы рассчитываются с использованием этих измерений тока пучка и площади пучка, и создается файл калибровки дозы. Этот процесс, по существу, определяет «отпечаток пальца» дозы для ПЭМ и его индивидуальных условий хрусталика. После того, как доза откалибрована для ПЭМ, пользователь может нормально работать и свободно регулировать увеличение и интенсивность без потери информации о дозе или ручного ведениязаметок 17. После завершения калибровки держатель калибровки дозы удаляется, что позволяет вставлять образец в обычном режиме. Процесс калибровки как для режимов TEM, так и для STEM обычно занимает менее 10 минут. После калибровки условий дозы коммерчески приобретенный образец цеолитовой наночастицы (ZSM-5) был изображен в условиях высокой мощности дозы для определения пороговой (кумулятивной) дозы, при которой образец слишком поврежден, чтобы предоставить структурную информацию. Наночастицы ZSM-5 были суспендированы в этаноле и отлиты по каплям на обычной медной сетке TEM. Они были получены непрерывно при напряжении 300 кВ в режиме ПЭМ с использованием пятна размером 3 и апертуры конденсатора 100 мкм. Мощность дозы, считываемая программным обеспечением MVS в условиях высокой мощности дозы, составила 519 e-/Å2·s. Наночастицы в поле зрения визуализировались непрерывно до тех пор, пока пики в БПФ не исчезли, что указывает на деградацию кристаллической структуры, как показано на рисунке 3A-C и дополнительном файле 3. Наложения (которые могут быть добавлены во время живого эксперимента или после него в аналитическом программном обеспечении) были применены к изображениям ПЭМ, чтобы показать дату и время, мощность дозы, максимальную (кумулятивную) дозу и увеличение. Мощность дозы поддерживалась постоянной во время экспериментов, при этом кумулятивная доза (максимальная доза) увеличивалась в зависимости от времени. Пики БПФ начали исчезать через 42 с непрерывной визуализации (рис. 3B). Через 1 мин и 20 с и кумулятивной дозой ~ 60 000 е-/Å2 пики БПФ полностью исчезли (рис. 3C). Чтобы показать, что этот метод калибровки генерирует количественные измерения дозы, которые могут быть применены к другим микроскопам, работающим в других условиях, был проведен тот же процесс калибровки и эксперимент по деградации цеолита с использованием пушки излучения холодного поля (FEG) 200 кВ TEM и размера пятна 1. Этот микроскоп был откалиброван с использованием той же процедуры, описанной в Методе 1, и тот же эксперимент, описанный в Методе 2, был проведен с использованием новых настроек размера пятна и апертуры. Настройки пучка были скорректированы таким образом, чтобы разница в мощности приложенной дозы между двумя экспериментами была незначительной (499 e-/Å 2·s против 519 e-/Å2·s). Как показано на рисунке 3D-F и обобщено в таблице 1, пятна БПФ полностью исчезают через 1 минуту и 50 с непрерывной визуализации и кумулятивной дозы 58 230 е-/Å 2, что соответствует значениям, полученным в первом эксперименте. Пример того, как программное обеспечение MVS может принести пользу экспериментам in situ, был показан путем проведения эксперимента по нагреву. Репрезентативный образец нанокатализатора Au/FeOx (синтезированный в соответствии с опубликованной процедурой19) был выбран в качестве примера системы, поскольку он претерпевает динамические морфологические и структурные изменения при высоких температурах. Эта подвижность, вызванная температурой, затрудняет удержание ROI по центру в поле зрения из-за собственного движения образца и теплового расширения самого образца во время измененийтемпературы 18. При включенных функциях Drift Correct и Focus Assist образец был получен в течение ~30 с при 800 °C. При повышенных температурах наночастицы золота в Au/FeOx мигрировали вдоль поверхности носителя оксида железа и спекались с образованием более крупных частиц, как показано на рисунке 4 и в виде фильма в дополнительном файле 7. На рисунке 5 показана серия снимков ПЭМ (рис. 5A-F) пористой области внутри нанокатализатора Au/FeOx, зарегистрированных в различные моменты времени (рис. 5G) во время эксперимента по нагреву in situ. Скоординированное значение дрейфа ROI было автоматически рассчитано программным обеспечением. Скоординированные значения дрейфа и температуры изображений в ходе серии показаны графически на рисунке 5G. Как и ожидалось, скоординированный дрейф образца увеличивается по мере увеличения температурного профиля со скорости ~ 9 нм / мин до ~ 62 нм / мин и начинает уменьшаться в сторону выравнивания по мере поддержания температуры постоянной. Несмотря на высокую скорость дрейфа и изменения морфологии образца, изображения с высоким разрешением легко получаются во время повышения температуры, выявляя движение в пористой области, как показано в дополнительном файле 8. Обратитесь к дополнительному файлу 9 для получения инструкций по загрузке и технических характеристик компьютера. Рисунок 2: Калибровка и отслеживание дозы электронов . (A) Доза калибруется с помощью специального держателя образца, который содержит токосъемник, расположенный в плоскости образца для измерения тока пучка. (B) Иллюстрация особенностей конструкции наконечника: слева: чашка Фарадея; Середина: реперное отверстие; Справа: сквозное отверстие (С). Приложенная доза электронов может быть визуализирована в программном обеспечении с использованием карт с цветовой кодировкой для обозначения различных доз облучения на изображении. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка. Рисунок 3: Деградация наночастиц цеолита (ZSM-5), индуцированная электронной дозой. (A-C) Снимки, сделанные в течение 1 минуты и 20 с, показывающие данные о деградации, полученные с помощью ТЭГ 300 кВ и измеренной мощности дозы 519 э-/Å2·s; цеолит разлагается в течение 1 минуты и 20 с. (D-E) Снимки, сделанные в течение периода времени 1 мин и 50 с, показывающие данные о деградации, полученные с помощью ТЭМ холодного ТЭГ 200 кВ и мощности дозы электронов 499 э-/Å2·s; вставки показывают, что пятно БПФ со временем исчезает. Масштабная линейка составляет 60 нм. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка. Рисунок 4: Синхронистичность AXON применяет алгоритмы машинного зрения для отслеживания и стабилизации динамически развивающихся образцов. Метаданные, сгенерированные во время эксперимента, могут быть нанесены на временную шкалу, что позволяет пользователю быстро связать изображение со связанными с ним метаданными при прокрутке серии изображений, созданных во время эксперимента. (А-Н) Изображения образца нанокатализатора (Au/FeOx) при 800 °C, записанные в течение 28 с как с (A-D), так и без (E-H) наложения карты дозы. Красные области в наложении обозначают области воздействия высокой кумулятивной дозы, а желтые области указывают на области более низкого воздействия. Выделение отдельного пикселя указывает на кумулятивную дозу для этого пикселя. Белые стрелки на панелях E-H указывают на две частицы, которые сливаются во время эксперимента, а оранжевая стрелка указывает траекторию движущейся частицы золота. (I) График эксперимента, сгенерированный программным обеспечением для анализа серии изображений, показанной в A-H. Оранжевые точки в верхней части временной шкалы обозначают необработанные (не подвергнутые цифровой коррекции) изображения, а синие точки — изображения с коррекцией дрейфа. Оранжевые вертикальные полосы обозначают точки на временной шкале, соответствующие изображениям, показанным панелями A-H. Масштабная линейка составляет 40 нм. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка. Рисунок 5: Снимки ПЭМ пористой области внутри нанокатализатора Au/FeOx в различные моменты времени. Программное обеспечение MVS стабилизирует и центрирует образец даже при высоких скоростях дрейфа, например, во время скачка температуры, за счет применения ступени, сдвига луча и цифровых поправок, на что указывают алгоритмы машинного зрения. (А-Ж) Снимки ПЭМ пористой области в нанокатализаторе Au/FeOx, записанные в различные (G) моменты времени во время эксперимента по нагреву in situ. Коэффициент дрейфа ROI автоматически рассчитывается и записывается во время эксперимента программным обеспечением MVS. Как показано на графике (G), при изменении температурного профиля (синяя линия) скорость дрейфа (оранжевая линия) увеличивается по мере повышения температуры и уменьшается по мере поддержания температуры постоянной. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка. Тип микроскопа 300 кВ ТЭГ ТЭГ 200 кВ Холодный ТЭГ ТЭМ Размер пятна/апертура конденсатора 2 3/100 мкм 1/100 мкм Мощность дозы 519 e-/A2•с1 499 e-/A2•с1 Потеря структуры, измеренная с помощью БПФ(Накопленная доза) 60 270 e-/A2 58 230 e-/A2 Таблица 1: Сводное сравнение результатов разложения цеолита, полученных с помощью различных микроскопов. Дополнительный файл 1: Снимок экрана интерфейса программного обеспечения MVS с открытой вкладкой управления дозой. Пожалуйста, нажмите здесь, чтобы загрузить этот файл. Дополнительный файл 2: файл базы данных программного обеспечения MVS эксперимента по деградации цеолита, индуцированного пучком. Это программное обеспечение для просмотра/анализа доступно для бесплатной загрузки. Инструкции по загрузке и технические характеристики компьютера см. в дополнительном файле 9 . Пожалуйста, нажмите здесь, чтобы загрузить этот файл. Дополнительный файл 3: Видеоролик о деградации цеолита, вызванной пучком. Пожалуйста, нажмите здесь, чтобы загрузить этот файл. Дополнительный файл 4: CSV-файл 1 (деградация цеолита: необработанные данные [только механическая коррекция]) Пожалуйста, нажмите здесь, чтобы загрузить этот файл. Дополнительный файл 5: CSV-файл (деградация цеолита: исправлен дрейф [механическая + цифровая коррекция]) Пожалуйста, нажмите здесь, чтобы загрузить этот файл. Дополнительный файл 6: Файл базы данных программного обеспечения MVS нанокатализатор эксперимент по нагреву in situ . Пожалуйста, нажмите здесь, чтобы загрузить этот файл. Дополнительный файл 7: Видеоролик нанокатализатора при 800 °C с наложением дозы. Пожалуйста, нажмите здесь, чтобы загрузить этот файл. Дополнительный файл 8: Видео нанокатализатора во время температурного скачка с согласованными значениями дрейфа. Пожалуйста, нажмите здесь, чтобы загрузить этот файл. Дополнительный файл 9: Инструкции по загрузке бесплатного программного обеспечения для анализа. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Discussion

Интерпретация результатов экспериментов ПЭМ часто зависит от многих взаимосвязанных экспериментальных параметров, таких как настройки микроскопа, условия визуализации, а в случае экспериментов operando или in situ – изменения окружающей среды или стимулов ^1,23. Точный анализ больших наборов данных ПЭМ, в которых эти параметры могут постоянно изменяться, требует от оператора значительного внимания к точному учету каждого условия и настройки для каждого изображения в лабораторном журнале или другом внешнем источнике документации. По мере увеличения объема и сложности наборов данных ТЕА ручное ведение учета становится неуправляемым, а ключевая информация может быть пропущена или записана неточно. Программное обеспечение MVS, описанное здесь, консолидирует метаданные, генерируемые во время эксперимента микроскопом, детектором/камерой и другими системами (например, держателями образцов in situ), и выравнивает их с соответствующими изображениями.

Помимо консолидации метаданных, программное обеспечение применяет алгоритмы машинного зрения для отслеживания и стабилизации поля зрения с помощью комбинации пространственной, лучевой и цифровой коррекции с использованием функций Drift Correct и Focus Assist . Когда задействована функция Drift Correct , создается перекрестно-корреляционное «шаблонное» изображение с использованием первого изображения, полученного в программном обеспечении MVS. Затем шаблон сравнивается с поступающими изображениями, чтобы вычислить направление и величину дрейфа или движения образца. Обладая этой информацией, программное обеспечение MVS автоматически применяет необходимые поправки, чтобы сохранить элементы изображения в одном и том же месте, регулируя по крайней мере один из трех параметров: местоположение сцены, сдвиг луча или изображения и цифровую коррекцию изображения. Функция «Помощь при фокусировке » использует комбинацию алгоритмов для присвоения значения фокусировки, называемого оценкой фокусировки для каждого изображения, и эти оценки сравниваются для определения величины и направления корректировки расфокусировки, применяемой для удержания образца в фокусе. В режиме визуализации STEM программное обеспечение MVS пытается максимизировать контрастность с помощью проприетарной версии нормализованной дисперсии для присвоения оценки фокусировки. В режиме ПЭМ радиальная сумма интенсивности вычисляется в БПФ и используется для расчета показателя фокусировки. Ограничения на способность программного обеспечения MVS оптимизировать фокусировку возникают, когда оно не может точно рассчитать правильную оценку фокусировки для изображения. Обычно это происходит, когда микроскоп смещен или образец значительно не в фокусе во время калибровки, что не позволяет программному обеспечению правильно рассчитать правильное начальное значение оценки фокусировки. Программное обеспечение MVS может испытывать трудности с вычислением оценки фокусировки для образцов с четко определенными полосами решетки, поскольку полосы решетки в БПФ могут «перегружать» алгоритм оценки фокусировки; Таким образом, если образец выходит из фокуса, оценка фокуса может неточно отражать изменение фокуса. И наоборот, работа с малым увеличением или с образцом с низким сигналом БПФ также может затруднить расчет хорошей оценки фокусировки. Чтобы смягчить эти трудности, программное обеспечение MVS содержит ряд дополнительных алгоритмов, которые могут быть выбраны пользователем для расчета оценки фокусировки, если настройки по умолчанию не подходят для выборки. Они должны быть проверены и применены в каждом конкретном случае, чтобы определить лучшие алгоритмы для данного эксперимента.

Морфологические изменения в структуре выборки с течением времени учитываются с помощью фактора морфинга шаблона. Этот фильтр настраивается оператором, так что алгоритмы регистрации учитывают морфологические изменения с течением времени. Кроме того, программное обеспечение отслеживает непрерывное изображение, настройки микроскопа и настройки камеры или детектора для автоматического обновления шаблона при запуске изменений в структуре образца и после любых вызванных оператором изменений параметров микроскопа, камеры или детектора. Как показано на рисунках 4, 5, 7 и 8, программное обеспечение MVS обеспечивает эффективную немедленную стабилизацию, позволяя получать изображения динамически движущихся или изменяющихся образцов с высоким разрешением. Несмотря на то, что программное обеспечение способно контролировать очень высокие скорости дрейфа или перемещения образца, например, те, которые возникают при применении нагревательной рампы во время эксперимента in situ , существуют ограничения на максимальные поправки ступени или сдвиги луча, которые программное обеспечение может контролировать, если образец движется или дрейфует очень быстро. Это ограничение зависит от частоты обновления изображения, размера поля зрения и частоты дрейфа. Для заданного поля зрения и частоты обновления изображения существует максимальная скорость дрейфа, которую можно исправить, и если физические движения не поспевают, то процесс может закончиться или стать нестабильным. Из шаблонов регистрации, созданных при применении таких функций, как Drift Correct , могут быть сгенерированы дополнительные вычисляемые метаданные. Например, корреляция совпадений представляет собой числовую запись степени изменения между шаблонами в серии и используется для определения точек на экспериментальной временной шкале, в которых выборка изменилась. Высокое значение корреляции соответствия соответствует выборке, которая претерпела изменения в своей морфологии, а низкое значение корреляции соответствия соответствует выборке, структура которой остается относительно статичной. Корреляция совпадений особенно ценна для исследований in situ , поскольку она может быть нанесена графически, что позволяет пользователю быстро определять изображения в серии, соответствующие значительному изменению выборки. Важно, однако, понимать, что значения корреляций с высоким соответствием также могут соответствовать изменениям условий изображения, таким как перемещение предметного столика или изменение увеличения, если эти действия выполняются, пока функция коррекции дрейфа остается активной.

Представленный здесь рабочий процесс калибровки использует уникальный калибровочный держатель и полуавтоматическую процедуру калибровки для точной калибровки луча в различных условиях объектива с минимальным вмешательством оператора. Доступ к процедуре калибровки дозы осуществляется с помощью программного обеспечения MVS, установленного на TEM. Программное обеспечение MVS автоматически считывает соответствующие настройки микроскопа, чтобы сохранить все измерения для сравнения для последующих экспериментов. На некоторых ПЭМ невозможно считывать настройки диафрагмы или монохроматора, и они должны быть введены оператором в настройки программного обеспечения MVS во время калибровки и во время использования. В программное обеспечение встроены напоминания, которые помогают обновлять эти настройки ввода оператором, следуя подсказкам программы. Разработка держателя со встроенным токосъемником, вместо того, чтобы полагаться на держатель, встроенный в другое место в колонке микроскопа, является преднамеренным выбором конструкции. Это позволяет расположить токосъемник в той же плоскости, что и образец, устраняя ошибки в измерении тока, вызванные отклонением пучка или различиями в поглощении электронов отверстиями в разных положениях пучка. Программное обеспечение MVS следует автоматизированной процедуре измерения тока и площади луча для любой комбинации условий линзы. Затем программное обеспечение может соотнести эти измеренные калибровки с током камеры или экрана и экстраполировать любые изменения в увеличении и т. д. на площадь луча во время эксперимента. После создания эти файлы калибровки могут быть использованы сразу же и автоматически сохранены для последующего использования, если программное обеспечение обнаружит те же настройки, которые будут использоваться во время будущего сеанса. Хотя долговечность калибровочного файла варьируется от микроскопа к микроскопу, авторы обнаружили, что они могут использовать одни и те же калибровочные файлы в течение нескольких месяцев, не наблюдая существенных изменений в текущих значениях. Существуют встроенные процедуры мониторинга профиля выбросов пистолетов, чтобы помочь сохранить актуальность этих калибровок, особенно на холодных эмиссионных пистолетах FEG.

Нормализация измерений дозы между микроскопами и автоматическое отслеживание воздействия пучка образца являются критически важными функциями программного обеспечения MVS, поскольку они позволяют проводить количественные сравнения дозовых условий между экспериментами на разных микроскопических системах. Дозоиндуцированная деградация образца цеолита (ZSM-5), полученная в ходе идентичных экспериментов с использованием разных микроскопов, приводит к полному исчезновению пятен БПФ после максимальной кумулятивной или пороговой дозы электронов (~60.000 e-/Å2^{при применении} мощности дозы ~500 e^–/Å²·s) для обеих установок. Эти сравнительные результаты показывают, что программное обеспечение доз облегчает воспроизводимые количественные измерения дозы. Небольшая разница в кумулятивной дозе, при которой наблюдается полное исчезновение пятна БПФ для каждого эксперимента, вероятно, является результатом различных напряжений ускорения, используемых двумя микроскопами, при этом более низкие напряжения ускорения приводят к большему количеству путей повреждения излучением, а более высокие напряжения ускорения обычно приводят к большему количеству повреждений^{от домино24}. Литературные результаты для критической дозы наночастиц ZSM-5 варьируются от 9 000 до 14 000 e^–/Å² с использованием первых исчезновений пятен БПФ, а не полного исчезновения всех пятен БПФ^25,26. Согласно нашим результатам, исчезновение первого пятна БПФ соответствует кумулятивной дозе около 25 000 е^–/Å². Предыдущие исследования основывались на измерениях тока, полученных с использованием люминофорного экрана, который, как хорошо задокументировано, недооценивает измерения тока пучка по сравнению с чашкой Фарадея¹⁵. Определенная критическая доза может варьироваться в два или более раза, в зависимости от того, какой пик БПФ используется для отслеживания дозы. Это указывает на то, что более высокие пространственные частоты деградируют в первую очередь и могут приводить к различным значениям в зависимости от доступа к зоне, используемого во время измерений (наши результаты были сосредоточены на пятнах БПФ от всего кристалла цеолита, а не на конкретных структурных особенностях)^25,26. Эти различия в методах и текущей калибровке объясняют разницу в значениях между двумя экспериментами, о которых сообщалось в наших результатах и предыдущих литературных исследованиях.

Хотя электронные дозовые взаимодействия являются важным фактором во многих экспериментах ПЭМ, исследования in situ и, в частности, жидкостные ЭМ особенно чувствительны к его воздействию. Радиолиз жидкостей электронным пучком приводит к каскаду химически активных частиц, которые могут взаимодействовать с образцом, усложняя анализ. Как мощность дозы или флюенс, используемые во время эксперимента с жидкостным ЭМ, так и кумулятивная доза могут влиять на концентрацию радикальных частиц, образующихся в результате жидкостного радиолиза^27,28. Таким образом, сбор и запись метаданных как кумулятивной дозы, так и мощности дозы на протяжении всего эксперимента позволяет напрямую коррелировать между изображениями и историей доз образца и является более точным способом выяснения и контроля воздействия электронного пучка в этих экспериментах. Хотя это и не охвачено в этом протоколе, пример полезности функций управления дозой для жидкостных ЭМ показан на рисунке 6.

Рисунок 6: Индуцированный пучком рост наночастиц золота во время эксперимента in situ с жидкостным ЭМ. (A) Обзор результирующего роста частиц с малым увеличением STEM с наложением цветом карты кумулятивной дозы по всему региону. Красными областями в наложении обозначены области воздействия высокой кумулятивной дозы, а желтыми областями – области более низкого воздействия. Выделение отдельного пикселя курсором или рисование прямоугольника над областью с помощью прилагаемых инструментов рисования указывает на кумулятивную дозу для этого пикселя или области. Масштабная линейка составляет 2 мкм. (B,C) Изображения STEM с большим увеличением областей, обозначенных оранжевыми рамками (b, c) в A. Зона b, подвергшаяся воздействию более высокой кумулятивной дозы (10,811 e-/Å 2), содержит более крупные частицы, чем те, которые были обнаружены в зоне c, которая подвергалась воздействию более низкой кумулятивной дозы (0,032 e^–/Å²). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Обогащенные метаданные мощности дозы и кумулятивной дозы упрощают анализ дозозависимых путей роста и деградации наноматериалов. На рисунке 6 показано индуцированное пучком восстановление раствора ионов аурического хлорида золота (HAuCl₃) в воде во время жидкостных ЭМ-экспериментов. Из наложения цветовой карты доз на рисунке 6А легко визуализировать, что кумулятивная доза электронов влияет на результирующий размер и форму наночастиц 29,30,31,32. Обзор STEM с малым увеличением показывает области, подвергшиеся воздействию высокой (красный) и низкой (желтый) кумулятивной дозы. Частицы в регионе, подвергшемся воздействию более высоких доз, крупнее, чем в регионах, подвергшихся воздействию более низких кумулятивных доз. Поскольку метаданные дозы непосредственно встроены в каждое изображение на уровне пикселей, сложные эффекты дозы электронов в экспериментах с жидкостными ЭМ теперь могут быть систематически проанализированы таким образом, который никогда ранее не был достижим.

В этом протоколе мы продемонстрировали, что программное обеспечение MVS предоставляет комплексное решение для калибровки, мониторинга и отслеживания как дозы электронов, так и общей дозы, доставленной в образец на попиксельной основе. Эта способность открывает новую парадигму для визуализации дозочувствительных образцов и понимания электронно-лучевых взаимодействий. Это особенно интересно для экспериментов с жидкостными ЭМ, так как позволит более эффективно исследовать роль, которую играет доза электронов, и улучшить экспериментальную воспроизводимость. Мы надеемся, что эта новая система позволит точно собирать информацию о мощности дозы и накопленной дозе, облегчит обмен этими данными с сообществом для более точной интерпретации результатов ТЕА и будет способствовать научному сотрудничеству и обмену данными, позволяя представлять и анализировать основные данные FAIR.

Disclosures

The authors have nothing to disclose.

Acknowledgements

Эта работа была частично выполнена в Аналитическом приборостроении (AIF) в Университете штата Северная Каролина, который поддерживается штатом Северная Каролина и Национальным научным фондом (номер награды ECCS-2025064). AIF является членом Сети нанотехнологий Исследовательского треугольника Северной Каролины (RTNN), сайта в Национальной скоординированной инфраструктуре нанотехнологий (NNCI). Авторы хотели бы поблагодарить Дамьена Аллойо, директора по исследованиям CNRS в Университете Париж-Сите, за предоставление результатов исследования пороговой дозы цеолита CFEG 200 кВ.

Materials

ARM200F CFEG	JEOL		Transmission Electron Microscope (200 kV)
AXON DOSE Calibration Holder	Protochips, Inc.	AXA-FC-TFS	Dose calibration and management hardware package for ThermoFisher ScientificTEM
AXON DOSE Software: Version 10.6.5.3	Protochips, Inc.	AX-MOD-DOSE-01-1YR	Dose calibration and management software
AXON Studio Software: Version 10.6.5.3	Protochips, Inc.	No Part Number. Available to download at success.protochips.com	Offline analysis software for AXON datasets. A free copy of the AXON Studio software is available for down load at: success.protochips.com
AXON Synchronicity Core	Protochips, Inc.	AXON-CORE	Hardware component of the synchronization software.
AXON Synchronicity Software: Version 10.6.5.3	Protochips, Inc.	AX-MOD-SYNCPRO-01-1YR	Synchronization software
Fusion In-Situ Heating E-chip	Protochips, Inc.	E-FHDC-VO-10	Sample Support E-chip with carbon film. Used with in situ heating system
Fusion Select In Situ Heating System	Protochips, Inc.	FFAD-6200-EXP	In-situ MEMs heating system for ThermoFisher Scientific TEM.
Gold(III) chloride (50% gold basis) hydrate 50790	Sigma Aldrich	27988-77-8	Used to prepare Au/FeOx nanocatalyst. Coprecipitation synthesis procedure followed in C. Sze et al. Materials Letters. 36 (1–4), 11–16 (1998)
Iron (III) Oxide 310050 (Fe₂O₃)	Sigma Aldrich	1309-37-1	Used to prepare Au/FeOx nanocatalyst. Coprecipitation synthesis procedure followed in C. Sze et al. Materials Letters. 36 (1–4), 11–16 (1998)
Titan ChemiSTEM	ThermoFisher Scientific		Transmission Electron Microscope (300 kV)
Zeolite ZSM-5	Zeolyst	CBV 8014	Nanocatalyst sample: 80 SiO₂/Al₂O₃Mole Ratio

References

Thomas, J. M., Leary, R. K., Eggeman, A. S., Midgley, P. A. The rapidly changing face of electron microscopy. Chemical Physics Letters. 631, 103-113 (2015).
Spurgeon, S. R., et al. Towards data-driven next-generation transmission electron microscopy. Nature Materials. 20 (3), 274-279 (2021).
Gai, P. L., Boyes, E. D. In situ visualisation and analysis of dynamic single atom processes in heterogeneous catalysts. Journal of Materials Chemistry A. 10 (11), 5850-5862 (2022).
Zheng, H., Lu, X., He, K. In situ transmission electron microscopy and artificial intelligence enabled data analytics for energy materials. Journal of Energy Chemistry. 68, 454-493 (2022).
Topsøe, H. Developments in operando studies and in situ characterization of heterogeneous catalysts. Journal of Catalysis. 216 (1), 155-164 (2003).
Wilkinson, M. D., et al. The FAIR Guiding Principles for scientific data management and stewardship. Scientific Data. 3 (1), 160018 (2016).
FAIR Principles. Go Fair Available from: https://www.go-fair.org/fair-principles/ (2023)
Draxl, C., Scheffler, M. NOMAD: The FAIR concept for big data-driven materials science. MRS Bulletin. 43 (9), 676-682 (2018).
Kelly, D. F., et al. Liquid-EM goes viral-visualizing structure and dynamics. Current Opinion in Structural Biology. 75, 102426 (2022).
AXON Studio Software Download. Protochips, Inc Available from: https://success.protochips.com/s/?language=en_US (2023)
Egerton, R. F., Li, P., Malac, M. Radiation damage in the TEM and SEM. Micron. 35 (6), 399-409 (2004).
Grubb, D. T. Radiation damage and electron microscopy of organic polymers. Journal of Materials Science. 9 (10), 1715-1736 (1974).
Buban, J. P., Ramasse, Q., Gipson, B., Browning, N. D., Stahlberg, H. High-resolution low-dose scanning transmission electron microscopy. Journal of Electron Microscopy. 59 (2), 103-112 (2010).
Chen, Q., et al. Imaging beam-sensitive materials by electron microscopy. Advanced Materials. 32 (16), 1907619 (2020).
Krause, F. F., et al. Precise measurement of the electron beam current in a TEM. Ultramicroscopy. 223, 113221 (2021).
Żak, A. Guide to controlling the electron dose to improve low-dose imaging of sensitive samples. Micron. 145, 103058 (2021).
Damiano, J., et al. AXON dose: A solution for measuring and managing electron dose in the TEM. Microscopy Today. 30 (4), 22-25 (2022).
Allard, L. F., Flytzani-Stephanopoulos, M., Overbury, S. H. Behavior of Au species in Au/Fe2O3 catalysts characterized by novel in situ heating techniques and aberration-corrected STEM imaging. Microscopy and Microanalysis. 16 (4), 375-385 (2010).
Sze, C., Gulari, E., Demczyk, B. G. Structure of coprecipitated gold-iron oxide catalyst materials. Materials Letters. 36 (1-4), 11-16 (1998).
DiCecco, L. A., et al. Advancing high-resolution imaging of virus assemblies in liquid and ice. Journal of Visualized Experiments. (185), e63856 (2022).
Dukes, M. J., Gilmore, B. L., Tanner, J. R., McDonald, S. M., Kelly, D. F. In situ TEM of biological assemblies in liquid. Journal of Visualized Experiments. (82), e50936 (2013).
Scheutz, G. M., et al. Probing thermoresponsive polymerization-induced self-assembly with variable-temperature liquid-cell transmission electron microscopy. Matter. 4 (2), 722-736 (2020).
Howe, J. Y., Allard, L. F., Bigelow, W. C., Demers, H., Overbury, S. H. Understanding catalyst behavior during in situ heating through simultaneous secondary and transmitted electron imaging. Nanoscale Research Letters. 9 (1), 614 (2014).
Egerton, R. F. Mechanisms of radiation damage in beam-sensitive specimens, for TEM accelerating voltages between 10 and 300 kV. Microscopy Research and Technique. 75 (11), 1550-1556 (2012).
Yoshida, K., Sasaki, Y. Optimal accelerating voltage for HRTEM imaging of zeolite. Microscopy. 62 (3), 369-375 (2013).
Yoshida, K., Sasaki, Y., Kurata, H. High-resolution imaging of zeolite with aberration-corrected transmission electron microscopy. AIP Advances. 3 (4), 042113 (2013).
Lee, J., Nicholls, D., Browning, N. D., Mehdi, B. L. Controlling radiolysis chemistry on the nanoscale in liquid cell scanning transmission electron microscopy. Physical Chemistry Chemical Physics. 23 (33), 17766-17773 (2021).
Schneider, N. M., et al. Electron-water interactions and implications for liquid cell electron microscopy. The Journal of Physical Chemistry C. 118 (38), 22373-22382 (2014).
Fritsch, B., et al. Radiolysis-driven evolution of gold nanostructures – model verification by scale bridging in situ liquid-phase transmission electron microscopy and x-ray diffraction. Advanced Science. 9 (25), e2202803 (2022).
Alloyeau, D., et al. Unravelling kinetic and thermodynamic effects on the growth of gold nanoplates by liquid transmission electron microscopy. Nano Letters. 15 (4), 2574-2581 (2015).
Ahmad, N., Le Bouar, Y., Ricolleau, C., Alloyeau, D. Growth of dendritic nanostructures by liquid-cell transmission electron microscopy: a reflection of the electron-irradiation history. Advanced Structural and Chemical Imaging. 2 (1), 9 (2016).
Zhang, Y., Keller, D., Rossell, M. D., Erni, R. Formation of Au nanoparticles in liquid cell transmission electron microscopy: From a systematic study to engineered nanostructures. Chemistry of Materials. 29 (24), 10518-10525 (2017).

Play Video

PDF

DOI

DOWNLOAD MATERIALS LIST

Cite This Article

Dukes, M. D., Krans, N. A., Marusak, K., Walden, S., Eldred, T., Franks, A., Larson, B., Guo, Y., Nackashi, D., Damiano, J. A Machine-Vision Approach to Transmission Electron Microscopy Workflows, Results Analysis and Data Management. J. Vis. Exp. (196), e65446, doi:10.3791/65446 (2023).