투과 전자 현미경 워크플로우, 결과 분석 및 데이터 관리에 대한 머신 비전 접근 방식

TEM 실험 결과의 해석은 종종 현미경 설정, 이미징 조건, 그리고 operando 또는 in situ 실험의 경우 환경 또는 자극의 변화와 같은 많은 상호 연결된 실험 매개변수에 따라 달라집니다 ^1,23. 이러한 파라미터가 지속적으로 수정될 수 있는 대규모 TEM 데이터 세트의 정확한 분석을 위해서는 실험실 저널 또는 기타 외부 문서 소스에 각 이미지에 대한 각 조건과 설정을 정확하게 기록하기 위해 작업자의 상당한 주의가 필요합니다. TEM 데이터 세트의 크기와 복잡성이 증가함에 따라 수동 기록 보관을 관리할 수 없게 되고 주요 정보가 누락되거나 부정확하게 기록될 수 있습니다. 여기에 설명된 MVS 소프트웨어는 현미경, 검출기/카메라 및 기타 시스템(예: 현장 샘플 홀더)에서 실험 중에 생성된 메타데이터를 통합하고 해당 이미지와 정렬합니다.

메타데이터 통합 외에도 이 소프트웨어는 머신 비전 알고리즘을 적용하여 드리프트 보정 및 초점 지원 기능을 사용하여 공간, 빔 및 디지털 보정의 조합을 통해 시야를 추적하고 안정화합니다. 드리프트 보정 기능이 사용되면 MVS 소프트웨어로 가져온 첫 번째 이미지를 사용하여 교차 상관 ‘템플릿’ 이미지가 생성됩니다. 그런 다음 템플릿을 들어오는 이미지와 비교하여 샘플 드리프트 또는 이동의 방향과 크기를 계산합니다. 이 정보를 통해 MVS 소프트웨어는 스테이지 위치, 빔 또는 이미지 이동, 디지털 이미지 보정의 세 가지 매개변수 중 하나 이상을 조정하여 이미지 기능을 동일한 위치에 유지하는 데 필요한 보정을 자동으로 적용합니다. 포커스 어시스트 기능은 알고리즘 조합을 활용하여 각 이미지에 초점 점수라고 하는 초점 값을 할당하고, 이 점수를 비교하여 샘플의 초점을 유지하기 위해 적용할 디포커스 조정의 크기와 방향을 결정합니다. STEM 이미징 모드에서 MVS 소프트웨어는 초점 점수를 할당하기 위해 정규화된 분산의 독점 버전을 통해 대비를 최대화하려고 시도합니다. TEM 모드에서는 FFT에서 방사형 강도 합이 계산되어 초점 점수를 계산하는 데 사용됩니다. MVS 소프트웨어가 이미지에 대한 올바른 초점 점수를 정확하게 계산할 수 없을 때 초점을 최적화하는 기능에 대한 제한이 발생합니다. 이는 일반적으로 현미경이 잘못 정렬되거나 보정 중에 샘플의 초점이 크게 맞지 않아 소프트웨어가 올바른 시작 초점 점수 값을 올바르게 계산하지 못할 때 발생합니다. MVS 소프트웨어는 FFT의 격자 무늬가 초점 점수 알고리즘을 ‘압도’할 수 있기 때문에 잘 정의된 격자 무늬가 있는 샘플에 대한 초점 점수를 계산하는 데 어려움을 겪을 수 있습니다. 따라서 샘플이 초점에서 벗어나면 초점 점수가 초점 변화를 정확하게 반영하지 못할 수 있습니다. 반대로, 낮은 배율이나 낮은 FFT 신호를 가진 샘플로 작업하면 좋은 초점 점수를 계산하기가 어려울 수 있습니다. 이러한 어려움을 완화하기 위해, MVS 소프트웨어는 디폴트 설정이 샘플에 적합하지 않은 경우 포커스 스코어를 계산하기 위해 사용자에 의해 선택될 수 있는 다수의 추가 알고리즘을 포함한다. 주어진 실험에 가장 적합한 알고리즘을 결정하기 위해 사례별로 테스트하고 적용해야 합니다.

시간 경과에 따른 샘플 구조의 형태학적 변화는 템플릿 모핑 인자를 사용하여 설명됩니다. 이 필터는 등록 알고리즘이 시간 경과에 따른 형태학적 변화를 설명하도록 연산자에 의해 조정될 수 있습니다. 또한 이 소프트웨어는 연속 이미지, 현미경 설정, 카메라 또는 검출기 설정을 모니터링하여 시료 구조의 변화로 인해 트리거될 때와 작업자가 현미경, 카메라 또는 검출기 매개변수를 변경한 후 템플릿을 자동으로 업데이트합니다. 그림 4, 그림 5, 보충 파일 7 및 보충 파일 8에서 볼 수 있듯이 MVS 소프트웨어는 효과적이고 즉각적인 안정화를 제공하여 동적으로 이동하거나 변화하는 샘플의 고해상도 이미징을 가능하게 합니다. 이 소프트웨어는 현장 실험 중에 가열 램프를 적용할 때 발생하는 것과 같이 매우 높은 드리프트 또는 샘플 이동 속도를 제어할 수 있지만 , 샘플이 매우 빠르게 움직이거나 드리프트하는 경우 소프트웨어가 제어할 수 있는 최대 스테이지 보정 또는 빔 이동에는 한계가 있습니다. 이 제한은 이미지 업데이트 속도, 시야 크기 및 드리프트 속도의 함수입니다. 주어진 시야와 이미지 업데이트 속도에 대해 보정할 수 있는 최대 드리프트 속도가 있으며 물리적 움직임을 따라갈 수 없으면 프로세스가 종료되거나 불안정해질 수 있습니다. 드리프트 수정(Drift Correct )과 같은 특징이 적용될 때 생성된 정합 템플릿으로부터, 추가로 계산된 메타데이터가 생성될 수 있다. 예를 들어, 상관 관계 일치 는 계열의 템플릿 간 변경 정도에 대한 수치 기록이며 샘플이 변경된 실험 타임라인의 지점을 식별하는 데 사용됩니다. 높은 일치 상관 관계 값은 형태가 변경된 샘플에 해당하고, 낮은 일치 상관 값은 구조가 비교적 정적으로 유지되는 샘플에 해당합니다. 일치 상관관계는 그래픽으로 표시할 수 있어 사용자가 중요한 샘플 변화에 해당하는 시리즈의 이미지를 빠르게 찾아낼 수 있으므로 현장 연구에 특히 유용합니다. 그러나 드리프트 보정 기능이 활성 상태로 유지되는 동안 이러한 작업이 수행되는 경우 높은 일치 상관 관계 값이 스테이지 이동 또는 배율 변경과 같은 이미징 조건의 변화에도 해당할 수 있음을 이해하는 것이 중요합니다.

여기에 제시된 보정 워크플로는 고유한 보정 홀더와 반자동 보정 루틴을 활용하여 작업자의 개입을 최소화하면서 다양한 렌즈 조건에서 빔을 정확하게 보정합니다. 선량 교정 루틴은 TEM에 설치된 MVS 소프트웨어를 통해 액세스할 수 있습니다. MVS 소프트웨어는 관련 현미경 설정을 자동으로 읽어 모든 측정값을 저장하여 이후 실험에 사용할 수 있도록 합니다. 일부 TEM에서는 조리개 또는 모노크로메이터 설정을 읽을 수 없으며, 교정 및 사용 중에 작업자가 MVS 소프트웨어 설정에 입력해야 합니다. 프로그램 프롬프트에 따라 이러한 운영자 입력 설정을 최신 상태로 유지하는 데 도움이 되는 미리 알림이 소프트웨어에 내장되어 있습니다. 현미경 컬럼의 다른 곳에 통합된 홀더에 의존하지 않고 집전체가 내장된 홀더를 개발하는 것은 신중한 설계 선택입니다. 이를 통해 집전체를 샘플과 동일한 평면에 배치할 수 있으므로 빔 편향으로 인한 전류 측정 오류 또는 서로 다른 빔 위치의 구멍에 의한 전자 흡수 차이를 제거할 수 있습니다. MVS 소프트웨어는 자동화된 루틴을 따라 렌즈 조건의 모든 조합에 대한 빔 전류 및 면적을 측정합니다. 그런 다음 소프트웨어는 이러한 측정된 보정을 카메라 또는 스크린 전류와 연관시키고 실험 중에 배율 등의 변화를 빔 영역으로 외삽할 수 있습니다. 이러한 보정 파일은 일단 생성되면 즉시 사용할 수 있으며 소프트웨어가 향후 세션에서 사용되는 동일한 설정을 감지하면 나중에 사용할 수 있도록 자동으로 저장됩니다. 보정 파일의 수명은 현미경마다 다르지만 저자는 현재 값에 대한 실질적인 변화를 관찰하지 않고도 몇 달 동안 동일한 보정 파일을 사용할 수 있다는 것을 발견했습니다. 특히 저온 FEG 방출 건에서 이러한 보정을 관련성 있게 유지하는 데 도움이 되는 총의 방출 프로파일을 모니터링하는 루틴이 내장되어 있습니다.

현미경 간 선량 측정의 정규화와 시료의 빔 노출에 대한 자동 추적은 서로 다른 현미경 시스템에서 수행 할 수있는 실험 간의 선량 조건을 정량적으로 비교할 수 있기 때문에 MVS 소프트웨어의 중요한 기능입니다. 다른 현미경을 사용하여 동일한 실험 중에 얻은 제올라이트 샘플(ZSM-5)의 선량 유도 분해는 최대 누적 또는 역치 전자 선량(~60.000 e^–/Å 2 ~500 e^–/Ų·s) 두 설정 모두에 대해. 이러한 비교 결과는 선량 소프트웨어가 재현 가능한 정량적 선량 측정을 용이하게 한다는 것을 보여줍니다. 각 실험에서 전체 FFT 스폿 소실이 관찰되는 누적 선량의 작은 차이는 두 현미경이 사용하는 가속 전압이 다르기 때문일 수 있으며, 가속 전압이 낮을수록 방사선 손상 경로가 더 커지고, 가속 전압이 높을수록 일반적으로 더 많은 연쇄 손상^{이 발생합니다 24}. ZSM-5 나노입자의 임계 선량에 대한 문헌 결과는 모든 FFT 스폿의 완전한 소실이 아니라 첫 번째 FFT 스폿 소실을 사용하여 9,000-14,000 e^–/^Å2 범위입니다^(25,26). 우리의 결과에서, 첫 번째 FFT 반점 소실은 약 25,000 e^–/Ų의 누적 선량에 해당합니다. 이전 연구에서는 형광체 스크린을 사용하여 얻은 전류 측정에 의존했는데, 이는 패러데이 컵과 비교할 때 빔 전류 측정을 과소평가하는 것으로 잘 문서화되어 있습니다¹⁵. 결정된 임계 선량은 선량을 추적하기 위해 사용되는 FFT 피크에 따라 2배 이상 변할 수 있습니다. 이는 더 높은 공간 주파수가 먼저 저하되고 측정 중에 사용된 영역 액세스에 따라 다른 값이 발생할 수 있음을 나타냅니다(우리의 결과는 특정 구조적 특징보다는 전체 제올라이트 결정의 FFT 지점에 초점을 맞췄습니다)^25,26. 이러한 기술과 현재 교정의 차이는 결과와 이전 문헌 연구에서 보고된 두 실험 간의 값 차이를 설명합니다.

전자 선량 상호 작용은 많은 TEM 실험에서 중요한 요소이지만, 현장 및 특히 액체 -EM 연구는 그 효과에 특히 민감합니다. 전자빔에 의한 액체의 방사선 분해는 샘플과 상호 작용할 수 있는 화학적 반응성 종의 캐스케이드를 생성하여 분석을 복잡하게 만듭니다. 액체 EM 실험 중에 사용되는 선량률 또는 플루언스와 누적 선량은 모두 액체 방사선 분해로 인해 생성된 라디칼 종의 농도에 영향을 미칠 수 있습니다^27,28. 따라서 실험 전반에 걸쳐 누적 선량 및 선량률 메타데이터를 모두 수집하고 기록하면 이미지와 샘플의 선량 이력 간의 직접적인 상관 관계를 파악할 수 있으며 이러한 실험에서 전자빔의 영향을 설명하고 제어하는 보다 정확한 방법입니다. 이 프로토콜에서는 다루지 않지만 liquid-EM에 대한 용량 관리 기능의 유용성에 대한 예는 그림 6에 나와 있습니다.

그림 6: in situ liquid-EM 실험 중 금 나노입자의 빔 유도 성장. (A) 지역 전체에 걸친 누적 선량 맵의 색상 오버레이를 사용한 결과 입자 성장의 저배율 STEM 개요. 오버레이의 빨간색 영역은 누적 선량 노출이 높은 영역을 나타내고 노란색 영역은 노출이 낮은 영역을 나타냅니다. 커서로 개별 픽셀을 강조 표시하거나 포함된 그리기 도구를 사용하여 영역 위에 상자를 그리면 해당 픽셀 또는 영역에 대한 누적 선량이 표시됩니다. 스케일 바는 2μm입니다. (B,C) A에서 주황색 상자(b,c)로 표시된 영역의 고배율 STEM 이미지. 더 높은 누적 선량(10.811 e^–/Å 2)에 노출된 영역 b는 더 낮은 누적 선량(0.032 e^–/Ų)에 노출된 영역 c에서 발견된 것보다 더 큰 입자를 포함합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

풍부한 선량률 및 누적 선량 메타데이터는 선량 의존적 나노물질 성장 및 분해 경로의 분석을 단순화합니다. 그림 6은 액체-EM 실험 중 물에서 금 금륨(HAuCl3) 이온 용액의 빔 유도 환원을 보여줍니다. 도 6A의 컬러 선량 맵 오버레이로부터, 누적 전자 선량이 나노 입자^(29,30,31,32)의 결과 크기 및 형상에 영향을 미친다는 것을 쉽게 시각화 할 수있다. 저배율 STEM 개요는 높은(빨간색) 및 낮은(노란색) 누적 선량에 노출된 영역을 보여줍니다. 더 높은 선량에 노출된 영역의 입자는 더 낮은 누적 선량에 노출된 영역의 입자보다 큽니다. 선량 메타데이터가 픽셀 수준에서 각 이미지에 직접 포함되기 때문에 액체-EM 실험에서 전자 선량의 복잡한 효과를 이전에는 달성할 수 없었던 방식으로 체계적으로 분석할 수 있습니다.

이 프로토콜에서 우리는 MVS 소프트웨어가 픽셀 단위로 샘플에 전달되는 전자 선량과 총 선량을 모두 보정, 모니터링 및 추적하기 위한 포괄적인 솔루션을 제공한다는 것을 입증했습니다. 이 기능은 선량에 민감한 샘플을 이미징하고 전자빔 상호 작용을 이해하기 위한 새로운 패러다임을 열어줍니다. 액체 EM 실험에서는 전자 선량이 수행하는 역할에 대한 보다 효과적인 조사를 가능하게 하고 실험 재현성을 향상시킬 수 있기 때문에 특히 흥미진진합니다. 이 새로운 프레임워크를 통해 선량률 및 축적된 선량 정보를 정확하게 수집하고, TEM 결과에 대한 보다 정확한 해석을 위해 이 데이터를 커뮤니티와 쉽게 공유할 수 있으며, FAIR 주요 보고 및 분석을 가능하게 하여 과학적 협력 및 데이터 공유를 발전시킬 수 있기를 바랍니다.