透過型電子顕微鏡ワークフロー、結果分析、データ管理へのマシンビジョンアプローチ

TEM実験結果の解釈は、顕微鏡の設定、イメージング条件、オペランドやin situ実験の場合は環境や刺激の変化など、相互に関連する多くの実験パラメータに依存することがよくあります^1,23。これらのパラメータが継続的に変更される可能性のある大規模なTEMデータセットを正確に分析するには、ラボジャーナルやその他の外部ドキュメントソースに各画像の各条件と設定を正確に記録するために、オペレーターによる多大な注意が必要です。TEMデータセットのサイズと複雑さが増すにつれて、手作業による記録管理が管理できなくなり、重要な情報が見落とされたり、不正確に記録されたりする可能性があります。ここで説明するMVSソフトウェアは、顕微鏡、検出器/カメラ、およびその他のシステム(in situサンプルホルダーなど)から実験中に生成されたメタデータを統合し、それぞれの画像と位置合わせします。

メタデータの統合に加えて、このソフトウェアはマシンビジョンアルゴリズムを適用し、 ドリフト 補正機能と フォーカスアシスト 機能を使用して、空間補正、ビーム補正、およびデジタル補正を組み合わせて視野を追跡および安定化します。 ドリフト補正 機能が作動すると、MVSソフトウェアに取り込まれた最初の画像を使用して、相互相関の「テンプレート」イメージが生成されます。次に、テンプレートを入力画像と比較して、サンプルのドリフトまたは移動の方向と大きさを計算します。この情報を使用して、MVSソフトウェアは、ステージ位置、ビームまたは画像シフト、およびデジタル画像補正の3つのパラメーターの少なくとも1つを調整することにより、画像の特徴を同じ場所に維持するために必要な補正を自動的に適用します。フォーカス アシスト 機能は、アルゴリズムの組み合わせを利用して、フォーカススコアと呼ばれるフォーカス値を各画像に割り当て、それらのスコアを比較して、サンプルに焦点を合わせ続けるために適用するデフォーカス調整の大きさと方向を決定します。STEMイメージングモードでは、MVSソフトウェアは、フォーカススコアを割り当てるために正規化された分散の独自のバージョンを通じてコントラストを最大化しようとします。TEMモードでは、強度の半径方向の合計がFFTで計算され、フォーカススコアの計算に使用されます。フォーカスを最適化する MVS ソフトウェアの機能に対する制限は、イメージの正しいフォーカス・スコアを正確に計算できない場合に発生します。これは通常、キャリブレーション中に顕微鏡の位置がずれたり、サンプルの焦点が大幅にずれたりして、ソフトウェアが正しい開始フォーカススコア値を正しく計算できない場合に発生します。MVSソフトウェアは、FFTの格子縞がフォーカススコアリングアルゴリズムを「圧倒」する可能性があるため、明確に定義された格子縞を持つサンプルのフォーカススコアを計算するのが難しい場合があります。したがって、サンプルが焦点から外れた場合、フォーカススコアは焦点の変化を正確に反映しない可能性があります。逆に、低倍率または低FFT信号のサンプルで作業する場合も、良好なフォーカススコアを計算するのが困難になる可能性があります。これらの問題を軽減するために、MVSソフトウェアには、デフォルト設定がサンプルに適さない場合にフォーカススコアを計算するためにユーザーが選択できるいくつかの追加アルゴリズムが含まれています。これらは、特定の実験に最適なアルゴリズムを決定するために、ケースバイケースでテストおよび適用する必要があります。

経時的なサンプル構造の形態学的変化は、テンプレートモーフィング因子を使用して説明されます。このフィルターはオペレーターによって調整可能であるため、登録アルゴリズムは時間の経過に伴う形態学的変化を考慮します。さらに、ソフトウェアは連続画像、顕微鏡設定、カメラまたは検出器の設定を監視し、サンプル構造の変化によってトリガーされた場合、および顕微鏡、カメラ、または検出器のパラメーターに対するオペレーターによる変更後にテンプレートを自動的に更新します。図4、図5、補足ファイル7、および補足ファイル8に示すように、MVSソフトウェアは効果的で即時の安定化を提供し、動的に移動または変化するサンプルの高解像度イメージングを可能にします。 このソフトウェアは、in situ実験中に加熱ランプを適用するときに発生するような非常に高いドリフト率またはサンプル移動速度を制御できますが、サンプルが非常に急速に移動またはドリフトしている場合にソフトウェアが制御できる最大ステージ補正またはビームシフトには制限があります。この制限は、画像の更新速度、視野サイズ、およびドリフト率の関数です。所定の視野と画像更新レートに対して、修正可能な最大ドリフトレートがあり、物理的な動きが追いつかない場合、プロセスが終了または不安定になる可能性があります。ドリフト補正などのフィーチャの適用時に生成される登録テンプレートから、追加の計算メタデータを生成できます。たとえば、一致相関は、系列内のテンプレート間の変化の程度の数値記録であり、サンプルが変化した実験タイムライン内のポイントを識別するために使用されます。高い一致相関値は、その形態に変化を受けたサンプルに対応し、低い一致相関値は、構造が比較的静的なままであるサンプルに対応します。一致相関は、グラフィカルにプロットできるため、ユーザーが重要なサンプルの変化に対応するシリーズの画像をすばやく特定できるため、in situ研究にとって特に価値があります。ただし、ドリフト補正機能がアクティブな状態でこれらのアクションを実行すると、ステージの移動や倍率の変更などのイメージング条件の変化にも高い一致相関値に対応できることを理解することが重要です。

ここで紹介するキャリブレーションワークフローは、独自のキャリブレーションホルダーと半自動キャリブレーションルーチンを利用して、オペレーターの介入を最小限に抑えながら、さまざまなレンズ条件下でビームを正確にキャリブレーションします。線量校正ルーチンは、TEMにインストールされたMVSソフトウェアを介してアクセスされます。MVSソフトウェアは、関連する顕微鏡設定を自動的に読み取り、すべての測定値を保存して、後の実験の参考にします。一部のTEMでは、アパーチャまたはモノクロメーターの設定を読み取ることができず、キャリブレーション中および使用中にオペレーターがMVSソフトウェア設定に入力する必要があります。ソフトウェアにはリマインダーが組み込まれており、プログラムのプロンプトに従ってこれらのオペレーター入力設定を最新の状態に保つのに役立ちます。集電体を内蔵したホルダーの開発は、顕微鏡カラムの他の場所に統合されたホルダーに依存するのではなく、意図的な設計上の選択です。これにより、集電装置を試料と同じ平面に配置することができ、ビーム偏向や異なるビーム位置でのアパーチャによる電子の吸収の違いによって引き起こされる電流測定の誤差を排除することができます。MVSソフトウェアは、自動化されたルーチンに従って、レンズ条件の任意の組み合わせでビーム電流と面積を測定します。ソフトウェアは、これらの測定されたキャリブレーションをカメラまたはスクリーン電流と相関させ、実験中の倍率などの変化をビーム領域に外挿することができます。生成されたこれらのキャリブレーションファイルはすぐに使用でき、ソフトウェアが将来のセッションで同じ設定が使用されていることを検出した場合、後で使用するために自動的に保存されます。キャリブレーションファイルの寿命は顕微鏡によって異なりますが、著者らは、現在の値に大きな変化を観察することなく、同じキャリブレーションファイルを数か月間使用できることを発見しました。ガンの排出プロファイルを監視する組み込みルーチンがあり、特にコールドFEGエミッションガンでこれらのキャリブレーションの関連性を維持するのに役立ちます。

顕微鏡間の線量測定の正規化とサンプルのビーム曝露の自動追跡は、異なる顕微鏡システムで実験間の線量条件を定量的に比較できるため、MVSソフトウェアの重要な機能です。異なる顕微鏡を使用した同一の実験中に得られたゼオライトサンプル(ZSM-5)の線量誘発分解は、両方のセットアップで最大累積または閾値電子線量(~60.000 e^–/Å2の線量率を適用する場合は~500 e^–/^Å2·s)の後にFFTスポットの完全な消失をもたらします。これらの比較結果は、線量ソフトウェアが再現性のある定量的な線量測定を容易にすることを示しています。各実験で完全なFFTスポット消失が観察される累積線量のわずかな違いは、2つの顕微鏡で採用された加速電圧が異なる結果である可能性が高く、加速電圧が低いほど放射線損傷経路が多くなり、加速電圧が高いほど通常、ノックオン損傷が大きくなります²⁴。ZSM-5ナノ粒子の臨界線量に関する文献結果は、すべてのFFTスポットの完全な消失ではなく、最初のFFTスポット消失を使用して9,000〜14,000 e^–/^Å2の範囲である^25,26。我々の結果では、最初のFFTスポット消失は、約25,000 e^–/^Å2の累積線量に相当します。以前の研究は、ファラデーカップ¹⁵と比較した場合、ビーム電流測定値を過小評価することが十分に文書化されている蛍光体スクリーンを使用して得られた電流測定値に依存していました。決定された臨界線量は、線量を追跡するために使用されるFFTピークに応じて、2倍以上変動し得る。これは、より高い空間周波数が最初に劣化し、測定中に使用されたゾーンアクセスに応じて異なる値をもたらす可能性があることを示しています(私たちの結果は、特定の構造的特徴ではなく、ゼオライト結晶全体からのFFTスポットに焦点を当てました)^25,26。これらの技術と現在のキャリブレーションの違いは、私たちの結果と以前の文献研究で報告された2つの実験の値の違いを説明しています。

電子線量相互作用は多くのTEM実験において重要な因子であるが、in situおよび特に液体EM研究はその影響に特に敏感である。電子ビームによる液体の放射線分解は、サンプルと相互作用する可能性のある化学的に反応する種のカスケードをもたらし、分析を複雑にします。液体EM実験中に使用される線量率またはフルエンスおよび累積線量の両方が、液体放射線分解により生成されるラジカル種の濃度に影響を与える可能性がある^27,28。したがって、実験全体を通して累積線量と線量率の両方のデータを収集して記録することで、画像とサンプルの線量履歴との直接的な相関が可能になり、これらの実験における電子ビームの影響を解明および制御するためのより正確な方法です。このプロトコルではカバーされていませんが、液体EMの用量管理機能の有用性の例を図6に示します。

図6: in situ 液体-EM実験中の金ナノ粒子のビーム誘起 成長。 (A)領域全体の累積線量マップのカラーオーバーレイによる、結果として生じる粒子成長の低倍率STEMの概要。オーバーレイの赤色の領域は累積線量被ばく量が高い領域を示し、黄色の領域は被ばく量が少ない領域を示します。カーソルで個々のピクセルを強調表示するか、付属の描画ツールを使用して領域上にボックスを描画すると、そのピクセルまたは領域の累積線量を示します。スケールバーは2μmです。 (B、C) Aのオレンジ色のボックス(b、c)で示された領域の高倍率のSTEM画像。より高い累積線量(10.811 e^–/Ų)に曝露された領域bには、より低い累積線量(0.032 e^–/Ų)に曝露された領域cに見られるものよりも大きな粒子が含まれています。 この図の拡大版を表示するには、ここをクリックしてください。

濃縮された線量率と累積線量メタデータは、線量依存的なナノ材料の成長と分解経路の分析を簡素化します。図6は、液体EM実験中の水中の塩化金(HAuCl3)イオンの溶液のビーム誘起還元を示しています。図6Aのカラードーズマップオーバーレイから、累積電子ドーズがナノ粒子²⁹、^30、31、32の結果生じるサイズおよび形状に影響を与えることを視覚化することは容易である。低倍率のSTEMの概要は、高(赤)および低(黄)の累積線量にさらされた領域を示しています。高線量に被曝した領域の粒子は、低累積線量に被曝した領域の粒子よりも大きい。線量メタデータはピクセルレベルで各画像に直接埋め込まれているため、液体電子顕微鏡実験における電子線量の複雑な影響を、これまでにない方法で体系的に分析できるようになりました。

このプロトコルでは、MVSソフトウェアが、電子線量とサンプルに送達される総線量の両方をピクセルごとに較正、監視、および追跡するための包括的なソリューションを提供することを示しました。この能力は、線量に敏感なサンプルをイメージングし、電子ビームの相互作用を理解するための新しいパラダイムを解き放ちます。液体電子顕微鏡実験では、電子線量が果たす役割をより効果的に調べることができ、実験の再現性が向上するため、特にエキサイティングです。この新しいフレームワークにより、線量率と蓄積された線量情報の正確な収集が可能になり、TEM結果のより正確な解釈のためにこのデータをコミュニティと共有することが容易になり、FAIRプリンシパルの報告と分析を可能にすることで科学的コラボレーションとデータ共有が促進されることを願っています。