ここでは、マシンビジョンソフトウェアを利用してTEMイメージング中の動的プロセスを安定化させると同時に、各画像のメタデータの複数のストリームをナビゲート可能なタイムラインにインデックス化するプロトコルを紹介します。このプラットフォームが、実験の過程で電子線量の自動キャリブレーションとマッピングをどのように可能にするかを示します。
透過型電子顕微鏡(TEM)により、ユーザーは基本的な原子スケールで材料を研究できます。複雑な実験では、時間と複雑な分析を必要とする多数のパラメータを持つ何千もの画像が日常的に生成されます。AXONシンクロニシティは、TEM研究に固有の問題点に対処するために設計されたマシンビジョン同期(MVS)ソフトウェアソリューションです。顕微鏡にインストールすると、実験中に顕微鏡、検出器、in situシステムによって生成された画像とメタデータの継続的な同期が可能になります。この接続性により、空間補正、ビーム補正、デジタル補正を組み合わせて適用し、視野内の関心領域を中央に配置および追跡し、即時の画像安定化を提供するマシンビジョンアルゴリズムの適用が可能になります。このような安定化によってもたらされる解像度の大幅な向上に加えて、メタデータ同期は、画像間の変数を計算する計算および画像分析アルゴリズムの適用を可能にします。この計算されたメタデータを使用して、傾向を分析したり、データセット内の重要な関心領域を特定したりして、新しい洞察と将来のより高度なマシンビジョン機能の開発につなげることができます。この計算されたメタデータに基づいて構築されたそのようなモジュールの1つは、線量の校正と管理です。線量モジュールは、ピクセルごとにサンプルの特定の領域に送達される電子フルエンス(e–/Å2·s-1)と累積線量(e–/Å2)の両方の最先端の校正、追跡、および管理を提供します。これにより、電子ビームとサンプル間の相互作用の包括的な概要が可能になります。実験分析は、画像と対応するメタデータで構成されるデータセットを簡単に視覚化、並べ替え、フィルタリング、およびエクスポートできる専用の分析ソフトウェアによって合理化されます。これらのツールを組み合わせることで、効率的なコラボレーションと実験分析を促進し、データマイニングを促進し、顕微鏡検査の経験を向上させることができます。
透過型電子顕微鏡(TEM)とその機能は、カメラ、検出器、サンプルホルダー、およびコンピューティング技術の進歩から多大な恩恵を受けてきました。ただし、これらの進歩は、切断されたデータストリーム、人間の操作の制限、および面倒なデータ分析によって妨げられています1,2。さらに、in situおよびoperando実験では、TEMをリアルタイムのナノスケールラボに適応させ、さまざまな外部刺激を同時に適用しながら、ガスまたは液体環境でサンプルを研究することができます3,4,5。このような複雑なワークフローの採用は、これらの制限を拡大するだけであり、その結果、これらのデータストリームのサイズと複雑さが増すことが懸念事項となっています。したがって、データの検索、アクセス、相互運用、および再利用のためにマシンアクション可能性を利用することにますます重点が置かれており、これはFAIR原則6として知られています。FAIRの原則の概念に従って研究データを公開することは、世界中の政府機関から好意的な注目を集めており7,8、マシンビジョンソフトウェアを使用したFAIRの原則の適用は、それらの採用の重要なステップです。
マシンビジョン同期(MVS)ソフトウェアプラットフォームは、複雑でメタデータの多いTEM実験(特に in situ およびoperando実験)の実行と分析に固有の特定の問題点に対応して開発されました9。TEMにインストールされると、MVSソフトウェアは顕微鏡カラム、検出器との接続、統合、通信を行い、 in situ システムに統合されます。これにより、画像を継続的に収集し、それらの画像を実験メタデータに合わせることで、実験の開始から終了までのタイムラインである包括的な検索可能なデータベースを形成することができます(図1)。この接続性により、MVSソフトウェアは、サンプルが形態学的変化を受けている場合でも、関心領域(ROI)をインテリジェントに追跡および安定化するアルゴリズムを適用できます。ソフトウェアは、必要に応じてステージ、ビーム、およびデジタル補正に調整を適用し、 ドリフト制御 および フォーカスアシスト 機能を通じてROIを安定させます。ソフトウェアは、さまざまな実験システムから生成された生のメタデータで画像を充実させることに加えて、画像分析アルゴリズムを使用して新しい計算メタデータを生成し、画像間の変数を計算し、サンプルのドリフトや焦点の変化を自動的に補正できるようにします。
MVSソフトウェアを介して収集されたTEM画像および関連するメタデータは、無料のオフラインバージョンの分析ソフトウェアStudio(以下、分析ソフトウェアと呼びます)10を介して誰でも開いて表示できる実験タイムラインとして編成されています。実験中、MVSソフトウェアは、顕微鏡のカメラまたは検出器からの3種類の画像を同期して記録し、画像ビューアの下のタイムラインの上部に表示されます:単一取得(TEMソフトウェアから直接取得された個々の単一取得画像)、生(デジタルドリフト補正が適用されていない検出器/カメラのライブストリームからの画像;これらの画像は、ステージ移動またはビームシフト)、およびドリフト補正(デジタルドリフトされた検出器/カメラのライブストリームからの画像)。テストまたはセッション中に収集されたデータは、埋め込まれたメタデータを失うことなく、コレクションと呼ばれるデータの小さなセクションまたはスニペットにさらに絞り込むことができます。解析ソフトウェアから、画像、画像スタック、メタデータをさまざまなオープンフォーマットの画像やスプレッドシートタイプに直接エクスポートして、他のツールやプログラムを使用して分析することができます。
MVSソフトウェアによって実現される顕微鏡制御、安定化、およびメタデータ統合のフレームワークにより、現在のTEMワークフローの制限を軽減するように設計された追加のマシンビジョンプログラムまたはモジュールの実装も可能になります。この同期プラットフォームを利用するために開発された最初のモジュールの1つは、サンプル内のビーム露光領域の電子線量校正と空間追跡です。すべてのTEM画像は、サンプルと電子ビームの間の相互作用から形成されます。しかしながら、これらの相互作用はまた、放射線分解およびノックオン損傷11,12のような試料への負の、避けられない影響をもたらす可能性があり、画像を生成するために十分に高い電子線量を適用することと、結果として生じるビーム損傷を最小化することとの間の慎重なバランスを必要とする13,14。
多くのユーザは電子線量を推定するためにスクリーン電流測定に依存しているが、この方法は実際のビーム電流を広く過小評価することが示されている15。定性的な線量値は、同じ設定の同じ顕微鏡でスクリーン電流 を介して 取得できますが、異なる顕微鏡または設定を使用してこれらの線量条件を再現することは非常に主観的です。さらに、スポットサイズ、アパーチャ、倍率、強度など、実験中にユーザーが行うイメージングパラメータの調整では、結果として得られる線量を計算するためにスクリーン電流を個別に測定する必要があります。ユーザは、所与の実験中に使用される撮像条件を厳密に制限するか、または使用される各レンズ条件を綿密に測定して記録しなければならず、顕微鏡の通常の操作のために実行可能なものを超えて実験を著しく複雑にし、拡張しなければならない16、17。
このプロトコルでは線量ソフトウェアと呼ばれる線量校正ソフトウェアモジュールは、自動電流測定を可能にするように設計された専用の校正ホルダーを利用する線量校正ソフトウェアモジュールです。正確なビーム電流校正15のゴールドスタンダードであるファラデーカップは、校正ホルダーの先端に組み込まれています。MVSソフトウェアは、レンズの状態ごとに一連のビーム電流とビーム面積のキャリブレーションを実行し、それらの値をピクセルレベルで画像に埋め込みます。
このビデオ記事では、TEMワークフローのすべての領域を強化するように設計されたMVSソフトウェアプロトコルを、代表的なナノ材料サンプルを使用して紹介します。ビーム感受性ゼオライトナノ粒子サンプル14は、較正および線量管理ワークフローを実証するために使用される。加熱すると大きな形態変化を起こすAu/FeOxナノ触媒18,19試料を用いた代表的なin situ加熱実験を行う。このin situ実験は、ソフトウェアの安定化アルゴリズムと、in situおよびoperando研究に固有の課題であるメタデータの複数のストリームを照合する機能を強調しています。プロトコルには記載されていませんが、そのユニークな電子線量感度のために、液体EM研究(文献20、21、22で以前に報告されているプロトコル)のためのソフトウェアの有用性の代表的な例と、これらの技術を適用して液体EM実験に対する線量の影響の理解を深める方法について説明します。最後に、オフライン分析ソフトウェアを使用してデータ分析を合理化し、さまざまな画像、ビデオ、およびデータファイルを視覚化、フィルタリング、および他のアクセス可能な形式にエクスポートする方法を示します。
図1:MVSおよび解析ソフトウェアのユーザインタフェース例 (A)同期ソフトウェアイメージ表示ペインとコントロールパネル。TEMと同期ソフトウェア間の接続は、顕微鏡からの画像とメタデータを同期ソフトウェアにストリーミングする[接続]ボタンをアクティブにすることによって確立されます。画像ビューアから、オペレータはドリフト補正やフォーカスアシストなど、さまざまなマシンビジョン支援操作を実行できます。また、データ収集を中断することなく、タグ画像とレビューセッションを適用する機能も提供します。(B)画像ビューポート、タイムライン、およびメタデータと分析パネルの場所を強調表示する画像分析ソフトウェアのスクリーンショット。解析ソフトウェアは、実験中の任意の時点でアクセスでき、[セッションのレビュー]ボタンを使用して、その時点までに取得した画像を確認できます。この図の拡大版を表示するには、ここをクリックしてください。
TEM実験結果の解釈は、顕微鏡の設定、イメージング条件、オペランドやin situ実験の場合は環境や刺激の変化など、相互に関連する多くの実験パラメータに依存することがよくあります1,23。これらのパラメータが継続的に変更される可能性のある大規模なTEMデータセットを正確に分析するには、ラボジャーナルやその他の外部ドキュメントソースに各画像の各条件と設定を正確に記録するために、オペレーターによる多大な注意が必要です。TEMデータセットのサイズと複雑さが増すにつれて、手作業による記録管理が管理できなくなり、重要な情報が見落とされたり、不正確に記録されたりする可能性があります。ここで説明するMVSソフトウェアは、顕微鏡、検出器/カメラ、およびその他のシステム(in situサンプルホルダーなど)から実験中に生成されたメタデータを統合し、それぞれの画像と位置合わせします。
メタデータの統合に加えて、このソフトウェアはマシンビジョンアルゴリズムを適用し、 ドリフト 補正機能と フォーカスアシスト 機能を使用して、空間補正、ビーム補正、およびデジタル補正を組み合わせて視野を追跡および安定化します。 ドリフト補正 機能が作動すると、MVSソフトウェアに取り込まれた最初の画像を使用して、相互相関の「テンプレート」イメージが生成されます。次に、テンプレートを入力画像と比較して、サンプルのドリフトまたは移動の方向と大きさを計算します。この情報を使用して、MVSソフトウェアは、ステージ位置、ビームまたは画像シフト、およびデジタル画像補正の3つのパラメーターの少なくとも1つを調整することにより、画像の特徴を同じ場所に維持するために必要な補正を自動的に適用します。フォーカス アシスト 機能は、アルゴリズムの組み合わせを利用して、フォーカススコアと呼ばれるフォーカス値を各画像に割り当て、それらのスコアを比較して、サンプルに焦点を合わせ続けるために適用するデフォーカス調整の大きさと方向を決定します。STEMイメージングモードでは、MVSソフトウェアは、フォーカススコアを割り当てるために正規化された分散の独自のバージョンを通じてコントラストを最大化しようとします。TEMモードでは、強度の半径方向の合計がFFTで計算され、フォーカススコアの計算に使用されます。フォーカスを最適化する MVS ソフトウェアの機能に対する制限は、イメージの正しいフォーカス・スコアを正確に計算できない場合に発生します。これは通常、キャリブレーション中に顕微鏡の位置がずれたり、サンプルの焦点が大幅にずれたりして、ソフトウェアが正しい開始フォーカススコア値を正しく計算できない場合に発生します。MVSソフトウェアは、FFTの格子縞がフォーカススコアリングアルゴリズムを「圧倒」する可能性があるため、明確に定義された格子縞を持つサンプルのフォーカススコアを計算するのが難しい場合があります。したがって、サンプルが焦点から外れた場合、フォーカススコアは焦点の変化を正確に反映しない可能性があります。逆に、低倍率または低FFT信号のサンプルで作業する場合も、良好なフォーカススコアを計算するのが困難になる可能性があります。これらの問題を軽減するために、MVSソフトウェアには、デフォルト設定がサンプルに適さない場合にフォーカススコアを計算するためにユーザーが選択できるいくつかの追加アルゴリズムが含まれています。これらは、特定の実験に最適なアルゴリズムを決定するために、ケースバイケースでテストおよび適用する必要があります。
経時的なサンプル構造の形態学的変化は、テンプレートモーフィング因子を使用して説明されます。このフィルターはオペレーターによって調整可能であるため、登録アルゴリズムは時間の経過に伴う形態学的変化を考慮します。さらに、ソフトウェアは連続画像、顕微鏡設定、カメラまたは検出器の設定を監視し、サンプル構造の変化によってトリガーされた場合、および顕微鏡、カメラ、または検出器のパラメーターに対するオペレーターによる変更後にテンプレートを自動的に更新します。図4、図5、補足ファイル7、および補足ファイル8に示すように、MVSソフトウェアは効果的で即時の安定化を提供し、動的に移動または変化するサンプルの高解像度イメージングを可能にします。 このソフトウェアは、in situ実験中に加熱ランプを適用するときに発生するような非常に高いドリフト率またはサンプル移動速度を制御できますが、サンプルが非常に急速に移動またはドリフトしている場合にソフトウェアが制御できる最大ステージ補正またはビームシフトには制限があります。この制限は、画像の更新速度、視野サイズ、およびドリフト率の関数です。所定の視野と画像更新レートに対して、修正可能な最大ドリフトレートがあり、物理的な動きが追いつかない場合、プロセスが終了または不安定になる可能性があります。ドリフト補正などのフィーチャの適用時に生成される登録テンプレートから、追加の計算メタデータを生成できます。たとえば、一致相関は、系列内のテンプレート間の変化の程度の数値記録であり、サンプルが変化した実験タイムライン内のポイントを識別するために使用されます。高い一致相関値は、その形態に変化を受けたサンプルに対応し、低い一致相関値は、構造が比較的静的なままであるサンプルに対応します。一致相関は、グラフィカルにプロットできるため、ユーザーが重要なサンプルの変化に対応するシリーズの画像をすばやく特定できるため、in situ研究にとって特に価値があります。ただし、ドリフト補正機能がアクティブな状態でこれらのアクションを実行すると、ステージの移動や倍率の変更などのイメージング条件の変化にも高い一致相関値に対応できることを理解することが重要です。
ここで紹介するキャリブレーションワークフローは、独自のキャリブレーションホルダーと半自動キャリブレーションルーチンを利用して、オペレーターの介入を最小限に抑えながら、さまざまなレンズ条件下でビームを正確にキャリブレーションします。線量校正ルーチンは、TEMにインストールされたMVSソフトウェアを介してアクセスされます。MVSソフトウェアは、関連する顕微鏡設定を自動的に読み取り、すべての測定値を保存して、後の実験の参考にします。一部のTEMでは、アパーチャまたはモノクロメーターの設定を読み取ることができず、キャリブレーション中および使用中にオペレーターがMVSソフトウェア設定に入力する必要があります。ソフトウェアにはリマインダーが組み込まれており、プログラムのプロンプトに従ってこれらのオペレーター入力設定を最新の状態に保つのに役立ちます。集電体を内蔵したホルダーの開発は、顕微鏡カラムの他の場所に統合されたホルダーに依存するのではなく、意図的な設計上の選択です。これにより、集電装置を試料と同じ平面に配置することができ、ビーム偏向や異なるビーム位置でのアパーチャによる電子の吸収の違いによって引き起こされる電流測定の誤差を排除することができます。MVSソフトウェアは、自動化されたルーチンに従って、レンズ条件の任意の組み合わせでビーム電流と面積を測定します。ソフトウェアは、これらの測定されたキャリブレーションをカメラまたはスクリーン電流と相関させ、実験中の倍率などの変化をビーム領域に外挿することができます。生成されたこれらのキャリブレーションファイルはすぐに使用でき、ソフトウェアが将来のセッションで同じ設定が使用されていることを検出した場合、後で使用するために自動的に保存されます。キャリブレーションファイルの寿命は顕微鏡によって異なりますが、著者らは、現在の値に大きな変化を観察することなく、同じキャリブレーションファイルを数か月間使用できることを発見しました。ガンの排出プロファイルを監視する組み込みルーチンがあり、特にコールドFEGエミッションガンでこれらのキャリブレーションの関連性を維持するのに役立ちます。
顕微鏡間の線量測定の正規化とサンプルのビーム曝露の自動追跡は、異なる顕微鏡システムで実験間の線量条件を定量的に比較できるため、MVSソフトウェアの重要な機能です。異なる顕微鏡を使用した同一の実験中に得られたゼオライトサンプル(ZSM-5)の線量誘発分解は、両方のセットアップで最大累積または閾値電子線量(~60.000 e–/Å2の線量率を適用する場合は~500 e–/Å2·s)の後にFFTスポットの完全な消失をもたらします。これらの比較結果は、線量ソフトウェアが再現性のある定量的な線量測定を容易にすることを示しています。各実験で完全なFFTスポット消失が観察される累積線量のわずかな違いは、2つの顕微鏡で採用された加速電圧が異なる結果である可能性が高く、加速電圧が低いほど放射線損傷経路が多くなり、加速電圧が高いほど通常、ノックオン損傷が大きくなります24。ZSM-5ナノ粒子の臨界線量に関する文献結果は、すべてのFFTスポットの完全な消失ではなく、最初のFFTスポット消失を使用して9,000〜14,000 e–/Å2の範囲である25,26。我々の結果では、最初のFFTスポット消失は、約25,000 e–/Å2の累積線量に相当します。以前の研究は、ファラデーカップ15と比較した場合、ビーム電流測定値を過小評価することが十分に文書化されている蛍光体スクリーンを使用して得られた電流測定値に依存していました。決定された臨界線量は、線量を追跡するために使用されるFFTピークに応じて、2倍以上変動し得る。これは、より高い空間周波数が最初に劣化し、測定中に使用されたゾーンアクセスに応じて異なる値をもたらす可能性があることを示しています(私たちの結果は、特定の構造的特徴ではなく、ゼオライト結晶全体からのFFTスポットに焦点を当てました)25,26。これらの技術と現在のキャリブレーションの違いは、私たちの結果と以前の文献研究で報告された2つの実験の値の違いを説明しています。
電子線量相互作用は多くのTEM実験において重要な因子であるが、in situおよび特に液体EM研究はその影響に特に敏感である。電子ビームによる液体の放射線分解は、サンプルと相互作用する可能性のある化学的に反応する種のカスケードをもたらし、分析を複雑にします。液体EM実験中に使用される線量率またはフルエンスおよび累積線量の両方が、液体放射線分解により生成されるラジカル種の濃度に影響を与える可能性がある27,28。したがって、実験全体を通して累積線量と線量率の両方のデータを収集して記録することで、画像とサンプルの線量履歴との直接的な相関が可能になり、これらの実験における電子ビームの影響を解明および制御するためのより正確な方法です。このプロトコルではカバーされていませんが、液体EMの用量管理機能の有用性の例を図6に示します。
図6: in situ 液体-EM実験中の金ナノ粒子のビーム誘起 成長。 (A)領域全体の累積線量マップのカラーオーバーレイによる、結果として生じる粒子成長の低倍率STEMの概要。オーバーレイの赤色の領域は累積線量被ばく量が高い領域を示し、黄色の領域は被ばく量が少ない領域を示します。カーソルで個々のピクセルを強調表示するか、付属の描画ツールを使用して領域上にボックスを描画すると、そのピクセルまたは領域の累積線量を示します。スケールバーは2μmです。 (B、C) Aのオレンジ色のボックス(b、c)で示された領域の高倍率のSTEM画像。より高い累積線量(10.811 e–/Å2)に曝露された領域bには、より低い累積線量(0.032 e–/Å2)に曝露された領域cに見られるものよりも大きな粒子が含まれています。 この図の拡大版を表示するには、ここをクリックしてください。
濃縮された線量率と累積線量メタデータは、線量依存的なナノ材料の成長と分解経路の分析を簡素化します。図6は、液体EM実験中の水中の塩化金(HAuCl3)イオンの溶液のビーム誘起還元を示しています。図6Aのカラードーズマップオーバーレイから、累積電子ドーズがナノ粒子29、30、31、32の結果生じるサイズおよび形状に影響を与えることを視覚化することは容易である。低倍率のSTEMの概要は、高(赤)および低(黄)の累積線量にさらされた領域を示しています。高線量に被曝した領域の粒子は、低累積線量に被曝した領域の粒子よりも大きい。線量メタデータはピクセルレベルで各画像に直接埋め込まれているため、液体電子顕微鏡実験における電子線量の複雑な影響を、これまでにない方法で体系的に分析できるようになりました。
このプロトコルでは、MVSソフトウェアが、電子線量とサンプルに送達される総線量の両方をピクセルごとに較正、監視、および追跡するための包括的なソリューションを提供することを示しました。この能力は、線量に敏感なサンプルをイメージングし、電子ビームの相互作用を理解するための新しいパラダイムを解き放ちます。液体電子顕微鏡実験では、電子線量が果たす役割をより効果的に調べることができ、実験の再現性が向上するため、特にエキサイティングです。この新しいフレームワークにより、線量率と蓄積された線量情報の正確な収集が可能になり、TEM結果のより正確な解釈のためにこのデータをコミュニティと共有することが容易になり、FAIRプリンシパルの報告と分析を可能にすることで科学的コラボレーションとデータ共有が促進されることを願っています。
The authors have nothing to disclose.
この作業の一部は、ノースカロライナ州と国立科学財団(賞番号ECCS-2025064)の支援を受けているノースカロライナ州立大学の分析機器施設(AIF)で行われました。AIFは、国立ナノテクノロジー調整インフラストラクチャ(NNCI)のサイトであるノースカロライナリサーチトライアングルナノテクノロジーネットワーク(RTNN)のメンバーです。著者らは、パリ・シテ大学のCNRS研究ディレクターであるDamien Alloyeau氏に、200 kV CFEGゼオライト線量閾値研究の結果を提供してくれたことに感謝する。
ARM200F CFEG | JEOL | Transmission Electron Microscope (200 kV) | |
AXON DOSE Calibration Holder | Protochips, Inc. | AXA-FC-TFS | Dose calibration and management hardware package for ThermoFisher ScientificTEM |
AXON DOSE Software: Version 10.6.5.3 | Protochips, Inc. | AX-MOD-DOSE-01-1YR | Dose calibration and management software |
AXON Studio Software: Version 10.6.5.3 | Protochips, Inc. | No Part Number. Available to download at success.protochips.com |
Offline analysis software for AXON datasets. A free copy of the AXON Studio software is available for down load at: success.protochips.com |
AXON Synchronicity Core | Protochips, Inc. | AXON-CORE | Hardware component of the synchronization software. |
AXON Synchronicity Software: Version 10.6.5.3 | Protochips, Inc. | AX-MOD-SYNCPRO-01-1YR | Synchronization software |
Fusion In-Situ Heating E-chip | Protochips, Inc. | E-FHDC-VO-10 | Sample Support E-chip with carbon film. Used with in situ heating system |
Fusion Select In Situ Heating System | Protochips, Inc. | FFAD-6200-EXP | In-situ MEMs heating system for ThermoFisher Scientific TEM. |
Gold(III) chloride (50% gold basis) hydrate 50790 | Sigma Aldrich | 27988-77-8 | Used to prepare Au/FeOx nanocatalyst. Coprecipitation synthesis procedure followed in C. Sze et al. Materials Letters. 36 (1–4), 11–16 (1998) |
Iron (III) Oxide 310050 (Fe2O3) | Sigma Aldrich | 1309-37-1 | Used to prepare Au/FeOx nanocatalyst. Coprecipitation synthesis procedure followed in C. Sze et al. Materials Letters. 36 (1–4), 11–16 (1998) |
Titan ChemiSTEM | ThermoFisher Scientific | Transmission Electron Microscope (300 kV) | |
Zeolite ZSM-5 | Zeolyst | CBV 8014 | Nanocatalyst sample: 80 SiO2/Al2O3 Mole Ratio |