Ein Machine-Vision-Ansatz für Transmissionselektronenmikroskopie-Workflows, Ergebnisanalyse und Datenmanagement

Die Interpretation von TEM-Versuchsergebnissen hängt oft von vielen miteinander verbundenen experimentellen Parametern ab, wie z.B. Mikroskopeinstellungen, Bildgebungsbedingungen und im Falle von Operando- oder In-situ-Experimenten von Veränderungen der Umgebung oder der Stimuli ^1,23. Die genaue Analyse großer TEM-Datensätze, über die diese Parameter kontinuierlich modifiziert werden können, erfordert erhebliche Aufmerksamkeit des Bedieners, um jede Bedingung und Einstellung für jedes Bild in einem Laborjournal oder einer anderen externen Dokumentationsquelle genau aufzuzeichnen. Mit zunehmender Größe und Komplexität von TEM-Datensätzen wird die manuelle Buchführung unüberschaubar, und wichtige Informationen können übersehen oder ungenau aufgezeichnet werden. Die hier beschriebene MVS-Software konsolidiert die während eines Experiments erzeugten Metadaten aus dem Mikroskop, dem Detektor/der Kamera und anderen Systemen (z. B. In-situ-Probenhaltern) und gleicht sie mit ihren jeweiligen Bildern ab.

Zusätzlich zur Konsolidierung der Metadaten wendet die Software Machine-Vision-Algorithmen an, um das Sichtfeld durch eine Kombination aus räumlichen, Strahl- und digitalen Korrekturen mithilfe der Funktionen Drift Correct und Focus Assist zu verfolgen und zu stabilisieren. Wenn die Funktion ” Driftkorrektur ” aktiviert ist, wird ein Kreuzkorrelations-“Vorlagen”-Bild aus dem ersten Bild generiert, das in die MVS-Software gezogen wird. Die Vorlage wird dann mit eingehenden Bildern verglichen, um die Richtung und das Ausmaß der Probendrift oder -bewegung zu berechnen. Mit diesen Informationen wendet die MVS-Software automatisch die notwendigen Korrekturen an, um die Bildmerkmale an der gleichen Stelle zu halten, indem mindestens einer von drei Parametern angepasst wird: Bühnenposition, Strahl- oder Bildverschiebung und digitale Bildkorrektur. Die Focus Assist-Funktion verwendet eine Kombination von Algorithmen, um jedem Bild einen Fokuswert zuzuweisen, der als Fokuswert bezeichnet wird, und diese Werte werden verglichen, um das Ausmaß und die Richtung der Defokusanpassung zu bestimmen, die angewendet werden soll, um die Probe im Fokus zu halten. Im STEM-Bildgebungsmodus versucht die MVS-Software, den Kontrast durch eine proprietäre Version der normalisierten Varianz zu maximieren, um den Fokuswert zuzuweisen. Im TEM-Modus wird in der FFT eine radiale Summe der Intensität berechnet und zur Berechnung des Fokus-Scores verwendet. Einschränkungen bei der Fähigkeit der MVS-Software, den Fokus zu optimieren, treten auf, wenn sie den korrekten Fokuswert für ein Bild nicht genau berechnen kann. Dies tritt in der Regel auf, wenn das Mikroskop falsch ausgerichtet ist oder die Probe während der Kalibrierung erheblich unscharf ist, sodass die Software den korrekten Startwert für den Fokuswert nicht korrekt berechnen kann. Die MVS-Software kann Schwierigkeiten haben, den Fokus-Score für Samples mit wohldefinierten Gittersäumen zu berechnen, da die Gitterstreifen in der FFT den Fokus-Scoring-Algorithmus “überfordern” können. Wenn sich also eine Probe unscharf bewegt, spiegelt der Fokuswert die Fokusänderung möglicherweise nicht genau wider. Umgekehrt kann es bei der Arbeit mit niedrigen Vergrößerungen oder mit einer Probe mit einem niedrigen FFT-Signal auch schwierig sein, einen guten Fokuswert zu berechnen. Um diese Schwierigkeiten zu mildern, enthält die MVS-Software eine Reihe zusätzlicher Algorithmen, die vom Benutzer zur Berechnung des Fokus-Scores ausgewählt werden können, wenn die Standardeinstellungen für die Probe ungeeignet sind. Diese müssen von Fall zu Fall getestet und angewendet werden, um die besten Algorithmen für ein bestimmtes Experiment zu bestimmen.

Morphologische Veränderungen in der Probenstruktur im Zeitverlauf werden mit Hilfe eines Template-Morphing-Faktors berücksichtigt. Dieser Filter kann vom Bediener eingestellt werden, so dass Registrierungsalgorithmen morphologische Veränderungen im Laufe der Zeit berücksichtigen. Darüber hinaus überwacht die Software das kontinuierliche Bild, die Mikroskopeinstellungen und die Kamera- oder Detektoreinstellungen, um die Vorlage automatisch zu aktualisieren, wenn sie durch Änderungen der Probenstruktur ausgelöst wird und nach vom Bediener induzierten Änderungen der Mikroskop-, Kamera- oder Detektorparameter. Wie in Abbildung 4, Abbildung 5, Supplementary File 7 und Supplementary File 8 dargestellt, bietet die MVS-Software eine effektive, sofortige Stabilisierung und ermöglicht eine hochauflösende Bildgebung von sich dynamisch bewegenden oder sich ändernden Proben. Obwohl die Software in der Lage ist, sehr hohe Drift- oder Probenbewegungsraten zu steuern, wie sie z. B. beim Anlegen einer Heizrampe während eines In-situ-Experiments auftreten, gibt es Einschränkungen bei den maximalen Tischkorrekturen oder Strahlverschiebungen, die die Software steuern kann, wenn sich die Probe sehr schnell bewegt oder driftet. Dieser Grenzwert ist eine Funktion der Bildaktualisierungsrate, der Größe des Sichtfelds und der Driftrate. Für ein bestimmtes Sichtfeld und eine bestimmte Bildaktualisierungsrate gibt es eine maximale Driftrate, die korrigiert werden kann, und wenn die physischen Bewegungen nicht mithalten können, kann der Prozess enden oder instabil werden. Aus den Registrierungsvorlagen, die beim Anwenden von Features wie Abweichungskorrektur generiert werden, können zusätzliche berechnete Metadaten generiert werden. Die Übereinstimmungskorrelation ist beispielsweise ein numerischer Datensatz des Ausmaßes der Änderung zwischen Vorlagen in einer Reihe und wird verwendet, um Punkte in einer experimentellen Zeitachse zu identifizieren, in denen sich die Stichprobe geändert hat. Ein hoher Übereinstimmungskorrelationswert entspricht einer Stichprobe, deren Morphologie geändert wurde, und ein niedriger Übereinstimmungskorrelationswert entspricht einer Stichprobe, deren Struktur relativ statisch bleibt. Die Übereinstimmungskorrelation ist besonders wertvoll für In-situ-Studien, da sie grafisch dargestellt werden kann, sodass der Benutzer Bilder in der Serie, die einer signifikanten Probenänderung entsprechen, schnell lokalisieren kann. Es ist jedoch wichtig zu verstehen, dass hohe Übereinstimmungskorrelationswerte auch Änderungen der Bildgebungsbedingungen entsprechen können, wie z. B. das Verschieben des Tisches oder das Ändern der Vergrößerung, wenn diese Aktionen ausgeführt werden, während die Driftkorrekturfunktion aktiv bleibt.

Der hier vorgestellte Kalibrierungs-Workflow verwendet einen einzigartigen Kalibrierungshalter und eine halbautomatische Kalibrierungsroutine, um den Strahl unter einer Vielzahl von Linsenbedingungen mit minimalem Bedienereingriff genau zu kalibrieren. Der Zugriff auf die Dosiskalibrierungsroutine erfolgt über die auf dem TEM installierte MVS-Software. Die MVS-Software liest automatisch die relevanten Mikroskopeinstellungen aus, um alle Messungen als Referenz für spätere Experimente zu speichern. Bei einigen TEM ist es nicht möglich, die Blenden- oder Monochromatoreinstellungen abzulesen, und diese müssen vom Bediener während der Kalibrierung und während des Gebrauchs in die MVS-Softwareeinstellungen eingegeben werden. In die Software sind Erinnerungen integriert, um diese Bedienereingabeeinstellungen auf dem neuesten Stand zu halten, indem Sie den Programmanweisungen folgen. Die Entwicklung eines Halters mit eingebautem Stromabnehmer ist eine bewusste Designentscheidung, anstatt sich auf einen an anderer Stelle in der Mikroskopsäule integrierten Halter zu verlassen. Dadurch kann der Stromabnehmer auf der gleichen Ebene wie eine Probe positioniert werden, wodurch Fehler bei der Strommessung vermieden werden, die durch Strahlablenkung oder Unterschiede in der Absorption von Elektronen durch Aperturen an verschiedenen Strahlpositionen verursacht werden. Die MVS-Software folgt einer automatisierten Routine, um den Strahlstrom und die Strahlfläche für eine beliebige Kombination von Linsenbedingungen zu messen. Die Software kann diese gemessenen Kalibrierungen dann mit dem Kamera- oder Bildschirmstrom korrelieren und eventuelle Änderungen der Vergrößerung usw. auf die Strahlfläche während des Experiments extrapolieren. Einmal generiert, können diese Kalibrierungsdateien sofort verwendet werden und werden automatisch für die spätere Verwendung gespeichert, wenn die Software feststellt, dass die gleichen Einstellungen während einer zukünftigen Sitzung verwendet werden. Obwohl die Langlebigkeit der Kalibrierdatei von Mikroskop zu Mikroskop unterschiedlich ist, haben die Autoren festgestellt, dass sie in der Lage sind, dieselben Kalibrierdateien mehrere Monate lang zu verwenden, ohne wesentliche Änderungen der aktuellen Werte zu beobachten. Es gibt integrierte Routinen zur Überwachung des Emissionsprofils von Pistolen, um diese Kalibrierungen relevant zu halten, insbesondere bei Cold-FEG-Emissionspistolen.

Die Normalisierung von Dosismessungen zwischen Mikroskopen und die automatische Verfolgung der Strahlexposition einer Probe sind wichtige Funktionen der MVS-Software, da sie quantitative Vergleiche der Dosisbedingungen zwischen Experimenten ermöglichen, die auf verschiedenen Mikroskopsystemen durchgeführt werden können. Die dosisinduzierte Degradation einer Zeolithprobe (ZSM-5), die durch identische Experimente mit verschiedenen Mikroskopen erhalten wurde, führt zu einem vollständigen Verschwinden der ^FFT-Punkte nach einer maximalen kumulativen oder Schwellenelektronendosis (~60.000 e-/Ų bei Anwendung einer Dosisleistung von ~500 e^–/Ų·s) für beide Aufbauten. Diese Vergleichsergebnisse zeigen, dass die Dosissoftware reproduzierbare, quantitative Dosismessungen ermöglicht. Der kleine Unterschied in der kumulativen Dosis, bei der für jedes Experiment ein vollständiges Verschwinden des FFT-Spots beobachtet wird, ist wahrscheinlich auf die unterschiedlichen Beschleunigungsspannungen zurückzuführen, die von den beiden Mikroskopen verwendet werden, wobei niedrigere Beschleunigungsspannungen zu mehr Strahlungsschädigungspfaden führen und höhere Beschleunigungsspannungen typischerweise zu mehr Folgeschäden führen²⁴. Die Literaturergebnisse für die kritische Dosis von ZSM-5-Nanopartikeln reichen von 9.000-14.000 e-/Ų unter Verwendung des ersten FFT-Fleckenverschwindens und nicht des vollständigen Verschwindens aller ^{FFT-Flecken 25,26}. In unseren Ergebnissen entspricht das erste Verschwinden des FFT-Spots einer kumulativen Dosis von etwa 25.000 e^–/^Å2. Frühere Studien stützten sich auf Strommessungen, die mit einem Phosphorschirm durchgeführt wurden, was gut dokumentiert ist, um Strahlstrommessungen im Vergleich zu einem Faradayschen Becher zu unterschätzen¹⁵. Die ermittelte kritische Dosis kann um den Faktor zwei oder mehr variieren, je nachdem, welcher FFT-Peak zur Verfolgung der Dosis verwendet wird. Dies deutet darauf hin, dass sich die höheren Ortsfrequenzen zuerst verschlechtern und je nach dem während der Messungen verwendeten Zonenzugang zu unterschiedlichen Werten führen können (unsere Ergebnisse konzentrierten sich auf FFT-Punkte des gesamten Zeolithkristalls und nicht auf bestimmte strukturelle Merkmale)^25,26. Diese Unterschiede in den Techniken und der aktuellen Kalibrierung erklären den Unterschied in den Werten zwischen den beiden Experimenten, die in unseren Ergebnissen und früheren Literaturstudien berichtet wurden.

Obwohl die Wechselwirkungen mit der Elektronendosis ein bedeutender Faktor in vielen TEM-Experimenten sind, sind In-situ– und insbesondere Flüssig-EM-Studien besonders empfindlich gegenüber ihren Auswirkungen. Die Radiolyse von Flüssigkeiten durch den Elektronenstrahl führt zu einer Kaskade chemisch reaktiver Spezies, die mit der Probe interagieren können, was die Analyse erschwert. Sowohl die Dosisleistung oder Fluenz, die während eines Flüssig-EM-Experiments verwendet wird, als auch die kumulative Dosis können einen Einfluss auf die Konzentration der durch die Flüssigradiolyse erzeugten Radikalspezies haben^27,28. Daher ermöglicht das Sammeln und Aufzeichnen von Metadaten zur kumulativen Dosis und Dosisleistung während eines Experiments eine direkte Korrelation zwischen Bildern und dem Dosisverlauf einer Probe und ist eine genauere Möglichkeit, den Einfluss des Elektronenstrahls in diesen Experimenten aufzuklären und zu kontrollieren. Obwohl in diesem Protokoll nicht behandelt, ist ein Beispiel für den Nutzen der Dosismanagementfunktionen für Flüssig-EM in Abbildung 6 dargestellt.

Abbildung 6: Strahlinduziertes Wachstum von Gold-Nanopartikeln während eines in situ Flüssig-EM-Experiments. (A) STEM-Übersicht mit geringer Vergrößerung des resultierenden Partikelwachstums mit einer farbigen Überlagerung der kumulativen Dosiskarte über die Region. Rote Bereiche in der Überlagerung kennzeichnen Regionen mit hoher kumulativer Exposition und gelbe Bereiche zeigen Regionen mit geringerer Exposition an. Wenn Sie ein einzelnes Pixel mit dem Cursor markieren oder mit den mitgelieferten Zeichenwerkzeugen einen Rahmen über einen Bereich zeichnen, wird die kumulative Dosis für dieses Pixel oder diesen Bereich angezeigt. Der Maßstabsbalken beträgt 2 μm. (B,C) STEM-Bilder mit höherer Vergrößerung der Bereiche, die durch die orangefarbenen Kästchen (b,c) in A gekennzeichnet sind. Bereich b, der einer höheren kumulativen Dosis (10,811 e^–/Å2^{) ausgesetzt} war, enthält größere Partikel als die in Bereich c, der einer niedrigeren kumulativen Dosis (0,032 e^–/Å2) ausgesetzt^war. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Die angereicherte Dosisleistung und die kumulativen Dosismetadaten vereinfachen die Analyse dosisabhängiger Wachstums- und Abbauwege von Nanomaterialien. Abbildung 6 zeigt die strahlinduzierte Reduktion einer Lösung von Gold-Aurachlorid-Ionen (HAuCl₃) in Wasser während Flüssig-EM-Experimenten. Anhand der Farbdosiskarten-Überlagerung in Abbildung 6A lässt sich leicht visualisieren, dass die kumulative Elektronendosis die resultierende Größe und Form der Nanopartikel 29,30,31,32 beeinflusst. Die STEM-Übersicht mit geringer Vergrößerung zeigt Regionen, die einer hohen (rot) und niedrigen (gelb) kumulativen Dosis ausgesetzt sind. Die Partikel in der Region, die höheren Dosen ausgesetzt ist, sind größer als die in den Regionen, die niedrigeren kumulativen Dosen ausgesetzt sind. Da die Dosismetadaten direkt in jedes Bild auf Pixelebene eingebettet sind, können die komplexen Effekte der Elektronendosis in Flüssig-EM-Experimenten nun systematisch auf eine Weise analysiert werden, die bisher nicht erreichbar war.

In diesem Protokoll haben wir gezeigt, dass die MVS-Software eine umfassende Lösung für die Kalibrierung, Überwachung und Verfolgung sowohl der Elektronendosis als auch der Gesamtdosis bietet, die einer Probe auf Pixel-für-Pixel-Basis zugeführt werden. Diese Fähigkeit eröffnet ein neues Paradigma für die Bildgebung dosisempfindlicher Proben und das Verständnis der Elektronenstrahlwechselwirkungen. Dies ist besonders spannend für Flüssig-EM-Experimente, da es eine effektivere Untersuchung der Rolle der Elektronendosis ermöglicht und die experimentelle Reproduzierbarkeit verbessert. Es ist unsere Hoffnung, dass dieser neue Rahmen die genaue Erfassung von Dosisleistungs- und akkumulierten Dosisinformationen ermöglicht, den Austausch dieser Daten mit der Gemeinschaft für eine genauere Interpretation der TEM-Ergebnisse erleichtert und die wissenschaftliche Zusammenarbeit und den Datenaustausch vorantreibt, indem er die FAIR-Hauptberichterstattung und -analyse ermöglicht.