Un approccio di visione artificiale ai flussi di lavoro di microscopia elettronica a trasmissione, all'analisi dei risultati e alla gestione dei dati

L’interpretazione dei risultati sperimentali TEM è spesso subordinata a molti parametri sperimentali interconnessi, come le impostazioni del microscopio, le condizioni di imaging e, nel caso di esperimenti operando o in situ, cambiamenti nell’ambiente o stimoli ^1,23. L’analisi accurata di grandi set di dati TEM, su cui questi parametri possono essere continuamente modificati, richiede un’attenzione significativa da parte dell’operatore per registrare accuratamente ogni condizione e impostazione per ogni immagine in un giornale di laboratorio o in un’altra fonte di documentazione esterna. Man mano che i set di dati TEM crescono in dimensioni e complessità, la tenuta manuale dei record diventa ingestibile e le informazioni chiave possono essere perse o registrate in modo impreciso. Il software MVS qui descritto consolida i metadati generati durante un esperimento dal microscopio, dal rilevatore/telecamera e da altri sistemi (come i portacampioni in situ) e li allinea con le rispettive immagini.

Oltre al consolidamento dei metadati, il software applica algoritmi di visione artificiale per tracciare e stabilizzare il campo visivo attraverso una combinazione di correzioni spaziali, del fascio e digitali utilizzando le funzioni Drift Correct e Focus Assist . Quando la funzione Drift Correct è attivata, viene generata un’immagine “modello” di correlazione incrociata utilizzando la prima immagine inserita nel software MVS. Il modello viene quindi confrontato con le immagini in arrivo per calcolare la direzione e l’entità della deriva o del movimento del campione. Con queste informazioni, il software MVS applica automaticamente le correzioni necessarie per mantenere le caratteristiche dell’immagine nello stesso posto regolando almeno uno dei tre parametri: posizione del palcoscenico, spostamento del fascio o dell’immagine e correzione dell’immagine digitale. La funzione Focus Assist utilizza una combinazione di algoritmi per assegnare un valore di messa a fuoco, chiamato punteggio di messa a fuoco a ciascuna immagine, e tali punteggi vengono confrontati per determinare l’entità e la direzione della regolazione della sfocatura da applicare per mantenere il campione a fuoco. In modalità di imaging STEM, il software MVS tenta di massimizzare il contrasto attraverso una versione proprietaria della varianza normalizzata per assegnare il punteggio di messa a fuoco. In modalità TEM, una somma radiale di intensità viene calcolata nella FFT e utilizzata per calcolare il punteggio di messa a fuoco. Le limitazioni alla capacità del software MVS di ottimizzare la messa a fuoco si verificano quando non è in grado di calcolare con precisione il punteggio di messa a fuoco corretto per un’immagine. Ciò si verifica in genere quando il microscopio è disallineato o il campione è significativamente fuori fuoco durante la calibrazione, impedendo al software di calcolare correttamente il corretto valore del punteggio di messa a fuoco iniziale. Il software MVS può avere difficoltà a calcolare il punteggio di messa a fuoco per campioni con frange reticolari ben definite, poiché le frange reticolari nella FFT possono “sopraffare” l’algoritmo di punteggio della messa a fuoco; Pertanto, se un campione si sposta fuori fuoco, il punteggio di messa a fuoco potrebbe non riflettere accuratamente il cambiamento di messa a fuoco. Al contrario, lavorare a bassi ingrandimenti o con un campione che ha un segnale FFT basso può anche rendere difficile calcolare un buon punteggio di messa a fuoco. Per mitigare queste difficoltà, il software MVS contiene una serie di algoritmi aggiuntivi che possono essere selezionati dall’utente per calcolare il punteggio di messa a fuoco se le impostazioni predefinite non sono adatte per il campione. Questi devono essere testati e applicati caso per caso per determinare i migliori algoritmi per un determinato esperimento.

I cambiamenti morfologici nella struttura del campione nel tempo vengono contabilizzati utilizzando un fattore di morphing del modello. Questo filtro è sintonizzabile dall’operatore, in modo che gli algoritmi di registrazione tengano conto dei cambiamenti morfologici nel tempo. Inoltre, il software monitora l’immagine continua, le impostazioni del microscopio e le impostazioni della telecamera o del rilevatore per aggiornare automaticamente il modello quando attivato da cambiamenti nella struttura del campione e dopo eventuali modifiche indotte dall’operatore ai parametri del microscopio, della fotocamera o del rilevatore. Come illustrato nella Figura 4, nella Figura 5, nel File supplementare 7 e nel File supplementare 8, il software MVS fornisce una stabilizzazione efficace e immediata, consentendo l’imaging ad alta risoluzione di campioni che si muovono o cambiano dinamicamente. Sebbene il software sia in grado di controllare velocità molto elevate di deriva o movimento del campione, come quelle che si verificano quando si applica una rampa di riscaldamento durante un esperimento in situ , ci sono limitazioni alle correzioni massime dello stadio o agli spostamenti del fascio che il software può controllare se il campione si muove o si sposta molto rapidamente. Questo limite è una funzione della velocità di aggiornamento dell’immagine, delle dimensioni del campo visivo e della velocità di deriva. Per un determinato campo visivo e velocità di aggiornamento dell’immagine, esiste una velocità massima di deriva che può essere corretta e, se i movimenti fisici non riescono a tenere il passo, il processo potrebbe terminare o diventare instabile. Dai modelli di registrazione generati quando vengono applicate funzionalità come Drift Correct , è possibile generare ulteriori metadati calcolati. Ad esempio, la correlazione delle corrispondenze è un record numerico dell’entità del cambiamento tra i modelli in una serie e viene utilizzato per identificare i punti in una linea temporale sperimentale in cui il campione è cambiato. Un alto valore di correlazione corrisponde a un campione che ha subito modifiche alla sua morfologia e un basso valore di correlazione corrisponde a un campione la cui struttura rimane relativamente statica. La correlazione di corrispondenza è particolarmente preziosa per gli studi in situ in quanto può essere tracciata graficamente, consentendo all’utente di individuare rapidamente le immagini nella serie corrispondenti a un cambiamento significativo del campione. È importante, tuttavia, comprendere che valori di correlazione di corrispondenza elevati possono anche corrispondere a cambiamenti nelle condizioni di imaging, come spostare lo stage o modificare l’ingrandimento, se queste azioni vengono eseguite mentre la funzione di correzione della deriva rimane attiva.

Il flusso di lavoro di calibrazione qui presentato utilizza un supporto di calibrazione unico e una routine di calibrazione semi-automatica per calibrare accuratamente il fascio in una varietà di condizioni dell’obiettivo con un intervento minimo dell’operatore. La routine di calibrazione della dose è accessibile tramite il software MVS installato sul TEM. Il software MVS legge automaticamente le impostazioni del microscopio rilevanti per salvare tutte le misurazioni di riferimento per esperimenti successivi. Su alcuni TEM non è possibile leggere le impostazioni di apertura o monocromatore, che devono essere inserite nelle impostazioni del software MVS dall’operatore durante le calibrazioni e durante l’uso. Ci sono promemoria integrati nel software per aiutare a mantenere aggiornate queste impostazioni di input dell’operatore seguendo le istruzioni del programma. Lo sviluppo di un supporto con un collettore di corrente incorporato, piuttosto che affidarsi a uno integrato altrove nella colonna del microscopio, è una scelta progettuale deliberata. Ciò consente al collettore di corrente di essere posizionato sullo stesso piano di un campione, eliminando gli errori nella misurazione della corrente causati dalla deflessione del fascio o le differenze nell’assorbimento degli elettroni da parte delle aperture in diverse posizioni del fascio. Il software MVS segue una routine automatizzata per misurare la corrente del fascio e l’area per qualsiasi combinazione di condizioni dell’obiettivo. Il software può quindi correlare queste calibrazioni misurate con la corrente della telecamera o dello schermo ed estrapolare eventuali cambiamenti di ingrandimento, ecc. all’area del fascio durante l’esperimento. Una volta generati, questi file di calibrazione possono essere utilizzati immediatamente e vengono automaticamente salvati per un uso successivo se il software rileva le stesse impostazioni utilizzate durante una sessione futura. Sebbene la longevità del file di calibrazione vari da microscopio a microscopio, gli autori hanno scoperto che sono in grado di utilizzare gli stessi file di calibrazione per diversi mesi senza osservare modifiche sostanziali ai valori attuali. Esistono routine integrate che monitorano il profilo di emissione delle pistole per aiutare a mantenere queste calibrazioni pertinenti, specialmente sulle pistole a emissione FEG fredda.

La normalizzazione delle misurazioni della dose tra microscopi e il tracciamento automatico dell’esposizione del fascio di un campione sono funzioni critiche del software MVS, in quanto consentono confronti quantitativi delle condizioni di dose tra esperimenti da eseguire su diversi sistemi di microscopi. La degradazione indotta dalla dose di un campione di zeolite (ZSM-5), ottenuta durante esperimenti identici utilizzando microscopi diversi, provoca la completa scomparsa delle macchie FFT dopo una dose massima cumulativa o soglia di elettroni (~60.000 e-/Å 2 quando si applica un’intensità di dose di ~500 e^–/Ų·s) per entrambe le configurazioni. Questi risultati comparativi dimostrano che il software di dose facilita misurazioni quantitative della dose riproducibili. La piccola differenza nella dose cumulativa alla quale si osserva la scomparsa completa del punto FFT per ciascun esperimento è probabilmente il risultato delle diverse tensioni di accelerazione impiegate dai due microscopi, con tensioni di accelerazione più basse che si traducono in più percorsi di danno da radiazioni e tensioni di accelerazione più elevate che tipicamente si traducono in più danni a catena²⁴. I risultati della letteratura per la dose critica di nanoparticelle ZSM-5 vanno da 9.000-14.000 e^–/Ų utilizzando le prime sparizioni spot FFT, piuttosto che la completa scomparsa di tutti i punti FFT^25,26. Nei nostri risultati, la prima scomparsa spot FFT corrisponde a una dose cumulativa di circa 25.000 e^–/Ų. Studi precedenti si basavano su misurazioni di corrente ottenute utilizzando uno schermo al fosforo, che è ben documentato per sottostimare le misurazioni della corrente del fascio rispetto a una tazza di Faraday¹⁵. La dose critica determinata può variare di un fattore due o più, a seconda del picco FFT utilizzato per tracciare la dose. Ciò indica che le frequenze spaziali più elevate degradano per prime e possono determinare valori diversi a seconda dell’accesso alla zona utilizzata durante le misurazioni (i nostri risultati si sono concentrati su punti FFT dell’intero cristallo di zeolite, piuttosto che su specifiche caratteristiche strutturali)^25,26. Queste differenze nelle tecniche e nella calibrazione attuale spiegano la differenza di valori tra i due esperimenti riportati nei nostri risultati e nei precedenti studi di letteratura.

Sebbene le interazioni della dose di elettroni siano un fattore significativo in molti esperimenti TEM, gli studi in situ e specificamente liquid-EM sono particolarmente sensibili ai suoi effetti. La radiolisi dei liquidi da parte del fascio di elettroni si traduce in una cascata di specie chimicamente reattive che possono interagire con il campione, complicando l’analisi. Sia l’intensità di dose o la fluenza utilizzata durante un esperimento liquido-EM che la dose cumulativa possono avere un’influenza sulla concentrazione di specie radicali generate a causa della radiolisi liquida^27,28. Pertanto, la raccolta e la registrazione dei metadati della dose cumulativa e dell’intensità di dose durante un esperimento consente una correlazione diretta tra le immagini e la storia della dose di un campione ed è un modo più accurato per chiarire e controllare l’impatto del fascio di elettroni in questi esperimenti. Sebbene non coperto da questo protocollo, un esempio dell’utilità delle funzionalità di gestione della dose per liquid-EM è mostrato nella Figura 6.

Figura 6: Crescita indotta dal fascio di nanoparticelle d’oro durante un esperimento liquido-EM in situ. (A) Panoramica STEM a basso ingrandimento della crescita delle particelle risultante con una sovrapposizione di colori della mappa della dose cumulativa in tutta la regione. Le aree rosse nella sovrapposizione indicano regioni di esposizione a dose cumulativa elevata e le aree gialle indicano regioni di esposizione inferiore. L’evidenziazione di un singolo pixel con il cursore o il disegno di una casella su un’area utilizzando gli strumenti di disegno inclusi indica la dose cumulativa per quel pixel o area. La barra della scala è di 2 μm. (B,C) Immagini STEM ad ingrandimento più elevato delle aree indicate dalle caselle arancioni (b,c) in A. L’area b, esposta a una dose cumulativa più elevata (10,811 e-/Å 2) contiene particelle più grandi di quelle trovate nell’area c, che è stata esposta a una dose cumulativa inferiore (0,032 e^–/Ų). Fare clic qui per visualizzare una versione ingrandita di questa figura.

L’intensità di dose arricchita e i metadati della dose cumulativa semplificano l’analisi dei percorsi di crescita e degradazione dei nanomateriali dose-dipendenti. La figura 6 mostra la riduzione indotta dal fascio di una soluzione di ioni cloruro aurico d’oro (HAuCl₃) in acqua durante esperimenti liquidi-EM. Dalla sovrapposizione della mappa della dose a colori nella Figura 6A, è facile visualizzare che la dose cumulativa di elettroni influenza la dimensione e la forma risultanti delle nanoparticelle 29,30,31,32. La panoramica STEM a basso ingrandimento mostra le regioni esposte a una dose cumulativa alta (rossa) e bassa (gialla). Le particelle nella regione esposta a dosi più elevate sono più grandi di quelle nelle regioni esposte a dosi cumulative più basse. Poiché i metadati della dose sono direttamente incorporati in ogni immagine a livello di pixel, i complessi effetti della dose di elettroni negli esperimenti liquid-EM possono ora essere analizzati sistematicamente in un modo che non era mai stato possibile prima.

In questo protocollo, abbiamo dimostrato che il software MVS fornisce una soluzione completa per calibrare, monitorare e tracciare sia la dose elettronica che la dose totale consegnata a un campione su base pixel per pixel. Questa capacità sblocca un nuovo paradigma per l’imaging di campioni sensibili alla dose e la comprensione delle interazioni del fascio di elettroni. È particolarmente interessante per gli esperimenti liquido-EM, in quanto consentirà un’interrogazione più efficace sul ruolo svolto dalla dose di elettroni e migliorerà la riproducibilità sperimentale. La nostra speranza è che questo nuovo quadro consenta la raccolta accurata delle informazioni sull’intensità di dose e sulla dose accumulata, faciliti la condivisione di questi dati con la comunità per un’interpretazione più accurata dei risultati TEM e promuova la collaborazione scientifica e la condivisione dei dati consentendo la segnalazione e l’analisi dei principali FAIR.