Un enfoque de visión artificial para flujos de trabajo de microscopía electrónica de transmisión, análisis de resultados y gestión de datos

La interpretación de los resultados experimentales de TEM a menudo depende de muchos parámetros experimentales interconectados, como ajustes de microscopio, condiciones de imagen y, en el caso de experimentos operativos o in situ, cambios en el entorno o estímulos ^1,23. El análisis preciso de grandes conjuntos de datos TEM, sobre los cuales estos parámetros pueden modificarse continuamente, requiere una atención significativa por parte del operador para registrar con precisión cada condición y configuración para cada imagen en un diario de laboratorio u otra fuente de documentación externa. A medida que los conjuntos de datos TEM crecen en tamaño y complejidad, el mantenimiento manual de registros se vuelve inmanejable y la información clave puede perderse o registrarse de manera inexacta. El software MVS descrito aquí consolida los metadatos generados durante un experimento desde el microscopio, el detector / cámara y otros sistemas (como los soportes de muestras in situ) y los alinea con sus respectivas imágenes.

Además de la consolidación de metadatos, el software aplica algoritmos de visión artificial para rastrear y estabilizar el campo de visión a través de una combinación de correcciones espaciales, de haz y digitales utilizando sus funciones Drift Correct y Focus Assist . Cuando se activa la función Drift Correct , se genera una imagen de “plantilla” de correlación cruzada utilizando la primera imagen extraída en el software MVS. La plantilla se compara con las imágenes entrantes para calcular la dirección y la magnitud de la deriva o el movimiento de la muestra. Con esta información, el software MVS aplica automáticamente las correcciones necesarias para mantener las características de la imagen en el mismo lugar ajustando al menos uno de tres parámetros: ubicación del escenario, haz o desplazamiento de imagen, y corrección de imagen digital. La función Focus Assist utiliza una combinación de algoritmos para asignar un valor de enfoque, llamado puntuación de enfoque a cada imagen, y esas puntuaciones se comparan para determinar la magnitud y la dirección del ajuste de desenfoque que se debe aplicar para mantener la muestra enfocada. En el modo de imagen STEM, el software MVS intenta maximizar el contraste a través de una versión patentada de varianza normalizada para asignar la puntuación de enfoque. En el modo TEM, se calcula una suma radial de intensidad en el FFT y se utiliza para calcular la puntuación de enfoque. Las limitaciones a la capacidad del software MVS para optimizar el enfoque ocurren cuando no puede calcular con precisión la puntuación de enfoque correcta para una imagen. Esto ocurre típicamente cuando el microscopio está desalineado o la muestra está significativamente desenfocada durante la calibración, lo que impide que el software calcule correctamente el valor correcto de la puntuación de enfoque inicial. El software MVS puede tener dificultades para calcular la puntuación de enfoque para muestras con franjas de celosía bien definidas, ya que las franjas de celosía en el FFT pueden “abrumar” el algoritmo de puntuación de enfoque; Por lo tanto, si una muestra se desenfoca, es posible que la puntuación de enfoque no refleje con precisión el cambio de enfoque. Por el contrario, trabajar con aumentos bajos o con una muestra que tiene una señal FFT baja también puede dificultar el cálculo de una buena puntuación de enfoque. Para mitigar estas dificultades, el software MVS contiene una serie de algoritmos adicionales que pueden ser seleccionados por el usuario para calcular la puntuación de enfoque si la configuración predeterminada no es adecuada para la muestra. Estos deben ser probados y aplicados caso por caso para determinar los mejores algoritmos para un experimento dado.

Los cambios morfológicos en la estructura de la muestra a lo largo del tiempo se tienen en cuenta utilizando un factor de transformación de plantilla. Este filtro es ajustable por el operador, de modo que los algoritmos de registro tienen en cuenta los cambios morfológicos a lo largo del tiempo. Además, el software monitorea la imagen continua, la configuración del microscopio y la configuración de la cámara o el detector para actualizar automáticamente la plantilla cuando se activa por cambios en la estructura de la muestra y después de cualquier cambio inducido por el operador en los parámetros del microscopio, la cámara o el detector. Como se muestra en la Figura 4, Figura 5, Archivo Suplementario 7 y Archivo Suplementario 8, el software MVS proporciona una estabilización efectiva e inmediata, lo que permite obtener imágenes de alta resolución de muestras que se mueven o cambian dinámicamente. Aunque el software es capaz de controlar tasas muy altas de deriva o movimiento de muestra, como las que ocurren al aplicar una rampa de calentamiento durante un experimento in situ, existen limitaciones a las correcciones máximas de etapa o cambios de haz que el software puede controlar si la muestra se mueve o se desplaza muy rápidamente. Este límite es una función de la tasa de actualización de la imagen, el tamaño del campo de visión y la velocidad de deriva. Para un campo de visión dado y la tasa de actualización de la imagen, hay una tasa de deriva máxima que se puede corregir, y si los movimientos físicos no pueden seguir el ritmo, entonces el proceso puede terminar o volverse inestable. A partir de las plantillas de registro generadas cuando se aplican características como Drift Correct, se pueden generar metadatos calculados adicionales. Por ejemplo, la correlación de coincidencias es un registro numérico del grado de cambio entre plantillas en una serie y se utiliza para identificar puntos en una línea de tiempo experimental en la que cambió la muestra. Un valor de correlación de coincidencia alto corresponde a una muestra que ha sufrido cambios en su morfología, y un valor de correlación de coincidencia baja corresponde a una muestra cuya estructura permanece relativamente estática. La correlación de coincidencias es particularmente valiosa para los estudios in situ, ya que se puede trazar gráficamente, lo que permite al usuario identificar rápidamente las imágenes de la serie correspondientes a un cambio significativo en la muestra. Sin embargo, es importante comprender que los valores de correlaciones de coincidencia alta también pueden corresponder a cambios en las condiciones de imagen, como mover el escenario o cambiar el aumento, si estas acciones se realizan mientras la función de corrección de deriva permanece activa.

El flujo de trabajo de calibración presentado aquí utiliza un soporte de calibración único y una rutina de calibración semiautomática para calibrar con precisión el haz en una variedad de condiciones de lente con una intervención mínima del operador. Se accede a la rutina de calibración de dosis a través del software MVS instalado en el TEM. El software MVS lee automáticamente la configuración del microscopio relevante para guardar todas las mediciones como referencia para experimentos posteriores. En algunos TEM, no es posible leer los ajustes de apertura o monocromador, y el operador debe introducirlos en los ajustes del software MVS durante las calibraciones y durante el uso. Hay recordatorios integrados en el software para ayudar a mantener actualizada esta configuración de entrada del operador siguiendo las instrucciones del programa. El desarrollo de un soporte con un colector de corriente incorporado, en lugar de depender de uno integrado en otra parte de la columna del microscopio, es una elección de diseño deliberada. Esto permite que el colector de corriente se coloque en el mismo plano que una muestra, eliminando errores en la medición de corriente causados por la desviación del haz o diferencias en la absorción de electrones por aberturas en diferentes posiciones del haz. El software MVS sigue una rutina automatizada para medir la corriente del haz y el área para cualquier combinación de condiciones de lente. El software puede correlacionar estas calibraciones medidas con la cámara o la corriente de la pantalla y extrapolar cualquier cambio en la ampliación, etc. al área del haz durante el experimento. Una vez generados, estos archivos de calibración se pueden utilizar inmediatamente y se guardan automáticamente para su uso posterior si el software detecta la misma configuración que se utiliza durante una sesión futura. Aunque la longevidad del archivo de calibración varía de un microscopio a otro, los autores han descubierto que pueden usar los mismos archivos de calibración durante varios meses sin observar cambios sustanciales en los valores actuales. Hay rutinas incorporadas que monitorean el perfil de emisión de las pistolas para ayudar a mantener estas calibraciones relevantes, especialmente en pistolas de emisión FEG frías.

La normalización de las mediciones de dosis entre microscopios y el seguimiento automatizado de la exposición del haz de una muestra son funciones críticas del software MVS, ya que permiten realizar comparaciones cuantitativas de las condiciones de dosis entre experimentos en diferentes sistemas de microscopio. La degradación inducida por la dosis de una muestra de zeolita (ZSM-5), obtenida durante experimentos idénticos utilizando diferentes microscopios, da como resultado la desaparición completa de las manchas FFT después de una dosis máxima acumulada o umbral de electrones (~ 60.000 e-/Å 2 cuando se aplica una tasa de dosis de ~ 500 e^–/Ų ·) para ambas configuraciones. Estos resultados comparativos demuestran que el software de dosis facilita mediciones de dosis cuantitativas reproducibles. La pequeña diferencia en la dosis acumulada a la que se observa la desaparición completa del punto FFT para cada experimento es probablemente el resultado de los diferentes voltajes de aceleración empleados por los dos microscopios, con voltajes de aceleración más bajos que resultan en más vías de daño por radiación y voltajes de aceleración más altos que generalmente resultan en más daños en cadena²⁴. Los resultados de la literatura para la dosis crítica de nanopartículas ZSM-5 varían de 9.000 a 14.000 e^–/Ų utilizando las primeras desapariciones de puntos FFT, en lugar de la desaparición completa de todos los puntos FFT^25,26. En nuestros resultados, la primera desaparición del punto FFT corresponde a una dosis acumulada de alrededor de 25.000 e^–/Ų. Estudios anteriores se basaron en mediciones de corriente obtenidas utilizando una pantalla de fósforo, que está bien documentada para subestimar las mediciones de corriente del haz en comparación con una taza de Faraday¹⁵. La dosis crítica determinada puede variar en un factor de dos o más, dependiendo del pico de FFT que se utilice para rastrear la dosis. Esto indica que las frecuencias espaciales más altas se degradan primero, y pueden dar lugar a diferentes valores dependiendo de la zona de acceso utilizada durante las mediciones (nuestros resultados se centraron en los puntos FFT de todo el cristal de zeolita, en lugar de características estructurales específicas)^25,26. Estas diferencias en las técnicas y la calibración actual explican la diferencia en los valores entre los dos experimentos informados en nuestros resultados y estudios previos de la literatura.

Aunque las interacciones de la dosis de electrones son un factor significativo en muchos experimentos TEM, los estudios in situ y específicamente los estudios de EM líquido son particularmente sensibles a sus efectos. La radiólisis de líquidos por el haz de electrones da como resultado una cascada de especies químicamente reactivas que pueden interactuar con la muestra, complicando el análisis. Tanto la tasa de dosis o fluencia utilizada durante un experimento de EM líquido como la dosis acumulada pueden influir en la concentración de especies radicales generadas debido a la radiólisis líquida^27,28. Por lo tanto, la recopilación y el registro de metadatos de dosis acumulada y tasa de dosis a lo largo de un experimento permite la correlación directa entre las imágenes y el historial de dosis de una muestra, y es una forma más precisa de dilucidar y controlar el impacto del haz de electrones en estos experimentos. Aunque no está cubierto en este protocolo, en la Figura 6 se muestra un ejemplo de la utilidad de las características de gestión de dosis para EM líquido.

Figura 6: Crecimiento inducido por haz de nanopartículas de oro durante un experimento EM líquido in situ. (A) Descripción general de STEM de bajo aumento del crecimiento de partículas resultante con una superposición de color del mapa de dosis acumulativas en toda la región. Las áreas rojas en la superposición indican regiones de alta exposición a dosis acumuladas y las áreas amarillas indican regiones de menor exposición. Resaltar un píxel individual con el cursor o dibujar un cuadro sobre un área utilizando las herramientas de dibujo incluidas indica la dosis acumulada para ese píxel o área. La barra de escala es de 2 μm. (B,C) Imágenes STEM de mayor aumento de las áreas indicadas por los cuadros naranjas (b,c) en A. El área b, expuesta a una dosis acumulada más alta (10.811 e-/Å 2) contiene partículas más grandes que las encontradas en el área c, que fue expuesta a una dosis acumulativa más baja (0.032 e^–/Ų). Haga clic aquí para ver una versión más grande de esta figura.

La tasa de dosis enriquecida y los metadatos de dosis acumulativas simplifican el análisis de las vías de crecimiento y degradación de nanomateriales dependientes de la dosis. La Figura 6 muestra la reducción inducida por haz de una solución de iones de cloruro áurico de oro (HAuCl₃) en agua durante experimentos de EM líquido. A partir de la superposición del mapa de dosis de color en la Figura 6A, es fácil visualizar que la dosis acumulada de electrones influye en el tamaño y la forma resultantes de las nanopartículas 29,30,31,32. La descripción general de STEM de bajo aumento muestra regiones expuestas a una dosis acumulativa alta (roja) y baja (amarilla). Las partículas en la región expuesta a dosis más altas son más grandes que las de las regiones expuestas a dosis acumulativas más bajas. Debido a que los metadatos de dosis están directamente incrustados en cada imagen a nivel de píxel, los efectos complejos de la dosis de electrones en experimentos de EM líquido ahora se pueden analizar sistemáticamente de una manera que nunca antes se había logrado.

En este protocolo, hemos demostrado que el software MVS proporciona una solución integral para calibrar, monitorear y rastrear tanto la dosis de electrones como la dosis total entregada a una muestra píxel por píxel. Esta capacidad desbloquea un nuevo paradigma para obtener imágenes de muestras sensibles a la dosis y comprender las interacciones del haz de electrones. Es particularmente emocionante para los experimentos de EM líquido, ya que permitirá un interrogatorio más efectivo sobre el papel que desempeña la dosis de electrones y mejorará la reproducibilidad experimental. Esperamos que este nuevo marco permita la recopilación precisa de la tasa de dosis y la información de dosis acumulada, facilite el intercambio de estos datos con la comunidad para una interpretación más precisa de los resultados de TEM y avance en la colaboración científica y el intercambio de datos al permitir la presentación de informes y análisis principales de FAIR.