Segmentación basada en aprendizaje profundo de tomogramas crioelectrónicos

NOTA: Dragonfly 2022.1 requiere una estación de trabajo de alto rendimiento. Las recomendaciones del sistema se incluyen en la tabla de materiales junto con el hardware de la estación de trabajo utilizada para este protocolo. Todos los tomogramas utilizados en este protocolo se agrupan 4x de un tamaño de píxel de 3.3 a 13.2 ang / pix. Las muestras utilizadas en los resultados representativos se obtuvieron de una empresa (ver la Tabla de materiales) que sigue las pautas de cuidado de los animales que se alinean con los estándares éticos de esta institución. El tomograma utilizado en este protocolo y el ROI múltiple que se generó como entrada de entrenamiento se han incluido como un conjunto de datos incluido en el Archivo Suplementario 1 (que se puede encontrar en https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct) para que el usuario pueda seguir los mismos datos si lo desea. Dragonfly también alberga una base de datos de acceso abierto llamada Infinite Toolbox donde los usuarios pueden compartir redes entrenadas. 1. Configuración Cambio del espacio de trabajo predeterminado:Para cambiar el espacio de trabajo para que refleje el utilizado en este protocolo, en el lado izquierdo del panel Principal, desplácese hacia abajo hasta la sección Propiedades de vista de escena y anule la selección de Mostrar leyendas. Desplácese hacia abajo hasta la sección Diseño y seleccione la vista Escena única y Cuatro vistas iguales . Para actualizar la unidad predeterminada, vaya a Archivo | Preferencias. En la ventana que se abre, cambie la unidad predeterminada de milímetros a nanómetros. Combinaciones de teclas predeterminadas útiles:Presione Esc para mostrar el punto de mira en las vistas 2D y permitir la rotación del volumen 3D en la vista 3D. Presione X para ocultar el punto de mira en las vistas 2D y permitir la traducción 2D y la traducción de volumen 3D en la vista 3D. Desplácese sobre el punto de mira para ver pequeñas flechas en las que se puede hacer clic y arrastrar para cambiar el ángulo del plano de visión en las otras vistas 2D. Presione Z para ingresar el estado de zoom en ambas vistas, lo que permite a los usuarios hacer clic y arrastrar a cualquier lugar para acercar y alejar. Haga doble clic en una vista de la escena de cuatro vistas para enfocar solo esa vista; Haga doble clic de nuevo para volver a las cuatro vistas. Guarde periódicamente el progreso exportando todo en la pestaña Propiedades como un objeto ORS para facilitar la importación. Seleccione todos los objetos de la lista y haga clic derecho en Exportar | Como objeto ORS. Asigne un nombre al archivo y guárdelo. Alternativamente, vaya a Archivo | Guardar sesión. Para utilizar la función de guardado automático en el software, habilítela a través de Archivo | Preferencias | Guardado automático. 2. Importación de imágenes Para importar imágenes, vaya a Archivo | Importar archivos de imagen. Haga clic en Agregar, desplácese hasta el archivo de imagen y haga clic en Abrir | Siguiente | Terminar.NOTA: El software no reconoce los archivos .rec. Todos los tomogramas deben tener el sufijo .mrc. Si utiliza los datos proporcionados, vaya a Archivo | Importar objeto(s). Desplácese hasta el archivo Training.ORSObject , haga clic en Abrir y, a continuación, haga clic en Aceptar. 3. Preprocesamiento (Figura 1.1) Cree una escala de intensidad personalizada (utilizada para calibrar las intensidades de imagen en los conjuntos de datos). Ir a Utilidades | Gestor de unidades de dimensión. En la parte inferior izquierda, haga clic en + para crear una nueva unidad de dimensión. Elija una función de alta intensidad (brillante) y baja intensidad (oscura) que esté en todos los tomogramas de interés. Asigne a la unidad un nombre y una abreviatura (por ejemplo, para esta escala, establezca las cuentas fiduciales en 0.0 Intensidad estándar y el fondo en 100.0). Guarde la unidad de dimensión personalizada.NOTA: Una escala de intensidad personalizada es una escala arbitraria que se crea y se aplica a los datos para garantizar que todos los datos estén en la misma escala de intensidad a pesar de haberse recopilado en diferentes momentos o en diferentes equipos. Elija las características claras y oscuras que mejor representen el rango en el que se encuentra la señal. Si no hay fiduciarios en los datos, simplemente elija la característica más oscura que se segmentará (la región más oscura de la proteína, por ejemplo). Para calibrar imágenes a la escala de intensidad personalizada, haga clic con el botón derecho en el conjunto de datos en la columna Propiedades en el lado derecho de la pantalla y seleccione Calibrar escala de intensidad. En la pestaña Principal en el lado izquierdo de la pantalla, desplácese hacia abajo hasta la sección Sonda . Usando la herramienta de sonda circular con un diámetro apropiado, haga clic en algunos lugares en la región de fondo del tomograma y registre el número promedio en la columna Intensidad sin procesar ; repita el procedimiento para los marcadores fiduciarios y, a continuación, haga clic en Calibrar. Si es necesario, ajuste el contraste para que las estructuras vuelvan a ser visibles con la herramienta Área de la sección Nivelación de ventana de la ficha Principal. Filtrado de imágenes:NOTA: El filtrado de imágenes puede reducir el ruido y aumentar la señal. Este protocolo utiliza tres filtros que están integrados en el software, ya que funcionan mejor para estos datos, pero hay muchos filtros disponibles. Una vez establecido un protocolo de filtrado de imágenes para los datos de interés, será necesario aplicar exactamente el mismo protocolo a todos los tomogramas antes de la segmentación.En la pestaña principal del lado izquierdo, desplácese hacia abajo hasta el Panel de procesamiento de imágenes. Haga clic en Avanzado y espere a que se abra una nueva ventana. En el panel Propiedades , seleccione el conjunto de datos que desea filtrar y hágalo visible haciendo clic en el icono del ojo situado a la izquierda del conjunto de datos. En el panel Operaciones , utilice el menú desplegable para seleccionar Ecualización de histograma (en la sección Contraste ) para la primera operación. Seleccione Agregar operación | Gaussiano (en la sección Suavizado ). Cambie la dimensión del kernel a 3D. Agregar una tercera operación; a continuación, seleccione Quitar enfoque (en la sección Enfoque ). Deje la salida para este. Aplíquelo a todos los sectores y deje que se ejecute el filtrado, luego cierre la ventana Procesamiento de imágenes para volver a la interfaz principal. 4. Crear datos de entrenamiento (Figura 1.2) Identifique el área de entrenamiento ocultando primero el conjunto de datos sin filtrar haciendo clic en el icono del ojo situado a la izquierda en el panel Propiedades de datos . A continuación, muestre el conjunto de datos recién filtrado (que se denominará automáticamente DataSet-HistEq-Gauss-Unsharp). Utilizando el conjunto de datos filtrado, identifique una subregión del tomograma que contenga todas las características de interés. Para crear un cuadro alrededor de la región de interés, en el lado izquierdo, en la pestaña principal , desplácese hacia abajo hasta la categoría Formas y seleccione Crear un cuadro. Mientras esté en el panel Cuatro Vistas , utilice los diferentes planos 2D para ayudar a guiar/arrastrar los bordes de la caja para encerrar solo la región de interés en todas las dimensiones. En la lista de datos, seleccione la región Cuadro y cambie el color del borde para facilitar la visualización haciendo clic en el cuadrado gris junto al símbolo del ojo.NOTA: El tamaño de parche más pequeño para un U-Net 2D es de 32 x 32 píxeles; 400 x 400 x 50 píxeles es un tamaño de caja razonable para comenzar. Para crear un ROI múltiple, en el lado izquierdo, seleccione la pestaña Segmentación | Nuevo y marque Crear como Multi-ROI. Asegúrese de que el número de clases corresponde al número de características de interés + una clase de fondo. Asigne un nombre a los datos de entrenamiento multi-ROI y asegúrese de que la geometría corresponde al conjunto de datos antes de hacer clic en Aceptar. Segmentación de los datos de entrenamientoDesplácese por los datos hasta dentro de los límites de la región en caja. Seleccione Multi-ROI en el menú de propiedades de la derecha. Haga doble clic en el primer nombre de clase en blanco en el ROI múltiple para asignarle un nombre. Pinta con el pincel 2D. En la pestaña de segmentación de la izquierda, desplázate hacia abajo hasta Herramientas 2D y selecciona un pincel circular. Luego, seleccione Adaptive Gaussian o Local OTSU en el menú desplegable. Para pintar, mantenga presionada la tecla izquierda y haga clic. Para borrar, mantenga presionada la tecla Mayús a la izquierda y haga clic.NOTA: El pincel reflejará el color de la clase seleccionada actualmente. Repita el paso anterior para cada clase de objeto en el ROI múltiple. Asegúrese de que todas las estructuras dentro de la región en caja estén completamente segmentadas o serán consideradas en segundo plano por la red. Cuando se hayan etiquetado todas las estructuras, haga clic con el botón derecho en la clase Background en Multi-ROI y seleccione Agregar todos los vóxeles sin etiquetar a la clase. Cree un nuevo ROI de clase única llamado Máscara. Asegúrese de que la geometría esté establecida en el dataset filtrado y, a continuación, haga clic en Aplicar. En la pestaña de propiedades de la derecha, haga clic con el botón derecho en el cuadro y seleccione Agregar al ROI. Agrégalo al ROI de la máscara. Para recortar los datos de entrenamiento con la máscara, en la pestaña Propiedades , seleccione tanto el ROI múltiple de datos de entrenamiento como el ROI de la máscara manteniendo presionada la tecla Ctrl y haciendo clic en cada uno. A continuación, haga clic en Intersecar debajo de la lista de propiedades de datos en la sección denominada Operaciones booleanas. Asigne al nuevo conjunto de datos el nombre Entrada de entrenamiento recortada y asegúrese de que la geometría corresponde al conjunto de datos filtrado antes de hacer clic en Aceptar. 5. Uso del asistente de segmentación para el entrenamiento iterativo (Figura 1.3) Para importar los datos de entrenamiento al asistente de segmentación, primero haga clic con el botón secundario en el conjunto de datos filtrado en la pestaña Propiedades y, a continuación, seleccione la opción Asistente para segmentación . Cuando se abra una nueva ventana, busque la pestaña de entrada en el lado derecho. Haga clic en Importar fotogramas desde un ROI múltiple y seleccione la entrada de entrenamiento recortada. (Opcional) Cree un marco de retroalimentación visual para monitorear el progreso del entrenamiento en tiempo real.Seleccione un marco de los datos que no esté segmentado y haga clic en + para agregarlo como un nuevo marco. Haga doble clic en la etiqueta mixta situada a la derecha del marco y cámbiela a Supervisión. Para generar un nuevo modelo de red neuronal, en el lado derecho de la pestaña Modelos , haga clic en el botón + para generar un nuevo modelo. Seleccione U-Net en la lista y, a continuación, en Dimensión de entrada, seleccione 2,5D y 5 sectores, y, a continuación, haga clic en Generar. Para entrenar la red, haga clic en Entrenar en la parte inferior derecha de la ventana SegWiz .NOTA: El entrenamiento se puede detener temprano sin perder el progreso. Para usar la red entrenada para segmentar nuevas tramas, cuando se complete la capacitación de U-Net, cree una nueva trama y haga clic en Predecir (abajo a la derecha). A continuación, haga clic en la flecha hacia arriba en la parte superior derecha del fotograma previsto para transferir la segmentación al fotograma real. Para corregir la predicción, pulse Ctrl y haga clic en dos clases para cambiar los píxeles segmentados de una a otra. Seleccione ambas clases y pinte con el pincel para pintar solo los píxeles que pertenecen a cualquiera de las clases. Corrija la segmentación en al menos cinco nuevos fotogramas.NOTA: Pintar con la herramienta de pincel mientras ambas clases están seleccionadas significa que en lugar de borrar con mayús y clic, como lo hace normalmente, convertirá los píxeles de la primera clase a la segunda. Ctrl y haga clic logrará lo contrario. Para el entrenamiento iterativo, haga clic en el botón Entrenar nuevamente y permita que la red entrene más durante otras 30-40 épocas más, momento en el que detenga el entrenamiento y repita los pasos 4.5 y 4.6 para otra ronda de entrenamiento.NOTA: De esta manera, un modelo se puede entrenar y mejorar iterativamente utilizando un único conjunto de datos. Para publicar la red, cuando esté satisfecho con su rendimiento, salga del Asistente para segmentación. En el cuadro de diálogo que aparece automáticamente preguntando qué modelos publicar (guardar), seleccione la red correcta, asígnele un nombre y, a continuación, publíquela para que la red esté disponible para su uso fuera del asistente de segmentación. 6. Aplicar la red (Figura 1.4) Para aplicar primero al tomograma de entrenamiento, seleccione el conjunto de datos filtrado en el panel Propiedades . En el panel Segmentación de la izquierda, desplázate hacia abajo hasta la sección Segmento con IA . Asegúrese de que está seleccionado el conjunto de datos correcto, elija el modelo que se acaba de publicar en el menú desplegable y, a continuación, haga clic en Segmento | Todas las rebanadas. Como alternativa, seleccione Vista previa para ver una vista previa de un solo segmento de la segmentación. Para aplicarlo a un conjunto de datos de inferencia, importe el nuevo tomograma. Preproceso según el paso 3 (figura 1.1). En el panel Segmentación, vaya a la sección Segmento con IA. Asegúrese de que el tomograma recién filtrado es el conjunto de datos seleccionado, elija el modelo entrenado previamente y haga clic en Segmento | Todas las rebanadas. 7. Manipulación y limpieza de segmentación Limpie rápidamente el ruido eligiendo primero una de las clases que tiene ruido segmentado y la característica de interés. Haga clic con el botón derecho | Islas de proceso | Eliminar por Voxel Count | Seleccione un tamaño de vóxel. Comience poco a poco (~ 200) y aumente gradualmente el conteo para eliminar la mayor parte del ruido. Para la corrección de segmentación, pulse Ctrl y haga clic en dos clases para pintar sólo los píxeles que pertenecen a esas clases. Ctrl-clic + arrastrar con las herramientas de segmentación para cambiar los píxeles de la segunda clase a la primera y Mayús y clic + arrastrar para lograr lo contrario. Continúe haciendo esto para corregir rápidamente los píxeles etiquetados incorrectamente. Separar los componentes conectados.Elige una clase. Haga clic con el botón derecho en una clase en Multi-ROI | Separar componentes conectados para crear una nueva clase para cada componente que no esté conectado a otro componente de la misma clase. Utilice los botones situados debajo de Multi-ROI para combinar fácilmente las clases. Exporte el ROI como binario/TIFF.Elija una clase en Multi-ROI, luego haga clic con el botón derecho y extraiga la clase como ROI. En el panel de propiedades de arriba, seleccione el nuevo ROI, haga clic con el botón derecho | Exportación | ROI como binario (asegúrese de que la opción para exportar todas las imágenes en un archivo esté seleccionada).NOTA: Los usuarios pueden convertir fácilmente de tiff a formato mrc utilizando el programa IMOD tif2mrc20. Esto es útil para el trazado de filamentos. 8. Generación de coordenadas para el promedio de sub-tomogramas a partir del ROI Extraer una clase.Haga clic con el botón derecho en Clase que se utilizará para promediar | Extraer clase como ROI. Haga clic con el botón derecho en el ROI de la clase | Componentes conectados | Nuevo Multi-ROI (26 conectados). Generar coordenadas.Haga clic con el botón derecho en el nuevo Multi-ROI | Generador escalar. Expandir Mediciones básicas con conjunto de datos | marque Centro ponderado de masa X, Y y Z. Seleccione el conjunto de datos y el proceso. Haga clic con el botón derecho en Multi-ROI | Exportar valores escalares. Marque Seleccionar todas las ranuras escalares y, a continuación, Aceptar para generar coordenadas mundiales centroides para cada clase en el ROI múltiple como un archivo CSV.NOTA: Si las partículas están muy juntas y las segmentaciones se tocan, puede ser necesario realizar una transformación de cuenca para separar los componentes en un ROI múltiple. 9. Transformación de cuencas hidrográficas Extraiga la clase haciendo clic con el botón derecho en la clase Multi-ROI que se utilizará para promediar | Extraer clase como ROI. Nombra esta máscara de cuenca de ROI. (Opcional) Cerrar agujeros.Si las partículas segmentadas tienen agujeros o aberturas, ciérrelos para la cuenca. Haga clic en ROI en Propiedades de datos. En la pestaña Segmentación (a la izquierda), vaya a Operaciones morfológicas y use cualquier combinación de Dilate, Erode y Close necesaria para lograr segmentaciones sólidas sin agujeros. Invertir el ROI haciendo clic en el ROI | Copiar objeto seleccionado (debajo de Propiedades de datos). Seleccione el ROI copiado y, en el lado izquierdo, en la pestaña Segmentación , haga clic en Invertir. Crear un mapa de distancia haciendo clic con el botón derecho en el ROI invertido | Crear mapeo de | Mapa de distancia. Para su uso posterior, haga una copia del mapa de distancia e invierta (haga clic con el botón derecho | Modificar y transformar | Invertir valores | Aplicar). Asigne a este mapa invertido el nombre Paisaje. Crea puntos semilla.Oculte el ROI y muestre el mapa de distancia. En la pestaña Segmentación , haga clic en Definir rango y disminuya el rango hasta que solo se resalten unos pocos píxeles en el centro de cada punto y ninguno esté conectado a otro punto. En la parte inferior de la sección Rango , haga clic en Agregar a nuevo. Asigne a este nuevo ROI Seedpoints. Realizar la transformación de cuencas hidrográficas.Haz clic con el botón derecho en Seedpoints ROI | Componentes conectados | Nuevo Multi-ROI (26 conectados). Haga clic con el botón derecho en el ROI múltiple recién generado | Transformación de cuenca. Seleccione el mapa de distancia denominado Paisaje y haga clic en Aceptar; seleccione el ROI denominado Watershed Mask y haga clic en OK para calcular una transformación de cuenca de cada punto de semilla y separar las partículas individuales en clases separadas en el ROI múltiple. Genere coordenadas como en el paso 8.2. Figura 1: Flujo de trabajo. 1) Preprocesar el tomograma de entrenamiento calibrando la escala de intensidad y filtrando el conjunto de datos. 2) Cree los datos de entrenamiento segmentando a mano una pequeña porción de un tomograma con todas las etiquetas apropiadas que el usuario desea identificar. 3) Usando el tomograma filtrado como entrada y la segmentación manual como salida de entrenamiento, se entrena una U-Net multicorte de cinco capas en el asistente de segmentación. 4) La red entrenada se puede aplicar al tomograma completo para anotarlo y se puede generar una representación 3D de cada clase segmentada. Haga clic aquí para ver una versión más grande de esta figura.