Segmentazione basata sul deep learning dei tomogrammi crioelettronici
Summary
Questo è un metodo per addestrare un U-Net multi-fetta per la segmentazione multi-classe di tomogrammi crioelettronici utilizzando una porzione di un tomogramma come input di allenamento. Descriviamo come dedurre questa rete ad altri tomogrammi e come estrarre segmentazioni per ulteriori analisi, come la media dei sottotomogrammi e il tracciamento dei filamenti.
Abstract
La tomografia crioelettronica (cryo-ET) consente ai ricercatori di visualizzare le cellule nel loro stato nativo e idratato alla massima risoluzione attualmente possibile. La tecnica ha diverse limitazioni, tuttavia, che rendono l’analisi dei dati che genera dispendiosa in termini di tempo e difficile. La segmentazione manuale di un singolo tomogramma può richiedere da ore a giorni, ma un microscopio può facilmente generare 50 o più tomogrammi al giorno. Gli attuali programmi di segmentazione del deep learning per la crio-ET esistono, ma sono limitati alla segmentazione di una struttura alla volta. Qui, le reti neurali convoluzionali multi-slice U-Net vengono addestrate e applicate per segmentare automaticamente più strutture contemporaneamente all’interno dei criotogrammi. Con una corretta pre-elaborazione, queste reti possono essere dedotte in modo robusto per molti tomogrammi senza la necessità di addestrare singole reti per ciascun tomogramma. Questo flusso di lavoro migliora notevolmente la velocità con cui i tomogrammi crioelettronici possono essere analizzati riducendo il tempo di segmentazione a meno di 30 minuti nella maggior parte dei casi. Inoltre, le segmentazioni possono essere utilizzate per migliorare l’accuratezza del tracciamento dei filamenti all’interno di un contesto cellulare e per estrarre rapidamente le coordinate per la media dei sottotomogrammi.
Introduction
Gli sviluppi hardware e software nell’ultimo decennio hanno portato a una “rivoluzione della risoluzione” per la microscopia crioelettronica (cryo-EM)1,2. Con rivelatori migliori e più veloci3, software per automatizzare la raccolta dei dati4,5 e progressi di potenziamento del segnale come le piastre di fase6, la raccolta di grandi quantità di dati crio-EM ad alta risoluzione è relativamente semplice.
Cryo-ET offre una visione senza precedenti dell’ultrastruttura cellulare in uno stato nativo e idratato 7,8,9,10. Il limite principale è lo spessore del campione, ma con l’adozione di metodi come la fresatura a fascio ionico focalizzato (FIB), in cui i campioni cellulari e tissutali spessi vengono assottigliati per la tomografia11, l’orizzonte per ciò che può essere ripreso con crio-ET è in continua espansione. I microscopi più recenti sono in grado di produrre ben oltre 50 tomogrammi al giorno, e questo tasso è destinato ad aumentare solo a causa dello sviluppo di schemi di raccolta rapida dei dati12,13. L’analisi delle grandi quantità di dati prodotti da cryo-ET rimane un collo di bottiglia per questa modalità di imaging.
L’analisi quantitativa delle informazioni tomografiche richiede che prima siano annotate. Tradizionalmente, ciò richiede la segmentazione manuale da parte di un esperto, che richiede tempo; A seconda della complessità molecolare contenuta all’interno del criotogramma, possono essere necessarie ore o giorni di attenzione dedicata. Le reti neurali artificiali sono una soluzione interessante a questo problema poiché possono essere addestrate a svolgere la maggior parte del lavoro di segmentazione in una frazione del tempo. Le reti neurali convoluzionali (CNN) sono particolarmente adatte ai compiti di visione artificiale14 e sono state recentemente adattate per l’analisi dei tomogrammi crioelettronici15,16,17.
Le CNN tradizionali richiedono molte migliaia di campioni di addestramento annotati, il che spesso non è possibile per le attività di analisi delle immagini biologiche. Quindi, l’architettura U-Net ha eccelso in questo spazio18 perché si basa sull’aumento dei dati per addestrare con successo la rete, riducendo al minimo la dipendenza da grandi set di addestramento. Ad esempio, un’architettura U-Net può essere addestrata solo con poche sezioni di un singolo tomogramma (quattro o cinque fette) e dedotta in modo robusto ad altri tomogrammi senza riaddestramento. Questo protocollo fornisce una guida passo-passo per addestrare le architetture di rete neurale U-Net per segmentare i criotogrammi elettronici all’interno di Dragonfly 2022.119.
Dragonfly è un software sviluppato commercialmente utilizzato per la segmentazione e l’analisi di immagini 3D mediante modelli di deep learning ed è disponibile gratuitamente per uso accademico (si applicano alcune restrizioni geografiche). Ha un’interfaccia grafica avanzata che consente a un non esperto di sfruttare appieno le potenze del deep learning sia per la segmentazione semantica che per il denoising delle immagini. Questo protocollo dimostra come preelaborare e annotare tomogrammi crioelettronici all’interno di Dragonfly per addestrare reti neurali artificiali, che possono quindi essere dedotte per segmentare rapidamente grandi set di dati. Discute ulteriormente e dimostra brevemente come utilizzare i dati segmentati per ulteriori analisi, come il tracciamento dei filamenti e l’estrazione delle coordinate per la media dei sub-tomogrammi.
Protocol
Representative Results
Discussion
Questo protocollo stabilisce una procedura per l’utilizzo del software Dragonfly 2022.1 per addestrare un U-Net multiclasse da un singolo tomogramma e come dedurre quella rete ad altri tomogrammi che non devono provenire dallo stesso set di dati. La formazione è relativamente veloce (può essere veloce come 3-5 minuti per epoca o lenta come poche ore, a seconda interamente della rete che viene addestrata e dell’hardware utilizzato), e riqualificare una rete per migliorare il suo apprendimento è intuitivo. Finché le fasi di pre-elaborazione vengono eseguite per ogni tomogramma, l’inferenza è in genere robusta.
La pre-elaborazione coerente è il passaggio più critico per l’inferenza del deep learning. Ci sono molti filtri di imaging nel software e l’utente può sperimentare per determinare quali filtri funzionano meglio per particolari set di dati; Si noti che qualsiasi filtro utilizzato sul tomogramma di addestramento deve essere applicato allo stesso modo ai tomogrammi di inferenza. Occorre inoltre prestare attenzione a fornire alla rete informazioni di formazione accurate e sufficienti. È fondamentale che tutte le caratteristiche segmentate all’interno delle sezioni di allenamento siano segmentate nel modo più accurato e preciso possibile.
La segmentazione delle immagini è facilitata da una sofisticata interfaccia utente di livello commerciale. Fornisce tutti gli strumenti necessari per la segmentazione della mano e consente la semplice riassegnazione dei voxel da una classe all’altra prima dell’addestramento e della riqualificazione. L’utente è autorizzato a segmentare a mano i voxel all’interno dell’intero contesto del tomogramma, e gli vengono date più viste e la possibilità di ruotare liberamente il volume. Inoltre, il software offre la possibilità di utilizzare reti multiclasse, che tendono a funzionare meglio16 e sono più veloci rispetto alla segmentazione con più reti a classe singola.
Ci sono, naturalmente, limitazioni alle capacità di una rete neurale. I dati Cryo-ET sono, per natura, molto rumorosi e limitati nel campionamento angolare, il che porta a distorsioni specifiche dell’orientamento in oggetti identici21. La formazione si basa su un esperto per segmentare accuratamente le strutture e una rete di successo è buona (o cattiva) solo quanto i dati di addestramento che viene fornita. Il filtraggio delle immagini per aumentare il segnale è utile per il trainer, ma ci sono ancora molti casi in cui identificare con precisione tutti i pixel di una determinata struttura è difficile. È quindi importante prestare molta attenzione quando si crea la segmentazione della formazione in modo che la rete abbia le migliori informazioni possibili per apprendere durante la formazione.
Questo flusso di lavoro può essere facilmente modificato in base alle preferenze di ciascun utente. Mentre è essenziale che tutti i tomogrammi siano pre-elaborati esattamente nello stesso modo, non è necessario utilizzare i filtri esatti utilizzati nel protocollo. Il software ha numerose opzioni di filtraggio delle immagini e si consiglia di ottimizzarle per i dati particolari dell’utente prima di intraprendere un grande progetto di segmentazione che copre molti tomogrammi. Ci sono anche alcune architetture di rete disponibili per l’uso: un U-Net multi-slice è stato trovato per funzionare meglio per i dati di questo laboratorio, ma un altro utente potrebbe scoprire che un’altra architettura (come un U-Net 3D o un Sensor 3D) funziona meglio. La procedura guidata di segmentazione fornisce una comoda interfaccia per confrontare le prestazioni di più reti utilizzando gli stessi dati di addestramento.
Strumenti come quelli presentati qui renderanno la segmentazione manuale di tomogrammi completi un compito del passato. Con reti neurali ben addestrate che sono solidamente desumibili, è del tutto fattibile creare un flusso di lavoro in cui i dati tomografici vengono ricostruiti, elaborati e completamente segmentati con la stessa rapidità con cui il microscopio può raccoglierli.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Questo studio è stato sostenuto dal Penn State College of Medicine e dal Dipartimento di Biochimica e Biologia Molecolare, nonché dalla sovvenzione del Tobacco Settlement Fund (TSF) 4100079742-EXT. I servizi e gli strumenti CryoEM e CryoET Core (RRID: SCR_021178) utilizzati in questo progetto sono stati finanziati, in parte, dal Pennsylvania State University College of Medicine attraverso l’Ufficio del Vice Decano della Ricerca e degli Studenti Laureati e il Dipartimento della Salute della Pennsylvania utilizzando Tobacco Settlement Funds (CURE). Il contenuto è di esclusiva responsabilità degli autori e non rappresenta necessariamente le opinioni ufficiali dell’Università o del College of Medicine. Il Dipartimento della Salute della Pennsylvania declina espressamente la responsabilità per eventuali analisi, interpretazioni o conclusioni.
Materials
| Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
| E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
| IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
| Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
| NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
| Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
| Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |
References
- Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
- de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
- Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
- Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
- . Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022)
- Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
- Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
- Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
- Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
- Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
- Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
- Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
- Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
- Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
- Liu, Y. -. T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
- Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
- Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
- Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
- Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).
