Deep learning-gebaseerde segmentatie van cryo-elektronentomogrammen
Summary
Dit is een methode voor het trainen van een multi-slice U-Net voor multi-class segmentatie van cryo-elektronentomogrammen met behulp van een deel van één tomogram als trainingsinput. We beschrijven hoe we dit netwerk kunnen afleiden naar andere tomogrammen en hoe we segmentaties kunnen extraheren voor verdere analyses, zoals subtomogramgemiddelden en filamenttracering.
Abstract
Cryo-elektronentomografie (cryo-ET) stelt onderzoekers in staat om cellen in hun oorspronkelijke, gehydrateerde toestand af te beelden met de hoogst mogelijke resolutie. De techniek heeft echter verschillende beperkingen die het analyseren van de gegevens die het genereert tijdsintensief en moeilijk maken. Het met de hand segmenteren van een enkel tomogram kan uren tot dagen duren, maar een microscoop kan gemakkelijk 50 of meer tomogrammen per dag genereren. De huidige deep learning segmentatieprogramma’s voor cryo-ET bestaan wel, maar zijn beperkt tot het segmenteren van één structuur tegelijk. Hier worden multi-slice U-Net convolutionele neurale netwerken getraind en toegepast om automatisch meerdere structuren tegelijkertijd te segmenteren binnen cryo-tomogrammen. Met de juiste voorbewerking kunnen deze netwerken robuust worden afgeleid naar vele tomogrammen zonder de noodzaak om individuele netwerken voor elk tomogram te trainen. Deze workflow verbetert de snelheid waarmee cryo-elektronentomogrammen kunnen worden geanalyseerd drastisch door de segmentatietijd in de meeste gevallen te verkorten tot minder dan 30 minuten. Verder kunnen segmentaties worden gebruikt om de nauwkeurigheid van filamenttracering binnen een cellulaire context te verbeteren en om snel coördinaten te extraheren voor subtomogrammiddeling.
Introduction
Hardware- en softwareontwikkelingen in het afgelopen decennium hebben geresulteerd in een “resolutierevolutie” voor cryo-elektronenmicroscopie (cryo-EM)1,2. Met betere en snellere detectoren3, software om gegevensverzameling te automatiseren4,5 en signaalversterkende vooruitgang zoals faseplaten6, is het verzamelen van grote hoeveelheden cryo-EM-gegevens met hoge resolutie relatief eenvoudig.
Cryo-ET levert ongekend inzicht in cellulaire ultrastructuur in een native, gehydrateerde toestand 7,8,9,10. De primaire beperking is de dikte van het monster, maar met de toepassing van methoden zoals gefocusseerde ionenbundel (FIB) frezen, waarbij dikke cellulaire en weefselmonsters worden verdund voor tomografie11, breidt de horizon voor wat kan worden afgebeeld met cryo-ET zich voortdurend uit. De nieuwste microscopen zijn in staat om meer dan 50 tomogrammen per dag te produceren, en deze snelheid zal naar verwachting alleen maar toenemen als gevolg van de ontwikkeling van snelle gegevensverzamelingsschema’s12,13. Het analyseren van de enorme hoeveelheden gegevens die door cryo-ET worden geproduceerd, blijft een knelpunt voor deze beeldvormingsmodaliteit.
Kwantitatieve analyse van tomografische informatie vereist dat deze eerst wordt geannoteerd. Traditioneel vereist dit handsegmentatie door een expert, wat tijdrovend is; Afhankelijk van de moleculaire complexiteit in het cryo-tomogram, kan het uren tot dagen van toegewijde aandacht duren. Kunstmatige neurale netwerken zijn een aantrekkelijke oplossing voor dit probleem, omdat ze kunnen worden getraind om het grootste deel van het segmentatiewerk in een fractie van de tijd te doen. Convolutionele neurale netwerken (CNN’s) zijn vooral geschikt voor computervisietaken14 en zijn onlangs aangepast voor de analyse van cryo-elektronentomografieën15,16,17.
Traditionele CNN’s vereisen vele duizenden geannoteerde trainingsmonsters, wat vaak niet mogelijk is voor biologische beeldanalysetaken. Vandaar dat de U-Net-architectuur uitblonk in deze ruimte18 omdat het afhankelijk is van gegevensvergroting om het netwerk met succes te trainen, waardoor de afhankelijkheid van grote trainingssets wordt geminimaliseerd. Een U-Net-architectuur kan bijvoorbeeld worden getraind met slechts een paar plakjes van een enkel tomogram (vier of vijf plakjes) en robuust worden afgeleid naar andere tomogrammen zonder opnieuw te trainen. Dit protocol biedt een stapsgewijze handleiding voor het trainen van U-Net neurale netwerkarchitecturen om cryo-tomogrammen van elektronen te segmenteren binnen Dragonfly 2022.119.
Dragonfly is commercieel ontwikkelde software die wordt gebruikt voor 3D-beeldsegmentatie en -analyse door deep learning-modellen en is vrij beschikbaar voor academisch gebruik (sommige geografische beperkingen zijn van toepassing). Het heeft een geavanceerde grafische interface waarmee een niet-expert ten volle kan profiteren van de kracht van deep learning voor zowel semantische segmentatie als beelddenoising. Dit protocol laat zien hoe cryo-elektronentomogrammen in Dragonfly kunnen worden voorbewerkt en geannoteerd voor het trainen van kunstmatige neurale netwerken, die vervolgens kunnen worden afgeleid om snel grote datasets te segmenteren. Het bespreekt en demonstreert verder kort hoe gesegmenteerde gegevens kunnen worden gebruikt voor verdere analyse, zoals filamenttracering en coördinatenextractie voor subtomogramgemiddelden.
Protocol
Representative Results
Discussion
Dit protocol beschrijft een procedure voor het gebruik van Dragonfly 2022.1-software om een U-Net met meerdere klassen te trainen van een enkel tomogram en hoe dat netwerk kan worden afgeleid naar andere tomogrammen die niet uit dezelfde gegevensset hoeven te komen. Training is relatief snel (kan zo snel zijn als 3-5 minuten per tijdperk of zo langzaam als een paar uur, volledig afhankelijk van het netwerk dat wordt getraind en de gebruikte hardware), en het opnieuw trainen van een netwerk om het leren te verbeteren is intuïtief. Zolang de voorbewerkingsstappen voor elk tomogram worden uitgevoerd, is de inferentie meestal robuust.
Consistente voorbewerking is de meest kritieke stap voor deep learning-inferentie. Er zijn veel beeldfilters in de software en de gebruiker kan experimenteren om te bepalen welke filters het beste werken voor bepaalde datasets; Merk op dat elke filtering die op het trainingstomogram wordt gebruikt, op dezelfde manier moet worden toegepast op de inferentietomogrammen. Er moet ook voor worden gezorgd dat het netwerk wordt voorzien van nauwkeurige en voldoende opleidingsinformatie. Het is van vitaal belang dat alle functies die binnen de trainingssegmenten zijn gesegmenteerd, zo zorgvuldig en nauwkeurig mogelijk worden gesegmenteerd.
Beeldsegmentatie wordt vergemakkelijkt door een geavanceerde gebruikersinterface van commerciële kwaliteit. Het biedt alle benodigde hulpmiddelen voor handsegmentatie en maakt het mogelijk om voxels eenvoudig opnieuw toe te wijzen van de ene klasse naar de andere voorafgaand aan training en omscholing. De gebruiker mag voxels met de hand segmenteren binnen de hele context van het tomogram en ze krijgen meerdere weergaven en de mogelijkheid om het volume vrij te roteren. Bovendien biedt de software de mogelijkheid om netwerken van meerdere klassen te gebruiken, die meestal beter presteren16 en sneller zijn dan segmenteren met meerdere netwerken van één klasse.
Er zijn natuurlijk beperkingen aan de mogelijkheden van een neuraal netwerk. Cryo-ET-gegevens zijn van nature zeer luidruchtig en beperkt in hoekbemonstering, wat leidt tot oriëntatiespecifieke vervormingen in identieke objecten21. Training is afhankelijk van een expert om structuren nauwkeurig te segmenteren, en een succesvol netwerk is slechts zo goed (of zo slecht) als de trainingsgegevens die het krijgt. Beeldfiltering om het signaal te versterken is nuttig voor de trainer, maar er zijn nog steeds veel gevallen waarin het nauwkeurig identificeren van alle pixels van een bepaalde structuur moeilijk is. Het is daarom belangrijk dat er grote zorgvuldigheid wordt betracht bij het maken van de trainingssegmentatie, zodat het netwerk de best mogelijke informatie heeft om tijdens de training te leren.
Deze workflow kan eenvoudig worden aangepast aan de voorkeur van elke gebruiker. Hoewel het essentieel is dat alle tomogrammen op precies dezelfde manier worden voorbewerkt, is het niet nodig om de exacte filters te gebruiken die in het protocol worden gebruikt. De software heeft tal van opties voor het filteren van afbeeldingen en het wordt aanbevolen om deze te optimaliseren voor de specifieke gegevens van de gebruiker voordat u begint aan een groot segmentatieproject dat veel tomogrammen omvat. Er zijn ook nogal wat netwerkarchitecturen beschikbaar om te gebruiken: een multi-slice U-Net blijkt het beste te werken voor de gegevens uit dit lab, maar een andere gebruiker kan merken dat een andere architectuur (zoals een 3D U-Net of een Sensor 3D) beter werkt. De segmentatiewizard biedt een handige interface voor het vergelijken van de prestaties van meerdere netwerken met dezelfde trainingsgegevens.
Hulpmiddelen zoals die hier worden gepresenteerd, maken handsegmentatie van volledige tomogrammen tot een taak van het verleden. Met goed getrainde neurale netwerken die robuust afleidbaar zijn, is het heel goed mogelijk om een workflow te creëren waarin tomografische gegevens worden gereconstrueerd, verwerkt en volledig gesegmenteerd zo snel als de microscoop ze kan verzamelen.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Deze studie werd ondersteund door het Penn State College of Medicine en het Department of Biochemistry and Molecular Biology, evenals Tobacco Settlement Fund (TSF) subsidie 4100079742-EXT. De CryoEM en CryoET Core (RRID: SCR_021178) diensten en instrumenten die in dit project worden gebruikt, werden gedeeltelijk gefinancierd door het Pennsylvania State University College of Medicine via het Office of the Vice Dean of Research and Graduate Students en het Pennsylvania Department of Health met behulp van Tobacco Settlement Funds (CURE). De inhoud is uitsluitend de verantwoordelijkheid van de auteurs en vertegenwoordigt niet noodzakelijkerwijs de officiële standpunten van de universiteit of hogeschool voor geneeskunde. Het Pennsylvania Department of Health wijst specifiek de verantwoordelijkheid af voor analyses, interpretaties of conclusies.
Materials
| Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
| E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
| IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
| Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
| NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
| Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
| Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |
References
- Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
- de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
- Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
- Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
- . Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022)
- Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
- Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
- Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
- Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
- Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
- Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
- Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
- Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
- Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
- Liu, Y. -. T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
- Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
- Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
- Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
- Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).
