Deep-Learning-basierte Segmentierung von Kryo-Elektronen-Tomogrammen
Summary
Hierbei handelt es sich um ein Verfahren zum Trainieren eines Mehrschicht-U-Netzes für die Mehrklassensegmentierung von Kryo-Elektronen-Tomogrammen, wobei ein Teil eines Tomogramms als Trainingseingabe verwendet wird. Wir beschreiben, wie man dieses Netzwerk auf andere Tomogramme ableiten kann und wie man Segmentierungen für weitere Analysen extrahiert, wie z.B. Subtomogramm-Mittelung und Filament-Tracing.
Abstract
Die Kryo-Elektronentomographie (Kryo-ET) ermöglicht es Forschern, Zellen in ihrem nativen, hydratisierten Zustand mit der höchstmöglichen Auflösung abzubilden. Die Technik hat jedoch mehrere Einschränkungen, die die Analyse der generierten Daten zeitintensiv und schwierig machen. Die manuelle Segmentierung eines einzelnen Tomogramms kann Stunden bis Tage dauern, aber ein Mikroskop kann leicht 50 oder mehr Tomogramme pro Tag erzeugen. Aktuelle Deep-Learning-Segmentierungsprogramme für Kryo-ET existieren zwar, beschränken sich jedoch auf die Segmentierung einer Struktur nach der anderen. Hier werden Multi-Slice-U-Net-Faltungsneuronale Netze trainiert und angewendet, um automatisch mehrere Strukturen gleichzeitig innerhalb von Kryo-Tomogrammen zu segmentieren. Mit der richtigen Vorverarbeitung können diese Netzwerke robust auf viele Tomogramme abgeleitet werden, ohne dass einzelne Netzwerke für jedes Tomogramm trainiert werden müssen. Dieser Arbeitsablauf verbessert die Geschwindigkeit, mit der Kryo-Elektronen-Tomogramme analysiert werden können, erheblich, indem die Segmentierungszeit in den meisten Fällen auf unter 30 Minuten verkürzt wird. Darüber hinaus können Segmentierungen verwendet werden, um die Genauigkeit der Filamentverfolgung innerhalb eines zellulären Kontexts zu verbessern und Koordinaten für die Subtomogrammmittelung schnell zu extrahieren.
Introduction
Hardware- und Softwareentwicklungen des letzten Jahrzehnts haben zu einer “Auflösungsrevolution” für die Kryo-Elektronenmikroskopie (Kryo-EM) geführt1,2. Mit besseren und schnelleren Detektoren3, Software zur Automatisierung der Datenerfassung 4,5 und Fortschritten bei der Signalverstärkung wie den Phasenplatten6 ist das Sammeln großer Mengen hochauflösender Kryo-EM-Daten relativ einfach.
Cryo-ET liefert einen beispiellosen Einblick in die zelluläre Ultrastruktur in einem nativen, hydratisierten Zustand 7,8,9,10. Die primäre Einschränkung ist die Probendicke, aber mit der Einführung von Methoden wie dem Mahlen mit fokussiertem Ionenstrahl (FIB), bei dem dicke Zell- und Gewebeproben für die Tomographie11 verdünnt werden, erweitert sich der Horizont für das, was mit Kryo-ET abgebildet werden kann, ständig. Die neuesten Mikroskope sind in der Lage, weit über 50 Tomogramme pro Tag zu produzieren, und diese Rate wird aufgrund der Entwicklung schneller Datenerfassungssysteme voraussichtlich nur noch zunehmen12,13. Die Analyse der riesigen Datenmengen, die von Kryo-ET erzeugt werden, bleibt ein Engpass für diese Bildgebungsmodalität.
Die quantitative Analyse von tomographischen Informationen erfordert, dass sie zuerst annotiert werden. Traditionell erfordert dies eine manuelle Segmentierung durch einen Experten, was zeitaufwändig ist. Abhängig von der molekularen Komplexität, die im Kryo-Tomogramm enthalten ist, kann es Stunden bis Tage dauern. Künstliche neuronale Netze sind eine attraktive Lösung für dieses Problem, da sie trainiert werden können, um den Großteil der Segmentierungsarbeit in einem Bruchteil der Zeit zu erledigen. Convolutional Neural Networks (CNNs) eignen sich besonders für Computer-Vision-Aufgaben14 und wurden kürzlich für die Analyse von Kryo-Elektronen-Tomogrammenangepasst 15,16,17.
Herkömmliche CNNs benötigen viele tausend annotierte Trainingsproben, was für biologische Bildanalyseaufgaben oft nicht möglich ist. Daher hat sich die U-Net-Architektur in diesem Bereich18 hervorgetan, da sie auf Datenerweiterung angewiesen ist, um das Netzwerk erfolgreich zu trainieren und die Abhängigkeit von großen Trainingssätzen zu minimieren. Beispielsweise kann eine U-Net-Architektur mit nur wenigen Schichten eines einzelnen Tomogramms (vier oder fünf Schichten) trainiert und ohne erneutes Training robust auf andere Tomogramme abgeleitet werden. Dieses Protokoll bietet eine Schritt-für-Schritt-Anleitung für das Training neuronaler Netzwerkarchitekturen von U-Net zur Segmentierung von Elektronenkryo-Tomogrammen in Dragonfly 2022.119.
Dragonfly ist eine kommerziell entwickelte Software, die für die 3D-Bildsegmentierung und -analyse durch Deep-Learning-Modelle verwendet wird und für den akademischen Gebrauch frei verfügbar ist (es gelten einige geografische Einschränkungen). Es verfügt über eine fortschrittliche grafische Oberfläche, die es einem Nicht-Experten ermöglicht, die Möglichkeiten des Deep Learning sowohl für die semantische Segmentierung als auch für die Rauschunterdrückung von Bildern voll auszuschöpfen. Dieses Protokoll demonstriert, wie Kryo-Elektronen-Tomogramme in Dragonfly vorverarbeitet und annotiert werden, um künstliche neuronale Netze zu trainieren, die dann abgeleitet werden können, um große Datensätze schnell zu segmentieren. Darüber hinaus wird erläutert und kurz demonstriert, wie segmentierte Daten für weitere Analysen verwendet werden können, z. B. für die Filamentverfolgung und die Koordinatenextraktion für die Mittelung von Subtomogrammen.
Protocol
Representative Results
Discussion
Dieses Protokoll legt ein Verfahren für die Verwendung der Software Dragonfly 2022.1 fest, um ein U-Net mit mehreren Klassen aus einem einzelnen Tomogramm zu trainieren, und wie dieses Netzwerk auf andere Tomogramme abgeleitet werden kann, die nicht aus demselben Datensatz stammen müssen. Das Training ist relativ schnell (kann so schnell wie 3-5 Minuten pro Epoche oder so langsam wie ein paar Stunden sein, abhängig von dem Netzwerk, das trainiert wird, und der verwendeten Hardware), und das Umtrainieren eines Netzwerks zur Verbesserung seines Lernens ist intuitiv. Solange die Vorverarbeitungsschritte für jedes Tomogramm durchgeführt werden, ist die Inferenz in der Regel robust.
Eine konsistente Vorverarbeitung ist der wichtigste Schritt für die Deep-Learning-Inferenz. Es gibt viele Bildfilter in der Software und der Benutzer kann experimentieren, um festzustellen, welche Filter für bestimmte Datensätze am besten geeignet sind. Beachten Sie, dass die Filterung, die für das Trainingstomogramm verwendet wird, auf die gleiche Weise auf die Inferenztomogramme angewendet werden muss. Es muss auch darauf geachtet werden, dass das Netzwerk mit genauen und ausreichenden Schulungsinformationen versorgt wird. Es ist wichtig, dass alle Merkmale, die innerhalb der Trainingsscheiben segmentiert sind, so sorgfältig und präzise wie möglich segmentiert werden.
Die Bildsegmentierung wird durch eine ausgeklügelte Benutzeroberfläche in kommerzieller Qualität erleichtert. Es bietet alle notwendigen Werkzeuge für die Handsegmentierung und ermöglicht die einfache Neuzuweisung von Voxeln von einer Klasse in eine andere vor dem Training und der Umschulung. Der Benutzer kann Voxel innerhalb des gesamten Kontexts des Tomogramms von Hand segmentieren, und er erhält mehrere Ansichten und die Möglichkeit, das Volumen frei zu drehen. Darüber hinaus bietet die Software die Möglichkeit, Multi-Class-Netzwerke zu verwenden, die tendenziell eine bessere Leistungerbringen 16 und schneller sind als die Segmentierung mit mehreren Single-Class-Netzwerken.
Natürlich gibt es Einschränkungen für die Fähigkeiten eines neuronalen Netzes. Kryo-ET-Daten sind von Natur aus sehr verrauscht und in der Winkelabtastung begrenzt, was zu orientierungsspezifischen Verzerrungen bei identischen Objekten führt21. Das Training beruht auf einem Experten, der Strukturen genau von Hand segmentiert, und ein erfolgreiches Netzwerk ist nur so gut (oder so schlecht) wie die Trainingsdaten, die es erhält. Die Bildfilterung zur Signalverstärkung ist für den Trainer hilfreich, aber es gibt immer noch viele Fälle, in denen es schwierig ist, alle Pixel einer bestimmten Struktur genau zu identifizieren. Es ist daher wichtig, dass bei der Erstellung der Trainingssegmentierung große Sorgfalt walten gelassen wird, damit das Netzwerk die bestmöglichen Informationen hat, um während des Trainings zu lernen.
Dieser Workflow kann leicht an die Vorlieben jedes Benutzers angepasst werden. Es ist zwar wichtig, dass alle Tomogramme auf die gleiche Weise vorverarbeitet werden, es ist jedoch nicht erforderlich, die genauen Filter zu verwenden, die im Protokoll verwendet werden. Die Software verfügt über zahlreiche Bildfilteroptionen, und es wird empfohlen, diese für die jeweiligen Daten des Benutzers zu optimieren, bevor Sie sich auf ein großes Segmentierungsprojekt mit vielen Tomogrammen einlassen. Es gibt auch eine ganze Reihe von Netzwerkarchitekturen, die verwendet werden können: Es wurde festgestellt, dass ein Multi-Slice-U-Net für die Daten aus diesem Labor am besten geeignet ist, aber ein anderer Benutzer könnte feststellen, dass eine andere Architektur (z. B. ein 3D-U-Net oder ein Sensor 3D) besser funktioniert. Der Segmentierungsassistent bietet eine komfortable Schnittstelle zum Vergleich der Leistung mehrerer Netzwerke mit denselben Trainingsdaten.
Tools wie die hier vorgestellten werden die manuelle Segmentierung von Volltomogrammen zu einer Aufgabe der Vergangenheit machen. Mit gut trainierten neuronalen Netzen, die robust ableger sind, ist es durchaus möglich, einen Arbeitsablauf zu erstellen, bei dem tomographische Daten so schnell rekonstruiert, verarbeitet und vollständig segmentiert werden, wie das Mikroskop sie erfassen kann.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Diese Studie wurde vom Penn State College of Medicine und der Abteilung für Biochemie und Molekularbiologie sowie vom Tobacco Settlement Fund (TSF) Grant 4100079742-EXT unterstützt. Die in diesem Projekt verwendeten CryoEM- und CryoET-Core-Dienste und -Instrumente (RRID:SCR_021178) wurden teilweise vom Pennsylvania State University College of Medicine über das Büro des Vizedekans für Forschung und Doktoranden und das Pennsylvania Department of Health mit Tobacco Settlement Funds (CURE) finanziert. Der Inhalt liegt ausschließlich in der Verantwortung der Autoren und spiegelt nicht unbedingt die offiziellen Ansichten der Universität oder des College of Medicine wider. Das Gesundheitsministerium von Pennsylvania lehnt ausdrücklich die Verantwortung für Analysen, Interpretationen oder Schlussfolgerungen ab.
Materials
| Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
| E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
| IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
| Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
| NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
| Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
| Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |
References
- Bai, X. -. C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
- de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
- Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
- Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
- . Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022)
- Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
- Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
- Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
- Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
- Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
- Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
- Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
- Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
- Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
- Liu, Y. -. T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
- Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
- Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
- Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
- Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).
