Eine Methode zur 3D-Rekonstruktion und Virtual Reality-Analyse von Glia- und Neuronalzellen
Summary
Die beschriebene Pipeline ist für die Segmentierung von Elektronenmikroskopie-Datensätzen größer als Gigabyte konzipiert, um Ganzzellmorphologien zu extrahieren. Sobald die Zellen in 3D rekonstruiert sind, kann kundenspezifische Software, die auf individuelle Bedürfnisse zugeschnitten ist, verwendet werden, um eine qualitative und quantitative Analyse direkt in 3D durchzuführen, auch mit virtueller Realität, um Die Sichtokklusion zu überwinden.
Abstract
Serielle Schnitte und anschließende hochauflösende Bildgebung von biologischem Gewebe mittels Elektronenmikroskopie (EM) ermöglichen die Segmentierung und Rekonstruktion von hochauflösenden bildnerten Stapeln, um ultrastrukturelle Muster zu enthüllen, die mit 2D nicht gelöst werden konnten. Bilder. Letzteres könnte zu einer Fehlinterpretation von Morphologien führen, wie im Fall von Mitochondrien; Die Verwendung von 3D-Modellen wird daher immer häufiger und auf die Formulierung morphologiebasierter Funktionshypothesen angewendet. Bis heute macht die Verwendung von 3D-Modellen, die aus Licht- oder Elektronenbildstapeln generiert werden, qualitative, visuelle Bewertungen sowie Quantifizierungen, die bequemer sind, direkt in 3D durchgeführt zu werden. Da diese Modelle oft extrem komplex sind, ist es auch wichtig, eine Virtual-Reality-Umgebung einzurichten, um Okklusion zu überwinden und die 3D-Struktur voll auszuschöpfen. Hier wird eine Schritt-für-Schritt-Anleitung von der Bildsegmentierung bis zur Rekonstruktion und Analyse ausführlich beschrieben.
Introduction
Das erste vorgeschlagene Modell für eine Elektronenmikroskopie, das automatisierte serielle Abschnitte und Bildgebungermöglicht, stammt aus dem Jahr 19811; die Verbreitung solcher automatisierten, verbesserten Setups zum Abbild großer Proben mit EM nahm in den letzten zehn Jahrenzu 2,3, und Werke, die beeindruckende dichte Rekonstruktionen oder vollständige Morphologien unmittelbargefolgt4 , 5,6,7,8,9,10.
Die Produktion großer Datasets war mit der Notwendigkeit verbesserter Pipelines für die Bildsegmentierung erforderlich. Software-Tools zur manuellen Segmentierung von seriellen Abschnitten wie RECONSTRUCT und TrakEM211,12wurden für die Transmissionselektronenmikroskopie (TEM) entwickelt. Da der gesamte Prozess extrem zeitaufwändig sein kann, sind diese Werkzeuge nicht geeignet, wenn es um die Tausenden von seriellen Mikrographen geht, die automatisch mit modernsten, automatisierten EM-Serienabschnittstechniken (3DEM) generiert werden können, wie z. B. Block-Face-Scanning-Elektronenmikroskopie (SBEM)3 oder fokussierte Ionenstrahl-Scanning-Elektronenmikroskopie (FIB-SEM)2. Aus diesem Grund haben sich die Wissenschaftler um die Entwicklung halbautomatisierter Werkzeuge sowie vollautomatisierter Werkzeuge bemüht, um die Segmentierungseffizienz zu verbessern. Vollautomatisierte Tools, basierend auf maschinellem Lernen13 oder modernsten, untrainierten Pixelklassifizierungsalgorithmen14, werden verbessert, um von einer größeren Community verwendet zu werden; Dennoch ist die Segmentierung noch lange nicht vollständig zuverlässig, und viele Arbeiten basieren immer noch auf manueller Arbeit, die in Bezug auf die Segmentierungszeit ineffizient ist, aber dennoch absolute Zuverlässigkeit bietet. Halbautomatische Tools wie ilastik15stellen einen besseren Kompromiss dar, da sie eine sofortige Auslesung für die Segmentierung bieten, die bis zu einem gewissen Grad korrigiert werden kann, obwohl sie kein echtes Korrektur-Reading-Framework bietet und integriert werden kann TrakEM2 parallel16verwenden.
Die großflächige Segmentierung ist bisher meist auf Diekomik beschränkt; Daher sind Informatiker am meisten daran interessiert, Frameworks für integrierte Visualisierungen großer, anmerkungierter Datensätze bereitzustellen und Konnektivitätsmuster zu analysieren, die durch das Vorhandensein synaptischer Kontakte abgeleitet werden17,18. Dennoch können genaue 3D-Rekonstruktionen für quantitative morphometrische Analysen verwendet werden, anstatt qualitative Bewertungen der 3D-Strukturen. Werkzeuge wie NeuroMorph19,20 und Glykogenanalyse10 wurden entwickelt, um Messungen an den 3D-Rekonstruktionen für Längen, Oberflächen und Volumen sowie an der Verteilung von Wolkenpunkten vollständig zu machen. verwerfen den ursprünglichen EM-Stack8,10. Astrozyten stellen eine interessante Fallstudie dar, da der Mangel an visuellen Hinweisen oder sich wiederholenden Strukturmustern den Forschern einen Hinweis auf die Funktion einzelner Struktureinheiten und das daraus resultierende Fehlen einer angemessenen Ontologie astrozytotiver Prozesse gibt. 21, machen es schwierig, analyseanalytische Werkzeuge zu entwerfen. Ein neuerVersuch war Abstractocyte22, die eine visuelle Erforschung astrozytischer Prozesse und die Rückschlüsse auf qualitative Beziehungen zwischen astrozytischen Prozessen und Neuriten ermöglicht.
Dennoch ergibt sich die Bequemlichkeit der Bildgebung von geschnittenem Gewebe unter EM aus der Tatsache, dass die Menge an Informationen, die in intakten Gehirnproben verborgen sind, enorm ist und die Interpretation von Einzelabschnittsbildern dieses Problem überwinden kann. Die Dichte der Strukturen im Gehirn ist so hoch, dass 3D-Rekonstruktionen von nur wenigen Objekten, die auf einmal sichtbar sind, es unmöglich machen würden, sie visuell zu unterscheiden. Aus diesem Grund haben wir vor kurzem die Verwendung von Virtual Reality (VR) als verbesserte Methode zur Beobachtung komplexer Strukturen vorgeschlagen. Wir konzentrieren uns auf Astrozyten23, um Okklusion zu überwinden (d.h. die Blockierung der Sichtbarkeit eines Objekts von Interesse mit einem zweiten, in einem 3D-Raum) und qualitative Bewertungen der Rekonstruktionen, einschließlich Korrekturlesen, sowie Quantifizierungen zu erleichtern. von Features mit der Anzahl der Punkte im Raum. Kürzlich haben wir DIE visuelle VR-Exploration mit der Verwendung von GLAM (Glykogen-abgeleitetem Laktat-Absorptionsmodell) kombiniert, einer Technik zur Visualisierung einer Karte der Laktat-Shuttle-Wahrscheinlichkeit von Neuriten, indem Glykogengranulat als lichtemittierende Körper23betrachtet wird; Insbesondere haben wir VR verwendet, um die von GLAM erzeugten Lichtspitzen zu quantifizieren.
Protocol
Representative Results
Discussion
Die hier vorgestellte Methode ist eine nützliche Schritt-für-Schritt-Anleitung für die Segmentierung und 3D-Rekonstruktion eines multiskalen EM-Datensatzes, unabhängig davon, ob sie aus hochauflösenden Bildgebungstechniken wie FIB-SEM oder anderen automatisierten seriellen Schnitt- und Bildgebungstechniken stammen. FIB-SEM hat den Vorteil, dass es potenziell eine perfekte Isotropie in Voxelgröße erreicht, indem schnitt Schnitte so dünn wie 5 nm mit einem fokussierten Ionenstrahl, seine FOV könnte auf 15-20 m aufgrund von Seitenartefakten beschränkt werden, die möglicherweise auf die Ablagerung des geschnittenen Gewebes zurückzuführen sind, wenn die FO V überschreitet diesen Wert. Solche Artefakte können durch andere Techniken vermieden werden, wie Z. B. SBEM, das mit einem Diamantmesser serielle Abschnitte in der Mikroskopkammer schneidet. In letzterem Fall kann die z-Auflösung bestenfalls etwa 20 nm betragen (normalerweise 50 nm), aber die FOV könnte größer sein, obwohl die Pixelauflösung für eine große Interessensregion kompromittiert werden sollte. Eine Lösung, um solche Einschränkungen zu überwinden (Vergrößerung vs. FOV) ist es, den Bereich des Interesses an Fliesen zu teilen und jede von ihnen mit einer höheren Auflösung zu erwerben. Wir haben hier Ergebnisse sowohl eines SBEM-Stack-Datensatzes (i) in den repräsentativen Ergebnissen als auch eines FIB-SEM-Stack-Datensatzes (ii) in den repräsentativen Ergebnissen gezeigt.
Da die Generierung von größeren und größeren Datensätzen immer häufiger wird, häufen sich die Bemühungen, Werkzeuge für die Pixelklassifizierung und automatisierte Bildsegmentierung zu erstellen. Dennoch hat sich bisher keine Software als zuverlässig erwiesen, die mit der des menschlichen Korrekturlesens vergleichbar ist, was daher immer noch notwendig ist, egal wie zeitaufwändig sie ist. Im Allgemeinen können kleinere Datasets, die heruntersampelt werden können, wie im Fall von Dataset (ii), von einem einzelnen, erfahrenen Benutzer in einer Woche, einschließlich Korrekturlesezeit, dicht rekonstruiert werden.
Das hier vorgestellte Protokoll beinhaltet insbesondere den Einsatz von drei Softwareprogrammen: Fidschi (Version 2.0.0-rc-65/1.65b), ilastik (Version 1.3.2 rc2) und Blender (2.79), die alle Open-Source- und Multi-Plattform-Programme sind und kostenlos heruntergeladen werden können. Fidschi ist eine Veröffentlichung von ImageJ, angetrieben von Plugins für biologische Bildanalyse. Es hat eine robuste Software-Architektur und wird vorgeschlagen, da es eine gemeinsame Plattform für Life-Wissenschaftler ist und trakEM2 enthält, eines der ersten und am häufigsten verwendeten Plugins für die Bildsegmentierung. Ein Problem, das in letzter Zeit von vielen Benutzern erlebt wird, ist der Übergang von Java 6 zu Java 8, wodurch Kompatibilitätsprobleme entstehen; Daher schlagen wir vor, auf eine Aktualisierung auf Java 8 zu verzichten, wenn möglich, damit Fidschi ordnungsgemäß funktionieren kann. ilastik ist eine leistungsstarke Software, die eine Reihe von Frameworks für die Pixelklassifizierung bietet, die jeweils dokumentiert und auf ihrer Website erklärt werden. Das Carving-Modul, das für die halbautomatische Segmentierung von EM-Stacks verwendet wird, ist praktisch, da es viel Zeit spart, so dass Wissenschaftler die Zeit für manuelle Arbeit von Monaten auf Tage für einen erfahrenen Benutzer reduzieren können, da mit einem einzigen Klick ein ganzes Neurit ein ganzes Neurit enden kann. in Sekunden segmentiert. Der Vorverarbeitungsschritt ist aus Hardware-Sicht sehr intensiv, und sehr große Datensätze, wie der hier vorgestellte SBEM-Stack, der 26 GB betrug, erfordern eigenartige Strategien, um in den Speicher zu passen, wenn man bedenkt, dass man große Datasets erwerben würde, weil sie nicht Kompromissfeld von Sicht und Auflösung. Daher ist Downsampling in diesem Fall möglicherweise keine geeignete Lösung. Die neueste Version der Software kann die Vorverarbeitung in ein paar Stunden mit einer leistungsstarken Linux-Workstation durchführen, aber die Segmentierung würde Minuten dauern, und das Scrollen durch den Stapel wäre immer noch relativ langsam. Wir verwenden diese Methode immer noch für eine erste, grobe Segmentierung und Korrekturlesen mit TrakEM2. Schließlich ist Blender eine 3D-Modellierungssoftware mit einer leistungsstarken 3D-Rendering-Engine, die mit Python-Skripten angepasst werden kann, die als Add-ons wie NeuroMorph und Glykogenanalyse in die Haupt-GUI eingebettet werden können. Die Flexibilität dieser Software hat den Nachteil, dass sie im Gegensatz zu Fidschi beispielsweise nicht für die Online-Visualisierung großer Datensätze konzipiert ist; Daher kann die Visualisierung und Navigation durch große Netze (mehr als 1 GB) langsam und nicht effizient sein. Aus diesem Grund ist es immer ratsam, Techniken zu wählen, die die Netzkomplexität reduzieren, aber darauf achten, die ursprüngliche Morphologie der Interessenstruktur nicht zu stören. Die Remesh-Funktion ist praktisch und ist ein eingebettetes Feature des NeuroMorph Batch-Import-Tools. Ein Problem bei dieser Funktion besteht darin, dass der Octree-Tiefenwert, der sich auf die endgültige Auflösung bezieht, abhängig von der Anzahl der Scheitelpunkte des ursprünglichen Netzes entsprechend geändert werden sollte. Kleine Objekte können mit einer kleinen Octree-Tiefe (z. B. 4) neu vernetzt werden, aber derselbe Wert könnte die Morphologie größerer Objekte stören, die größere Werte benötigen (6 bestenfalls bis 8 oder sogar 9 für ein sehr großes Netz, z. B. eine vollständige Zelle). Es ist ratsam, diesen Prozess iterativ zu machen und die verschiedenen Octree-Tiefen zu testen, wenn die Größe des Objekts nicht klar ist.
Wie bereits erwähnt, ist ein Aspekt, der berücksichtigt werden sollte, die Rechenleistung, die der Rekonstruktion und Analyse gewidmet werden soll, im Zusammenhang mit der verwendeten Software. Alle In den repräsentativen Ergebnissen dieses Manuskripts gezeigten Operationen wurden mit einer MacPro erzielt, die mit einer AMD FirePro D500 Grafikkarte, 64 GB RAM und einer Intel Xeon E5 CPU mit 8 Kernen ausgestattet ist. Fidschi verfügt über eine gute Softwarearchitektur für den Umgang mit großen Datensätzen; Daher wird empfohlen, einen Laptop mit einer guten Hardwareleistung zu verwenden, z. B. ein MacBook Pro mit einer Intel i7 CPU mit 2,5 GHz und 16 GB RAM. ilastik Software ist anspruchsvoller in Bezug auf Hardware-Ressourcen, insbesondere während der Vorverarbeitung Schritt. Obwohl Downsampling der Image-Stack ist ein guter Trick, um die Hardware-Anforderungen von der Software zu begrenzen und ermöglicht es dem Benutzer, einen Stack mit einem Laptop zu verarbeiten (in der Regel, wenn es unter 500 Pixel in x,y,z), wir empfehlen die Verwendung eines High-End- Computer, um diese Software reibungslos laufen zu lassen. Wir verwenden eine Workstation mit einer Intel Xeon Gold 6150 CPU mit 16 Kernen und 500 GB RAM.
Wenn sie mit einer genauen 3D-Rekonstruktion versehen sind, können Wissenschaftler die ursprünglichen Mikrographen verwerfen und direkt an den 3D-Modellen arbeiten, um nützliche morphometrische Daten zu extrahieren, um Zellen desselben Typs sowie verschiedene Arten von Zellen zu vergleichen, und VR für qualitativen und quantitativen Bewertungen der Morphologien. Insbesondere hat sich die Verwendung des letzteren bei Analysen dichter oder komplexer Morphologien, die visuelle Okklusion darstellen(d. h. die Blockade der Sicht eines Objekts von Interesse im 3D-Raum, durch ein zweites, das zwischen dem Beobachter und dem Fi platziert ist) als vorteilhaft erwiesen. rst-Objekt), was es schwierig macht, sie in 3D darzustellen und zu analysieren. Im vorgestellten Beispiel hat ein erfahrener Benutzer etwa 4 nicht aufeinander folgende Stunden in Die Mund genommen, um die Datasets zu beobachten und die Objekte zu zählen. Die für die VR-Analyse aufgew. Platz für VR-Analysen kann variieren, da Aspekte wie VR-Krankheit (die bis zu einem gewissen Grad mit Autokrankheit zusammenhängen kann) negative Auswirkungen auf die Benutzererfahrung haben können; In diesem Fall kann der Benutzer andere Analysetools bevorzugen und seine Zeit für VR begrenzen.
Schließlich können alle diese Schritte auf andere Mikroskopie- und Nicht-EM-Techniken angewendet werden, die Bildstapel generieren. EM erzeugt Bilder, die im Allgemeinen schwierig zu handhaben und segmentieren sind, verglichen mit beispielsweise der Fluoreszenzmikroskopie, bei der etwas vergleichbar ist wie eine binäre Maske (Signal versus schwarzer Hintergrund), die im Prinzip leicht in 3D für Weiterverarbeitung, muss oft behandelt werden.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Diese Arbeit wurde von der King Abdullah University of Science and Technology (KAUST) Competitive Research Grants (CRG) Grant “KAUST-BBP Alliance for Integrative Modelling of Brain Energy Metabolism” an P.J.M. unterstützt.
Materials
| Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
| iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
| Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
| HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
| Neuromorph | Open Source | — | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
| Glycogen Analysis | Open Source | — | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
| GLAM | Open Source | — | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |
References
- Leighton, S. B. SEM images of block faces, cut by a miniature microtome within the SEM – a technical note. Scanning Electron Microscopy. , 73-76 (1981).
- Knott, G., Marchman, H., Wall, D., Lich, B. Serial section scanning electron microscopy of adult brain tissue using focused ion beam milling. Journal of Neuroscience. 28, 2959-2964 (2008).
- Denk, W., Horstmann, H. Serial block-face scanning electron microscopy to reconstruct three-dimensional tissue nanostructure. PLOS Biology. 2, e329 (2004).
- Coggan, J. S., et al. A Process for Digitizing and Simulating Biologically Realistic Oligocellular Networks Demonstrated for the Neuro-Glio-Vascular Ensemble. Frontiers in Neuroscience. 12, (2018).
- Tomassy, G. S., et al. Distinct Profiles of Myelin Distribution Along Single Axons of Pyramidal Neurons in the Neocortex. Science. 344, 319-324 (2014).
- Wanner, A. A., Genoud, C., Masudi, T., Siksou, L., Friedrich, R. W. Dense EM-based reconstruction of the interglomerular projectome in the zebrafish olfactory bulb. Nature Neuroscience. 19, 816-825 (2016).
- Kasthuri, N., et al. Saturated Reconstruction of a Volume of Neocortex. Cell. 162, 648-661 (2015).
- Calì, C., et al. The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. PLOS ONE. 13, e0198131 (2018).
- Calì, C., Agus, M., Gagnon, N., Hadwiger, M., Magistretti, P. J. Visual Analysis of Glycogen Derived Lactate Absorption in Dense and Sparse Surface Reconstructions of Rodent Brain Structures. , (2017).
- Calì, C., et al. Three-dimensional immersive virtual reality for studying cellular compartments in 3D models from EM preparations of neural tissues. Journal of Comparative Neurology. 524, 23-38 (2016).
- Fiala, J. C. Reconstruct: a free editor for serial section microscopy. Journal of Microscopy. 218, 52-61 (2005).
- Cardona, A., et al. TrakEM2 software for neural circuit reconstruction. PLOS ONE. 7, e38011 (2012).
- Januszewski, M., et al. High-precision automated reconstruction of neurons with flood-filling networks. Nature Methods. 1, (2018).
- Shahbazi, A., et al. Flexible Learning-Free Segmentation and Reconstruction of Neural Volumes. Scientific Reports. 8, 14247 (2018).
- Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. , (2011).
- Holst, G., Berg, S., Kare, K., Magistretti, P., Calì, C. Adding large EM stack support. , (2016).
- Beyer, J., et al. ConnectomeExplorer: query-guided visual analysis of large volumetric neuroscience data. IEEE Transactions on Visualization and Computer Graphics. 19, 2868-2877 (2013).
- Beyer, J., et al. Culling for Extreme-Scale Segmentation Volumes: A Hybrid Deterministic and Probabilistic Approach. IEEE Transactions on Visualization and Computer. , (2018).
- Jorstad, A., et al. NeuroMorph: A Toolset for the Morphometric Analysis and Visualization of 3D Models Derived from Electron Microscopy Image Stacks. Neuroinformatics. 13, 83-92 (2015).
- Jorstad, A., Blanc, J., Knott, G. NeuroMorph: A Software Toolset for 3D Analysis of Neurite Morphology and Connectivity. Frontiers in Neuroanatomy. 12, 59 (2018).
- Calì, C. Astroglial anatomy in the times of connectomics. Journal of Translational Neuroscience. 2, 31-40 (2017).
- Mohammed, H., et al. Abstractocyte: A Visual Tool for Exploring Nanoscale Astroglial Cells. IEEE Transactions on Visualization and Computer Graphics. , (2017).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Computers & Graphics. 74, 85-98 (2018).
- École Polytechnique Fédérale de Lausanne. . NeuroMorph Analysis and Visualization Toolset. , (2018).
- . GitHub – daniJb/glycol-analysis: Glycogen_analysis.py is a python-blender API based script that performs analysis on a reconstructed module of glycogen data Available from: https://github.com/daniJb/glyco-analysis (2018)
- . GitHub – magus74/GLAM: Glycogen Lactate Absorption Model Available from: https://github.com/magus74/GLAM (2019)
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Dryad Digital Repository. , (2018).
- Calì, C., et al. Data from: The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. Dryad Digital Repository. , (2018).
