Een methode voor 3D reconstructie en Virtual Reality analyse van gliale en neuronale cellen
Summary
De beschreven pijplijn is ontworpen voor de segmentatie van elektronenmicroscopie datasets groter dan gigabytes, om hele celmorfologieën te extraheren. Zodra de cellen zijn gereconstrueerd in 3D, kan aangepaste software die is ontworpen rond individuele behoeften worden gebruikt om een kwalitatieve en kwantitatieve analyse rechtstreeks in 3D uit te voeren, ook met behulp van Virtual Reality om de zicht occlusie te overwinnen.
Abstract
Seriële snijden en daaropvolgende hoge-resolutie beeldvorming van biologisch weefsel met behulp van elektronenmicroscopie (em) zorgen voor de segmentatie en reconstructie van hoge resolutie afbeelding gemaakt stacks te onthullen ultrastructurele patronen die niet kon worden opgelost met behulp van 2D Afbeeldingen. Inderdaad, deze laatste zou kunnen leiden tot een verkeerde interpretatie van morfologieën, zoals in het geval van de mitochondriën; het gebruik van 3D-modellen is daarom meer en meer gebruikelijk en wordt toegepast op de formulering van functionele hypotheses op basis van morfologie. Tot op heden maakt het gebruik van 3D-modellen die zijn gegenereerd op basis van licht-of elektronen beeld stapels kwalitatieve, visuele evaluaties, evenals kwantificering, handiger om rechtstreeks in 3D te worden uitgevoerd. Omdat deze modellen vaak extreem complex zijn, is een virtual reality-omgeving ook belangrijk om te worden opgezet om occlusie te overwinnen en om ten volle te profiteren van de 3D-structuur. Hier wordt een stapsgewijze handleiding van beeldsegmentatie naar reconstructie en analyse gedetailleerd beschreven.
Introduction
Het eerste voorgestelde model voor een elektronenmicroscopie Setup waardoor geautomatiseerde seriële sectie en imaging dateert uit 19811; de diffusie van dergelijke geautomatiseerde, verbeterde opstellingen naar beeld grote monsters met em steeg in de laatste tien jaar2,3, en werkt met indrukwekkende dichte reconstructies of volledige morfologieën onmiddellijk gevolgd4, 5,6,7,8,9,10.
De productie van grote gegevenssets kwam met de behoefte aan verbeterde pijplijnen voorbeeld segmentatie. Software tools voor het handmatig segmenteren van seriële secties, zoals reconstrueren en TrakEM211,12, zijn ontworpen voor transmissie elektronenmicroscopie (TEM). Omdat het hele proces zeer tijdrovend kan zijn, zijn deze tools niet geschikt voor de duizenden seriële micro grafieken die automatisch kunnen worden gegenereerd met de modernste, geautomatiseerde EM seriële sectie technieken (3DEM), zoals blok-gezicht Scanning elektronenmicroscopie (SBEM)3 of gerichte Ion Beam-Scanning elektronenmicroscopie (FIB-SEM)2. Om deze reden, wetenschappers zetten inspanningen in het ontwikkelen van semi-geautomatiseerde tools, evenals volledig geautomatiseerde tools, om segmentatie efficiëntie te verbeteren. Volledig geautomatiseerde tools, gebaseerd op machine learning13 of State-of-the-Art, ongetrainde algoritmen voor pixel classificatie14, worden verbeterd om te worden gebruikt door een grotere Gemeenschap; Niettemin, segmentatie is nog verre van volledig betrouwbaar, en veel werken zijn nog steeds gebaseerd op handmatige arbeid, die inefficiënt is in termen van segmentatie tijd, maar biedt nog steeds volledige betrouwbaarheid. Semi-geautomatiseerde instrumenten, zoals ilastik15, vormen een beter compromis, omdat ze een onmiddellijke uitlezen bieden voor de segmentatie die tot op zekere hoogte kan worden gecorrigeerd, hoewel het geen echt correcter proef kader biedt en kan worden geïntegreerd met behulp van TrakEM2 in parallel16.
Grootschalige segmentatie is, tot op heden, meestal beperkt tot connectomics; Daarom zijn computerwetenschappers het meest geïnteresseerd in het bieden van frameworks voor geïntegreerde visualisaties van grote, geannoleerde gegevenssets en analyseren van connectiviteits patronen die worden afgeleid door de aanwezigheid van synaptische contacten17,18. Niettemin kunnen nauwkeurige 3D-reconstructies worden gebruikt voor kwantitatieve Morfometrische analyses, in plaats van kwalitatieve evaluaties van de 3D-structuren. Tools zoals neuromorph19,20 en glycogeen analyse10 zijn ontwikkeld om metingen uit te voeren op de 3D-reconstructies voor lengtes, oppervlakte gebieden en volumes, en op de distributie van Cloud punten, volledig de originele em-stack8,10verwijderen. Astrocyten vertegenwoordigen een interessante casestudy, omdat het gebrek aan visuele aanwijzingen of repetitieve structurele patronen onderzoekers een hint geven over de functie van individuele structurele eenheden en daaruit voortvloeiende afwezigheid van een adequate ontologie van astrocytische processen 21, maak het een uitdaging om analytische tools te ontwerpen. Een recente poging was Abstractocyte22, die een visuele verkenning van astrocytische processen en de deductie van kwalitatieve relaties tussen astrocytische processen en neurites mogelijk maakt.
Niettemin is het gemak van beeldvormings weefsel onder EM afkomstig van het feit dat de hoeveelheid informatie die verborgen is in intacte hersen monsters enorm is en het interpreteren van enkele sectie-afbeeldingen dit probleem kan overwinnen. De dichtheid van de structuren in de hersenen is zo hoog dat 3D reconstructies van zelfs een paar voorwerpen zichtbaar in een keer zou het onmogelijk maken om ze visueel te onderscheiden. Om deze reden hebben we onlangs het gebruik van Virtual Reality (VR) voorgesteld als een verbeterde methode om complexe structuren te observeren. We richten ons op astrocyten23 om occlusie te overwinnen (dat is de blokkering van de zichtbaarheid van een object van belang met een tweede, in een 3D-ruimte) en het verlichten van kwalitatieve evaluaties van de reconstructies, inclusief proeflezen, evenals risicokwantificeringen van functies met behulp van aantal punten in de ruimte. We hebben onlangs VR-visuele verkenning gecombineerd met het gebruik van GLAM (glycogeen-afgeleide lactaat absorptie model), een techniek om een kaart van lactaat shuttle waarschijnlijkheid van neurites te visualiseren, door de glycogeen korrels te beschouwen als lichtuitstralende lichamen23; in het bijzonder gebruikten we VR om de door GLAM geproduceerde licht pieken te kwantificeren.
Protocol
Representative Results
Discussion
De hier gepresenteerde methode is een handige stapsgewijze handleiding voor de segmentering en 3D-reconstructie van een Multi Scale EM-gegevensset, ongeacht of deze afkomstig zijn van beeldvormingstechnieken met hoge resolutie, zoals FIB-SEM, of andere geautomatiseerde technieken voor serie-en beeldbewerking. FIB-SEM heeft het voordeel dat het mogelijk is om een perfecte isotropie in de Voxel-grootte te bereiken doorsneden zo dun als 5 nm te gebruiken met behulp van een gerichte ionen straal, de FOV kan beperkt zijn tot 15-20 μm vanwege zijartefacten, die mogelijk te wijten zijn aan de afzetting van het snij weefsel als de FO V overschrijdt deze waarde. Dergelijke artefacten kunnen worden vermeden door gebruik te maken van andere technieken, zoals SBEM, die een diamant mes gebruikt om seriële secties in de Microscoop kamer te knippen. In dit laatste geval kan de z -resolutie op zijn best rond de 20 nm liggen (meestal 50 nm), maar de FOV kan groter zijn, hoewel de pixel resolutie moet worden aangetast voor een groot gebied van belang. Een oplossing om dergelijke beperkingen te overwinnen (vergroting versus FOV) is om de regio van belang in tegels te verdelen en te verwerven elk van hen met een hogere resolutie. We hebben hier resultaten van zowel een SBEM stack-DataSet (i) getoond in de representatieve resultaten-en een FIB-SEM stack-DataSet (II) in de representatieve resultaten.
Naarmate de generatie van grotere en grotere gegevenssets steeds vaker voorkomt, worden de inspanningen voor het maken van tools voor pixel classificatie en geautomatiseerde beeldsegmentatie vermenigvuldigd; tot op heden heeft geen enkele software bewezen betrouwbaarheid die vergelijkbaar is met die van de menselijke proef, wat dus nog steeds nodig is, hoe tijdrovend die ook is. In het algemeen kunnen kleinere gegevenssets die kunnen worden gedownsampled, zoals in het geval van gegevensset (II), in een week dicht bij een enkele, deskundige gebruiker worden gereconstrueerd, inclusief proeftijd.
Het hier gepresenteerde protocol omvat het gebruik van drie software Programma’s in het bijzonder: Fiji (versie 2.0.0-RC-65/1.65 b), ilastik (versie 1.3.2 RC2) en Blender (2,79), die alle open-source en multi-platform Programma’s en gratis te downloaden zijn. Fiji is een uitgave van ImageJ, Powered by plugins voor biologische beeldanalyse. Het heeft een robuuste software-architectuur en wordt gesuggereerd omdat het een gemeenschappelijk platform is voor biowetenschappers en omvat TrakEM2, een van de eerste en meest gebruikte plugins voorbeeld segmentatie. Een probleem dat veel gebruikers de laatste tijd ervaren, is de overgang van Java 6 naar Java 8, die compatibiliteitsproblemen creëert; Daarom raden we u aan om, indien mogelijk, niet te updaten naar Java 8 om Fiji goed te laten werken. ilastik is een krachtige software die een aantal frameworks voor pixel classificatie, elk gedocumenteerd en uitgelegd op hun website. De carving-module die wordt gebruikt voor de semi-automatische segmentatie van EM-stacks is handig omdat het veel tijd bespaart, waardoor wetenschappers de tijd die aan handmatig werk wordt besteed van maanden tot dagen voor een ervaren gebruiker kunnen verkorten, omdat met een enkele klik een volledige neuriet kan worden gesegmenteerd in seconden. De voorbewerkings stap is zeer intens vanuit een hardwareoogpunt en zeer grote gegevenssets, zoals de SBEM-stack die hier wordt gepresenteerd, die 26 GB was, vereisen bijzondere strategieën om in het geheugen te passen, gezien het feit dat een grote gegevensset zou worden verkregen omdat deze niet compromis veld van weergave en resolutie. Daarom is downsamplen misschien geen geschikte oplossing in dit geval. De nieuwste release van de software kan de voor verwerking in een paar uur doen met een krachtig Linux-werkstation, maar de segmentatie zou minuten duren, en scrollen door de stapel zou nog steeds relatief traag zijn. We gebruiken deze methode nog steeds voor een eerste, ruwe segmentatie, en proef het met behulp van TrakEM2. Tot slot, Blender is een 3D modeling software, met een krachtige 3D rendering engine, die kan worden aangepast met python scripts die kunnen worden ingebed in de hoofd-GUI als add-ons, zoals NeuroMorph en glycogeen analyse. De flexibiliteit van deze software wordt geleverd met het nadeel dat, in tegenstelling tot Fiji, bijvoorbeeld, het is niet ontworpen voor de online visualisatie van grote datasets; Daarom kan het visualiseren en navigeren door grote mazen (meer dan 1 GB) traag en niet efficiënt zijn. Daarom is het altijd raadzaam om technieken te kiezen die de fijnmazige complexiteit verminderen, maar zorg ervoor dat u de oorspronkelijke morfologie van de structuur van de interesse niet verstoort. De remesh-functie is handig en is een ingebed kenmerk van de NeuroMorph batchimport tool. Een probleem met deze functie is dat, afhankelijk van het aantal hoekpunten van het oorspronkelijke net, de waarde van de boom-diepte, die is gerelateerd aan de uiteindelijke resolutie, dienovereenkomstig moet worden gewijzigd. Kleine objecten kunnen worden remeshed met een kleine boom diepte (bijvoorbeeld 4), maar dezelfde waarde kan verstoren de morfologie van grotere objecten, die grotere waarden (6 op zijn best, 8 of zelfs 9 voor een zeer grote mesh, zoals een volle cel). Het is raadzaam om dit proces iteratief te maken en de verschillende boom diepten te testen als de grootte van het object niet duidelijk is.
Zoals eerder vermeld, is een aspect dat in aanmerking moet worden genomen de rekenkracht om te worden gewijd aan de wederopbouw en analyse, met betrekking tot de software die wordt gebruikt. Alle bewerkingen die worden weergegeven in de representatieve resultaten van dit manuscript zijn verkregen met behulp van een MacPro, uitgerust met een AMD FirePro D500 grafische kaart, 64 GB RAM en een Intel Xeon E5 CPU met 8 cores. Fiji heeft een goede software architectuur voor het verwerken van grote datasets; Daarom is het raadzaam om een laptop met een goede hardware prestaties, zoals een MacBook Pro met een 2,5 GHz Intel i7 CPU en 16 GB RAM-geheugen te gebruiken. ilastik software is veeleisender in termen van hardwarebronnen, in het bijzonder tijdens de voor verwerking stap. Hoewel het downsamplen van de afbeeldings stack een goede truc is om de hardwareverzoeken van de software te beperken en stelt de gebruiker in staat om een stapel te verwerken met een laptop (meestal als deze lager is dan 500 pixels in x,y,z), raden we het gebruik van een high-end computer om deze software soepel uit te voeren. We gebruiken een werkstation dat is uitgerust met een Intel Xeon Gold 6150 CPU met 16 cores en 500 GB RAM.
Wanneer ze voorzien zijn van een nauwkeurige 3D-reconstructie, kunnen wetenschappers de originele micro grafieken verwijderen en direct op de 3D-modellen werken om nuttige morphometrische gegevens te extraheren om cellen van hetzelfde type te vergelijken, evenals verschillende soorten cellen, en gebruik te maken van VR voor kwalitatieve en kwantitatieve evaluaties van de morfologieën. Het gebruik van deze laatste is met name nuttig gebleken in het geval van analyses van dichte of complexe morfologieën die visuele occlusie (d.w.z. de blokkering van een voorwerp van interesse in de 3D-ruimte, door een tweede tussen de waarnemer en de fi RST object), waardoor het moeilijk is om ze in 3D te vertegenwoordigen en te analyseren. In het gepresenteerde voorbeeld heeft een ervaren gebruiker ongeveer 4 niet-opeenvolgende uren om de gegevenssets te observeren en de objecten te tellen. De tijd besteed aan VR-analyse kan variëren als aspecten zoals VR-ziekte (die tot op zekere hoogte kunnen worden gerelateerd aan auto ziekte) kunnen een negatieve invloed hebben op de gebruikerservaring; in dit geval kan de gebruiker de voorkeur geven aan andere analysetools en de tijd beperken die is toegewezen aan VR.
Ten slotte kunnen al deze stappen worden toegepast op andere microscopie-en niet-EM-technieken die afbeeldingsstapels genereren. EM genereert beelden die in het algemeen uitdagend zijn om te hanteren en te segmenteren, in vergelijking met bijvoorbeeld fluorescentiemicroscopie, waarbij iets vergelijkbaar is met een binair masker (signaal versus een zwarte achtergrond), dat in principe gemakkelijk kan worden gerenderd in 3D voor verdere verwerking, vaak moet worden aangepakt.
Disclosures
The authors have nothing to disclose.
Acknowledgements
Dit werk werd gesteund door de King Abdullah University of Science and Technology (KAUST) concurrerende onderzoeksbeurzen (CRG) Grant “KAUST-BBP Alliance voor integratieve modellering van de hersenen energie metabolisme” aan P.J.M.
Materials
| Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
| iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
| Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
| HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
| Neuromorph | Open Source | — | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
| Glycogen Analysis | Open Source | — | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
| GLAM | Open Source | — | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |
References
- Leighton, S. B. SEM images of block faces, cut by a miniature microtome within the SEM – a technical note. Scanning Electron Microscopy. , 73-76 (1981).
- Knott, G., Marchman, H., Wall, D., Lich, B. Serial section scanning electron microscopy of adult brain tissue using focused ion beam milling. Journal of Neuroscience. 28, 2959-2964 (2008).
- Denk, W., Horstmann, H. Serial block-face scanning electron microscopy to reconstruct three-dimensional tissue nanostructure. PLOS Biology. 2, e329 (2004).
- Coggan, J. S., et al. A Process for Digitizing and Simulating Biologically Realistic Oligocellular Networks Demonstrated for the Neuro-Glio-Vascular Ensemble. Frontiers in Neuroscience. 12, (2018).
- Tomassy, G. S., et al. Distinct Profiles of Myelin Distribution Along Single Axons of Pyramidal Neurons in the Neocortex. Science. 344, 319-324 (2014).
- Wanner, A. A., Genoud, C., Masudi, T., Siksou, L., Friedrich, R. W. Dense EM-based reconstruction of the interglomerular projectome in the zebrafish olfactory bulb. Nature Neuroscience. 19, 816-825 (2016).
- Kasthuri, N., et al. Saturated Reconstruction of a Volume of Neocortex. Cell. 162, 648-661 (2015).
- Calì, C., et al. The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. PLOS ONE. 13, e0198131 (2018).
- Calì, C., Agus, M., Gagnon, N., Hadwiger, M., Magistretti, P. J. Visual Analysis of Glycogen Derived Lactate Absorption in Dense and Sparse Surface Reconstructions of Rodent Brain Structures. , (2017).
- Calì, C., et al. Three-dimensional immersive virtual reality for studying cellular compartments in 3D models from EM preparations of neural tissues. Journal of Comparative Neurology. 524, 23-38 (2016).
- Fiala, J. C. Reconstruct: a free editor for serial section microscopy. Journal of Microscopy. 218, 52-61 (2005).
- Cardona, A., et al. TrakEM2 software for neural circuit reconstruction. PLOS ONE. 7, e38011 (2012).
- Januszewski, M., et al. High-precision automated reconstruction of neurons with flood-filling networks. Nature Methods. 1, (2018).
- Shahbazi, A., et al. Flexible Learning-Free Segmentation and Reconstruction of Neural Volumes. Scientific Reports. 8, 14247 (2018).
- Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. , (2011).
- Holst, G., Berg, S., Kare, K., Magistretti, P., Calì, C. Adding large EM stack support. , (2016).
- Beyer, J., et al. ConnectomeExplorer: query-guided visual analysis of large volumetric neuroscience data. IEEE Transactions on Visualization and Computer Graphics. 19, 2868-2877 (2013).
- Beyer, J., et al. Culling for Extreme-Scale Segmentation Volumes: A Hybrid Deterministic and Probabilistic Approach. IEEE Transactions on Visualization and Computer. , (2018).
- Jorstad, A., et al. NeuroMorph: A Toolset for the Morphometric Analysis and Visualization of 3D Models Derived from Electron Microscopy Image Stacks. Neuroinformatics. 13, 83-92 (2015).
- Jorstad, A., Blanc, J., Knott, G. NeuroMorph: A Software Toolset for 3D Analysis of Neurite Morphology and Connectivity. Frontiers in Neuroanatomy. 12, 59 (2018).
- Calì, C. Astroglial anatomy in the times of connectomics. Journal of Translational Neuroscience. 2, 31-40 (2017).
- Mohammed, H., et al. Abstractocyte: A Visual Tool for Exploring Nanoscale Astroglial Cells. IEEE Transactions on Visualization and Computer Graphics. , (2017).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Computers & Graphics. 74, 85-98 (2018).
- École Polytechnique Fédérale de Lausanne. . NeuroMorph Analysis and Visualization Toolset. , (2018).
- . GitHub – daniJb/glycol-analysis: Glycogen_analysis.py is a python-blender API based script that performs analysis on a reconstructed module of glycogen data Available from: https://github.com/daniJb/glyco-analysis (2018)
- . GitHub – magus74/GLAM: Glycogen Lactate Absorption Model Available from: https://github.com/magus74/GLAM (2019)
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Dryad Digital Repository. , (2018).
- Calì, C., et al. Data from: The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. Dryad Digital Repository. , (2018).
