Van Voxels to Knowledge: Een praktische gids voor de segmentatie van Complex Electron Microscopy 3D-Data

Figuur 1 toont een typische workflow 3D elektronenmicroscopie cellulaire beeldvorming, waaronder tomografie, FIB-SEM en SBF-SEM. De workflow omvat ruwe dataverzameling, uitlijning en de wederopbouw in een 3D-volume, ruisonderdrukking door filtering, en indien nodig, het bijsnijden van de regio van belang met het oog op de effectiviteit van de gekozen segmentatie software te maximaliseren. Dergelijke voorbewerkte data is dan klaar voor de feature extractie / segmentatie. Figuur 2 toont de in figuur 1 genoemde vier verschillende gegevensreeksen (dat hierna verder wordt ingevoerd), waarvan twee met hars ingebedde monsters geregistreerd door tomografie (Figuren 2A, 2B) workflow, met de andere twee gevolg van FIB -SEM en SBF-SEM, respectievelijk (Figuren 2C, 2D). Afbeeldingen in figuur 2, kolom 1 zijn projectieuitzicht (figuren 2A1, 2B1) en loopwagenoppervlak afbeeldingen (figuren 2C1, 2D1), respectievelijk, die na afstemming en wederopbouw worden geassembleerd tot een 3D-volume. Kolom 2 toont plakken door middel van dergelijke 3D-volumes, die na filtering (kolom 3) tonen een significante vermindering van de geluidsoverlast en dus lijken vaak meer knapperig. Na het selecteren en bijsnijden van de grote 3D-volume naar de regio van belang (kolom 4), kunnen 3D-renderings van gesegmenteerde kenmerken van belang (kolom 5) worden verkregen en verder geïnspecteerd, kleurcodes en kwantitatief geanalyseerd. Een totaal van zes 3D data sets, die elk een stapel van beelden verkregen door hetzij tomografie (3 datasets), FIB-SEM (2 data sets) of SBF-SEM (1 data set) worden gebruikt voor het vergelijken hoe iedere de vier segmentatiemethoden voeren (figuur 3). De datasets voort uit een verscheidenheid van verschillende onderzoeksprojecten in het laboratorium en op die manier areasonably uiteenlopende reeks typische experimentele data sets. Alle gegevens werden onderzocht door vier onafhankelijke onderzoekers, die elk het meest vertrouwd zijn met een bepaalde aanpak, en zij werden belast met het verstrekken van de best mogelijke resultaat voor elk van de zes datasets. De datasets worden uit monsters als volgt: 1 Cijfers 3A1-3A5: hogedruk-bevroren, bevriezen gesubstitueerde en-hars ingebed chick binnenoor haarcellen stereocilia 31, 2 Cijfers 3B1-3B5: hogedruk-bevroren, freeze vervangen en met hars ingebed plantencelwand (niet gepubliceerd), 3 Cijfers 3C1-3C5: hogedruk-bevroren, bevriezen gesubstitueerde en-hars ingebed binnenoor haarcellen kinocilium (niet gepubliceerd), 4 Figures 3D1-3D5: hoge druk- bevroren, vries-en gesubstitueerde hars ingebedde blokken mitochondria in humane borstklier epitheelcellen HMT-3522 S1 acini, die zijn gekweekt in laminine rijke Extracellular matrix 32,33, 5 Cijfers 3E1-3E5: unstained-tafelmodel verwerkt, met hars ingebed blokken van een sulfaat verloopstuk bacteriële biofilms (manuscript in voorbereiding), en 6 Cijfers 3F1-3F5: membraan grens van aangrenzende cellen van de HMT -3522 S1 acini. Zoals blijkt uit figuur 3, kunnen verschillende segmentatie benaderingen leiden tot overwegend vergelijkbare resultaten voor bepaalde gegevensset types, maar volledig verschillende resultaten op andere soorten data. Bijvoorbeeld, de haarcel stereocilia dataset (Figuur 3A) geeft redelijke segmentatie volumes met vier benaderingen met de handmatige onttrokken model gegenereerd door een ervaren gebruiker wordt het duidelijkst te interpreteren en te meten. In dit geval is dit model zorgt voor snelle metingen van filament-filament afstanden, het tellen van het aantal links gevonden tussen de langwerpige filamenten, als het bepalen van ontbrekende delen van de kaart dichtheid overeenkomstigenaar locaties waar het specimen werd beschadigd tijdens de voorbehandeling 34. Dergelijke informatie is veel moeilijker te verkrijgen met de andere drie segmentatie benaderingen, hoewel het speciaal automatische segmentatie geeft betere resultaten dan louter dichtheid gebaseerde drempelwaarden. Voor de celwand van planten (Figuur 3B), handmatige model generatie verscheen het meest efficiënt te zijn in het overbrengen van een gevoel van orde in de celwand, die geen van de andere benaderingen te bereiken. Echter, de onttrokken model niet de drukte van de objecten in de dataset vangen. Handmatig opsporen van kenmerken van belang lijkt een beter resultaat dan de dichtheid gebaseerde of vorm-toezicht benaderingen geven. Aan de andere kant, handleiding tracing is zeer arbeidsintensief en het identificeren van de grenzen van de mogelijkheden is enigszins subjectief. Daarom kan geautomatiseerde methoden de voorkeur voor het segmenteren grote volumes met een mogelijke compromis tussen nauwkeurigheid enmiddelen besteed aan handmatige segmentatie. Voor de kinocilium dataset (Figuur 3C) versnellingsbak geabstraheerd model generatie levert de schoonste resultaat en onthult een onverwachte architectuur drie microtubuli in het midden van de kinocilium, een detail dat goed zichtbaar in de bijgesneden data, maar verloor in alle andere benaderingen , vermoedelijk als gevolg van heterogeniteit vlekken. Echter, andere potentieel belangrijke kenmerken van de kaart van de dichtheid worden gemist in de handleiding generatie van een abstract model. Dit komt door het feit dat de persoonlijke aard van de handleiding modelvorming leidt tot een idealisering en abstractie van de werkelijke soortelijke massa waargenomen, en daarom een ​​subjectieve interpretatie tijdens de modelvorming. Vandaar dat dit voorbeeld goed zien hoe handleiding geabstraheerde generatie van het model maakt het mogelijk om zich te concentreren op een specifiek aspect van het 3D-volume. Echter, de selectieve perceptie en vereenvoudiging niet in slaagt om een ​​volledig overzicht te geven van al het eiwit complexes aanwezig zijn in de dataset. Daarom, als het doel is om de complexiteit van de gegevens blijkt, dan is men beter gediend met een van de andere drie benaderingen. Bij het ​​3D matrix gekweekt borstklier acini (figuur 3D), worden de hoge contrast mitochondria gesegmenteerd door vier benaderingen met gemak, met de handmatige traceren van kenmerken niet te verrassend waarbij de beste resultaten met de laagste hoeveelheid verontreiniging ( Figuur 3D3). Echter, handleiding tracing is zeer arbeidsintensief en is daarom van weinig nut voor grote volumes. Beide density-drempel-based en vorm toezicht geautomatiseerde segmentatie extract de mitochondriën vrij goed, en zou resulteren in een bijna perfecte segmentatie, indien verdere trucs voor opruimen in dienst zijn (bijvoorbeeld het elimineren van alle objecten onder een bepaalde drempel van voxel dichtheid) als beschikbaar in verschillende pakketten. In dit geval heeft handleiding geabstraheerde modelbouw niet toegevenveelbelovende resultaten, voor een deel omdat de mitochondriën kan niet gemakkelijk worden benaderd met de bal en stick modellen. Wat de bacteriële bodemgemeenschap / biofilm (figuur 3E), drie van de vier benaderingen redelijke resultaten opleveren, met de handmatige model generatie niet goed presteren gezien de moeilijkheid van die biologische objecten, zoals bacteriën, met geometrische vormen. Extracellulaire aanhangsels uitgaande van de bacteriën kan worden gedetecteerd in de automatische segmentatie benaderingen maar ook in de handmatige functie tracing. Shape-toezicht-speciaal automatische segmentatie kan het extracellulaire eigenschappen van de bacterie verder scheiden ondanks hun vergelijkbare dichtheden (data niet getoond), waardoor eenvoudig kwantificering zelfs zeer grote datasets. Want dit is van oorsprong een zeer grote dataset, de op maat gemaakte geautomatiseerde segmentatie duidelijk weggeconcurreerd alle andere benaderingen, maar kan hebben geprofiteerd van de lage complexiteiten de relatief schaarse verdeling van de objecten van belang (laag drukte). Bij het ​​onderzoek van de interface tussen twee eukaryote cellen in een weefsel-achtige context (figuur 3F), alleen de handleiding opsporen van kenmerken van belang goede resultaten opgeleverd. Geautomatiseerde dichtheid gebaseerde segmentatie stappen het membraan grens tussen aangrenzende cellen geheel detecteren, en zelfs de speciaal benadering faalt, mede doordat de vorm van een cel is niet gemakkelijk benaderd of gelijkgesteld met vormen, ondanks de duidelijke succes voor de bacteriën in de biofilm (figuur 3E5). De waarneming van figuur 3 dat de segmentering benaderingen doen het goed op een aantal data sets, maar niet op anderen heeft geleid tot de vraag wat elk van deze datasets kenmerkt, en de vraag of het mogelijk was om de soorten gegevens kenmerken of persoonlijke doelen die leek te categoriseren goed overeenkomen met hun respectiee aanpak. Systematische studie van dit onderwerp is nog niet eerder uitgevoerd, en dus als een eerste stap in een vestiging van een empirisch overzicht van beeldkenmerken en persoonlijke doelen een beginner kunnen begeleiden in hun poging om de beste aanpak voor de feature extractie van hun respectieve data set te vinden. Acht criteria werden geïdentificeerd als significant worden getoond in figuur 4, en kunnen worden onderverdeeld in twee hoofdcategorieën: (1) de eigenschappen die inherent zijn aan de dataset zijn, en (2) persoonlijke doelstellingen van de onderzoeker en andere overwegingen die enigszins zijn persoonlijke, hoewel even belangrijk. De getoonde zijn voornamelijk afkomstig uit de zes datasets in figuur 3, met drie extra gegevens ingevoerd voorbeelden: een (Figuur 4A1) is een cryo-tomogram van een cryo-gedeelte van celwand Arabidopsis thaliana plant, het tweede (figuren 4A2 , 4B1, 4D1 </strong>) is een FIB / SEM dataset van het binnenoor stria vascularis, een zeer complex en ingewikkeld weefsel dat zou passen in de categorie in Figuren 3F1-3F5 maar is nog aanzienlijk complexer, en de derde (Figuren 4B2 , 4D2) is een hars-sectie tomogram van binnenoor haarcellen stereocilia in dwarsdoorsnede is, vergelijkbaar met het monster inhoud getoond in de lengterichting gezien in Figuress 2A1-2A5 en 3A1-3A5. Voor de categorie van de objectieve criteria zoals beeld kenmerken, vier eigenschappen die inherent zijn aan de datasets worden voorgesteld van belang te zijn: De data contrast kan (1) laag (figuur 4A1) als typisch voor cryo-EM tomogrammen, (2) tussenproduct (figuur 4A2) zoals in cellulaire landschappen zonder duidelijke organel of andere opvallende kenmerk status of (3) hoog (figuur 4A3), zoals het geval is voor de kinociliary tomogram of stereocilia in doorsnede, door de aanpassing van duidelijk gescheiden draadvormige elementen in de z-richting. De data kan fuzzy (Figuur 4B1), zonder zichtbaar duidelijke grenzen tussen twee nauw geplaatste voorwerpen, zoals cellen in een weefsel of knapperig (Figuur 4B2), met scherp gedefinieerde grenzen. Dit is deels afhankelijk van de dataset resolutie, die inherent groter met een factor van ongeveer 2-4 voor elektronenmicroscopie tomogrammen opzichte FIB-SEM. Uiteraard scherpere grenzen zijn wenselijk voor zowel handmatige als geautomatiseerde segmentatie benaderingen, maar essentieel voor de laatste benadering. De dichtheidskaarten kan zowel druk (figuur 4C1) zoals weergegeven door de dicht op elkaar plantcelwandcomponenten of dunbevolkte (figuur 4C2) zijn, evenals de bacteriën in een kolonie, die de scheiding die renders automatische beeldsegmentatie hoofdzaak eenvoudiger voorbeeld. Dichtheidskaarten Ingewikkeld met zeer verschillende eigenschappen vaak onregelmatige vormen, zoals de stria vascularis weefsel rondom een bloedvat (figuur 4D1) of welomschreven organel-achtige objecten met een soortgelijke organisatie zoals de stereocilia in dwarsdoorsnede (be Figuur 4D2). Let ook op de sterk verschillende schalen in alle verschillende voorbeelden, waardoor de vergelijking enigszins moeilijk. Afgezien van de meer objectieve criteria, zoals het kenmerken, vier zeer subjectieve criteria die de keuze van het juiste pad zal begeleiden worden ook voorgesteld: Gewenste Doel: Het doel kan zijn het haarbundel stereocilium visualiseren in zijn complexiteit en bepalen en onderzoekt de vorm van het object (figuur 4E1) of een vereenvoudigd en geabstraheerd bal en stok model dat is ingebouwd in de map dichtheid maken en maakt een snelle telling eennd het meten van de geometrische objecten (lengte filament, de afstand en het aantal verbindingen) (Figuur 4E2). De functie morfologie zeer onregelmatige en complexe achtige cellen, zoals cel-cel interactie zones (figuur 4F1), wat gelijkvormige met enige variatie, zoals mitochondriën (figuur 4F2) of grotendeels identiek gevormde, zoals actine filamenten en kruis zijn schakels in een haar bundel in longitudinale richting (figuur 4F3). Het aandeel van de eigenschap van belang (bevolkingsdichtheid) belangrijk, zoals men zou willen segment alle functies in een 3D data set, zoals het geval is voor planten celwanden (Figuur 4G1), of slechts een fractie van het celvolume zoals het geval van mitochondria in een heterogene cellulaire scene (Figuur 4G2). Afhankelijk van de grootte van de dataset en het percentage volume dat segmentatie vereist, kan efficiënt te gebruikenmanual benaderingen. In andere gevallen, zoals wanneer men geïnteresseerd is in een verscheidenheid aan functies, er is gewoon geen alternatief voor het gebruik van semi-automatische segmentatie benaderingen. Een ander belangrijk subjectief criterium is de hoeveelheid middelen die men bereid is te investeren in de segmentatie proces en welke mate van trouw is vereist om een ​​biologische vraag te beantwoorden. Men kan willen en moeten kwantificeren volumetrische parameters van een feature (zoals grootte, volume, oppervlakte, lengte, afstand tot andere kenmerken, etc.), waarbij meer zorg nodig zijn om accurate kwantitatieve informatie (figuur 4H1) te verkrijgen, of het doel kan zijn om alleen maar een foto van haar 3D-vorm (figuur 4H2) snap. In een ideale wereld waar de middelen zijn onbeperkt, men duidelijk wil er nu niet in op compromissen, maar eerder kiezen voor de meest nauwkeurige pad van de gebruiker ondersteunde handmatige feature extractie. Hoewel dit kan werken voor veel datasets, in de nabije toekomst 3D volumes WIL l in de orde van 10k door 10k door 10k of hoger, en handmatige segmentatie niet meer kunnen een belangrijke rol spelen bij het segmenteren van zo'n grote ruimte. Afhankelijk van de complexiteit van de data en andere data kenmerken, semi-automatische segmentatie een noodzaak. In figuur 5 zijn sterke en zwakke kort vermeld voor de vier segmentatie benaderingen. De persoonlijke doelstellingen en beeldkenmerken die in figuur 4, dat kan koppelen met elke benadering worden ook beschreven. In figuur 6, de persoonlijke doelstellingen en het imago kenmerken van de zes datasets illustreren hoe u gegevens triage en beslissen over de beste aanpak. Beide figuren 5 en 6 worden verder uitgewerkt in de discussie. belasting / 51673 / 51673fig1highres.jpg "width =" 500px "/> Figuur 1 Workflow voor biologische beeldvorming reconstructie en analyse. Deze grafiek geeft een overzicht van de verschillende stappen ondernomen om het verzamelen en verwerken van beelden door tomografie verzameld, focused ion beam SEM, en serieblok gezicht SEM. Raw dataverzameling resultaten in 2D tilt serie of seriële secties. Deze 2D-afbeelding sets moeten worden afgestemd en gereconstrueerd in 3D, daarna gefilterd om ruis te verminderen en verbeteren van het contrast van de kenmerken van belang. Tot slot kunnen de gegevens worden gesegmenteerd en geanalyseerd, uiteindelijk resulterend in een 3D-model. Klik hier om een grotere versie van deze afbeelding te bekijken. Figuur 2.. Voorbeelden van workflow voor verschillende soorten gegevens van tomografie en FIB-SEM Elke stap van de workflow na het verzamelen van gegevens wordt getoond door middel van vier datasets (rijen AD): hars ingebed in lood tomografie van overlangs doorgesneden stereocilia, hars ingebed in lood tomografie van plantaardige celwand cellulose, FIB-SEM van borst-epitheelcellen mitochondria en SBF-SEM E. coli bacteriën. Een 2D-slice door de ruwe data wordt weergegeven in kolom 1, en een afbeelding van de gegevens na de aanpassing en 3D reconstructie bestaat uit kolom 2 De filtering technieken die worden toegepast in kolom 3 zijn de volgende: mediaan filter (A3), niet-anisotrope diffusie filter (B3), Gaussiaans vervagen (C3), en MATLAB imadjust filter (D3). Een voorbeeld van de beste segmentatie voor elke set van het bijgesneden gebied van belang (kolom 4) worden weergegeven als een 3D-rendering in kolom 5 Schaal bars: A1-A3 = 200 nm, A4 = 150 nm, A5 = 50 nm, B1-B3 = 200 nm, B4-B5 = 100 nm, C1-C3 = 1 mm, C4-C5 = 500 nm,D1-D3 = 2 mm, D4-D5 = 200 nm. Klik hier om een grotere versie van deze afbeelding te bekijken. Figuur 3 Toepassing van vier segmentatie zal bijvoorbeeld datasets Zes bijvoorbeeld datasets werden gesegmenteerd door alle vier de benaderingen:. Handleiding geabstraheerd model generatie, handmatige tracing, geautomatiseerde dichtheid gebaseerde segmentatie, en op maat gemaakte geautomatiseerde segmentatie. Handmatig geabstraheerde model generatie was effectief voor de hars ingebed in lood tomografie van stereocilia (A), zoals de bedoeling was om een ​​model voor kwantitatieve doeleinden te creëren in plaats van om dichtheden te halen. Voor de hars ingebed in lood tomografie van plantaardige celwand (B), automatische dichtheid gebaseerd segmentatie was de meest effectieve methode om snel uit te pakken de cellulose door vele plakjes, waar hij als de handmatige methoden nam veel meer inspanning van slechts een paar plakjes van de gegevens. Handmatig geabstraheerde model generatie gegenereerd de microtubuli triplet in de gebrandschilderde tomografie van kinocilium (C), terwijl andere segmentatie methoden niet, maar de twee geautomatiseerde benaderingen onttrokken de dichtheden sneller en werden daarom de voorkeur. Door de vorm van mitochondria van FIB-SEM van borst-epitheelcellen (D) versnellingsbak tracing mits de schoonste resultaat en dunbevolkte gecombineerd met gebruik van interpolatie werkwijzen toegestaan ​​snelle segmentatie. Gezien de grote hoeveelheden die moeten worden gesegmenteerd, maat toegesneden automatische segmentatie bleken efficiënt segmenteren de SBF-SEM bacteriën data (E), maar zowel automatische benaderingen waren vergelijkbaar. Hoewel tijdrovend, de enige methode om de FIB-SEM van borstepitheelcellen celmembraan (F) extract is handwerk tracing Schaalbalken.:A1-A5 = 100 nm, B1-B5 = 100 nm, C1-C5 = 50 nm, D1-D5 = 500 nm, E1-E5 = 200 nm, F1-F5, bars = 500 nm. Klik hier om te bekijken een grotere versie van deze figuur. Figuur 4 Objectieve kenmerken image en subjectieve persoonlijke doelen voor triaging van datasets. Behulp van voorbeelden van data set kenmerken, criteria worden voorgesteld om een beslissing welke segmentatie aanpak te gebruiken op de hoogte. Met betrekking tot de objectieve kenmerken, kunnen de gegevens inherent zijn contrast, dat is laag, gemiddeld of hoog (A1-A3), zijn fuzzy of (B1-B2), gespreid of druk (C1-C2), en hebben complexe of gewoon georganiseerde functies (D1-D2). Subjectieve persoonlijke doelen zijn onder meer de gewenste o OEL gericht op een vereenvoudigd model of de winning van de exacte dichtheden (E1-E2), het identificeren van een ingewikkelde blad, ingewikkelde volume, of lineaire morfologie als de functie van belang (F1-F3), het kiezen van een bevolkingsdichtheid van de functie van de rente hoog of laag (G1-G2), en de besluitvorming over de trade-off tussen de high-fidelity en high-resource-allocatie voor een afnemend rendement op beleggingen, zoals de tijd (H1-H2) Schaal Bars:. A1 = 50 nm, A2 = 1500 nm , A3 = 100 nm, 1500 nm = B1, B2 = 200 nm, C1 = 100 nm, C2 = 200 nm, D1 = 10 mm, D2 = 200 nm, 100 nm = E1, E2 = 50 nm, F1-F2 = 500 nm, F3 = 50 nm, G1 = 100 nm, G2 = 1 mm, H1-H2 = 100 nm. Klik hier om een grotere versie van deze afbeelding te bekijken. px "/> Figuur 5 Vergelijking tabel met gegevens kenmerken en subjectieve streeft geschikt voor verschillende segmentatie benaderingen. Deze tabel geeft een overzicht van de sterke en zwakke punten van elke segmentatie aanpak. De criteria van Figuur 4 geeft aan welke datasets geschikt voor welke segmentatie methode zijn. Deze objectieve beeldkenmerken en subjectieve persoonlijke doelen werden gekozen voor een optimaal gebruik van elke benadering, maar verschillende combinaties kunnen belemmeren of bevorderen van de efficiëntie van de segmentatie. Klik hier om een grotere versie van deze afbeelding te bekijken. Figuur 6 Beslissingsdiagram voor efficiënt twelijk van segmentatie benaderingen voor datasets met verschillende kenmerken. Op basis van de kenmerken uit figuur 4 blijkt, dit diagram die vier criteria het meest bijgedragen aan de uiteindelijke beslissing over de beste segmentatie aanpak voor ieder samenstel van figuur 3 gegevens. Elke dataset is kleurcodering om snel volgen de gedurfde lijnen die de primaire besluitvorming, evenals de stippellijnen die een alternatief pad die al dan niet leiden tot dezelfde aanpak weerspiegelen. De kinocilium, bacteriën en planten celwand datasets zijn best gesegmenteerd met de twee geautomatiseerde methoden. In tegenstelling, de celmembraan en de mitochondriën wegen altijd leiden tot handmatige tracering als gevolg van hun moeilijke kenmerken. Klik hier om een grotere versie van deze afbeelding te bekijken.