Segmentation des données tridimensionnelles de nombreuses techniques d’imagerie est un goulot d’étranglement majeur dans l’analyse des systèmes biologiques complexes. Nous décrivons ici l’utilisation de SuRVoS établi à semi-automatiquement segment volumétrique des données diverses échelles de longueur à l’aide d’ensembles de données exemple de tomographie cryo-électronique, cryo tomographie à rayons x mou et techniques de tomographie aux rayons x phase contraste.
La segmentation est le processus consistant à isoler des régions ou des objets dans un volume imagé, afin qu’une étude plus approfondie peut être pratiquée que sur ces domaines d’intérêt. Lors de l’examen de l’analyse des systèmes biologiques complexes, la segmentation des données d’image en trois dimensions est une étape intensive de votre temps et du travail. Avec l’augmentation de la disponibilité de nombreuses modalités d’imagerie et systèmes de collecte de données automatisée, cela représente un défi accru pour le biologiste expérimental modern déplacer des données à la connaissance. Cette publication décrit l’utilisation de SuRVoS Workbench, un programme visant à résoudre ces problèmes en fournissant des méthodes pour semi-automatiquement segment complexe biologique données volumétriques. Trois ensembles de données de différant de grossissement et de modalités d’imagerie sont présentés ici, chacune mettant en évidence les différentes stratégies de segmentation avec SuRVoS. Phase contraste aux rayons x tomographie (microCT) de l’organe de fructification d’une plante est utilisée pour démontrer à l’aide de la formation de modèle de segmentation, tomographie cryo d’électrons (cryoET) des plaquettes humaines sert à démontrer la segmentation en utilisant super – et megavoxels et cryo doux Tomographie à rayons x (cryoSXT) d’une lignée de cellules de mammifères est utilisée pour démontrer l’étiquette fractionnement des outils. Stratégies et paramètres pour chaque type de données sont également présentées. En mélangeant une sélection des processus semi automatiques en un seul outil interactif, SuRVoS offre plusieurs avantages. Dans l’ensemble temps de données volumétriques de segment est réduit par un facteur de cinq par rapport à la segmentation manuelle, un pilier dans de nombreux domaines de traitement d’image. Il s’agit d’une économie importante quand segmentation manuelle complète peut prendre des semaines d’efforts. En outre, subjectivité est adressée par l’utilisation de limites identifiées par le calcul et fendage complexes collections d’objets par leurs propriétés calculées, plutôt que sur une base de cas-par-cas.
Le SuRVoS Workbench est un logiciel conçu pour permettre aux chercheurs d’extraire des informations scientifiquement pertinentes de données volumétriques de divers échantillons, indépendamment de la structure d’intérêt, de résolution ou de l’ imagerie de la modalité1, 2. Données volumétriques tels que ceux-ci sont souvent recueillies à l’aide de systèmes de tomographie aux rayons x ou électrons, systématiquement basé au grand laboratoires ou installations centralisées en raison de leur complexité. Tous deux de ces méthodes et autres techniques, produits grand, ensembles de données riche d’informations qui s’avèrent difficiles à segment avec deux méthodes semi-automatique ou manuelle. En particulier, état quasi native cryo-immobilisé datasets exigent des conditions d’imagerie faible dose, ce qui entraîne un faible rapport signal-bruit et un faible contraste, en particulier en cryo electron tomography (cryoET)3,4,5 . Un autre facteur dans certains ensembles de données 3D est la présence d’artefacts introduits par les difficiles conditions expérimentales impliquées, par exemple des artefacts coin manquant en raison de la collecte de données sur un nombre limité inclinaison gamme, ayant pour résultat les informations manquantes et allongement dans la direction du faisceau3,4,5. Même si bas signal sur bruit ou manquant cale artefacts ne sont pas problématiques (par exemple concentré de faisceau d’ions SEM6 ou bloc serial face SEM7), la complexité et la nature en trois dimensions de l’échantillon et la grande quantité de données signifient analyse serait bénéficier d’un processus automatisé pour la segmentation des données.
Actuellement, lorsqu’on considère les volumes biologiques des cellules, il y a beaucoup d’options pour automatiquement ou semi-automatiquement identifiant cellulaires très caractéristiques, telles que l’actine, microtubules ou complexes de protéines spécifiques, à l’aide d’une recherche basée sur des modèles, ou pour identifier les caractéristiques de certains types d’ensembles de données (par exemple un contraste élevé, Taché, échantillons enrobées dans la résine)8,9,10,11,12. Toutefois, dans ces cas a priori informations ou protocoles de préparation témoin spécifiques sont nécessaires, limite l’application large de ces stratégies de segmentation. Il existe également des outils disponibles qui effectuent une formation au niveau voxel pour apprendre l’apparition de diverses structures d’intérêt lorsqu’il est administré d’entrée utilisateur13modèle. Toutefois, à ce niveau la complexité de la formation et les tests des modèles peut être sujettes à erreur et coûteuse. Compte tenu des conditions difficiles d’image et l’absence de stratégies de segmentation largement applicable, semi-automatique, segmentation manuelle est commune, même lorsque vous travaillez avec des matériaux biologiques complexes14,15, 16 , 17. Toutefois, il est généralement admis que le processus de segmentation manuelle n’est pas seulement beaucoup de temps, mais aussi sujette aux erreurs, subjectives et variables4,5,18,19 ,,20. Certains programmes de segmentation offrent des outils pour faciliter le processus de segmentation manuelle (c’est-à-dire l’interpolation, lasso ou outils de coup)21,22, toutefois, en cas de datasets bruyants, ils sont difficiles à appliquer avec succès, et même quand ils sont utilisés avec succès, le processus est toujours subjective et variable.
Traditionnellement, les segmentations ont été utilisées de deux manières distinctes : qualitativement ou quantitativement. Amélioreront les stratégies de segmentation et de technologies d’imagerie, il est devenu plus courant d’utiliser la segmentation comme un outil quantitatif pour répondre à des questions biologiques et comme une « vérité au sol » pour l’algorithme développement8,12, 15,23,24,25. Pour ce faire, que des mesures détaillées sont nécessaires pour diminuer la variabilité et la subjectivité dans le processus de26. Toutefois, ces précautions supplémentaires augmentent le caractère fastidieux de la segmentation. Pour cette raison, il est essentiel de fournir une stratégie de segmentation plus rapide et moins variable.
Le SuRVoS Workbench commence à régler ces questions en fournissant à l’utilisateur un choix de l’apprentissage automatique et les outils qui aident l’utilisateur dans le processus de segmentation, tout en également guider l’utilisateur à travers les étapes de traitement d’image. Pour ce faire, deux innovations clés sont mises en œuvre ensemble dans SuRVoS. Tout d’abord, il utilise une hiérarchie de Super-région au groupe semblable, les régions voisines des données basé sur leurs propriétés intrinsèques. Chacune des régions dans la hiérarchie représente le même volume en utilisant moins d’éléments, tout en assurant l’adhérence forte limite. Ainsi, Super-régions réduisent la complexité de la segmentation d’un volume de plusieurs ordres de grandeur mais représentent encore les données sans perte significative d’informations27. Deuxièmement, SuRVoS fournit une stratégie de segmentation semi-automatique qui utilise des entrées de segmentation manuelle minimale pour former les classificateurs, qui sont ensuite utilisés pour segmenter les restants du28,volume29. Cette stratégie réduit la segmentation manuelle, réduit considérablement le temps utilisateur segmenter d’et, lorsque vous utilisez des super-régions, retire manuelle délimitation des frontières, qui pourrait réduire la variabilité et la subjectivité.
Une autre caractéristique clé de SuRVoS est l’outil séparateur Label, par lequel un utilisateur peut classer une série d’objets déjà segmentés selon leurs propriétés inhérentes. Après la segmentation des différentes curiosités, cet outil peut servir à diviser l’ensemble en sous-classes basés sur des mesures telles que l’intensité de l’objet moyenne, variance, taille, emplacement, etc. c’est utile lors du classement des grands groupes d’objets avec grande complexité. Par exemple, un groupe d’organites cellulaires peut être divisé en vésicules vides, des gouttelettes lipidiques, mitochondries, etc.. ; ou un ensemble de matériel des inclusions peuvent être séparées basés sur la taille ou la forme. Une fois segmenté les étiquettes individuelles peut être divisée en groupes à l’aide de n’importe quel nombre de classificateurs, réduire les biais de l’identification.
Le SuRVoS Workbench a été utilisé avec succès à des données de segment de plusieurs techniques d’imagerie. Ici, synchrotron radiographie phase contraste la tomographie (microCT) de l’organe de fructification d’une plante est utilisée pour démontrer segmentatisur l’utilisation de formation modèle, tomographie cryo d’électrons (cryoET) des plaquettes humaines sert à démontrer la segmentation en utilisant super – et megavoxels et cryo douce tomographie à rayons x (cryoSXT) d’une lignée de cellules de mammifères est utilisée pour illustrer l’étiquette fractionnement des outils
SuRVoS Workbench diffère des autres programmes de segmentation optimisation de paramètres est une étape nécessaire et importante avant de commencer la segmentation réelle. Dans certains programmes de segmentation manuelle ou semi-manuel, l’utilisateur commence à segmenter en quelques instants d’ouvrir un nouveau projet. Avec SuRVoS, parce que de grandes quantités du volume vont être segmentées avec l’entrée d’utilisateur très peu et les frontières sont délimitées par le programme, optimisant les paramètres est essentielle à une segmentation réussie. En particulier, offrent des voies et bâtiment Super-région sont deux domaines où une attention particulière devrait être accordée.
Offrent des voies et la formation de modèle
Outre les données brutes, SuRVoS permet à l’utilisateur de créer des datasets supplémentaires ou des chaînes provenant d’un dataset existant. Ces canaux peut être créés à l’aide d’une sélection de méthodes de calculs ou extracteurs de fonctionnalité. Chacune des représentations de données existent en parallèle et peuvent être affichés individuellement afin d’évaluer les résultats de l’application de fonction ou de filtre. En raison de ces caractéristiques, ils sont appelés offrent des voies en SuRVoS. Il existe de nombreuses options de canal de fonctionnalité fournies dans SuRVoS. Pour plus d’informations sur les options et les paramètres utilisés ici, voir tableau 1pour une liste complète et la description des chaînes de fonctionnalité disponible Visitez https://diamondlightsource.github.io/SuRVoS/ 2. Tout d’abord, bruyant des ensembles de données bénéficieront de débruitage avec la gaussienne ou total filtre de variation. Il est recommandé que plus caractéristique des calculs channel et supervoxel/megavoxel être effectués à l’aide de l’un de ces ensembles de données debruites comme source de données. En règle générale, la variation totale débruitée dataset est utilisé comme les données source pour les calculs de fonction canal et supervoxel/megavoxel. Il est suggéré de courir avec les valeurs par défaut, tout d’abord, évaluer le résultat en 3D et enfin, itérativement optimiser les paramètres pour le dataset. En outre, fonctionnalité de canaux peut être construit dans « Jeux de filtres » à spécifiquement isoler des aspects de l’objet dataset et ceux-ci peuvent alors être utilisés comme sources de données pour créer supervoxels et megavoxels. Bien que cette stratégie est fortement dépendante de dataset, il peut être bénéfique.
Offrent des voies sont également utilisés comme sources pour former le classifieur dans la formation de modèle. Moment de décider sur quels canaux de fonction à utiliser, il est recommandé que quelques robustes offrent des voies (p. ex., de détection de blob, texture et structure ou catégories de fonctionnalités robustes) sont utilisés lorsque vous travaillez avec une petite quantité d’annotations pour former le classifieur. Lorsque vous travaillez avec une grande quantité de données d’apprentissage, il est recommandé d’utiliser plus de chaînes de fonctionnalité dans l’ensemble, parmi les catégories tant qu’ils fournissent des informations variées au classifieur (p. ex., les canaux de fonctionnalité liste ci-dessus s’ajoute du local caractéristiques et les catégories de fonctions gaussiennes).
Il y a trois parties principales de modéliser la formation : fournir des sources de données d’entrée qui décrivent les données, utiliser ces entrées pour former un classifieur et enfin affiner les prédictions de sortie. En règle générale, plus petites régions de données nécessitera plusieurs annotations utilisateur pour former avec précision le classificateur, tandis que des régions plus vastes des données exigera moins annotations utilisateur. Formation de modèle tout d’abord sans sélectionner un raffinement peut être utilisée pour trouver les meilleures prédictions. Alors inclure le raffinement et optimiser le paramètre lambda que nécessaires pour résoudre les problèmes avec les prédictions comme les trous ou les bords découpés.
Supervoxels et megavoxels
Supervoxels sont des regroupements de plusieurs voisins, semblable voxels38,39. Supervoxels commencent par une grille 3D standard superposée sur les données qui sont déformées ensuite par itération afin de respecter les limites sous-jacentes et ainsi mieux représenter les données. Création de Supervoxel et de la déformation est contrôlée par quatre entrées de l’utilisateur : source de données, la forme superpixel, espacement et compacité. La source de données fournit les entrées de données qui sont interrogées lors de la création de supervoxel. N’importe quelle source peut être utilisée, y compris les sources de données filtrées. Les paramètres de forme superpixel déterminent la grille de départ 3D et la forme approximative souhaitée de la supervoxels qui en résulte. Changer ces paramètres, vous pouvez augmenter ou diminuer la taille de le supervoxels avant la déformation. Les paramètres d’espacement définissent l’importance des limites dans chaque direction. Modification de ces paramètres peut souligner limites dans une ou deux directions au détriment de l’autre (s), ce qui signifie que les supervoxels qui en résulte seront déformera pour mieux suivre les limites données dans l’ou les directions donnée. Le dernier paramètre, compacité, contrôle combien le supervoxels peut se déformer. Un nombre faible compacité permet la supervoxels à se déformer de plus. Ces paramètres doivent être optimisés pour offrir des supervoxels qui représentent les limites des données d’intérêt. Remarque : Actuellement, les paramètres de forme supervoxel doivent être égale à 1024 ou moins en multipliés ensemble.
À certains égards, supervoxel paramètres peuvent compenser pour l’autre, ce qui signifie il n’y a nul « bonne réponse » en décidant des paramètres. Par exemple, une grande grille de départ (par exemple les forme superpixel : 10 x 10 x 10) et un nombre faible compacité (ex 20) peut donner des supervoxels avec la même adhérence limite par rapport à une petite grille de départ (par exemple forme de superpixel 5 x 5 x 5) et une plus grande nombre de compacité (p. ex. 50). Parce qu’il n’y a plus, petits supervoxels dans le second scénario, ils n’ont pas à se déformer autant pour représenter les limites. Les deux ensembles de paramètres pourraient être appropriées pour la segmentation de l’objet dataset.
L’examen plus important lors du choix des paramètres de supervoxel est bien les supervoxels représentent les données. Afficher les supervoxels seul, sans données sous eux, comme dans la Figure 2D, est un bon moyen d’évaluer les paramètres de supervoxel. Lors de l’affiche de cette façon, les bords et les contours des formes trouvées dans les données soit encore visibles dans le supervoxels.
Megavoxels sont des conglomérats de plusieurs voisins, semblable supervoxels38,39. Ils sont à nouveau contrôlés par quatre entrées de l’utilisateur : source de données, lambda, numbins et gamma. Comme pour supervoxels, la source de données fournit les entrées de données qui sont interrogées lors de la création de megavoxel. Les lambda et numbins impact sur l’adhérence de taille et de la limite de la megavoxels. Les megavoxels développer plus grand (lambda élevé, faible numbins), leur adhérence limite décroît. L’inverse est également vrai, adhérence limite augmentera avec petits megavoxels (faible lambda, numbins élevé), cependant que la taille de megavoxel diminue, fait leur utilité dans la segmentation rapidement de grandes quantités de voxels. Le paramètre facultatif gamma contrôle le facteur de souplesse par rapport au coût de la fusion de deux supervoxels ensemble. Petites valeurs de gamma peuvent améliorer la similitude entre deux supervoxels, au prix d’avoir globales moins megavoxels.
Comme pour supervoxels, l’examen plus grand quand choisissant et en optimisant les paramètres megavoxel est comment bien les megavoxels représentent les données. Affichant les megavoxels seul comme pour le supervoxels encore une fois peut être utilisé pour évaluer les paramètres. Cependant, parce que megavoxels sera généralement beaucoup plus grandes et sont en trois dimensions, à l’aide de l’annotation outils to choisir megavoxels unique pour la limite entre les régions d’intérêt soit serrée est également recommandée.
Stratégie d’annotation
Deux stratégies d’annotation générales ont été décrits : une approche de formation de modèle est utile pour séparer les grandes régions d’un dataset, alors qu’une approche de segmentation Super-région est utile pour les plus petits et plus diversifiés caractéristiques tels que les différents organites. Les annotations peuvent être organisées de façon hiérarchique afin qu’il est possible d’annoter les grandes régions d’abord, puis de les subdiviser en régions plus spécifiques à l’aide d’une relation parent-enfant. L’étiquette de parent pour un label peut être attribué en cliquant sur la zone à droite de la sélection de couleur d’étiquette et en choisissant une étiquette appropriée parent dans un niveau précédent. Dans la pratique, la plupart des ensembles de données utilisent les stratégies de segmentation Super-région et la formation de modèle permet de segmenter les régions/caractéristiques d’intérêt.
Dans l’exemple de formation modèle ici, quelques entrées de formation (sous la forme d’annotations de manuel utilisateur axée sur les supervoxel) ont été utilisées sur trois tranches équidistants des données. De cette façon, l’aspect formation de modèle de SuRVoS augmente considérablement la vitesse avec laquelle la segmentation est possible surtout quand travaillant avec grand, différenciés des régions telles que le fossé entre les régions dans la fructification goosegrass comme le souligne Figure 3.
Lorsque modèle dressage, si les prédictions sont invisibles, il peut être nécessaire d’aller à l’onglet visualisation et assurez-vous que la couche de prédictions est activée et mis à une quantité appropriée de la transparence. Aussi, une confiance 0 assignera chaque supervoxel sans étiquette à l’étiquette, selon quelle que soit la correspondance la plus proche est. Confiance de 100 sera uniquement assigner une étiquette si seulement une seule catégorie d’étiquette a n’importe quel match proportionnels. Tout le reste est un compromis de ces deux extrêmes. Lorsque vous sélectionnez un niveau de confiance, qu’il est suggéré de vérifier quelques tranches d’inspecter visuellement qu’il ne sont a pas mal prédites voxels avant d’enregistrer la prédiction sur une étiquette.
Une bonne stratégie d’annoter à l’aide des super-régions consiste à utiliser l’outil de grossissement pour effectuer un zoom avant sur les données, annoter quelques organites à la fois sur une tranche, en utilisant une approche « rapide, malpropre » tout d’abord (Figure 4). Ensuite, monter ou descendre quelques tranches dans Z et répéter ce processus. Parce que les supervoxels sont en trois dimensions, beaucoup des défauts de l’approche « désordonné » sont fixés par les annotations requises ci-dessus ou ci-dessous tranches. De cette façon, la segmentation est accélérée et les limites sont fournis par le supervoxels plutôt que manuellement.
Pour nettoyer une étiquette, options d’affinement de segmentation standard ont été fournies. L’étiquette sélectionnée segmentation de croître par le rayon donné provoque la dilatation, l’érosion provoque la rétrécir. Ouverture et fermeture sont l’application de la première érosion puis dilatation ou vice versa, respectivement. Et trous de remplissage fait exactement cela. L’ordre de ces opérations importe. Généralement, l’artiste trous de remplissage, puis l’ouverture, puis une dilatation fonctionne bien. Chaque méthode de raffinement peut être appliqué sur une seule tranche (« cette tranche »), sur toutes les tranches en 2D (« toutes les tranches (2D) ») ou en 3D (« volume entier (3D) »). Toutes les tranches (2D) est recommandé.
Signification et orientations futures
Segmentation précise et efficace est le prochain goulot d’étranglement dans le traitement des ensembles de données 3D, surtout avec la collecte automatisée courante de téraoctets de données d’image au cours de séances de long terme. SuRVoS Workbench peut accélérer le processus de segmentation par un facteur 5 par rapport à la segmentation manuelle. En outre, parce que les frontières sont délimitées par la supervoxels, la variabilité de la segmentation qui en résultent devrait s’améliorer. Nous espérons à l’avenir, d’étudier les moyens d’utiliser la segmentation d’une région 3D représentante des intérêts comme données d’entraînement à appliquer au reste du volume, ou même un volume distinct, avec une confiance élevée. Cette avance serait diminuent encore la quantité de temps de l’utilisateur et l’entrée nécessaire aux volumes de biologiques complexes même segment, contribue à alléger l’engorgement de traitement et segmentation d’image. Ceci, à son tour, permettra la comparaison quantitative des données biologiques dans différents États (p. ex. non-maladie, maladie, traitée) avec numéros expérimentales robustes.
The authors have nothing to disclose.
Nous tenons à remercier Rui Wang et Wah Chiu de Baylor College of Medicine pour fournir l’ensemble de données cryoET et Andrew Bodey de Diamond Light Source d’aide à la beamtime I13. Pièces de cette recherche étaient soutenus par la subvention du National Institutes of Health (NIH) no (P41GM103832) nous reconnaissons Diamond Light Source de financement conjointement Imanol Luengo sous STU0079 de doctorat.
computer | n/a | n/a | Must be running Linux operating system and have an NVidia GPU with at least 4 GB of memory |