蜂窝三维电子显微镜的瓶颈是特征提取(分割)的高度复杂的三维密度图。我们已经制定了一套标准,这对于提供指导的分割方式(手动,半自动或自动)最适合于不同的数据类型,从而提供了一个起点,有效区隔。
现代三维电子显微镜的方法最近已允许前所未有的洞察的细胞和组织的三维组织超微结构,从而实现了大的大分子机,如粘合性复合物,以及较高阶结构,如细胞骨架和细胞器的可视化的各自的细胞和组织的上下文。定细胞体积的固有的复杂性,有必要先提取,以允许可视化,量化,并因此理解他们的三维组织的所关注的特征。每个数据集由不同的特性的数据, 例如 ,信号与噪声比,脆性(清晰度)中所定义,其特征拥挤的特征,存在或不存在的特征的形状,使其易于识别的,并且百分数异质感兴趣的特定区域占据了整个体积。所有这些特征需要考虑决定时,其方法采取分割。
通过三种不同的成像获得提出的六种不同的三维超微结构数据集方法:树脂嵌入彩色电子断层扫描,聚焦离子波束和串行块面朝扫描电子显微镜(FIB-SEM,SBF-SEM)的轻度染色和大量的染色样品的分别。对这些数据集,四个不同的分割方法已被应用:(1)完全手工建立模型随后仅由模型的可视化,(2)手动跟踪接着面绘制的数据的分割,(3)的半自动化方法遵循通过表面绘制,或(4)自动定制设计的分割算法后表面绘制和定量分析。取决于数据集的特性的组合,我们发现这四个类别的方法典型地是一个优于其它的,但依赖于标准的确切序列,莫重比的一种方法可以是成功的。基于这些数据,我们建议将其归类两个目标数据集的特性和主观个人准则的不同数据集的分析分流方案。
传统上,电子显微镜(EM)场被分为1)使用高和超高分辨率透射电子显微镜的结构生物学分支,通常是结合隐式或显式的数据平均化,调查大分子复合物的三维(3D)结构定义的组合物和典型地为相对小的尺寸1-4,和2),其中整个细胞的风景可视化1,5,6蜂窝成像分支。而结构生物学的分支已经发生了惊人的发展,在过去的四十年中,细胞生物学分支多限于两个维度,经常在低于最佳保存的样品。只有在电子断层扫描,在过去十年中出现了细胞生物学超微结构成像扩展到第三维5,7,这里通常均不能作为细胞的风景,因此感兴趣的功能进行的,通常是唯一的。
虽然可视蜂窝场景常常是惊人的眼睛,所关注和这样高度复杂的细胞体积的后续定量分析的特征有效地提取落后,部分是因为精确的蛋白质组合物,通常是未知的,因此使得它具有挑战性解释这些蜂窝3D卷。至目前为止,广泛的生物学专长通常需要以解释复杂的断层图像,或者甚至以确定在3D体积的重要区域和基本组分。作为进一步的复杂化,3D卷可视化是非常不平凡的。三维体积可以被看作和由此显现为堆叠的2D图像。连续的二维图像的切片通过切片检查减少了复杂性,但它也限制了特征提取,从而定量分析的两个维度。然而,对于大多数的3D对象,3D体积的描绘仅仅是一个堆栈的连续面导致的不完全的ð倾斜角度为特定系统的3D特性。视力检查的替代模式要求无论是体绘制和面绘制,其中,给予细胞的往往密集性质体积很容易导致嵌套对象的阻挠观点或完全压倒用户,从而使交互式手动分割困难。
来补救这些障碍,大量的各种自动化的特征提取(分割)方法已经被发展为通常或者密度-或基于梯度的8-10。然而,这些方法倾向于段的整个容积而不管哪个区或特征是感兴趣的专家,虽然最近的一些方法可以针对感兴趣的特定特征,如肌动蛋白丝11。此外,在执行自动分段的程序有时导致产生了大量的子体积的( 例如 ,施加分水岭观鱼时Ñ分割),通常需要手动回合并成包含整个感兴趣的功能或进行进一步分割。这也适用于特别复杂和拥挤的数据集,从而最渲染的计算机算法将无法由一个专家,提取与保真度只有感兴趣的特性,和大量的策努力常常需要产生所希望的分段体积。
此外,定制的解决方案,以一种高度特异性的问题往往是发布的科学会议论文,几乎没有强调让他们广泛而全面的工具接触到谁没有数学,计算机科学和/或领域的深入了解研究人员计算机图形学。可定制的编程软件环境,包含了一系列的图像分析库,可以是一个强大的工具集,允许用户有效地写自己的模块进行精确分割。然而,这种方法需要转ensive培训和计算机科学的背景,以充分利用其众多的功能及图像分析功能的优势。人们可以在这样一个通用的软件环境中工作,对某些数据集,其中功能较为稀疏, 例如 ,通过使用它依靠的“模板”感兴趣的对象,从他们的周围12,13分开的独特几何形状的强大为基础的方法。
计算机图形可视化软件包公平存在多种交互式手动分割和建模。有些软件包是市售的,而有些则是学术渊源和免费分发的,如:加州旧金山科罗拉多州的IMOD 15大学大学奇美拉14,和德州大学奥斯汀分校VolumeRover 16。然而,特性和功能这些方案具备广泛和复杂陡对EA的学习曲线CH。某些可视化程序提供简单的几何模型,例如球和各种尺寸,其可以被放置在密度图中以创建复杂的三维体积的简化模型的棒。这些模型则允许简单的几何和体积测量,因此超越只是“漂亮的图片”。对象的这种手动跟踪可以很好地用于卷,其中只需要一个小数目的对象要跟踪和萃取。然而,大体积三维超微结构成像使用最近开发或者聚焦离子束扫描电子显微镜(FIB-SEM)17-20或串行块面扫描电子显微镜(SBF-SEM)21给出了额外的复杂的三维数据的大小集的范围可以从千兆字节到几十,数百GB的,甚至TB级。因此,这样的大的三维体积几乎是不可访问的,以手动的特征提取,从而有效的用户引导的半自动化技艺固定装置提取将成为瓶颈的三维体积的在可预见的未来有效的分析之一。
这里介绍的是通常用于在大范围内的生物图像类型四种不同的分割方法。这些方法然后比较它们对不同类型的数据集的效果,允许编入的帮助指南生物学家决定什么可以是用于自己的数据有效特征提取的最佳分割方法。至于详细的用户手册可以为大多数所描述的方案,其目的是不是让潜在用户熟悉这些特定的软件包中的任何一个。相反,我们的目标是通过将其应用到6示例数据集具有不同的特性,以表明这些不同的分割策略的各自的优点和局限性。通过这样的对比,已经制定了一套标准的要么基于对目标图像特征三维数据集,如数据相反,爽口感,拥挤,以及复杂性,或茎从主观因素,例如对分割了预期的目的,特征形貌进行分割,对所感兴趣的特征的人口密度,这意味着馏分由所感兴趣的特征,和怎样的收益优化的有限的资源,例如时间和人员的可用性所占据的体积。这些不同实施例的数据集示出如何将这些客观和主观标准可以按顺序在多种组合被应用,以产生一定的特征提取方法在某些类型的数据集的配对。给予希望能帮助新手的建议面对种类繁多的细分选项中选择适合自己的3D体积最有效的分割方法。
虽然本文的重点是特征提取,重视数据收集和预处理的数据是非常重要的高效Šegmentation。通常情况下样品的染色可以是不均匀的,因此,潜在染色工件应的分割过程中予以考虑。然而,染色通常给出较高的信号与噪声,因此需要较少的过滤和细胞体积,这可能也导致工件的其他数学处理。相应的原始图像数据集需要在正确的对比度和相机的像素设置要获取的,对齐,并重建为3D体积。对X线断层图,对齐的图像通常被重建使用加权反投影,然后将数据集通常进行去噪算法,例如非线性的各向异性扩散22,双边滤波23,或递归中值滤波24。 FIB-SEM和SBF-SEM图像数据通过互相关的连续切片中的XY利用项目,如ImageJ的25对齐。对比度增强和滤波可以应用于增强的功能息,从而去噪声的图像栈。滤波可以执行任一给子体积的选择或所选择的子卷之前的整个体积上,作为过滤的方法可以是计算昂贵的。下采样的数据(分级),其有时用于降低噪声和/或文件大小的减少,只建议数据是否比预期的分辨率被显著过取样。
降噪后,将处理过的图像然后可以通过不同的方法分割,并在此研究中的重点是在以下四种:(1)手动的抽象模型的生成,通过创建一个球和棒模型,(2)手动跟踪通过对项目的具体分割脚本的利益,(3)自动化的基于阈值的密度,以及(4)量身定制的自动分割功能。边界分割8和身临其境的分水岭分割10顷以简单的阈值更好的选择,但在T哎属于同一类别,并没有被明确列入这次讨论。
密度的手动跟踪要求概述所关注的特征,片逐片,它允许各个亚细胞区域的原始的保留密度。这种方法允许分割过程中最大的控制,但它是一个繁琐和费力的过程。
自动化的基于阈值(和相关的)密度分割方法是半自动,其中基于一组用户定义的参数的算法选择像素。一些学术(免费)的可视化软件包,如UCSF嵌合体,IMOD,斐济26和VolumeRover是可用的,以及商用(需要支付许可证)的包,并且这两种类型通常包括一个对这些分割方法或更多。在这项工作中来说明这些不同的方法软件包包括商业计划和学术开放源代码环境允许的程序,用于手动产生的抽象模型,以及手动和自动密度分割。然而,开源软件有时可以通过提供定制化的可能性更高级的选项。
这些技术的使用不同类型的数据集的比较导致的规则下面的介绍和指导对如何处理不同的生物数据的3D体积,这在我们的知识还未出版的分割。因此,这是对不同方法的第一个系统的比较及其有效性的数据集具有不同的特性,为用户提供不同的目的。
迫切需要,以跟上数据的海啸已创出近期的生物成像的三维电磁量相关特征提取的有效战略。而数据可在数小时或数天来产生,它需要许多个月来分析三维体积中的深度。因此,很显然,在图像分析已成为科学发现的瓶颈;没有对这些问题的适当解决方案,成像科学家成为自己成功的受害者。这部分是由于高的数据的复杂性,也大分子拥挤通常存在于生物的细胞,其中的蛋白质和蛋白质复合物的边界彼此并且基本上显示为灰度密度的连续梯度。该问题是由样品制备和成像缺陷复杂,并且在某些情况下,图像重建伪影,从而导致可构成为完全自动化的方法的挑战不完美的容积数据ES。最显著,但是,是一个事实,即专家在样品制备,成像和生物解释很少精通计算机科学的,因此需要对如何有效地接近的特征提取和分析的指导。因此,通过使用各种实施例中,协议说明如何准备数据的分割,以及以下步骤进行手动抽象模型生成的,自动化的基于密度的分割,对所关注的特征手动跟踪,和定做的自动分段。在该过程中概述的手动和自动方法可在大量不同的分割软件,其中一些在此处提及的被发现,但其他执行类似的功能和同样适合。
结果表明,每一个三维分割方法的有效性而变化为每个不同类型的数据集。虽然不同的方法产生质的Šimilar三维渲染图作为最终产品,时间和努力的量时显著变化后的分割处理在每个使用了。适当的图像特征,每个分割方法的个人目标的建议汇总在图5中 ,这是在以下四个小节进一步解释。这些标准被应用到6的数据集, 如图6的决定流程图中虽然图5和图6仅仅是为了提供设置每个数据的基本原理,以及如何每个标准进行加权,在决策过程中他们不提供万无一失的指导,而是一个起点。有根本影响的决策过程太多的标准:有些是客观的标准,如数据集的特性,而其它的是更多的主观标准,如所期望的目标。它是安全地说,显示高列夫的数据集与锐利清晰的边界对比EL,有功能,有很好的分离和相对均匀(不要太不同),并展示了大量对象的密度模型的目标进行处理,自动化的方法将是出众,如果不是事实上,人工的办法很简单,资源(时间)-prohibitive。另一方面,如果对比度低时,数据是模糊,因此需要一个专家的知识,该对象是拥挤,并且特征显示出高的多样性,因而异类,可以没有任何其他的选择比手动特征提取/分割。
手动抽象模型生成
手动抽象模型跟踪是特别有效的分割线性元件,提供种子点(球),可以自动连接(枝)。这样的球,棒,模型可以是非常强大的测量长度ND的定性检测和定量分析这种模式的方向,并提供足够的抽象模型。手动抽象模型生成最小化花费在分析资源时,通常使用比绝对忠实于原始数据的形状更重要。它是与感兴趣的线性和均匀的功能( 例如 ,细丝,管)最成功的。数据对比,爽口感,与拥挤不允许确定本方法的成功中起主要作用,只要人眼可识别的感兴趣的对象。有时这样的模型也可以用作骨架链段的3D地图中围绕骨架区。虽然该模型是抽象的,而不是精确的密度的反映,它代表了3D密度的镂空版本,从而允许整洁的可视化和定性分析。定量的测量,如长度,也可以从近似模型来确定。对于例如,软件有手动抽象模型生成,请访问奇美拉的详细的用户指南在网上http://www.cgl.ucsf.edu/chimera/current/docs/UsersGuide/index.html 。
感兴趣的特征手动追踪
手动画笔跟踪效果很好,几乎所有的数据特点,但它也是最耗时的方法。有时,它是由含有大量的各种特性,如细而曲折的细胞膜的复合图像集合中提取所关注的特征的唯一技术。在某些程序中提供一个有用的工具,允许间歇分割切片之间插值时所感兴趣的特征变化平稳。如果数据是脆并且具有中到高对比度手动跟踪,可以最有效地应用,但它也可用于对于更有挑战性的数据集,只要用户熟悉的感兴趣的对象。的数据的复杂性可以从离散的物体,以复杂和拥挤的数据集,其中对象是紧密堆积。在后者的情况下,手动分段可能是唯一的选择,自动方法往往很难段所需要的体积,并提取过多或过少。困难特征形貌,如卷积片或卷,也可以用这种方法来提取。但是,用户应该记住,有几个困难的特征的数据集,只能分段如果感兴趣的功能,人口密度低,为感兴趣的功能,人口密度高的分割变得时望而却步。对于软件有手动跟踪的例子,请访问阿米拉的详细的用户指南在网上http://www.vsg3d.com/sites/default/files/Amira_Users_GuidE.pdf规格。
自动化的基于密度的分割
与此相反的手工技术,自动化的方法一般是耗时少,这是分割图像的大叠时要考虑的一个重要因素。然而,简单的阈值可能不准确,以及更多的时间,可以在精化的自动分割的体积和策使用了。自动化的基于密度的分割工程中显示了大量的关注类似的特征,所有需要分割数据集最好。如果数据是更复杂的,这些自动化的技术还可以作为一个初始步骤,但可能会需要一些手动向下行干预,以指定含有感兴趣的特征的子体积。这种策略通常工作良好的线性形态或回旋卷,但它是用薄的旋绕片材如很少成功细胞膜。使用自动方式最少的用户干预使通过分割或大或小的体积,同时花费很少的用户资源,如时间,以换取较高的保真度。对于软件与自动化基于密度的分割的例子,请访问阿米拉的详细的用户指南在网上http://www.vsg3d.com/sites/default/files/Amira_Users_Guide.pdf 。
量身定制的自动分割
定做的自动分段允许为特定的数据集的算法的功率定制,但它往往是特定设置数据或数据类型,适合的功能特性的数量有限,并不能很容易地推广。这里展示的过程不同于一般的自动分割方法,如流域浸泡等级别一套方法,这依赖于种子的关键点的确定程序,然后快速移动立方体算法的扩展,从这些种子点。关于这个主题的变体是边界分割,其中梯度矢量信息通知功能界限。与此相反,这里使用的自定义脚本依赖于训练阶段,其中用户手动跟踪的几个例子。通过机器学习,具体的算法可以检测并学会独立识别的痕迹一致发现属性和数据的特点。专家用户可以重新训练算法,并通过包括更多的例如提高分割的精度跟踪提供了一套功能标准较大。总体而言,阈值和相关方法,甚至量身定制的方案未必是从复杂的细胞器或形状多样性的图像中提取感兴趣的一个功能是有益的,因为策展可能只是作为劳动密集型的手动跟踪。
“>策略归类(triaging)的数据,并选择一个分割方法
定在图5中示于图4和合适的数据集的概要的主观和客观的标准,在图6中所描绘的决策方案可以协助的特征提取策略的有效评估了大量的各种数据集。该数据集被分流在四个连续的决定,其中每一个可包括在图4中引入的四个相应的目标,以及四个主观标准的任何一种。作为一个例子, 图6是合理的归类(triaging)每六个数据的如图3套,毫无疑问,每个数据集有没有一个唯一的路径,而是通过这个矩阵如下不同的标准进行决策,可能会导致吨,而不同的路径Ø数据分割相同或不同的建议。虽然每个数据集都会有它自己的属性,这是无法预料的,六个例子,给出各搭配背后的优选特征提取/分割方法的基本原理的解释。大多数还包括一个命题的替代路线的决定,要么导致使用相同或不同的分割方法( 图6)。
该kinocilium是一个清晰的数据集,具有明确的边界,这使得自动化的方法更有可能取得成功。感兴趣的所有功能完全分开,又利于自动化的方法。此外,所关注的特征是彼此相似,使得它相对均匀的数据集的理想选择定做的分割。最后,该目的是要提取的全部特征,有利于半自动化方法。因此,得出的结论是一个自动化的阈值(绿色实线),以及定制设计的( 如形状监督分割)方法(绿色虚线)都可能要做好这些数据集。
相似的标准,虽然放置在不同的顺序,在决策网络,适用于细菌的情况。一个自定义的定制方法,建议这部分是因为这组数据是非常大的;因此,有限的资源,禁止劳动密集型人工干预/分割方法。而阈值会产生可接受的结果,在自定义设计的方法是能够执行该研究的主要目标为圆形的细菌形状,从细胞外金属沉积物,位于任一在两者之间的细菌或旁边的细菌中分离出来,并因此在量身定制的方法是首选。
对于纤毛的数据集,首先考虑的是所期望的目标:目标既可以显示整个密度或创建几何模型。感兴趣的体积是一个拥挤的领域,并且目标是段中的大量对象中以便随后执行定量体积分析,包括长度,数量,距离,方向等 ,这是有益的分离的对象的对象兴趣主要是线性的,并且这使几何模型跟踪所选择的方法。然而,如果不是目标一直是显示整个密度,则线性特征的形态以及相对较高的对比度和轮廓分明的边界将成为一个自动阈值的协议是可行的。
细胞膜和线粒体的数据情况下是具有挑战性的自动化方法,因为它们的类别特征形态:曲板和卷,分别为。我们的目标是要跟踪的细胞或线粒体轮廓准确,但也有只有有限的资源,这样做的。间的,此外,在功能EST是复杂的,不能很容易地自动检测或形状编码的,虽然对于线粒体数据集采取的细菌中自定义脚本的方法有可能被进一步定制应用。幸运的是,膜和线粒体本身仅代表总体积的一小部分,因此,手动跟踪是一个简单虽然费时的方法。手动跟踪也是这样的数据集选择的方法时的对比度是相当低和界限是相当模糊。这样一来,即使它们构成的数据集显著部分,这样错综复杂的表必须手动跟踪,只是由于缺乏一个更好的选择。
该工厂的数据集带来了挑战,因为目标是段中的所有对象,这是密集的间隔,使了一个拥挤的风景。显示所述密度原样将使关于形状和组织的对象,,但是B的测量ecause手动分割每个丝状物是成本太高,自动阈值被改聘。
的各种步骤和相应的结果中创建3D模型已经在这里显示,但更重要的是,发现该数据特征和个人条件是决定分割的最佳路径也已阐明的关键。的图象数据本身的重要特性包括这里所描述的相反,拥挤,脆度,和不同的形状或特性(例如细胞器,长丝,膜)的数量。主观标准来考虑包括分割的期望目标(测量/计算,镂空的代表性数据/显示在3D渲染体积)中,感兴趣的特征的形态特性(线性的,细长的,网络的,复杂的,错综复杂的),密度的有关感兴趣的特征的整个体积(即是对象的一部分重要的且需要被提取),并且平衡花费资源来对原始数据的分割的保真度的折衷和上导致的增量改进对资源的基本配置较高的投资的收益递减。
图像分割领域在最近几年显著成熟,尚没有银弹,没有算法或程序,可以做到这一切。数据集的大小从几百兆到千兆常规的几十人发展,他们现在也开始超过千兆字节,使得手动分割几乎是不可能的。因此,更多的资源需要投入在模仿人类的决策过程中,巧妙地和时间效益的特征提取方法。需要这种努力与(1)地理信息系统(GIS)相结合为基础的语义层次数据库(类似于谷歌地球),(2)数据抽象技术( 即过渡从体素到几何/体积表示)与计算机辅助设计(CAD)软件以显著减少数据量,从而使较大体积35的显示,(3)的模拟技术,因为它们经常用于在兼容工程学科,以及(4)先进的动画及电影制作功能,包括即时通动画(类似于发达的博彩业)。
显然,有效的特征提取与分割位在蜂窝高分辨率成像即将来临的革命的心脏,并同时更好的办法永远是必要的,原则呈现在这里,还有什么办法的例子是采取不同的数据类型,将提供一些有价值的信息,使在其上的方法来作出决定。
The authors have nothing to disclose.
We would like to acknowledge and thank Tom Goddard at University of California San Francisco for his endless help with Chimera, Joel Mancuso and Chris Booth at Gatan, Inc. for their help with SBF-SEM data collection of bacteria dataset, Doug Wei at Zeiss, Inc. for his help with the FIB-SEM data collection of epithelial cell dataset, Kent McDonald at University of California Berkeley Electron Microscopy Lab for advice on sample preparation, TEM imaging and tomography, Roseann Csencsits at Lawrence Berkeley National Laboratory for her help taking the cryo-TEM image, Elena Bosneaga for cryo-sectioning of the plant dataset, Jocelyn Krey at Oregon Health and Science University for the dissection of utricle tissue, David Skinner at National Energy Research Scientific Computing Center (NERSC) and Jitendra Malik at University of California Berkeley for their advice in software infrastructure, and Pablo Arbelaez at University of California Berkeley for his codes contributions to the custom-tailored script presented in this article.
Research was supported by the U.S. Department of Energy, Office of Science under contract No. DE-AC02-05CH11231 [David Skinner], as well as U.S. National Institutes of Health (NIH) grant No. P01 GM051487 [M.A.] for the inner ear hair cell project and microscopy instrumentation use.
Material Name | Company | コメント | |
Amira | FEI Visualization Sciences Group | http://www.vsg3d.com/amira/overview | |
Chimera | UCSF | http://www.cgl.ucsf.edu/chimera/ | |
Fiji/ImageJ | National Institute of Health | http://fiji.sc/Fiji, http://rsbweb.nih.gov/ij/ | |
IMOD | Boulder Laboratory for 3D Electron Microscopy of Cells | http://bio3d.colorado.edu/imod/ | |
Photoshop | Adobe | http://www.adobe.com/products/ photoshopfamily.html | |
MATLAB | MathWorks | http://www.mathworks.com/ | |
VLFeat | VLFeat | http://www.vlfeat.org/ |