用于3D图像分割和分析的系统和方法

摘要

本文描述了用于使用基于每个像素或体素的Hessian本征值(例如，二阶偏导数的方块矩阵的本征值)的纹理滤波器处理和分析二维(2D)和三维(3D)图像的在计算上高效的系统和方法。原始图像可以是单个图像或者是多个图像的集合。在某些实施方案中，经滤波图像用于计算针对诸如图像中所识别的细胞的对象的纹理特征值。一旦识别出对象，就可以使用经滤波图像对对象进行分类以进行图像分割，和/或对对象进行量化(例如，经由回归)。

权利要求

1.一种三维图像分析的方法，所述方法包括：

由计算设备的处理器接收包括体素的三维(3D)图像；

由所述处理器将一组二阶导数滤波器应用于所述3D图像，从而产生对应的一组二阶导数图像；

由所述处理器使用Hessian本征值空间中的一组预定义特性方向将一组旋转不变3D纹理滤波器应用于所述一组二阶导数图像，从而产生对应的一组经滤波图像；

由所述处理器使用所述一组经滤波图像或所述3D图像中的至少一者识别所述3D图像中的多个对象；以及由所述处理器使用所述一组经滤波图像执行如下步骤中的至少一者：(a)对所述3D图像中的所述多个所识别对象的一部分进行分类；

(b)对所述3D图像进行分割以将所述多个所识别对象的一部分与所述3D图像分离；或者(c)确定针对所述3D图像中的所述多个所识别对象的一部分的感兴趣质量值。

2.根据权利要求1所述的方法，其中对所述3D图像中的所述多个所识别对象的一部分进行分类包括：使用所述一组经滤波图像确定针对所述多个所识别对象的一部分的纹理特征值；以及从所述纹理特征值计算一个或多个分类分数，并使用所述分类分数对所述对象的一部分中的每个对象进行分类。

3.根据权利要求1或权利要求2所述的方法，其中对所述3D图像进行分割以将所述多个所识别对象的一部分与所述3D图像分离包括：将强度阈值应用于所述多个所识别对象的所述部分；以及基于所应用的阈值生成二值图像。

4.根据权利要求1或权利要求2所述的方法，其中确定针对所述3D图像中的所述多个所识别对象的一部分的所述感兴趣质量值包括：使用所述一组经滤波图像确定针对所述多个所识别对象的一部分的纹理特征值；以及从使用所述纹理特征值评估的回归模型确定所述感兴趣质量值，其中所述回归模型包括基于控制对象的纹理特征值的回归参数。

5.根据权利要求1或权利要求2所述的方法，其还包括：通过以下方式对所述3D图像的一部分或与所述3D图像相关联的样本中的至少一者进行分类：确定针对所述一组经滤波图像的一部分的纹理特征值；以及从所述纹理特征值计算一个或多个分类分数，并使用所述分类分数对所述3D图像的一部分或与所述3D图像相关联的所述样本中的至少一者进行分类。

6.根据权利要求1或权利要求2所述的方法，其还包括：通过以下方式确定与所述3D图像相关联的样本的感兴趣质量：确定针对所述经滤波图像的一部分的纹理特征值；以及

从使用所述纹理特征值评估的回归模型确定所述感兴趣质量值，其中所述回归模型包括基于控制图像的纹理特征值的回归参数。

7.根据权利要求1或权利要求2所述的方法，其中将所述一组旋转不变3D纹理滤波器应用于所述一组二阶导数图像包括：从所述一组二阶导数图像计算一组三个本征值图像；

从所述一组三个本征值图像计算针对每个体素的三个Hessian本征值向量的模数，并计算针对所述一组预定义特性方向中的每个预定义特性方向的角因数，从而为每个体素产生一组角因数；以及使用针对每个体素的所述模数和所述一组角因数生成所述一组经滤波图像。

8.根据权利要求1或权利要求2所述的方法，其中所述一组旋转不变3D纹理滤波器中的每个滤波器与所述一组预定义特性方向中的对应预定义特性方向相关联。

9.根据权利要求1或权利要求2所述的方法，其中所述一组预定义特性方向包括选自由以下各项组成的组的一个或多个成员：(i)对应于亮面滤波器的特性方向(0,0,‑1)，(ii)对应于亮线滤波器的特性方向(0,‑1,‑1)/sqrt(2)，(iii)对应于亮点滤波器的特性方向(‑

1,‑1,‑1)/sqrt(3)，(iv)对应于亮鞍点滤波器的特性方向(1,‑1,‑1)/sqrt(3)，(v)对应于鞍点滤波器的特性方向(1,0,‑1)/sqrt(2)，(vi)对应于暗鞍点滤波器的特性方向(1,1,‑

1)/sqrt(3)，(vii)对应于暗点滤波器的特性方向(1,1,1)/sqrt(3)，(viii)对应于暗线滤波器的特性方向(1,1,0)/sqrt(2)，以及(ix)对应于暗面滤波器的特性方向(1,0,0)。

10.根据权利要求7所述的方法，其中针对每个体素并针对所述一组预定义特性方向中的每个预定义特性方向计算所述角因数包括：确定包括体素的所述三个Hessian本征值的向量的方向与所述预定义特性方向之间的角度。

11.根据权利要求1或权利要求2所述的方法，其中所述一组二阶导数滤波器包括以下项中的一个或多个：对高斯导数滤波器的有限冲激响应(FIR)近似和对高斯导数滤波器的递归无限冲激响应(IIR)近似。

12.根据权利要求2所述的方法，其中所述纹理特征值中的每一个包括与对应对象相关联的数值。

13.根据权利要求5所述的方法，其中所述纹理特征值中的每一个包括与对应经滤波图像的一部分的平均强度相对应的数值。

14.根据权利要求7所述的方法，其还包括：

针对所述一组经滤波图像中的每个经滤波图像的每个体素，计算与所述3D图像相关联的轴的方向与一个或多个Hessian本征向量的方向之间的一个或多个角度；以及使用所计算的角度从所述一组经滤波图像中的至少一个经滤波图像生成第一图像和第二图像，其中所述第一图像包括所述经滤波图像的水平分量，并且所述第二图像包括所述经滤波图像的垂直分量。

15.根据权利要求1或权利要求2所述的方法，其还包括：在接收到所述3D图像之后，由所述处理器将一个或多个反卷积滤波器应用于所述3D图像，以校正光学分辨率的各向异性。

16.根据权利要求1或权利要求2所述的方法，其还包括：在将所述一组二阶导数滤波器应用于所述3D图像之后，在一个或多个方向上缩放所述一组二阶导数图像中的每个二阶导数图像中的二阶导数，使用一个或多个系数来校正图像和/或光学分辨率的各向异性。

17.根据权利要求16所述的方法，其中通过以下方式凭经验确定用于校正各向异性的所述一个或多个系数：(i)使点滤波图像的强度与线滤波图像的强度的比率最大化和/或，(ii)使与来自两种不同类别的对象相关联的分类分数的信噪比最大化。

18.根据权利要求1或权利要求2所述的方法，其包括：在接收到所述3D图像之后，使用一个或多个合并因数对所述3D图像进行合并，其中所述一个或多个合并因数中的每一个包括针对所述3D图像的每个维度的系数。

19.根据权利要求1或权利要求2所述的方法，其中所述3D图像是包括图像数据的两个或更多个通道的多通道图像。

20.根据权利要求2所述的方法，其还包括：

确定针对所述多个对象的一部分的形态特征值；

从所述纹理特征值和所述形态特征值计算一个或多个分类分数；以及使用所述分类分数对所述对象的一部分中的每个对象进行分类。

21.根据权利要求1或权利要求2所述的方法，其包括：由所述处理器执行步骤(a)，其中对所述3D图像中的所述多个所识别对象的一部分进行分类是使用统计分析、模式辨识或机器学习的方法执行的。

22.根据权利要求1或权利要求2所述的方法，其包括：显示所述一组经滤波图像中的至少一个图像和/或执行的步骤(a)、(b)和/或(c)中的一个或多个步骤的结果。

23.根据权利要求1或权利要求2所述的方法，其包括：对所述多个所识别对象的一部分进行分割以识别所述对象的离散部分。

24.一种二维图像分析的方法，所述方法包括：

由计算设备的处理器接收包括像素的二维(2D)图像；

由所述处理器将一组二阶导数滤波器应用于所述2D图像，从而产生对应的一组二阶导数图像；

由所述处理器使用一组预定义特性方向将一组旋转不变2D纹理滤波器应用于所述一组二阶导数图像，从而产生对应的一组经滤波图像；

由所述处理器使用所述一组经滤波图像或所述2D图像中的至少一者识别所述2D图像中的多个对象；以及由所述处理器使用所述一组经滤波图像执行如下步骤中的至少一者：(a)对所述2D图像中的所述多个所识别对象的一部分进行分类；

(b)对所述2D图像进行分割以将所述多个所识别对象的一部分与所述2D图像分离；或者(c)确定针对所述2D图像中的所述多个所识别对象的一部分的感兴趣质量值。

25.根据权利要求24所述的方法，其中将所述一组旋转不变2D纹理滤波器应用于所述一组二阶导数图像包括：从所述一组二阶导数图像计算两个本征值图像；

从所述两个本征值图像计算针对每个像素的模数，并计算针对(所述一组预定义特性方向中的)每个预定义特性方向的角因数，从而产生一组角因数；以及使用针对每个像素的所述模数和所述一组角因数生成所述一组经滤波图像。

26.根据权利要求24或权利要求25所述的方法，其中所述一组预定义特性方向包括选自由以下各项组成的组的一个或多个成员：(i)对应于暗点滤波器的特性方向(1,1)/sqrt(2)，对应于暗线滤波器的(1,0)，对应于鞍点滤波器的(1,‑1)/sqrt(2)，对应于亮线滤波器的(0,‑1)，以及对应于亮点滤波器的(‑1,‑1)/sqrt(2)。

27.一种用于三维图像分析的系统，所述系统包括：

计算设备的处理器；和

存储器，所述存储器存储有指令，所述指令在由所述处理器执行时使所述处理器：(i)接收包括体素的三维(3D)图像；

(ii)将一组二阶导数滤波器应用于所述3D图像，从而产生对应的一组二阶导数图像；

(iii)使用一组预定义特性方向将一组旋转不变3D纹理滤波器应用于所述一组二阶导数图像，从而产生对应的一组经滤波图像；

(iv)使用所述一组经滤波图像或所述3D图像中的至少一者识别所述3D图像中的多个对象；以及(v)使用所述一组经滤波图像执行如下步骤中的至少一者：(a)对所述3D图像中的所述多个所识别对象的一部分进行分类；

(b)对所述3D图像进行分割以将所述多个所识别对象的一部分与所述3D图像分离；以及(c)确定针对所述3D图像中的所述多个所识别对象的一部分的感兴趣质量值。

28.一种用于二维图像分析的系统，所述系统包括：

计算设备的处理器；和

存储器，所述存储器存储有指令，所述指令在由所述处理器执行时使所述处理器：(i)接收包括像素的二维(2D)图像；

(ii)将一组二阶导数滤波器应用于所述2D图像，从而产生对应的一组二阶导数图像；

(iii)使用一组预定义特性方向将一组旋转不变2D纹理滤波器应用于所述一组二阶导数图像，从而产生对应的一组经滤波图像；

(iv)使用所述一组经滤波图像或所述2D图像识别所述2D图像中的多个对象；以及(v)使用所述一组经滤波图像执行如下步骤中的至少一者：(a)对所述2D图像中的所述多个所识别对象的一部分进行分类；

(b)对所述2D图像进行分割以将所述多个所识别对象的一部分与所述2D图像分离；以及(c)确定针对所述2D图像中的所述多个所识别对象的一部分的感兴趣质量值。

说明书

用于3D图像分割和分析的系统和方法

[0001] 相关申请

[0002] 本申请要求2018年4月25日提交的美国临时专利申请第62/662,487号的优先权，该美国临时专利申请的内容以引用的方式整体明确并入本文。本申请还要求2019年4月23日提交的美国专利申请第16/391,605号的优先权，该美国专利申请的内容以引用的方式整体明确并入本文。

技术领域

[0003] 本公开的一个或多个方面通常涉及图像分析的方法和系统。更具体地，在某些实施方案中，本公开的一个或多个方面涉及改进3D图像分析的图像分割和/或对象分类的纹理滤波器。

背景技术

[0004] 细胞成像可以由例如肿瘤学、传染病和药物研发等各个领域的大量研究人员进行。可能有各种各样的技术可用于对活的或固定的细胞样本成像，包括相差显微术、荧光显微术和全内反射荧光(total internal reflection fluorescence，TIRF)显微术。例如，“细胞样本”或“样本”可以包括例如使用细胞成像进行成像的生物样品。“细胞样本”或“样本”的示例可以包括例如单独的细胞、亚细胞区室、细胞器、细胞集落、细胞群、组织、类器官和小动物。

[0005] 光学显微镜技术的进步导致能够获得非常高含量的细胞样品图像。例如，自动数字显微镜可以被配置成在具有最少的用户交互的情况下在延长的时间段内自动记录多个样本和/或样品的图像。可以随时间进行成像以研究细胞对药物的反应、细胞周期中的事件等。这些图像可以是细胞样本的传统二维(2D)图像。还可以使用各种光学3D成像工具(诸如共焦荧光显微镜和光片荧光显微镜)对细胞进行三维成像。例如，可以获得3D图像作为“图像堆栈”或一系列2D图像，每个图像对应于z(高度)维度上的x‑y平面。图像堆栈中的每个x、y、z坐标对应于一个“体素”，即2D图像中的像素的3D等效物。每个体素对应于3D图像的离散元素阵列中的每一个。

[0006] 可以在多个“通道”中获得图像(例如，2D和3D图像)。在荧光显微镜中，每个通道可对应于靶向感兴趣的一个或多个特定分子和/或一个或多个生物结构的特定荧光探针的波长。通过使用适当的光学滤波器，可以将每个通道与特定探针相关联，该光学滤波器将记录在特定通道中的光限制为感兴趣的特定波长或波长范围。

[0007] 细胞图像可以提供对细胞内现象的更多了解。例如，细胞中的肌动蛋白可以用鬼笔环肽染色，鬼笔环肽与荧光分子(诸如四甲基罗丹明(tetramethylrhodamine，TRITC))缀合，以观察在细胞分裂期间细胞中的微丝的重排。尽管新的成像工具允许进行高含量成像(例如，快速采集大量3D、延时和/或多通道图像)，但是用于分析这些图像的技术落后了，使得无法高效地提取和分析这些图像中的许多信息。

[0008] 图像分析软件可以促进细胞图像的处理、分析和可视化。图像分析软件可包括各种工具，包括容积再现工具(例如，用于容积合成、深度着色、梯度着色、最大强度投影、累加体素投影和信号投影)；操纵函数(例如，以定义感兴趣的结构区域、删除不需要的对象、编辑图像和对象图)；和测量函数(例如，用于计算表面体素的数量、暴露面的数量、区域的平面面积以及估计的区域表面积，以用于自动组织分类)。

[0009] 细胞成像可用于进行生物学测试，包括各种药理学、化学和遗传测定。例如，细胞成像可用于观察细胞对不同的化学处理(例如与化学化合物接触，例如与药理学试剂接触)、基因处理(例如基因敲除)以及生物处理(例如与病毒接触)有何反应。细胞反应可包括细胞增殖率的变化、细胞凋亡率的变化、给定基因表达的变化、生化信号分子分布的变化等。基于观察到的生物反应，可以识别有效化合物(例如，有效药理学试剂)，并且可以评估此类化合物的效价和副作用。也可以使用细胞成像来确定相关基因(例如，与各种疾病状态或信号通路有关的基因)。例如，可以使用细胞成像来获得各种药理学试剂的作用模式和对信号通路的改变。现代的细胞成像方法允许在短时间段内(例如并行地，例如同时地)测试许多(例如，多达数百万种)不同的处理方式。因此，需要快速而稳健的自动图像分析工具来有效地且高效地处理和分析通过这些研究获得的大量细胞图像。

[0010] 细胞图像可以包括许多不同的对象。“对象”可以是图像的与图像中感兴趣的特征或生物实体相关联的部分。例如，对象可以是图像的对应于给定生物样本(例如单个细胞，例如细胞群)中的感兴趣区域的部分，或是图像的与给定生物学测试或测定相关联的区域(例如，图像的与用药理学试剂、抑制剂、病毒等进行的处理相关联的部分，例如图像中显示对所述处理之一的特定反应的细胞)。

[0011] 由于图像中的细胞或其他对象的种群可能是异质的，因此单个图像可以包括具有不同特性的对象。例如，细胞可以具有许多不同的表型。为了使用细胞图像进行后续细胞分析，通常必须基于对象的表型或其他识别特性来分离(例如，分割)对象。图像分割可以是将数字图像分为离散部分、识别边界和/或确定图像中对象的位置的过程。这可以涉及为图像中的每个像素(或体素)分配一个标签，该标签识别该像素与图像的哪个“段”或部分(例如，哪个细胞、哪个细胞类型、哪个细胞器等)相关联。分割在许多领域都非常有用，包括细胞成像、医学成像、机器视觉、面部辨识和基于内容的图像检索。特别地，在生物领域中，分割通过消除图像的多余部分而简化了分析，否则这些部分会使分析混乱。例如，通过对图像的对应于活细胞的区域进行分割，从而从分析中消除可能以其他方式被错误地计数为活细胞的那些细胞，可以更容易且准确地评估存活种群中有丝分裂活性的程度。

[0012] 可以基于图像的纹理对图像进行分割。基于纹理的分割通常从图像滤波步骤开始。例如，可以通过用一个或多个卷积核对原始图像进行卷积来完成纹理滤波。“卷积核”可以是用于对图像进行滤波的小(例如5×5或更小)卷积矩阵或掩模。例如，Laws纹理能量方法(Laws，Proc.，Image Understanding Workshop，1979年11月，第47‑51页)确定了应用于2D图像的固定大小窗口内的变化的量度。可以使用一组九个5×5卷积核来生成九个经滤波图像。在每个像素中，纹理能量可以由九个数值的向量表示，这九个数值对应于像素的局部邻域中的图像的特性。在图像分析的背景下，针对每个像素的向量的每个分量可以具有给定目的。分量可用于提供中心加权的局部平均值，检测边缘，检测点或检测图像中的波纹。
然后，可以使用经滤波图像将原始图像分割成不同的区域。需要改进的纹理滤波以实现更高效和准确的图像分割以及3D图像分割。

[0013] 可以进行图像分割以分割对象、识别属于感兴趣类别的成员(例如，有丝分裂细胞)以及将该类别的成员与其余对象(例如，其他细胞类型的细胞)分离。在这种分离之后，可以对感兴趣类别中的对象(例如，有丝分裂细胞)进行特定于感兴趣类别的进一步分析。例如，在分析中不包括非有丝分裂细胞的情况下，可以确定有丝分裂细胞的性质。在获得有用的结果之前，通常可以进行分割。分割过程中的失败或不足可能会损害随后获得的结果。
因此，可能需要用于细胞图像分割的改进方法。

[0014] 对象(例如细胞)可以包括感兴趣的不同生物组成(例如细胞器，例如细胞支架纤丝，例如囊泡，例如受体)。可以使用例如光学标签(例如荧光染色剂，例如与荧光分子缀合的选择性部分)来使某些生物组成可视化。感兴趣的生物组成也可以包括生化信号分子。在可以进行后续分析(例如，以表征其形状或其他空间和/或时间特征)之前，可能需要在图像中对生物组成进行分割和/或识别。例如，在对对象进行明确地分类和/或可以在可靠地评估对处理的生物反应之前，通常可以确定关于感兴趣的生物组成的信息。因此，可能需要改进的方法来对图像中的生物对象进行识别和分割。

[0015] 细胞图像的采集和分析可能很耗时，并且对采集到的图像进行快速分析是过程效率的关键。不明确的、不确定的结果可能需要进行后续成像，并且结果不应依据进行测试的人员而有所不同。因此，期望自动进行将成像区域分类成各种种类的过程(例如，基于细胞类型、细胞周期的阶段等)。例如，识别由荧光显微镜平台成像的细胞的独特特性可能是特定研究的目标。可能期望识别细胞图像的特定部分，所述特定部分包括关于细胞组成和健康状况的大量信息，为此需要进行高级图像分析。这样，可以在感兴趣的区域中而不是在整个图像中进行后续分析，从而节省了处理时间并提高了准确性。

[0016] 自动将对象分类成感兴趣的种类的能力在包括生物学、社会科学和金融在内的众多行业和科学领域间得到了应用。由于在此类分类中通常必须计算和考虑大量特征(例如，数值性质)，因此该过程可能很困难、容易出错、在计算上密集且耗时。

[0017] 如上所述，现代成像系统可以产生大量复杂图像(例如，包括图像数据的多个通道的3D图像)，并且与传统图像的处理相比，这些图像的处理通常在计算上可能更加密集。出于样本分类、对象分类、图像渲染和图像分析(例如，经由回归和/或分割)目的，需要用于处理这些3D图像的在计算上高效的方法。

发明内容

[0018] 本文描述了用于使用基于每个像素或体素的Hessian本征值(例如，二阶偏导数的方块矩阵的本征值)的纹理滤波器处理和分析二维(2D)和三维(3D)图像的在计算上高效的系统和方法。原始图像可以是单个图像或者是多个图像的集合。在某些实施方案中，经滤波图像用于计算针对诸如图像中所识别的细胞的对象的纹理特征值。经滤波图像和/或计算出的纹理特征值可用于对图像中的对象进行分类以进行图像分割，和/或对对象进行量化(例如，经由回归)。

[0019] 将一组纹理滤波器应用于图像会返回一组经滤波图像，每个经滤波图像本质上都突出显示原始图像的某个图形属性。例如，在原始图像是三维(3D)图像的某些实施方案中，该过程涉及应用一组高斯二阶导数滤波器来为每个体素创建一个3×3Hessian矩阵，并且为每个体素计算该矩阵的三个本征值。Hessian本征值描述了在Hessian本征向量方向(也称为主轴或主方向)上围绕给定体素的强度景观的二阶导数。最高的Hessian本征值是强度景观在曲率最高的方向上的二阶导数，并且最低的Hessian本征值是在曲率最低的方向上的二阶导数。三个本征值在本征值的抽象空间中形成一个向量。基于本征值向量，根据本征值向量与和给定纹理滤波器相关联的特性方向之间的角度，为每个体素和每个滤波器计算角因数。

[0020] (在本征值的抽象空间中定义的)每个特性方向突出显示特定的图形属性，并且与对应的理想强度图相关联。例如，特性方向(0,0,‑1)描述了亮面，其中三个主要二阶导数(例如，Hessian本征值)中的一个为负，而其他两个为零。经滤波图像的强度是本征值向量的模数(例如，大小)(例如，较大的模数对应于经滤波图像的强度的较大变化)和角因数(例如，本征值的向量与特性方向之间的较小角度导致对使用给定滤波器生成的经滤波图像的强度有更大贡献)的乘积。

[0021] 一旦产生经滤波图像并且已在图像中识别出对象，就可以计算对应于所识别对象的纹理特征。所提取特征可用于对原始图像中的对象进行分类，用于图像分割和/或用于确定针对对象的感兴趣质量(例如，经由回归)。在某些实施方案中，本文描述的纹理滤波器提供了优于先前方法的优良分类、回归和分割性能。

[0022] 一方面，本公开针对一种三维图像分析的方法。该方法包括：由计算设备的处理器接收包括体素的三维(3D)图像[例如，通过成像系统(例如光学显微镜，例如3D光学显微镜)获得的三维样本图像]；由处理器将一组(例如六个)二阶导数滤波器(例如，高斯二阶导数滤波器)应用于3D图像，从而产生一组对应的二阶导数图像；由处理器使用Hessian本征值空间中的一组预定义特性方向将一组(例如九个)旋转不变3D纹理滤波器应用于一组二阶导数图像，从而产生一组对应的(例如九个)经滤波图像；由处理器使用一组经滤波图像和/或3D图像(例如使用自动对象辨识，例如使用局部阈值法)识别3D图像中的多个对象(例如细胞，例如细胞的部分，例如有丝分裂纺锤体)；以及由处理器使用一组经滤波图像执行如下步骤(a)、(b)和(c)中的至少一者：(a)对3D图像中的多个所识别对象的一部分(最多包括全部)进行分类；(b)对3D图像进行分割以将多个所识别对象的一部分(最多包括全部)与3D图像分离；以及(c)确定针对3D图像中的多个所识别对象的一部分(最多包括全部)的感兴趣质量值[例如对应于种类、类型和/或对给定处理(例如，暴露于药理学试剂、病毒或信号通路抑制剂)的生物反应程度的数值，例如对应于细胞处于细胞周期的给定阶段(例如有丝分裂)的概率的数值]。

[0023] 在某些实施方案中，该方法包括由处理器执行步骤(a)，并且对3D图像中的多个所识别对象的一部分(最多包括全部)进行分类包括：使一组经滤波图像确定针对所述多个所识别对象的一部分(最多包括全部)的纹理特征值(例如，其中每个纹理特征值与所述多个所识别对象中的对应对象的平均强度相关联)；以及从纹理特征值计算一个或多个分类分数，并使用所述一个或多个分类分数对对象部分中的每个对象进行分类(例如分组)[例如，其中每个分类分数包括与预定类别(例如，一组或一对对象类别)相关联的数值]。

[0024] 在某些实施方案中，该方法包括由处理器执行步骤(b)，并且对3D图像进行分割以将所述多个所识别对象的所述部分(最多包括全部)与3D图像分离包括：将强度阈值应用于所述多个所识别对象的所述部分，并基于所应用的阈值生成二值图像。

[0025] 在某些实施方案中，该方法包括由处理器执行步骤(c)，其中确定针对3D图像中的多个所识别对象的一部分(最多包括全部)的感兴趣质量值包括：使用一组经滤波图像确定针对所述多个所识别对象的一部分(最多包括全部)的纹理特征值(例如，其中每个纹理特征值与多个所识别对象中的一个对应对象的位置中的经滤波图像的平均强度相关联)；以及从使用纹理特征值评估的回归模型确定感兴趣质量值，其中该回归模型包括基于对照对象的纹理特征值的回归参数(例如，对应于具有已知种类、类型和/或反应程度的细胞(例如，处于细胞周期的已知阶段的细胞)的数值)。

[0026] 在某些实施方案中，该方法包括通过以下方式对3D图像的一部分(最多包括全部)和/或与3D图像相关联的样本(例如生物样本，例如细胞样本)进行分类：确定针对一组经滤波图像的一部分(最多包括全部)的纹理特征值(例如，其中每个纹理特征值与一组经滤波图像中的一个对应经滤波图像的平均强度相关联)；以及从纹理特征值计算一个或多个分类分数，并使用分类分数对3D图像的一部分和/或与3D图像相关联的样本进行分类(例如分组)[例如，其中每个分类分数包括与图像和/或样本的预定类别(例如，组)相关联的数值]。

[0027] 在某些实施方案中，该方法包括通过以下方式确定与3D图像相关联的样本的感兴趣质量(例如，对药理学处理的生物反应程度)：确定针对经滤波图像的一部分(最多包括全部)的纹理特征值(例如，其中每个纹理特征值与对应经滤波图像的平均强度相关联)；以及从使用纹理特征值评估的回归模型确定感兴趣质量值，其中该回归模型包括基于对照图像(例如，对处理具有已知生物反应水平的样本的图像，例如处于细胞周期的已知阶段的细胞的图像)的纹理特征值的回归参数。

[0028] 在某些实施方案中，将一组旋转不变3D纹理滤波器应用于一组二阶导数图像包括：从一组二阶导数图像(例如，从六个二阶导数图像)计算三个本征值图像[例如，在相应本征值图像中的每个体素处的，包括最高本征值(H)的第一图像、包括中间本征值(M)的第二图像和包括最低本征值(L)的第三图像]；从一组三个本征值图像计算针对每个体素的本征值向量的模数，并且计算针对(一组预定义特性方向中的)每个预定义特性方向的角因数(例如使用方程式1，例如使用方程式2)，从而为每个体素产生一组(例如九个)角因数；以及使用针对每个体素的模数和一组(例如九个)角因数来生成一组经滤波图像。

[0029] 在某些实施方案中，一组旋转不变3D纹理滤波器中的每个滤波器与一组预定义特性方向中的一对应预定义特性方向相关联。

[0030] 在某些实施方案中，一组预定义特性方向包括选自由以下各项组成的组的一个或多个成员：(i)对应于亮面滤波器的特性方向(0,0,‑1)，(ii)对应于亮线滤波器的特性方向(0,‑1,‑1)/sqrt(2)，(iii)对应于亮点滤波器的特性方向(‑1,‑1,‑1)/sqrt(3)，(iv)对应于亮鞍点滤波器的特性方向(1,‑1,‑1)/sqrt(3)，(v)对应于鞍点滤波器的特性方向(1,0,‑1)/sqrt(2)，(vi)对应于暗鞍点滤波器的特性方向(1,1,‑1)/sqrt(3)，(vii)对应于暗点滤波器的特性方向(1,1,1)/sqrt(3)，(viii)对应于暗线滤波器的特性方向(1,1,0)/sqrt(2)，以及(ix)对应于暗面滤波器的特性方向(1,0,0)。

[0031] 在某些实施方案中，针对每个体素并针对一组预定义特性方向中的每个预定义特性方向计算角因数包括：确定包括体素的三个Hessian本征值的向量的方向与预定义特性方向之间的角度(例如使用方程式1，例如使用方程式2)。

[0032] 在某些实施方案中，一组二阶导数滤波器包括选自由以下项组成的组的一个或多个成员：对高斯导数滤波器的有限冲激响应(FIR)近似和对高斯导数滤波器的递归无限冲激响应(IIR)近似。

[0033] 在某些实施方案中，纹理特征值中的每一个包括与对应对象相关联的数值。

[0034] 在某些实施方案中，纹理特征值中的每一个包括对应于对应经滤波图像的一部分(最多包括全部)的平均强度的数值。

[0035] 在某些实施方案中，该方法包括：针对一组经滤波图像中的每个经滤波图像的每个体素，计算和3D图像相关联的轴(例如z轴)的方向与对应于三个Hessian本征值的一个或多个Hessian本征向量的方向(例如，针对最高Hessian本征值(H)的Hessian本征向量的方向、针对最低Hessian本征值(L)的Hessian本征向量的方向，或两者)之间的一个或多个角度(例如，计算角度的余弦平方)；以及使用一个或多个所计算的角度从一组经滤波图像中的至少一个经滤波图像生成第一图像和第二图像，其中第一图像包括经滤波图像的水平分量(例如，从角度的正弦平方乘以经滤波图像生成)，并且第二图像包括经滤波图像的垂直分量(例如，从角度的余弦平方乘以经滤波图像生成)。

[0036] 在某些实施方案中，该方法包括：在接收到3D图像之后，由处理器将一个或多个反卷积滤波器应用于3D图像，以校正光学分辨率的各向异性(例如校正x、y和/或z方向上的图像分辨率的差异，例如校正由点扩展函数的纵横比表征的各向异性)。

[0037] 在某些实施方案中，该方法包括：在将一组(例如六个)二阶导数滤波器应用于3D图像之后，在一个或多个方向上(例如，在x、y和/或z方向上)缩放一组二阶导数图像中的每个二阶导数图像中的二阶导数，使用一个或多个系数来校正图像和/或光学分辨率中的各向异性(例如校正x、y和/或z方向上的图像分辨率的差异，例如校正由点扩展函数的纵横比表征的各向异性)。

[0038] 在某些实施方案中，通过以下方式凭经验确定用于校正各向异性的一个或多个系数：(i)使点滤波图像(例如，亮点滤波图像，例如暗点滤波图像)的强度与线滤波图像(例如，亮线滤波图像，例如暗线滤波图像)的强度的比率最大化和/或(ii)使与来自两种不同类别的对象相关联的分类分数的信噪比最大化。

[0039] 在某些实施方案中，该方法包括：在接收到3D图像之后，使用一个或多个合并因数(binning factor)对3D图像进行合并(例如组合相邻体素，例如对相邻体素进行求和，例如对相邻体素进行平均)，其中该一个或多个合并因数中的每一个包括针对3D图像的每个维度(例如，每个x、y、z维度)的系数(例如，从而生成一个或多个合并图像)(例如，从而减少每个图像中体素的数量)(例如，从而减少计算时间)。

[0040] 在某些实施方案中，3D图像是包括两个或更多个图像数据通道的多通道图像[例如，对应于不同的颜色，例如对应于不同的成像传感器，例如对应于不同的成像路径，例如与两个或更多个对应光学滤波器相关联(例如，用于查看不同的荧光标记)][例如，其中多通道图像包括对应于图像中的感兴趣对象(例如，细胞核)的至少一个检测通道]。

[0041] 在某些实施方案中，该方法包括：确定针对多个对象的一部分(最多包括全部)的形态特征值；从纹理特征值和形态特征值计算一个或多个分类分数；以及使用一个或多个分类分数对对象部分中的每个对象进行分类(例如分组)[例如，其中每个分类分数包括与预定类别(例如，一组或一对对象类别)相关联的数值]。

[0042] 在某些实施方案中，该方法包括：由处理器执行步骤(a)，其中使用统计分析、模式辨识或机器学习(例如，线性判别分析)的方法来对3D图像中的多个所识别对象的一部分(最多包括全部)进行分类。

[0043] 在某些实施方案中，该方法包括：显示(例如，在计算设备的显示器上)一组经滤波图像中的至少一个图像和/或所执行的步骤(a)、(b)和/或(c)中的一个或多个步骤的结果。

[0044] 在某些实施方案中，该方法包括：对多个所识别对象的一部分(最多包括全部)进行分割以识别对象的离散部分(例如，对应于细胞的亚单位，例如有丝分裂纺锤体)。

[0045] 在另一方面，本公开针对一种二维图像分析的方法。该方法包括：由计算设备的处理器接收包括像素的二维(2D)图像[例如，通过成像系统(例如，光学显微镜)获得的二维样本图像]；由处理器将一组(例如三个)二阶导数滤波器(例如，高斯二阶导数滤波器)应用于2D图像，从而产生一组对应的二阶导数图像；由处理器使用一组预定义特性方向将一组(例如5个)旋转不变2D纹理滤波器应用于一组二阶导数图像，从而产生一组对应的经滤波图像；由处理器使用一组经滤波图像和/或2D图像(例如使用自动对象辨识，例如使用局部阈值法)识别2D图像中的多个对象(例如细胞，例如细胞的部分，例如有丝分裂纺锤体)；以及由处理器使用一组经滤波图像执行如下步骤(a)、(b)和(c)中的至少一者：(a)对2D图像中的多个所识别对象的一部分(最多包括全部)进行分类；(b)对2D图像进行分割以将多个所识别对象的一部分(最多包括全部)与2D图像分离；以及(c)确定针对2D图像中的多个所识别对象的一部分(最多包括全部)的感兴趣质量值[例如对应于种类、类型和/或对给定处理(例如，暴露于药理学试剂、病毒或信号通路抑制剂)的生物反应程度的数值，例如对应于细胞处于细胞周期的给定阶段(例如有丝分裂)的概率的数值]。

[0046] 在某些实施方案中，将一组旋转不变2D纹理滤波器应用于一组二阶导数图像包括：从一组二阶导数图像计算两个本征值图像[例如，在相应本征值图像中的每个像素处的，包括最高本征值(H)图像的第一图像和包括最低本征值(L)图像的第二图像]；从两个本征值图像计算针对每个像素的模数，并且计算针对(一组预定义特性方向中的)每个预定义特性方向的角因数(例如使用方程式6，例如使用方程式7)，从而产生一组(例如五个)角因数；以及使用针对每个像素的模数和一组角因数来生成一组经滤波图像。

[0047] 在某些实施方案中，一组预定义特性方向包括选自由以下各项组成的组的一个或多个成员：(i)对应于暗点滤波器的特性方向(1,1)/sqrt(2)，对应于暗线滤波器的(1,0)，对应于鞍点滤波器的(1,‑1)/sqrt(2)，对应于亮线滤波器的(0,‑1)，以及对应于亮点滤波器的(‑1,‑1)/sqrt(2)。

[0048] 在另一方面，本公开针对一种用于三维图像分析的系统。该系统包括计算设备的处理器和存储器。该存储器存储有指令，这些指令在被该处理器执行时使该处理器：(i)接收包括体素的三维(3D)图像[例如，通过成像系统(例如光学显微镜，例如3D光学显微镜)获得的三维样本图像]；(ii)将一组(例如六个)二阶导数滤波器(例如，高斯二阶导数滤波器)应用于3D图像，从而产生一组对应的二阶导数图像；(iii)使用一组预定义特性方向将一组(例如九个)旋转不变3D纹理滤波器应用于一组二阶导数图像，从而产生一组对应的经滤波图像；(iv)使用一组经滤波图像和/或3D图像(例如使用自动对象辨识，例如使用局部阈值法)识别3D图像中的多个对象(例如细胞，例如细胞的部分，例如有丝分裂纺锤体)；以及(v)使用一组经滤波图像执行如下步骤(a)、(b)和(c)中的至少一者：(a)对3D图像中的多个所识别对象的一部分(最多包括全部)进行分类；(b)对3D图像进行分割以将多个所识别对象的一部分(最多包括全部)与3D图像分离；以及(c)确定针对3D图像中的多个所识别对象的一部分(最多包括全部)的感兴趣质量值[例如对应于种类、类型和/或对给定处理(例如，暴露于药理学试剂、病毒或信号通路抑制剂)的生物反应程度的数值，例如对应于细胞处于细胞周期的给定阶段(例如有丝分裂)的概率的数值]。

[0049] 在另一方面，本公开针对一种用于二维图像分析的系统。该系统包括计算设备的处理器和存储器。该存储器存储有指令，这些指令在被该处理器执行时使该处理器：(i)接收包括像素的二维(2D)图像[例如，通过成像系统(例如光学显微镜)获得的二维样本图像]；(ii)将一组(例如三个)二阶导数滤波器(例如，高斯二阶导数滤波器)应用于2D图像，从而产生一组对应的二阶导数图像；(iii)使用一组预定义特性方向将一组(例如五个)旋转不变2D纹理滤波器应用于一组二阶导数图像，从而产生一组对应的经滤波图像；(iv)使用一组经滤波图像和/或2D图像(例如使用自动对象辨识，例如使用局部阈值法)识别2D图像中的多个对象(例如细胞，例如细胞的部分，例如有丝分裂纺锤体)；以及(v)使用一组经滤波图像执行如下步骤(a)、(b)和(c)中的至少一者：(a)对2D图像中的多个所识别对象的一部分(最多包括全部)进行分类；(b)对2D图像进行分割以将多个所识别对象的一部分(最多包括全部)与2D图像分离；以及(c)确定针对2D图像中的多个所识别对象的一部分(最多包括全部)的感兴趣质量值[例如对应于种类、类型和/或对给定处理(例如，暴露于药理学试剂、病毒或信号通路抑制剂)的生物反应程度的数值，例如对应于细胞处于细胞周期的给定阶段(例如有丝分裂)的概率的数值]。

附图说明

[0050] 通过参考以下结合附图的描述，本公开的前述和其他目的、方面、特征和优点将变得更加明显并且可以得到更好理解，在附图中：

[0051] 图1是根据本公开的实施方案的所模拟3D对象的三维图像和应用九个旋转不变3D滤波器的对应结果；

[0052] 图2是根据本公开的实施方案的随本征值空间中的本征值向量(H,M,L)与给定滤波器的特性方向之间的角度而变的角因数的图；

[0053] 图3是沿着具有荧光微管蛋白染色的细胞的3D图像的中心面拍摄的有丝分裂海拉细胞(HeLa cell)的荧光显微图；

[0054] 图4是根据本公开的实施方案的本征值空间中与九个滤波器的设计相对应的九个特性方向的图示；

[0055] 图5是根据说明性实施方案的在用于3D图像的自动分割和分析的方法和系统中使用的示例性网络环境的框图；

[0056] 图6是在本发明的说明性实施方案中使用的示例性计算设备和示例性移动计算设备的框图；

[0057] 图7示出了图3所示的3D图像的纹理滤波图像。图像710A至710I分别对应于亮面滤波器、亮线滤波器、亮点滤波器、亮鞍点滤波器、鞍点滤波器、暗鞍点滤波器、暗点滤波器、暗线滤波器和暗面滤波器；

[0058] 图8A是根据本发明的说明性实施方案的在线性判别分析(LDA)特征空间中进行间期、前期和中期分类所使用的验证数据的图；

[0059] 图8B是根据本发明的说明性实施方案的在LDA特征空间中进行间期、前期和前中期分类所使用的验证数据的图；

[0060] 图8C是根据本发明的说明性实施方案的在LDA特征空间中进行间期、中期和前中期分类所使用的验证数据的图；

[0061] 图9A是根据本发明的说明性实施方案的在LDA特征空间中基于强度和形态特征进行间期、前期和后期分类所使用的验证数据的图；

[0062] 图9B是根据本发明的说明性实施方案的在LDA特征空间中基于纹理特征进行间期、前期和后期分类所使用的验证数据的图；

[0063] 图9C是根据本发明的说明性实施方案的在LDA特征空间中基于强度、形态和纹理特征进行间期、前期和后期分类所使用的验证数据的图；

[0064] 图10是根据本发明的说明性实施方案的使用核的两个纹理特征、Hoechst通道的暗线特征和Alexa 488通道的暗点特征计算的间期‑中期分离信噪比(S/N)与针对z维度的校正系数的关系的图；

[0065] 图11A是根据本发明的说明性实施方案的在Alexa 488通道中对处于中期的两个细胞的图像进行高斯滤波和反卷积的3D阈值掩模；

[0066] 图11B是根据本发明的说明性实施方案的用于生成图11A中的掩模的相同图像的最低Hessian本征值滤波图像的3D阈值掩模；

[0067] 图11C是根据本发明的说明性实施方案的用于生成图11A中的掩模的相同图像的亮线滤波图像的3D阈值掩模图像；

[0068] 图12A是根据本发明的说明性实施方案的来自未处理的细胞样本的3D荧光显微图的TRITC通道的平面片段(例如，2D图像切片)；

[0069] 图12B是根据本发明的说明性实施方案的来自用30nM内皮素1处理18小时的细胞样本的3D荧光显微图的TRITC通道的平面片段(例如，2D图像切片)；

[0070] 图13是使用本文描述的方法的说明性实施方案从未处理的(例如，对照)细胞样本(B2)和用30nM内皮素1处理18小时的细胞样本(B9)的图像中提取的暗点纹理特征值与暗鞍点纹理特征值的关系的图；

[0071] 图14A是根据说明性实施方案的用于3D图像分析的方法的框图；

[0072] 图14B是根据说明性实施方案的用于2D图像分析的方法的框图；

[0073] 图15A是根据说明性实施方案的用于应用旋转不变3D滤波器的方法的框图；

[0074] 图15B是根据说明性实施方案的用于应用旋转不变2D滤波器的方法的框图；

[0075] 图16是根据说明性实施方案的用于对图像中的对象进行分类的方法的框图；以及[0076] 图17是根据说明性实施方案的示出使用回归模型从纹理特征值计算分类分数的框图。

[0077] 本公开的特征和优点从下面结合附图阐述的详细描述中将变得更加明显，在附图中，相似的参考字符始终标识对应的元件。在附图中，相似的附图标记一般指示相同、功能上类似和/或结构上类似的元件。

具体实施方式

[0078] 可以预期，所主张发明的系统、设备、方法和过程包括使用来自本文所述的实施方案的信息所发展出的变化和变更。相关领域普通技术人员可以执行本文所述的系统、设备、方法和过程的变更和/或修改。

[0079] 在整个说明中，当物品、设备和系统被描述为具有、包含或包括特定部件时，或者当过程和方法被描述为具有、包含或包括特定步骤时，可以预期，另外，存在主要由或由所叙述的部件组成的本发明的物品、设备和系统，并且存在主要由或由所叙述的处理步骤组成的根据本发明的过程和方法。

[0080] 应当理解，只要本发明保持可操作，步骤的顺序或执行某些动作的顺序就无关紧要。另外，两个或更多个步骤或动作可同时进行。

[0081] 相对于本发明的给定方面描述的实施方案的元件可以用在本发明的另一方面的各种实施方案中。例如，可以预期，从属于一项独立权利要求的从属权利要求的特征可以用于其他独立权利要求中任一项的装置、物品、系统和/或方法。

[0082] 本文(例如，在背景技术部分中)提及的任何公开案均不承认该公开案就本文提出的任何权利要求而言是现有技术。提供背景技术部分是为了清楚的目的，并不意味着对任何权利要求的现有技术的描述。

[0083] 以下说明在描述本文所述的系统和方法的以及与本文所述的系统和方法相关的各种元件的位置、定向、行进方向时使用笛卡尔坐标系。但是应理解，特定坐标(例如“x,y,z”)和基于它们的相关约定(例如“正x方向”，“x、y或z轴”，“xy、xz或yz平面”等)是为了方便和清楚起见给出，并且如本领域技术人员所理解的，可以使用其他坐标系(例如，圆柱、球形)并且认为在权利要求的范围之内。

[0084] “图像”(例如如细胞样本的3D图像中所使用的)可包括任何视觉表示，诸如照片、视频帧、流媒体视频，以及照片、视频帧或流媒体视频的任何电子、数字或数学模拟物。在某些实施方案中，本文所述的任何装置都包括用于显示图像或处理器产生的任何其他结果的显示器。在某些实施方案中，本文所述的任何方法都包括显示图像或经由所述方法产生的任何其他结果的步骤。如本文使用，提及“图像”时的“3D”或“三维”是指传达关于三个维度(例如三个空间维度，例如x、y和z维度)的信息。3D图像可以被呈现为三个维度的数据集和/或可以被显示为一组二维表示或三维表示。

[0085] 例如，在一种对象类别中使用的“类别”可以指代具有共同性质、属性和/或特性的一组或一类对象。可以基于与类别相关联的给定性质、属性和/或特性的种类、类型和/或质量将该类别的对象与其他类别区分开。可以对一组对象进行分类以将该组对象分成一个或多个子集或类别。例如，可以对与图像中的细胞相对应的对象进行分类，以基于细胞在细胞周期中的阶段将细胞分为几个类别。例如，一种类别的细胞可以是“有丝分裂细胞”，其对应于图像中被识别为正在经历有丝分裂的一组细胞。另一种类别的细胞可以是“凋亡细胞”，其对应于图像中被识别为正在经历凋亡的细胞。“掩模”可以是识别图像的2D或3D区域的图形图案，并且可以用于控制图像或其他图形图案的部分的消除或保留。

[0086] 纹理特征是对应于特定对象(或其一部分)的图像或图像的一部分的特性，这些特性由从该图像或部分的每个像素(对于2D图像)或体素(对于3D图像)周围的强度变化得出的数值纹理特征值表示。通常，强度与体素(或像素)的相对亮度有关(例如，功率*面积)。例如，具有亮体素的图像区域可以具有高强度，并且具有暗体素的图像区域可以具有低强度。在一个或多个方向上测量体素(或像素)相对于相邻体素(或像素)的强度的相对变化可以指示对分类、分割和/或回归任务有用的各种信息。分类和回归在例如2011年9月12日提交的美国专利第8,942,459号中被更详细地论述，该专利通过引用整体并入本文。分割的示例性方法在2014年1月23日提交的美国专利第9,192,348号中被详细地论述，该专利通过引用整体并入本文。

[0087] 本公开提供了一组滤波器，其有助于检测用于分类和回归任务以及分割任务的有用纹理特征。指示对象(或其部分)所属类别的纹理特征可用于分类目的——例如，确定成像的细胞(或生物样本的其他部分)是否健康。

[0088] 纹理特征也可以用于(例如，经由回归)对疾病的程度(或等级)进行量化。例如，可以使用纹理特征值来对疾病的发展程度(例如，疾病的水平、等级和/或程度)进行量化。在某些实施方案中，确定对象的若干特征。例如，该方法可以识别图像的区域，然后应用滤波器并计算该区域的纹理特征值。回归模型(例如，线性或非线性模型)包括使用训练数据(例如，对照样本(例如，具有已知性质的样本)的纹理特征值)构建的回归参数。然后，针对测试样本对该回归模型进行评估。然后对疾病的发展程度进行量化。

[0089] 在某些实施方案中，在所公开的方法中使用的图像滤波器可以是旋转不变的。也就是说，原始图像的旋转不会影响应用滤波器的结果，只不过结果也被旋转。本文描述的实施方案在三个维度上使用旋转不变滤波器。本文提出了一组三维旋转不变滤波器，使得每个滤波器对特定的理想强度图敏感。例如，亮面滤波器可以返回位于比其邻域强度更高的平面上的体素中的最大强度。相反，亮线滤波器可以返回位于比其邻域强度更高的线上的体素中的最大强度。

[0090] 一组3D纹理滤波器可以返回经滤波图像，每个经滤波图像可以突出显示3D景观(例如3D图像)的某个图形属性。例如，在某些实施方案中，该过程可以涉及应用一组高斯二阶导数滤波器，并且为每个体素计算三个Hessian本征值，这三个Hessian本征值描述在三个本征向量(主轴)的方向上的二阶导数。然后，可以将由三个本征值定义的向量与一组特性方向进行比较。每个特性方向都描述一个特定的理想景观。例如，特性方向(0,0,‑1)描述了亮面，其中三个主要二阶导数(即，Hessian本征值)中的一个为负，而其他两个为零。

[0091] 可以通过基于三个本征值(通常在每个体素中均不同)的向量的方向与对应于滤波器类型的特性方向的向量之间的角度(在本征值空间中)为每个体素计算角因数，而获得经滤波图像。例如，特性方向(0,0,‑1)对应于亮面滤波器。为体素计算的向量的方向与特性方向的向量之间的较小角度对应于较大的角因数。每个体素中的本征值向量的角因数和模数(例如，大小)用于构建一组经滤波图像。一旦获得一组经滤波图像，就可以确定对应的纹理特征值。然后，这些特征值可用于原始3D图像中表示的对象的分类、图像分割和/或样本的定量分析(例如，经由回归)。

[0092] 在某些实施方案中，将3D图像表示为体素(例如，体积像素)数据。各种细胞成像设备和其他3D成像设备(例如，激光扫描共焦显微镜、转盘共焦显微镜、光片显微镜等)输出包括体素的3D图像，或者以其他方式将其输出转换为包括体素的3D图像以供分析。在某些实施方案中，体素对应于3D图像(例如3D阵列)中的唯一坐标。在某些实施方案中，每个体素以填充或未填充状态(例如，二进制ON或OFF)存在。在其他实施方案中，体素还与一种或多种颜色、纹理、时间序列数据等相关联。在某些实施方案中，3D图像中的每个体素被连接到一个或多个邻近者(或边界)，所述邻近者对应于3D图像中与体素相邻(例如触及)的那些体素。在某些实施方案中，体素的邻近者被称为体素的邻域。在各种实施方案中，在给定第一体素的情况下，第一体素的邻域包括：(1)与第一体素相邻的体素(例如，触及第一体素的那些体素)，(2)与第一体素的邻近者相邻(或，例如至多达邻接的阈值水平)的体素，(3)与第一体素相邻或直接对角的体素，(4)在第一体素的阈值距离(例如，距离“r”，以英寸、厘米、体素等为单位)内的体素，和/或(5)任何其他方便的邻居定义。每个图像可以是单个图像或者是多个图像的集合。

[0093] 纹理滤波器

[0094] 现在参考图1，根据本公开的实施方案示出了三维(3D)图像和九个旋转不变三维(3D)滤波器的结果。为了示例性目的，图像110A示出了对应于模拟3D图像的阈值掩模。图像110A中描绘的模拟对象是由几乎垂直的杆106和几乎水平的盘104组成的转动体102。转动体102的图像由体素组成。在某些实施方案中，使3D图像经过设计成对理想强度图敏感的一个或多个旋转不变滤波器(例如，九个滤波器、少于九个滤波器或多于九个滤波器)(例如，使用所述滤波器对3D图像进行处理)，从而产生反映(例如，强调)四维强度景观(强度被认为是除了三个空间维度之外的第四维度)的特定几何属性的图像。使转动体102的3D图像经过九个滤波器(亮面滤波器、亮线滤波器、亮点滤波器、亮鞍点滤波器、鞍点滤波器、暗鞍点滤波器、暗点滤波器、暗线滤波器和暗面滤波器)的结果分别显示为图像110B至110J。亮面滤波器返回位于比其邻域强度更高的平面上的体素中的最大强度，而亮线滤波器返回位于比其邻域强度更高的线上的体素中的最大强度。这样，转动体102的杆106在亮线滤波图像
110B上最佳可见，而转动体102的盘104在亮面滤波图像110C上最佳可见。类似地，杆106和盘104都在暗面滤波图像110J上产生光晕，因为强度图在杆和盘的外部区域中都是凹形的。

[0095] 表1示出了为图1所示的转动体102提取的特征值。整体上针对转动体102(“转动体”)、仅针对杆106(“杆”)以及仅针对盘104(“盘”)呈现了纹理特征值。在该说明性示例中，对象的给定区域(转动体、杆或盘)中的每个所提取特征值被计算为对应区域中的对应经滤波图像的平均强度。在其他实施方案中，纹理特征是与对象相关联的图像的感兴趣区域中的经加总强度、平均强度、强度的标准偏差或强度的其他统计量度。

[0096] 表1：图1所示的转动体图像的示例纹理特征值。

[0097]   转动体 杆 盘亮面 34.7 18.6 36.8
亮线 10.9 36.3 8.5
亮点 2.8 11.9 1.9
亮鞍点 2.0 12.0 0.9
鞍点 1.1 2.7 0.8
暗鞍点 0.0 0.0 0.0
暗点 0.0 0.0 0.0
暗线 0.0 0.0 0.0
暗面 0.1 0.2 0.1

[0098] 以下是对所主张发明的各种实施方案中使用的一组示例性3D纹理滤波器的设计的描述。首先，使用对应于高斯滤波的标度的输入参数应用一整组的高斯二阶导数滤波器。如本文所使用，术语(例如，高斯滤波器或高斯二阶导数滤波器的)“标度”是指在对应滤波器中使用的高斯卷积核的特征半径。一整组的高斯二阶导数滤波器的应用为每个体素产生六个二阶导数值，从而产生由Lxx、Lyy、Lzz、Lxy、Lxz和Lyz表示的六个二阶导数图像。

[0099] 在第二步中，针对每个体素将3×3Hessian矩阵对角化。二阶导数滤波图像的3×3Hessian矩阵表示为矩阵1，如下：

[0100]

[0101] 3×3Hessian矩阵(矩阵1)的对角化是一个本征问题。本征问题的求解包括计算三个本征值，这些本征值描述了在三个主轴方向上的二阶导数。可以通过对三次方程求解来计算本征值。在某些实施方案中，生物样本的物理空间中的主轴方向(例如，在显微镜下的样本的xyz坐标中)是不重要的，并且可以跳过本征向量的计算。对角化的结果是每个体素的最高、中间和最低本征值(H、M、L)。换句话说，在对角化步骤中，从通过应用一整组的高斯二阶导数滤波器产生的六个图像计算三个图像。

[0102] 在某些实施方案中，使用由向量(H,M,L)定义的方向和3×3Hessian矩阵的一组特性方向用于纹理滤波器的计算。在某些实施方案中，对应于特性方向的向量是(0,0,‑1)、(0,‑1,‑1)/sqrt(2)、(‑1,‑1,‑1)/sqrt(3)、(1,‑1,‑1)/sqrt(3)、(1,0,‑1)/sqrt(2)、(1,1,‑1)/sqrt(3)、(1,1,1)/sqrt(3)、(1,1,0)/sqrt(2)和(1,0,0)，它们分别对应于亮面滤波器、亮线滤波器、亮点滤波器、亮鞍点滤波器、鞍点滤波器、暗鞍点滤波器、暗点滤波器、暗线滤波器和暗面滤波器。二阶导数的负值对应于给定方向上的凸强度图。可以认为这些特性方向是理想的(例如，从某种意义上说，在处理真实数据时它们可能很少被获得)。在某些实施方案中，计算每个特性方向与(H,M,L)的给定真实方向之间的角度(例如，或者通过对角度应用三角函数获得的值，例如角度的余弦平方)。

[0103] 两个特性方向之间的最小角度是 (例如，立方体的对角线与立方体的边缘的对角线之间的角度)。这个角度为大约π/5或者约36度。然后可以使用以下公式将经滤波图像(F)表示为本征值向量的模数(A)与基于(H,M,L)和由向量(H,M,L)定义的方向与滤波器的特性方向之间的角度(α)为每个体素计算的角因数(Φ)的乘积：

[0104]

[0105] 图2示出了角因数(Φ)随角度α而变的说明性图200。角因数是α的平滑函数，从α＝0处的1.0减小至α＝π/5处的0。也可以根据以下公式将角因数计算为cos(α)的函数：

[0106]

[0107] 为原始图像的每个体素计算的F的值用于生成具有相同维度的经滤波图像，其中经滤波图像中的每个体素对应于原始图像的一个体素。在某些实施方案中，针对3D图像的每个体素的一组真实的本征值(H、M、L)在最多四个经滤波图像中具有非零贡献。例如，由(H,M,L)定义的针对特定体素的向量的方向可能很少平行于任何特性方向。当(H,M,L)的方向在特性方向之间时，针对最多四个最接近的方向，角因数可能是非零的。其余角因数将为零。

[0108] 针对给定体素，方程式1的模数A对所有滤波器通用，而角因数(Φ)对不同滤波器则不同。可以为3D图像的每个体素计算一组角因数，并将该组角因数用于生成一组经滤波图像。使用特定滤波器生成的经滤波图像包括使用上面的方程式1或方程式2的针对3D图像的每个体素的角因数，其中α是向量(H,M,L)的方向与和滤波器相关联的特性方向之间的角度。

[0109] 图4所示的图400中给出特性方向的说明性示例。单位球面402示出了H(最高本征值)轴404、M(第二最高本征值)轴406和L(最低本征值)轴408。经线410对应于条件H＝M。如图4所示，所有方向向量414都在线或线的一侧上，因为根据定义，H≥M。类似地，粗线412对应于条件M＝L。因此，所有方向向量414都在线或线的一侧上，因为根据定义，M≥L。

[0110] 3D旋转不变滤波图像的使用

[0111] 图14A示出了根据说明性实施方案的用于进行3D图像分析的方法1400的说明性示例。方法1400开始于由计算设备的处理器接收三维(3D)图像(步骤1410)。例如，3D图像可以是由3D成像系统(例如光学显微镜，例如3D光学显微镜，例如计算机断层扫描(CT)或微CT成像系统)获得的样本的3D图像。例如，3D图像可以是多个细胞(例如，根据用于给定测定或生物测试的标准协议培养的细胞)的图像。3D图像包括体素。在某些实施方案中，3D图像是包括图像数据的两个或更多个通道的多通道图像。图像数据的不同通道可以例如对应于不同颜色，对应于用于获取图像的不同成像传感器，对应于不同成像路径(例如，光学显微镜中的不同成像路径)，和/或对应于不同光学滤波器(例如，用于查看不同荧光标记)。

[0112] 在某些实施方案中，将一个或多个反卷积滤波器应用于3D图像以校正图像和/或光学分辨率的各向异性。例如，反卷积滤波器可以帮助校正在x、y和/或z方向上图像分辨率的差异。通常由成像系统的点扩展函数的纵横比来对该各向异性进行量化。在某些实施方案中，如下所述，采取附加步骤来校正图像分辨率的各向异性。

[0113] 在某些实施方案中，对接收到的图像进行合并(例如，对图像的相邻体素进行组合、求和或平均)以提高计算速度。可以使用一个或多个合并因数对图像进行合并，其中每个合并因数可以包括针对3D图像的每个维度(例如，每个x、y、z维度)的系数。给定维度的系数决定了例如图像在该维度上的合并方式。例如，x维度上的合并系数为“2”可指示对x方向上每对体素的强度值进行平均，并且将平均值分配给新体素，以代替原始的一对体素。所得的“经合并图像”可能比原始3D图像具有更少的体素(例如，在x方向上的合并系数为“2”导致在x维度上的体素只有一半)。图像中体素数量的这种减少可以允许更快地(例如，以减少的计算时间)执行后续步骤。

[0114] 在处理器接收到3D图像之后，可以在3D图像中识别对象(例如细胞，例如细胞的部分)(步骤1425)。例如，可以使用诸如局部阈值化之类的自动对象辨识方法来识别对象。例如，在阈值化期间，图像的具有高于或低于预定义阈值的平均强度的区域可以被识别为对象。例如，多通道3D图像的一个通道可用于查看核染色，并且来自该通道的图像可用于识别细胞核(例如，通过基于核相对于周围细胞空间的相对亮度应用局部阈值)。例如，在阈值化期间，图像的具有高于或低于预定义阈值的平均强度的区域可以被识别为对象。在某些实施方案中，可以使用来自步骤1420的经滤波图像来识别对象。

[0115] 在接收到3D图像之后，可以在步骤1415中将一组(例如，六个)二阶导数滤波器(例如，高斯二阶导数滤波器)应用于3D图像以产生一组对应的二阶导数图像。例如，一组二阶导数滤波器可以包括对高斯导数滤波器的有限冲激响应(FIR)近似或对高斯导数滤波器的递归无限冲激响应(IIR)近似(例如，经由以下项的方法而应用：R.Deriche，“递归地实现高斯及其导数(Recursively implementating the Gaussian and its derivatives)”，RR‑1893，INRIA(1993)；或L.J.van Vliet等人，“递归高斯导数滤波器(Recursive Gaussian Derivative Filters)”，第14届国际模式辨识会议论文集，ICPR'98，布里斯班(澳大利亚)，
1998年8月16日至20日，IEEE计算机协会出版社，第I卷,第509‑514页(1998)，两者均通过引用整体并入本文)。

[0116] 在步骤1420中，可以使用一组预定义特性方向将一组(例如，九个)旋转不变3D纹理滤波器应用于一组二阶导数图像(在步骤1415中产生)，以产生一组对应的(例如，九个)经滤波图像。在某些实施方案中，一组旋转不变3D纹理滤波器的每个滤波器可以与对应预定义特性方向相关联(例如，如关于图4所描述的)。

[0117] 图15A示出了用于将一组旋转不变3D纹理滤波器应用于一组二阶导数图像的方法1500的说明性示例。方法1500包括为每个二阶导数图像计算针对二阶导数图像的每个体素的三个本征值(H、M和L)(步骤1510)。如上所述，针对与二阶导数图像相关联的3×3矩阵(上面的矩阵1)对本征问题求解，以便确定针对3D图像的每个体素的最高本征值(H)、中间本征值(M)和最低本征值(L)。

[0118] 在步骤1520中，使用Hessian本征值(H、M、L)计算针对每个特性方向的本征值的模数(A)，并且计算针对每个体素和针对每个预定义特性方向的角因数(Φ)。可以从包括三个Hessian本征值的向量(H,M,L)和预定义特性方向之一计算每个角因数(例如使用以上方程式1，例如使用以上方程式2)。因此，可以产生一组角因数，该组角因数包括针对原始3D图像的每个体素的角因数(Φ)。然后可以在步骤1530中将这些角因数连同其相应的模数(A)一起用于生成一组经滤波图像。对于原始3D图像的每个体素，每个经滤波图像可以包括对应于给定特性方向的角因数。

[0119] 返回图14A，在3D图像中识别出对象之后，可以使用经滤波图像(来自步骤1420)对所识别对象的一部分(最多包括全部)进行分类(步骤1430)和/或确定与对象相关联的感兴趣质量(步骤1440)。在某些实施方案中，在步骤1450中使用所识别对象(来自步骤1425)和经滤波图像(来自步骤1420)来计算纹理特征，并且将纹理特征用于对象分类(步骤1430)并确定感兴趣质量(步骤1440)。例如，分类可以包括将对象分配给类别和/或将对象与感兴趣种类相关联。每个类别例如可以与疾病状态或细胞周期的阶段有关。例如，可以确定(例如，对象的)纹理特征的线性组合，并将其用于根据特性“疾病”对相关联的对象、图像和/或样本进行分类。例如，从训练数据确定的回归参数可以用于该分类中(例如，如下面结合图17所描述的)。另外，图像或生物样本(例如，样品)也可以被分类为“健康”(例如，报告对患者进行的基于图像的测定的结果为“阴性”测试结果)。可以将来自显示癌性表型的另一样本的细胞分类为“癌性”，并且在某些实施方案中，还可以将相关联的样本分类为“阳性”测试结果。

[0120] 图16示出了用于对图像中的对象进行分类的方法1600的说明性示例。方法1600包括使用经滤波图像确定对象的纹理特征值(步骤1610)。每个纹理特征值包括与对应对象相关联的数值。例如，纹理特征值可以是与经滤波图像中的对象相关联的平均图像强度值。例如，在亮面滤波图像中显得明亮(例如，强度高)的对象具有大的亮面纹理特征值。

[0121] 在步骤1620，从纹理特征值计算分类分数。图17示出了如何使用回归模型1720从纹理特征值1710计算分类分数1740的说明性示例1700。在某些实施方案中，每个分类分数1740可以包括与预定类别的对象相关联的数值。回归模型1720可以使用统计分析、模式辨识或机器学习(例如，线性判别分析)方法。

[0122] 可以使用对照纹理特征值1730(即，具有已知的感兴趣性质的对照样本的纹理特征值)来训练回归模型1720。例如，为了训练回归模型1720以计算针对“有丝分裂细胞”类别的分类分数，对照纹理特征值包括针对已知正在经历有丝分裂的细胞的图像的纹理特征值。在某些实施方案中，形态特征值还用于训练回归模型1720，并且形态特征值连同纹理特征值1710一起用来计算分类分数1740。使用分类分数1740，可以例如将对象分配给类别1750。例如，可以基于分类分数1740是大于还是小于对应于给定分类分数1740和相关联类别1750的预定义阈值来确定类别1750。

[0123] 可以执行回归模型1720的训练，使得用户将对象识别为属于两个或更多个种类中的至少一个种类。许多纹理和形态特征可用于训练回归模型1720。形态特征例如与对象的形式、结构和形状相关联。形态特征可以由形态特征值表示，例如，描述细胞大小(例如，细胞半径)、细胞体积和细胞形状(例如细胞纵横比，例如细胞球形度)的数值。形态特征值还可以包括数值分数(或等级)，该分数对应于细胞与给定类型的细胞(例如，成纤维细胞、上皮样细胞或淋巴母细胞样细胞)共享形态特征的程度。例如，细长的成纤维细胞的形态特征值(标度为0到10)可能具有7或更大的“成纤维细胞”形态特征值，而球形淋巴母细胞可能具有小于3的“成纤维细胞”形态特征值。

[0124] 为了改进分类过程的速度，可以将用于分类的纹理和形态特征的数量缩小到可管理的数量，既用于加快计算速度，又避免了过度拟合。例如，在某些实施方案中，用于分类的纹理和/或形态特征的数量可以限于500、250、100、50、25、15、10、9、8、7、6、5、4、3或2个特征。另外，可以识别出更高效地区分诸如细胞之类的对象的那些特征的子集(例如，可以选择相关特征)并将其用于随后的分类任务。

[0125] 返回图16，在步骤1630中，使用一个或多个所计算的分类分数(来自步骤1620)对图像中所识别的对象的一部分(最多包括全部)进行分类。在某些实施方案中，可以使用一个或多个经滤波图像来对原始3D图像(例如，而不是图像中的离散对象)和/或与图像相关联的样本(例如，被成像的细胞种群)进行分类。

[0126] 返回图14A，在某些实施方案中，使用经滤波图像以及任选地所识别对象对3D图像中的对象进行分割(步骤1435)和/或对3D图像进行分割(步骤1445)。可以对3D图像进行分割，以将所识别对象与3D图像分离。分割可以包括，例如，将强度阈值应用于所识别对象和经滤波图像。然后可以基于所应用的阈值来生成二值图像。可以进行图像分割，例如以识别和分离对象的离散部分(例如对应于细胞的亚单位，例如有丝分裂纺锤体)。

[0127] 在某些实施方案中，期望能够将处于细胞周期的相同阶段的细胞(例如，有丝分裂细胞)与周围细胞分割开以识别例如有丝分裂细胞的相对种群并发展有丝分裂与其他细胞特征(例如形态特征)之间的相关性。在某些实施方案中，还期望进行分割以在图像的对应于特定细胞类型的区域与图像的对应于不同细胞类型或底物材料的其他部分之间进行自动区分。然后，如果分析的目的是识别处于中期的任何细胞，则可以通过仅对图像的先前识别的有丝分裂区域进行额外的图像处理(例如，包括分割的另一阶段)来进一步分析细胞是否存在沿中心轴的染色体。换句话说，图像分割可以允许用户将成像工作仅集中在与有丝分裂相关联的细胞种群的那些需要高级图像分析的部分上。高级图像分析可能涉及例如图像重建，以用于定量分析一个或多个目标细胞器中荧光探针的分布。那些目标细胞器之外的图像部分可能不需要进行分析，并且在没有分割的情况下，花在那些部分上的处理时间将被浪费，从而导致效率降低。

[0128] 如上所述，在步骤1440中可使用经滤波图像(来自步骤1420)来确定感兴趣质量值。例如，感兴趣质量可以是对应于种类、类型和/或对给定处理(例如，暴露于药理学试剂、病毒或信号通路抑制剂)的生物反应程度的数值。感兴趣质量也可以是对应于对象的物理性质(例如细胞半径，例如细胞纵横比)的数值。可以通过计算针对所识别对象的一部分的纹理特征值来确定感兴趣质量。然后，使用回归模型(例如，类似于图17的用于计算分类分数的回归模型1720)从使用纹理特征值评估的回归模型中确定感兴趣质量值。回归模型包括基于对照对象的纹理特征值的回归参数(例如，对应于具有已知种类、类型和/或反应程度的细胞(例如，处于细胞周期的已知阶段的细胞)的数值)。在某些实施方案中，还确定针对所识别对象的形态特征值，并且将形态特征值与纹理特征值一起用于确定一个或多个感兴趣质量。在某些实施方案中，一个或多个经滤波图像用于确定针对原始3D图像(例如，而不是针对图像中的离散对象)和/或与图像相关联的样本的感兴趣质量。

[0129] 在某些实施方案中，显示(例如，在计算设备的显示器或监视器上)经滤波图像(来自步骤1420)和/或以下操作的结果中的至少一者：(a)对对象进行分类(步骤1430)、(b)对对象进行分割(步骤1435)和/或(c)确定一个或多个感兴趣质量(步骤1440)。

[0130] 在x和y而不是z上旋转不变的情况

[0131] 在某些实施方案中，对象的定向对于后续的分割、分类和/或分析并不重要(例如，感兴趣的对象在任何方向上定向的概率密度相等)。但是，在其他实施方案中，对象的垂直和水平定向很重要(例如，对于后续的分割、分类和/或分析)。在这些条件下，可以修改上述用于旋转不变图像(例如，图1中所示的转动体的图像)的方法，以计及对象定向。例如，可以将表征线(或面)的旋转不变滤波器分为两个滤波器，其中一个滤波器对垂直线(或面)敏感，而另一滤波器对水平线(或面)敏感。由于对应于每个滤波器的理想强度景观具有对称轴，因此可以对亮鞍点滤波器和暗鞍点滤波器进行类似的拆分。

[0132] 为了将滤波器(例如，亮线滤波器)分为垂直和水平分量，针对每个体素，结合关于Hessian本征值(H、M、L)的信息来确定关于具有最低本征值(L)的Hessian本征向量的定向的信息。例如，对于亮线滤波器，结合Hessian本征值来确定具有最低本征值的Hessian本征向量与样本的z轴之间的角度。对于暗线滤波器，确定具有最高本征值的Hessian本征向量与z轴之间的角度。对于平面滤波器(例如，亮面滤波器或暗面滤波器)，还提取关于Hessian本征向量与z轴之间的角度的信息。

[0133] 平面的定向可以由其法向向量定义，该法向向量是亮面滤波器的本征值最低的本征向量和暗面滤波器的本征值最高的本征向量。例如，可以针对所有体素计算3D图像的z轴与感兴趣的本征向量之间的角度的余弦平方的值。然后可以计算平面滤波图像的两个分量，其中水平分量与角度的余弦平方成比例，而垂直分量与角度的正弦平方成比例。

[0134] 对于线滤波图像，可以使用类似的方法。亮线滤波器的定向(即，理想强度景观的对称轴)可以由Hessian本征值最高(H)的Hessian本征向量给出，而暗线滤波器的定向可以由Hessian本征值最低(L)的Hessian本征向量给出。可以通过将经滤波图像乘以3D图像的z轴与滤波器的特性方向之间的角度的余弦平方来计算线滤波图像的垂直分量。可以通过将经滤波图像乘以相同角度的正弦平方来计算线滤波图像的水平分量。对于所有体素，纹理滤波器值可以为非负的。

[0135] 图像各向异性的校正

[0136] 光学3D图像通常在z维度上的分辨率低于在x和y维度上的分辨率，从而导致图像各向异性(例如，图像分辨率的方向依赖性)。例如，共焦激光扫描显微镜的点扩展函数(PSF)在z方向上可以是细长的，而不是在每个维度上半径相等的球形点。点扩展函数(PSF)可以描述成像系统对点源(例如，由成像系统观察到的光的点源)或点对象(例如，小的球形或圆形对象)的响应。在某些实施方案中，可以校正各向异性以防止本文所述的纹理滤波图像的失真。

[0137] 在某些实施方案中，可以使用图像去卷积来校正3D图像的分辨率的各向异性并减轻纹理滤波图像中的失真。然而，对于某些实现方式，反卷积可能太昂贵(例如，相对于计算时间)。此外，反卷积可能并不总是完美的，并且会产生具有残留PSF各向异性的图像。

[0138] 因此，在某些实施方案中，可以使用比反卷积更节省成本的方法(例如，就计算时间而言)来校正图像各向异性。在某些实施方案中，可以在所有三个方向(x、y和z)上将高斯滤波器应用于3D图像，并且滤波器中使用的高斯核在x和y方向上可以比在z方向上更大(例如，“更宽”)。应用高斯滤波器后，分辨率可能仍然存在差异。在高斯近似中，PSF可具有在一个或多个方向(x、y和z)上可能不同的特性半径。对于点源，与PSF相关联的图像强度(I)可以通过以下公式估算：

[0139]

[0140] 其中σx是I在x和y方向上的标准偏差，并且σz是I在z方向上的标准偏差。

[0141] 因此，点源处在不同方向上计算的二阶导数可能不相等。例如，点源中心处强度相对于x和z的二阶导数分别为：

[0142]

[0143]

[0144] 本文所述的方法提供了用于校正该各向异性的手段，使得对于点源，二阶导数的值在每个方向上相等。在某些实施方案中，该校正可以通过将在z方向上计算的一阶偏导数乘以常数因数来执行，校正系数对应于σz/σx。

[0145] 可以凭经验估算校正系数的数值，例如，通过使用对照图像(例如，珠子的显微图)并使对照图像的点滤波图像(例如，亮点滤波图像)的强度与对照图像的线滤波图像(例如，亮线滤波图像)的强度的比率最大化。例如，针对放大倍数为63倍且数值孔径为1.15的水浸显微镜物镜，并使用标度为(2.0,2.0,0.0)的高斯滤波器，估算的校正系数为C＝2.5。

[0146] 在某些实施方案中，通过使两种类别观察值的分布之间的间隔最大化(例如使用线性判别分析的方法，例如通过使来自对应于两种不同已知类别样本的验证数据集的线性特征组合的信噪比(S/N)最大化)来凭经验计算校正系数。例如，对于两种已知类别的对象，线性特征组合的S/N可以是每种类别内的特征的差异的绝对值除以类别间标准偏差的比率。通过使S/N最大化，可以选择最佳的线性特征组合来改进后续分类、分割和/或其他分析。例如，可以以不同的校正系数值评估S/N，以便识别使S/N最大化的校正系数值。在某些实施方案中，来自两种不同类别(例如，处于间期和中期)的相同类型的对象(例如，细胞)的图像可以用于减少随机波动的影响。这种优化的一个示例在图10中示出并在下面描述。

[0147] 多个合并级联中纹理特征的计算

[0148] 经滤波图像的性质是所使用的高斯平滑滤波器的标度的函数(或在将二阶导数滤波器应用于原始图像之前进行的任何其他平滑操作的参数)。高斯平滑滤波器的标度是在滤波器中使用的高斯核的特性半径。从经滤波图像中提取的纹理特征的数量是与给定标度相关联的特征数量的乘积(例如，旋转不变3D特征可以具有九个特征)。

[0149] 在某些实施方案中，原始图像可以被合并以减小图像的尺寸(例如，图像中的体素或像素的数量)。合并可以包括组合图像的相邻体素，对图像的相邻体素进行求和，对图像的相邻体素进行平均等。可以在一个或多个合并级联中进行合并，其中每个级联具有一个对应的合并因数。例如，如果使用一组合并因数(2,2,1)、(4,4,1)和(4,4,2)来合并尺寸为(500,300,30)的原始图像，则第一、第二和第三经合并图像(对应于合并因数(2,2,1)、(4,4,1)和(4,4,2))的尺寸分别为(250,150,30)、(125,75,30)和(125,75,15)。每个合并因数可以包括原始图像的每个尺寸的系数。在所有这三个示例合并级联中确定纹理特征值所需的计算时间可能少于从单个原始图像确定纹理特征所需的时间的40％。可以使用类似的方法对2D图像进行合并。

[0150] 在某些实施方案中，与从原始图像(例如，在其原始尺寸)获得的纹理特征相比，以更高阶(例如，第三或第四)合并级联提取的纹理特征对于分类可能更有效。如上所述，可以在经合并图像中更快地确定纹理特征。计算时间与图像中体素(或像素)的数量大致成比例地减少。例如，在3D图像的每个维度中合并因数为2可使总计算时间减少大约8倍。

[0151] 2D旋转不变纹理滤波器的使用

[0152] 应当理解，也可以将与以上(主要相对于3D图像)所描述的方法相似的方法应用于二维(2D)图像。以上相对于3D旋转不变纹理滤波器所描述的实施方案的元素(和/或其修改形式)可以在本文所述的2D旋转不变纹理滤波器的各种实施方案中使用。例如，可以预期，与本文所述的3D旋转不变纹理滤波器有关的权利要求的特征可以用于与2D旋转不变纹理滤波器有关的任何权利要求的装置、物品、系统和/或方法。

[0153] 将一整组的高斯二阶导数滤波器应用于2D图像会产生三个由Lxx、Lyy和Lxy表示的导数图像。可以从Hessian矩阵计算两个本征向量和两个本征值(H和L)，该矩阵包括为每个像素计算的这些值。在本征值空间中，对应于向量(1,1)/sqrt(2)、(1,0)、(1,‑1)/sqrt(2)、(0,‑1)和(‑1,‑1)/sqrt(2)的五个预定义特性方向分别对应于暗点滤波器、暗线滤波器、鞍点滤波器、亮线滤波器和亮点滤波器。可以根据方程式(6)从本征值(H和L)以及向量(H、L)的方向与滤波器的特性方向之间的角度(α)计算经滤波图像(F)：

[0154]

[0155] 方程式(6)也可以根据方程式(7)用cos(α)表示：

[0156]

[0157] 图14B示出了根据说明性实施方案的用于进行2D图像分析的方法1455的说明性示例。方法1455可以包括由计算设备的处理器接收二维(2D)图像(步骤1460)。例如，2D图像可以是由光学显微镜获得的样本的2D图像。2D图像还可以是例如使用3D光学显微镜、计算机断层扫描(CT)或微CT成像系统获得的3D图像的横截面(例如，图像“切片”)。在接收到2D图像之后，可以在步骤1465中将一组(例如，三个)二阶导数滤波器(例如，高斯二阶导数滤波器)应用于2D图像以产生一组对应的二阶导数图像。例如，一组二阶导数滤波器可以包括对高斯导数滤波器的有限冲激响应(FIR)近似或对高斯导数滤波器的递归无限冲激响应(IIR)近似(例如，经由Deriche(1992)或van Vliet等人(1998)的方法而应用)。

[0158] 在步骤1470中，使用一组预定义特性方向将一组(例如，五个)旋转不变2D纹理滤波器应用于一组二阶导数图像(在步骤1465中产生)，以产生一组对应的(例如，五个)经滤波图像。在某些实施方案中，一组旋转不变2D纹理滤波器中的每个滤波器与对应预定义特性方向相关联。

[0159] 图15B示出了用于将一组旋转不变2D纹理滤波器应用于一组二阶导数图像的方法1550的说明性示例。方法1550包括为每个二阶导数图像计算针对二阶导数图像的每个体素的两个本征值H和L(步骤1560)。

[0160] 在步骤1570中，可以使用Hessian本征值(H和L)来计算针对每个体素和针对每个预定义特性方向的角因数。每个角因数是从包括两个Hessian本征值的向量(H,L)和预定义特性方向之一计算出的(例如使用方程式6，例如使用方程式7)。因此，产生一组角因数，该组角因数包括针对原始2D图像的每个像素的角因数(Φ)。然后可以在步骤1580中使用这些角因数来生成一组经滤波图像。对于原始2D图像的每个像素，每个经滤波图像可能已经考虑了对应于给定特性方向的模数和角因数。

[0161] 返回图14B，可以在2D图像中识别对象(例如细胞，例如细胞的部分，例如有丝分裂纺锤体)(步骤1475)。例如，可以使用诸如局部阈值化之类的自动对象辨识方法来识别对象。在阈值化期间，例如，与给定对象相关联的图像的具有高于或低于预定义阈值的平均强度的区域可以被识别为对象。例如，多通道2D图像的一个通道可用于查看核染色，并且相关联的图像可用于识别细胞核(例如，通过基于核相对于周围细胞空间的相对亮度应用局部阈值)。在阈值化期间，例如，图像的具有高于或低于预定义阈值的平均强度的区域可以被识别为对象。

[0162] 经滤波图像可以用于使用类似于以上相对于3D旋转不变纹理滤波器的使用所描述的方法的方法对所识别对象的一部分(最多包括全部)进行分类(步骤1480)，对2D图像进行分割(步骤1485)和/或确定感兴趣质量值(步骤1490)。步骤1480中的对象分类可以经由图16的方法1600进行，如上文在3D图像分析的上下文中所述。在某些实施方案中，可以在步骤1497中使用所识别对象(来自步骤1475)和经滤波图像(来自步骤1470)来计算纹理特征，并且可以将纹理特征用于对象分类(步骤1480)和确定感兴趣质量(步骤1490)。一个或多个经滤波图像也可以直接用于对2D图像进行分割(步骤1495)。

[0163] 示例应用

[0164] 在图像中识别出对象(例如，细胞)之后，可以使用一组纹理滤波图像来为对象计算一组对应的纹理特征。对于3D图像，可以基于一组九个经滤波图像来计算纹理特征，并且可以将纹理特征用于分类或回归任务。在某些实施方案中，基于强度分布(例如，标准偏差、第二累积量的平方根)的更高阶累积量(例如，除了平均或第一累积量之外)来确定另外提取的特征。下面给出了本文描述的系统和方法的示例实验应用。

[0165] 示例1：处于生命周期的不同阶段的海拉细胞的分类

[0166] 海拉细胞在其生命周期的不同阶段进行了三维成像，并使用具有不同荧光标记的若干图像通道进行了测量。细胞核用 33342染色；微管蛋白用标记有ALEXA TM TM
FLUOR  448的抗α微管蛋白染色；磷酸化组蛋白H3(pHH3)用标记有ALEXA FLUOR  647的抗磷酸化组蛋白H3染色，并且肌动蛋白用四甲基罗丹明(TRITC)标记的鬼笔环肽染色。ALEXA TM
FLUOR  448通道用于检测细胞质。图3示出了沿海拉细胞的荧光图像的中心轴的横截面图像300，其示出了针对微管蛋白染色的荧光通道。

[0167] 使用核中ALEXA FLUORTM 647的强度来检测正在经历有丝分裂的细胞，并且从图像TM中裁剪出所有有丝分裂细胞，并进行保存以供进一步分析。此外，裁剪了ALEXA FLUOR  647通道中具有零(或可忽略的信号)的相似数量的细胞，并进行保存以供进一步分析。为了减TM
少处理时间，并未保存所有缺少ALEXA FLUOR  647信号的细胞。而是在图像中随机选择这些细胞的一小部分。总共裁剪了1072个细胞，并进行保存以供进一步分析。

[0168] 然后从裁剪的图像中提取特征。基于 33342、ALEXA FLUORTM 448和TM
ALEXA FLUOR  647信号提取了强度特征。提取了形态特征以检测细胞核以及细胞核与细胞TM
质的组合。一些提取的形态特征包括与ALEXA FLUOR  488信号相关联的区域的性质。然后TM
使用上述方法从ALEXA FLUOR  488和 33342通道的图像中提取了纹理特征。
对于每个细胞，提取了4个强度特征、44个形态特征和108个纹理特征。

[0169] 然后由三位技术人员目视检查每个保存的细胞，技术人员将细胞图像分为以下种类：间期、前期、前中期、中期、后期、末期‑胞质分裂和伪影。每个种类(伪影种类除外)对应于对细胞进行成像的细胞周期阶段。伪影种类包括由于分割错误和不规则细胞(例如，多核细胞)的图像而导致的任何对象。伪影种类中的图像被丢弃，不用于后续分析。

[0170] 在此示例中，基于下面描述的视觉标准，将1072个保存的细胞分为以下种类：

[0171] 间期：此种类的细胞图像对应于处于间期的细胞的图像。间期是细胞的连续有丝分裂之间(例如，减数分裂的第一次分裂与第二次分裂之间)的静止期。成像的大多数细胞TM具有与间期相关联的表型。与间期相关联的细胞图像的特征在于：pHH3(ALEXA FLUOR  
647)通道的强度低、具有更亮和更暗区域的核中的( 33342的)均匀染色强
度、以及指示不规则纤维(例如，多个纤维发源于的可见中心)的微管蛋白染色(ALEXA TM
FLUOR  448)。间期的细胞总体呈扁平形状。

[0172] 前期：此种类的细胞图像对应于处于前期的细胞的图像。前期是有丝分裂的第一阶段。与前期相关联的细胞图像的特征在于：pHH3通道的强度增加(例如，强度大于背景水平的强度)并带有一些亮点、核染色强度更呈颗粒状(例如，指示DNA凝集)、核区域更厚、以及指示主要在细胞的x‑y平面方向上延伸的两个用纤维(微管)相连的中心的微管蛋白染色。前期的细胞大多呈扁平形状。

[0173] 前中期：此种类的细胞图像对应于处于前中期的细胞的图像。前中期是有丝分裂的在前期与中期之间的中间阶段。与前中期相关联的细胞图像的特征在于：看起来类似于核染色的pHH3染色、表明凝集DNA形成(例如，在z方向上延伸)的核染色、和指示纤维进入核区域(例如，其极点朝核区域的相对侧移动)的微管蛋白染色。

[0174] 中期：此种类的细胞图像对应于处于中期的细胞的图像。在中期期间，染色体附着在纺锤丝上。与中期相关联的细胞图像的特征在于：看起来类似于核染色的pHH3染色、显示排列成立式盘的凝集DNA的核染色、和在盘两侧的两极包括形成具有穿过盘的中心的轴线的对称纺锤体的纤维的微管蛋白染色。中期的细胞总体呈圆形。

[0175] 后期：此种类的细胞图像对应于处于后期的细胞的图像。在后期期间，染色体彼此移开，进入中期观察到的纺锤体的相反极。与后期相关联的细胞图像的特征在于：看起来类似于核染色的pHH3染色和指示将凝集DNA盘分成两个平行盘的核染色。后期的细胞大部分呈圆形。

[0176] 末期&胞质分裂：此种类的细胞图像对应于处于末期的细胞的图像和正在经历胞质分裂的细胞的图像。在末期期间，染色体移至细胞的相对端，并形成两个核。在胞质分裂期间，细胞分成两个子细胞。与末期和/或胞质分裂相关联的细胞图像的特征在于：pHH3染色强度降低、显示移动分开的分离DNA凝团的核染色、和显示分离的核之间的一束平行纤维的微管蛋白染色。在胞质分裂期间，该束平行纤维首先拉伸，然后在两个子细胞分离之前在细胞中间收缩，从而在新形成的细胞边界处留下明亮的富含微管蛋白的区域。然后观察到两个分离的并移动分开的对称细胞。此种类的细胞与间期的细胞外观不同。

[0177] 伪影：此种类的细胞图像对应于具有分割错误或不规则细胞(例如，具有三个核的细胞)的细胞图像。

[0178] 然后对每个种类的细胞进行滤波以去除离群值。离群值被删除是因为在训练数据包括离群值时，用于后续分析的Fisher线性判别(也称为线性判别分析(LDA))具有次优的准确性。使用一些选定的特征，分别为每个种类确定离群值。当对象的特征值与类别平均值偏离超过12个标准偏差时，将对象视为离群值。将细胞的大约5％至15％(取决于种类)作为离群值从每一组经分类的细胞中丢弃。

[0179] 然后将每个种类的细胞划分为训练集和验证集。训练集用于确定分类器的相关特征和参数，而验证集用于表征分类器产生的结果的质量(例如“优度”)。表征分类器的优度的一种合适方法是选择三个类别，并在LDA特征空间中绘制验证数据，作为三个选定类别的二维图。此图中的类别的分离可用于定性地确定如何有效地分离不同类别。例如，一些类别可能很好分离，而其他类别可能容易重叠。一些类别可能不一定是离散的，而是在两个类别间可能存在连续过渡。也可以选择不同的特征子集进行分类。例如，分类可以基于强度和形态特征、纹理特征或所有特征类型。

[0180] 图7中示出图3所示的图像的九个纹理滤波图像。图像710A至710I分别对应于用亮面滤波器、亮线滤波器、亮点滤波器、亮鞍点滤波器、鞍点滤波器、暗鞍点滤波器、暗点滤波器、暗线滤波器和暗面滤波器获得的纹理滤波图像。从这些经滤波图像确定的特征值用于后续分析。

[0181] 图8A、图8B和图8C中示出LDA特征空间中的分类结果。图8A示出了处于间期、前期和中期的细胞图像的分类结果的图810。图8B示出了处于间期、前期和前中期的细胞图像的分类结果的图820。图8C示出了处于间期、中期和前中期的细胞图像的分类结果的图830。使用所有提取的特征进行分类。如这些图所示，前期群集倾向于与前中期群集重叠，并且前中期群集倾向于与中期群集重叠。其他成对的类别的群集是分离的，并且在很大程度上不重叠。

[0182] 图9A、图9B和图9C分别示出了LDA特征空间中针对三个类别(间期、前期和后期)的分类结果的图910、920和930。使用强度和形态特征(图9A)、纹理特征(图9B)以及所有三个特征(强度、形态特征和纹理特征)(图9C)进行分类。纹理特征对于分离间期和前期的细胞图像(图9B)比强度和形态特征(图9A)更有效。当使用所有三个特征(强度、形态特征和纹理特征)用于分类(图9C)时，分类得到改进(例如，种类被更清楚地分离)。

[0183] 示例2：校正系数的优化。

[0184] 在此示例中，通过使验证数据集的S/N最大化来优化用于调整z维度上的计算出的导数的校正系数。使用上述方法优化了用于将细胞图像分类为间期或中期细胞的验证数据集的S/N。在此示例中，使用一组固定的纹理特征(为细胞核提取的 33342通TM
道的暗线特征和也是为细胞核提取的ALEXA FLUOR  488通道的暗点特征)将图像分为间期和中期类别。在校正系数的每个值(在1.25与5.0之间)下，为每个图像计算两个纹理特征值，并使用训练集优化线性分类器。然后计算验证集的S/N。这些计算的结果在图10的图
1000中示出，其示出了S/N与校正系数的关系的图。对于此示例，最佳校正系数约为2.5。

[0185] 示例3：有丝分裂纺锤体的分割

[0186] 使用处于中期的细胞的亮线滤波图像，使用强度阈值来为两个细胞的3D图像生成有丝分裂纺锤体的掩模。图11A的图像1110包括掩模，该掩模通过在高斯滤波和去卷积之后TM将强度阈值应用于处于中期的两个细胞的ALEXA FLUOR  488图像而生成。图11B的图像
1120包括掩模，该掩模通过将强度阈值应用于来自用于产生图11A的图像1110的同一图像的最低Hessian本征值滤波图像而生成。图11C示出了掩模的图像1130，该掩模通过将强度阈值应用于来自用于产生图11A的图像1110的同一图像的亮线滤波图像而生成。从亮线滤波图像1130(图11C)生成的掩模提供了有丝分裂纺锤体的最佳分割。

[0187] 示例4：心肌细胞肌动蛋白测定

[0188] 在该说明性实验中，在两个孔中培养了心肌细胞(心脏肌肉细胞)，其中一个孔(“经处理”)用30nM内皮素1处理了18小时，而另一孔(“对照”)包含未处理的细胞。在不同成像场中针对每个孔获得了二十个图像，并且图像是在两个通道( 33342(核染色通道)和TRITC(罗丹明‑鬼笔环肽染色的F肌动蛋白通道))中获得的。

[0189] 图12A和图12B分别示出了对照样本和经处理样本中的细胞的3D图像的横截面图像(例如，平面片段)1210和1220。在TRITC通道中获得了图像1210和1220。在这些图像中，检测到的核为黑色。这些图像在核周围的区域中具有可区分的纹理。然而，仅使用视觉检查，难以辨别图11A和图11B中所示的对照细胞和经处理细胞的图像的纹理之间的任何明显差异。例如，经处理样本的图像1220(图12B)仅看起来具有比对照样本的图像1210(图12A)稍低的TRITC强度。应用本文描述的纹理滤波器允许以其他方式识别图像中难以察觉的差异。例如，如图13的图1300所示，经处理样本(B9)的暗点滤波图像1220的强度比对照样本(B2)的强度更亮。基于(例如，由人)对图12A和图12B上所示的原始图像的视觉检查提出了图像强度的相对趋势。因此，如本文所述获得的纹理滤波图像可用于区分在该实验示例中比较的两种类别细胞(处理过的心肌细胞相对于未处理的心肌细胞)。通过人类努力不可能实现这种区分。

[0190] 系统与实现方式

[0191] 图5示出了在如本文所述的用于分析对应于样本的颗粒的光谱测定数据的方法和系统中使用的说明性网络环境500。在简要概述中，现在参考图5，示出并描述了示例性云计算环境500的框图。云计算环境500可包括一个或多个资源提供者502a、502b和502c(统称为502)。每个资源提供者502可以包括计算资源。在一些实现方式中，计算资源可以包括用于处理数据的任何硬件和/或软件。例如，计算资源可包括能够执行算法、计算机程序和/或计算机应用的硬件和/或软件。在一些实现方式中，示例性计算资源可包括具有存储和检索能力的应用服务器和/或数据库。每个资源提供者502可以连接到云计算环境500中的任何其他资源提供者502。在一些实现方式中，资源提供者502可以通过计算机网络508连接。每个资源提供者502可以通过计算机网络508连接到一个或多个计算设备504a、504b、504c(统称为504)。

[0192] 云计算环境500可包括资源管理器506。资源管理器506可以通过计算机网络508连接到资源提供者502和计算设备504。在一些实现方式中，资源管理器506可以促进一个或多个资源提供者502向一个或多个计算设备504提供计算资源。资源管理器506可以从特定计算设备504接收对计算资源的请求。资源管理器506可以识别能够提供计算设备504所请求的计算资源的一个或多个资源提供者502。资源管理器506可以选择资源提供者502来提供计算资源。资源管理器506可以促进资源提供者502与特定计算设备504之间的连接。在一些实现方式中，资源管理器506可以在特定资源提供者502与特定计算设备504之间建立连接。在一些实现方式中，资源管理器506可以将特定计算设备504重定向到具有所请求的计算资源的特定资源提供者502。

[0193] 图6示出了可用于本公开中描述的方法和系统的计算设备600和移动计算设备650的示例。计算设备600可以代表各种形式的数字计算机，诸如膝上型计算机、台式计算机、工作站、个人数字助理、服务器、刀片服务器、大型计算机和其他适当的计算机。移动计算设备650可以代表各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其他类似的计算设备。本文所示的部件及其连接和关系以及其功能仅是示例性的，而非限制性的。

[0194] 计算设备600包括处理器602、存储器604、存储设备606、连接到存储器604和多个高速扩展端口610的高速接口608，以及连接到低速扩展端口614和存储设备606的低速接口612。处理器602、存储器604、存储设备606、高速接口608、高速扩展端口610和低速接口612中的每一者都可以使用各种总线互连，并且可以安装在共用主板上，也可以其他适合方式安装。处理器602可以处理用于在计算设备600内执行的指令，包括存储在存储器604中或存储设备606上的指令，以将GUI的图形信息显示在外部输入/输出设备(诸如耦接至高速接口
608的显示器616)上。在其他实现方式中，可以适当地使用多个处理器和/或多个总线，以及多个存储器和存储器类型。并且，可以连接多个计算设备，每个设备提供必要操作的部分(例如，作为服务器库、刀片服务器组或多处理器系统)。

[0195] 存储器604将信息存储在计算设备600内。在一些实现方式中，存储器604可以是一个或多个易失性存储器单元。在一些实现方式中，存储器604是一个或多个非易失性存储器单元。存储器604也可以是另一种形式的计算机可读介质，诸如磁盘或光盘。

[0196] 存储设备606可能够为计算设备600提供大容量存储。在一些实现方式中，存储设备606可以是或包含计算机可读介质，诸如硬盘设备、光盘设备、闪存或其他类似的固态存储设备，或设备阵列(包括存储区域网络或其他配置中的设备)。指令可以存储在信息载体中。指令在由一个或多个处理设备(例如，处理器602)执行时，执行一种或多种方法，诸如上述方法。指令还可以由诸如计算机可读介质或机器可读介质的一个或多个存储设备(例如，存储器604、存储设备606或处理器602上的存储器)存储。

[0197] 高速接口608可以管理计算设备600的带宽密集型操作，而低速接口612可以管理较低带宽密集型操作。这种功能分配仅是示例性的。在一些实现方式中，高速接口608可以耦接至存储器604、显示器616(例如，通过图形处理器或加速器)，并且可以耦接至可以接受各种扩展卡(未图示)的高速扩展端口610。在实现方式中，低速接口612可以耦接至存储设备606和低速扩展端口614。可包括各种通信端口(例如，USB、 以太网、无线以太网)的低速扩展端口614可以例如通过网络适配器耦接至一个或多个输入/输出设备，诸如键盘、指向设备、扫描仪或联网设备(诸如，交换机或路由器)。

[0198] 计算设备600可以多种不同的形式实现，如图所示。例如，计算设备可以被实现为标准服务器620，或者在一组此类服务器中被实现多次。另外，计算设备可以在诸如膝上型计算机622的个人计算机中实现。计算设备也可以被实现为机架服务器系统624的一部分。或者，计算设备600中的部件可以与诸如移动计算设备650的移动设备(未图示)中的其他部件组合。此类设备中的每一者都可以包含计算设备600和移动计算设备650中的一者或多者，并且整个系统可以由彼此通信的多个计算设备组成。

[0199] 移动计算设备650包括处理器652、存储器664、输入/输出设备(诸如显示器654)、通信接口666和收发器668，以及其他部件。移动计算设备650也可设置有存储设备(诸如微驱动器或其他设备)，以提供附加的存储。处理器652、存储器664、显示器654、通信接口666和收发器668中的每一者可以使用各种总线互连，并且这些部件中的几个可以安装在共用主板上，也可以其他适合方式安装。

[0200] 处理器652可以在移动计算设备650内执行指令，包括存储在存储器664中的指令。处理器652可以被实现为芯片的芯片组，其包括单独的以及多个模拟和数字处理器。处理器
652可以提供例如移动计算设备650的其他部件的协调，诸如对用户界面、由移动计算设备
650运行的应用程序以及由移动计算设备650进行的无线通信的控制。

[0201] 处理器652可以通过耦接到显示器654的控制接口658和显示接口656与用户通信。显示器654可以是例如TFT(薄膜晶体管液晶显示器)显示器或OLED(有机发光二极管)显示器或其他适当的显示技术。显示接口656可以包括用于驱动显示器654以向用户呈现图形和其他信息的适当电路。控制接口658可以从用户接收命令并且将其转换以提交给处理器
652。另外，外部接口662可以提供与处理器652的通信，以便实现移动计算设备650与其他设备的近区通信。外部接口662可以在一些实现方式中提供例如有线通信，或者在其他实现方式中提供无线通信，并且也可以使用多个接口。

[0202] 存储器664将信息存储在移动计算设备650内。存储器664可以被实现为一个或多个计算机可读介质、一个或多个易失性存储器单元或者一个或多个非易失性存储器单元中的一者或多者。也可以提供扩展存储器674，并通过扩展接口672将其连接到移动计算设备650，所述扩展接口可包括例如SIMM(单列直插式存储器模块)卡接口或DIMM(双列直插式存储器模块)卡接口。扩展存储器674可以为移动计算设备650提供额外的存储空间，或还可以为移动计算设备650存储应用程序或其他信息。具体地，扩展存储器674可以包括用于执行或补充上述过程的指令，并且也可以包括安全信息。因此，例如，扩展存储器674可以被提供为用于移动计算设备650的安全模块，并且可以用允许安全使用移动计算设备650的指令来编程。此外，可以经由DIMM卡提供安全的应用程序以及附加信息，诸如以不可破解的方式将识别信息放在DIMM卡上。

[0203] 存储器可以包括例如闪存和/或NVRAM存储器(非易失性随机存取存储器)，如下面所讨论。在一些实现方式中，指令可以被存储在信息载体中，并且在由一个或多个处理设备(例如，处理器652)执行时，执行一种或多种方法，诸如上述方法。指令还可以由诸如一个或多个计算机可读介质或机器可读介质的一个或多个存储设备(例如，存储器664、扩展存储器674或处理器652上的存储器)存储。在一些实现方式中，可以例如通过收发器668或外部接口662以传播的信号来接收指令。

[0204] 移动计算设备650可以通过通信接口666进行无线通信，并且在必要时，可以包括数字信号处理电路。通信接口666可以提供各种模式或协议下的通信，诸如GSM语音呼叫(全球移动通信系统)、SMS(短消息服务)、EMS(增强消息服务)或MMS消息传递(多媒体消息服务)、CDMA(码分多址)、TDMA(时分多址)、PDC(个人数字蜂窝)、WCDMA(宽带码分多址)、CDMA2000或GPRS(通用分组无线业务)等。例如，可以通过收发器668使用射频进行这种通TM信。另外，可以使用诸如 Wi‑Fi 或其他此类收发器(未图示)进行短距离通信。
另外，GPS(全球定位系统)接收器模块670可以向移动计算设备650提供附加的导航和位置相关的无线数据，所述无线数据可以被在移动计算设备650上运行的应用程序酌情使用。

[0205] 移动计算设备650也可以使用音频编解码器660进行听觉通信，所述音频编解码器可以从用户接收口语信息并将其转换为可用的数字信息。音频编解码器660同样可以诸如通过扬声器(例如在移动计算设备650的话筒中)为用户生成可听见的声音。这种声音可以包括来自语音电话呼叫的声音，可以包括所记录的声音(例如，语音消息、音乐文件等)，并且还可以包括由在移动计算设备650上运行的应用程序生成的声音。

[0206] 移动计算设备650可以多种不同的形式实现，如图所示。例如，移动计算设备可以被实现为蜂窝电话680。移动计算设备也可以被实现为智能电话682、个人数字助理或其他类似移动设备的一部分。

[0207] 此处描述的系统和技术的各种实现方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实现方式可以包括在一个或多个计算机程序中的实现方式，所述一个或多个计算机程序在包括至少一个可编程处理器的可编程系统上是可执行的和/或可解释的，所述可编程处理器可以是专用的或通用的，其被耦接以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令以及向其发送数据和指令。

[0208] 这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以使用高级过程式和/或面向对象的编程语言和/或使用汇编/机器语言来实现。如本文所使用的术语机器可读介质和计算机可读介质是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器、可编程逻辑设备(PLD))，其包括接收机器指令作为机器可读信号的机器可读介质。术语机器可读信号是指用于向可编程处理器提供机器指令和/或数据的任何信号。

[0209] 为了提供与用户的交互，可在计算机上实现此处描述的系统和技术，所述计算机具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)、LCD(液晶显示器)监视器或LED(发光二极管)监视器)以及用户可借以向计算机提供输入的键盘和指向设备(例如，鼠标或跟踪球)。其他种类的设备也可以用于提供与用户的交互；例如，提供给用户的反馈可为任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；并且来自用户的输入可用任何形式被接收，包括听觉、语音或触觉输入。

[0210] 本文所述的系统和技术可以在计算系统中实现，所述计算系统包括后端部件(例如，作为数据服务器)，或包括中间件部件(例如，应用服务器)，或包括前端部件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可通过该Web浏览器与本文所述的系统和技术的实现进行交互)，或此类后端部件、中间件部件或前端部件的任意组合。系统的部件可通过任何数字数据通信形式或介质(例如，通信网络)互连。通信网络的示例包括局域网(LAN)、广域网(WAN)和因特网。

[0211] 计算系统可包括客户端和服务器。客户端和服务器可以彼此远离，并且通常可以通过通信网络进行交互。客户端与服务器的关系可以由于在相应计算机上运行并且彼此具有客户端‑服务器关系的计算机程序而产生。

[0212] 虽然本公开的一个或多个方面已参考特定优选实施方案进行特定显示和描述，但是本领域技术人员应了解，可在不背离所附权利要求所限定的本发明的精神和范围的情况下，在形式和细节上进行各种改变。