包括重叠边缘对比的图像质量评价

摘要

对由块或其他图像片段组成的数字图像的图像质量进行评价，尤其是对显微病理学样本的聚焦精度进行评价。将与图像质量相关的算法或算法组合应用于边缘上的像素数据，相邻图像片段在所述边缘处重叠，因此分开获取的图像包含相同的内容。边缘可以是用于进行合并以将图像片段平滑地结合成合成图像的边缘，且通常出现在图像片段的四边。每个边缘上相同图像内容的两个版本通过质量算法进行处理，从而产生两个评价值。将正负号和差值与其他图像片段进行对比，包括利用为在图像片段边的边缘的定向而选择的子集。差值被映射到显示器上。通过选择标准确定需要重新获取的片段。

权利要求

1.一种图像处理方法，包括：

获取包括成像主体的有限区域的第一数字图像；

获取包括所述主体与所述有限区域相邻的区域的至少一个第二数字图像，其中所述第一数字图像和所述第二数字图像沿其边缘重叠，所述第一数字图像和所述第二数字图像提供了像素数据集，其中与所述边缘对应的像素数据子集包括所述主体的相同区域；

将数值图像分析算法应用于所述第一数字图像和所述第二数字图像上与所述边缘对应的像素数据子集，从而为所述第一数字图像和所述第二数字图像表示的所述主体的所述相同区域产生两个特征；

其中所述数值图像分析包括为每个所述重叠边缘产生鉴定聚焦精度的至少一个总计数值，以及对比所述边缘内所述第一数字图像和所述第二数字图像的相对聚焦精度；以及基于对比所述相同区域的所述两个特征，对与所述第一数字图像和所述第二数字图像相关的测量值进行标准化、编码、存储和表示中的至少一个操作。

2.根据权利要求1所述的方法，其中所述成像主体包含标本载玻片，所述的方法还包括获取多个显微数字图片，每个所述数字图片与各自的所述有限区域对应并具有至少一个与所述有限区域相邻的所述区域，且所述多个显微数字图片共同包括所述标本载玻片的至少预定部分。

3.根据权利要求2所述的方法，其中所述多个显微数字图片中的至少一些在至少两个边缘上与其他显微数字图片重叠。

4.根据权利要求1所述的方法，其中所述数值图像分析包括由基于导数的算法、统计算法、基于直方图的算法和直观算法中的至少一个产生与所述边缘内焦点测量的差有关的数值。

5.根据权利要求1所述的方法，其中所述数值分析包含应用至少两个特征抽取算法，所述特征抽取算法的算法类型和定标上至少有一个不同，每个所述特征抽取算法都产生算法输出值；以及基于个别所述算法输出值和所述算法输出值的组合中的至少一个区分所述数字图像。

6.根据权利要求5所述的方法，还包含在所述区分前标准化所述算法输出值。

7.一种图像处理方法，包括：

获取包括成像主体的有限区域的第一数字图像；

获取包括所述主体与所述有限区域相邻的区域的至少一个第二数字图像，其中所述第一数字图像和所述第二数字图像沿其边缘重叠，所述第一数字图像和所述第二数字图像提供了像素数据集，其中与所述边缘对应的像素数据子集包括所述主体的相同区域；

将数值图像分析算法应用于所述第一数字图像和所述第二数字图像上与所述边缘对应的像素数据子集，从而为所述第一数字图像和所述第二数字图像表示的所述主体的所述相同区域产生两个特征；

还包括获取多个所述第一数字图像和所述第二数字图像，所述第一数字图像和所述第二数字图像形成包括所述主体的阵列中的图像片段，其中所述数值分析包括为所述图像片段的多个重叠边缘产生表征所述聚焦精度的至少一个总计数值；以及基于对比所述相同区域的所述两个特征，对与所述第一数字图像和所述第二数字图像相关的测量值进行标准化、编码、存储和表示中的至少一个操作，且所述对比所述两个特征包括确定带有正负号和值的差值。

8.根据权利要求7所述的方法，其中所述数字图像的多个边上都有所述边缘，所述方法还包含量化所述数字图像的群体的每个成员的至少两个边的差值，以及基于所述差值区分所述数字图像。

9.根据权利要求8所述的方法，还包含为所述数字图像的所有边和所述数字图像中选择性定向的边中的至少一个确定所述差值的群体，以及应用可接受标准以在所述数字图像的至少一个定向的边的差值的所述群体中编码相对的等级。

10.根据权利要求9所述的方法，还包含至少一个以下操作：为合成图像中的所述数字图像加标签，以及对所述合成图像中的所述数字图像进行绘制阴影，从而提供所述群体中的所述相对等级的可见指示。

11.根据权利要求10所述的方法，还包含为组成所述数字图像的一个或多个所述边的选定子集提供所述相对等级的所述可见指示。

12.根据权利要求10所述的方法，其中所述可见指示被色彩编码，以区分所述数字图像的至少一个所述边缘的所述正负号和所述差值中至少一个。

13.根据权利要求9所述的方法，还包含对所述合成图像中的所述数字图像进行绘制阴影，以便为区分符合与不符合预定阈值的数字图像提供可见指示。

14.根据权利要求7所述的方法，其中所述数字图像的多个边上都有所述边缘，且所述方法还包含量化所述数字图像的群体的每个成员的至少一个边的差值，其中每个成员的所述至少一个边定向至相同方向，以及基于所述差值和所述方向的定向区分所述数字图像。

15.根据权利要求14所述的方法，还包括使成对的边相关，所述成对的边为所述数字图像的相对或相邻的边，以及基于所述差值和所述成对的边的所述定向区分所述数字图像。

16.根据权利要求14所述的方法，其中所述区分包含基于所述差值废除所述数字图像中的选定数字图像，以及重新获取包括所述主体的相同区域的数字图像。

17.一种数字病理学成像方法，包括：

将病理学标本安放到定义X-Y平面的载玻片上；

将所述载玻片布置在带有数字摄像机的显微镜的载物台上，以便以Z轴焦距记录所述标本在X-Y位置上放大的图像，其中所述显微镜在所述X-Y平面上带有相对定位控制，沿所述Z轴带有相对焦距控制；

获取并至少临时存储不同焦距上的连续像素数据图像、应用聚焦精度算法来确定和选择优选的最佳焦距，以及收集像素数据图像；

沿X方向和Y方向的至少一个方向移动所述载玻片，移动距离应足以包括与前一次收集的像素数据图像相邻的所述标本的放大的图像，且边缘区域与所述前一次收集的像素数据图像的边缘重叠；以及收集下一张像素数据图像；

继续移动所述载玻片并收集具有重叠的边缘区域的像素数据图像，直至所收集的像素数据图像包括所述标本的至少预定部分，每个像素数据图像对应于合成图像中在各自的所述边缘区域与其他图像片段重叠的图像片段，以使得在第一数字图像和第二数字图像中提供所述各自的边缘区域的至少两个像素数据特征；

通过将与图像质量有关的至少一个数值图像分析算法应用于相应区域中的至少两个像素数据集，分析所述重叠的边缘区域中的像素数据，以及获取所述至少一个数值图像分析算法的输出的正负号和差值；以及基于所述合成图像中所述像素数据集的所述边缘区域的所述差值区分所述像素数据图像。

18.根据权利要求17所述的方法，还包含沿所述重叠的边缘区域合并所述像素数据图像以便形成所述标本的所述预定部分的所述合成图像，以及用数字显示器导航所述合成图像。

19.根据权利要求17所述的方法，还包含在所述差值未能满足接受标准时重新获取像素数据图像。

20.根据权利要求17所述的方法，还包括在与所述合成图像中所述像素数据图像所对应的区域的视觉显示上，表示所述像素数据图像的所述差值、所述差值的等级和接受状态中的至少一个。

21.根据权利要求17所述的方法，其中基于所述差值区分所述像素数据图像至少部分地特定于所述重叠的边缘区域相对于所述像素数据图像的关联像素数据图像的定向。

说明书

包括重叠边缘对比的图像质量评价

技术领域

[0001] 本公开涉及对数字图像的自动质量分级，其中所述数字图像由多个图像片段沿一个或多个边缘的重叠处接合而成。

背景技术

[0002] 在处理组织样本载玻片上的病理学和组织学样本的显微图像时，样本表面上较小相邻区域的数字图像可在高放大率和/或高分辨率下捕获，然后作为较大图像的组成部分予以显示和管理，用户使用数字显示设备导航此较大图像。分开捕获的较小的方形或条形或其他图像形状都是图像片段，它们可以彼此对准组成马赛克。每个方形或条形或其他分开捕获的任何任意形状的图像都是马赛克中的一“块”。

[0003] 由分开捕获的图像组成的整个马赛克或包括一组相邻块的部分马赛克可在相对较低的分辨率下在显示设备上显示。用户优选地可放大至较高分辨率视图来显示一个马赛克块的图像片段，或者将小于一块的区域放大至更高分辨率视图。用户可越过通过两次不同的图像采集操作获取的相邻图像片段之间的分界线，即越过块间的界线，平移显示器进行导航。

[0004] 分开捕获的图像区域不需要很小或具有规则形状或位于一个阵列中的规则位置。也可能是较大的部分，如样本全高度和部分宽度的图像块、如扇形的横向和/或纵向毗连的块、不同大小或形状的块。图像区域可作为快照图像或作为使用行扫描技术随时间进行长条形扫描的结果来采集。对本公开的讨论来说，分开采集的任何形状或大小的图像片段一般被称为块。

[0005] 由于图像是通过分开的图像收集操作收集的，故精确地对准图像有利于跨图像边界平滑地进行导航。可以通过对跨越两个图像或块之间的界线的边缘或形状进行对准来实现。一种技术中，图像通过重叠边缘捕获。相邻图像在边缘内包含的内容相同。相邻的块通过调整其相对位置进行对准，直至两个重叠边缘上显示的特征一致。可能切除一个突出的过渡区，在其中一个相邻块中的像素值转变为下一个相邻块中的像素值。为了平滑过渡，图像片段的像素数据可通过对像素数据值进行加权平均或类似的合并技术跨边缘进行合并，一般称为“缝合”相邻图像。尽管原来捕获的块中的重叠边缘在边缘重叠处提供了冗余图像，但最终的马赛克中仍然具有一个像素数据值的X-Y区域。

[0006] 数字病理学系统有利地模仿病理学家所熟悉的样本处理和显微镜操作的特定方面。传统的手动操作中，样本安放在位于光学显微镜载物台上的载玻片上，用于按某些已选定的或大或小的放大倍数进行观察。通过显微镜以高放大率观察到的载玻片是一个小目标区域的视图。通过调整载物台的X-Y位置和/或相对于载物台移动载玻片，可沿载玻片转换被选为目标的区域。通过改变放大倍数，通常是通过旋转镜架更换光路中的不同物镜，可使视野变大或变小。在数字显示器上放大或缩小可模仿放大倍数的变化。平移数字显示器可模仿显微镜载物台上载玻片X-Y位置的移动。

[0007] 在一些数字病理学系统中，与光学显微镜耦合的一个或多个照相机收集停帧图像，载物台沿X和/或Y方向移动以显示与前一个成像区域相邻的下一个区域，从而收集另一张图像。在这样的布置中，可沿顶部、底部及侧面的边缘拼接或合并各块图像。在具有线性扫描电荷耦合设备(CCD)传感器的系统中，传感器在与传感器延长线方向大致垂直的方向上移动的同时，按采样周期收集延长的线性图像，从而产生预定的像素间距。此系统中所需要的合并或拼接可能限于一个条形的两个相对的边缘(或条形最顶端和最底端的一个边缘)。

[0008] 显微镜的另一个自由度在与载物台上样本的X-Y平面垂直的Z方向上。显微镜的光学系统应使得样本的特征在位于物镜或透镜阵列的特定距离时，即处于正确的焦距时，显得清晰。距离透镜过近或过远，特征都会变得模糊或不清楚。Z方向上有一个特定的视野深度或者距离范围，在其中特征显得清晰。此视野深度受透镜孔径大小的影响。

[0009] 特征显示清晰的表面一般会形成一个球面。与图像的格式大小相比，所述球面的半径可能相对或大或小一些，但仍然是个球形。然而，样本载玻片上的病理学或组织学样本的表面却大致是个平面而非球形表面。当处于周边的特征不清晰时，处于视野中心的图像特征可能会清晰(反之亦然)。在不同区域样本自身可能厚度不一，以使得样本的表面形状会使样本表面上较低或较高的部位刚好处于最佳焦距或在最佳焦距之上或之下。如果样本或载物台倾斜，那么图像质量可能由图像的一部分到另一部分持续的变化。相对于视野周边，显微镜的光学系统可能使如光学像差或失真的方面倾向于对视野中心的视图有利。具有对这些效果进行判定的有效方式，会比较有益。

[0010] 图像具有以在图像的特定位置上和/或分布在图像上的各种不同类型特征为特点的内容。已知将数学算法应用于包含像素值阵列的数字图像，其中所述算法包括对特定特征的存在敏感的一个或多个数学函数。通过对像素数据进行算法运算，可获得测量特征存在范围的数值评价，进而根据相关特征的存在和突出情况产生或大或小的输出值。上述评价可被局部化，从而产生与个别像素位置或像素组相关的值；或者将上述评价概括到整个图像，从而产生一个输出值。上述运算对某一特征敏感的算法来产生数值的方式，例如评价具有特定距离的像素之间的对比度，称为抽取该特征。进行数学分析的算法称为特征抽取算法。

[0011] 可以将上述数学分析应用于像素图像数据以便描述通过显微镜或其他来源获得的数字图像的图像质量。然而，除图像质量外，与图像质量有关的客观测量还会受图像内容变化的影响。例如，通过在整个图像内或图像的分散区域内对每个像素与其邻近像素之间的像素到像素亮度和/或色彩值差(即，通过抽取所述特征)积分，可以获得与图像的清晰度有关的客观测量值。其他测量可能涉及对像素数据值的峰值信噪比、亮度或色彩值的变化范围、像素数据的统计分析等的评价。这些测量可与图像内容有关。例如，高像素数据差与锐聚焦有关。但是所述测量也与图像内容有关。根据所述客观测量，具有高固有对比度特征的内容，其聚焦差的图像会比具有低固有对比度特征的内容的精确聚焦的图像产生的值高。

[0012] 由于基于特征抽取算法的质量测量受内容影响，故如果图像质量是变量而图像的内容不是变量，那么客观质量测量的结果是有意义的。为此，成像校准技术有时涉及到使用规定形状和/或色彩的标准化测试图。

[0013] 相比较来说自动聚焦技术使用客观测量，通常是用于对比同一内容在不同焦距上两张或更多张图像的客观属性，以确定哪个焦距能产生最锐焦点。显微图像在X-Y平面(或至少图像的局部化的部分)上给定Z距离上聚焦的像素数据，可以通过特征抽取算法进行处理以提供该图像的(或局部化的部分)与图像质量相关的，尤其是与聚焦精度相关的，计算后的数值特征。Z距离转换后，在新的距离上获取另一像素数据图像并进行处理，以便通过相同算法得到另一个数值特征。由于内容相同，因而数值特征之间的区别是Z距离的转换造成的。数值特征和Z距离都和图像聚焦的精度有关。这一技术允许对比在两个或更多个距离上的图像从而选择产生相对精确的焦点的距离。

[0014] 在足够数量的Z距离上(最少三个距离)收集完图像后，假设Z距离跨越了可以取得最佳聚焦精度的距离，则可以计算“正确”或最精确聚焦的平面的Z距离。将焦平面调整到所述Z距离即可收集最终图像。为实现此目的，要将算法计算的结果与一个特征曲线进行匹配，其中曲线的峰值(或谷值，根据计算的性质而定)被认为会出现在最优焦点的Z距离上。

[0015] 这一过程是自动聚焦过程的典型，其依赖于对比在不同Z距离上已知的与图像质量有关的，尤其是与聚焦精度有关的，算法数学特征的结果。示例性算法包括局部空间导数评价(可能在整个图像或只与选定的分散区域积分)、应用于图像或分散区域的像素数据值的统计测量等类似的测量。额外实例将在下文描述。聚焦精度是优化的一个重要特征，但对于可能与图像质量相关且受可控变量影响的其他特征也应给予同样的关注，例如明视野的亮度级别，该亮度级别会影响以下质量变量，如通过色彩测试参考图获取的色域和相对RGB色谱、峰值信噪比、中心和周边像素值对比以及其他质量测量值。

[0016] 代替对比利用已知影响图像质量的两组或更多组不同条件(如已知不同的Z距离会影响聚焦精度)获得的相同内容的两张或更多张图像，可以将算法用于评价单一图像的图像质量，并取得一个或多个输出值。尽管所述值与图像质量属性有关，除非所述图像是已知校准标准的图像(如测试图)，否则其结果意义不大。即使是在单一数字病理学图像中，样本也可能包含各种组织类型和结构中的任一种。对于聚焦准确且显示的外观上固有地平滑变化的组织类型的图像(例如，处于不同特征之间相对来说没有特征的结缔组织或基质)，与如聚焦精度的图像质量变量有关的算法会产生给定的输出值。固有的低对比度图像内容的给定输出值与具有固有变化(例如密集的真皮细胞)的模糊且聚焦差的组织类型获取的输出值相当。

[0017] 其他因素影响聚焦精度。样本，如一片生物组织，其表面形状的特征可能是X-Y平面上不同点上的厚度不同，从而导致样本上一些表面在Z方向上比其他表面离透镜近。样本可能没有按照展示出平表面的方式放置以便观察。由于机械未对准，载玻片可能相对于与聚焦球面相切的平面倾斜(即，并不垂直于光轴)。因此，可能出现这样一种情形，其中载玻片上的一些图像区域和/或上面的某些X-Y点比其他区域或点距离光学显微镜近。由于光学特性，一些区域的图像可能较好，如在视野中心靠近光轴的区域，而其他区域的图像较差，如超出视野边缘的区域。

[0018] 调整焦点通常需要改变从具有一个或多个相对固定的透镜部件的物镜到样本表面的相对距离，从而将感兴趣的特征置于所谓的焦平面上。固定样本的载物台可朝向或远离物镜的镜架移动，反之亦然。在手动显微镜中，用控制旋钮调整Z方向上的距离。在自动扫描显微镜中，电磁或压电机制等可控的调整Z方向上的距离。

[0019] 在通过显微镜观察样本并用手动控制旋钮调整焦点时，通常会将Z方向移至并超过最佳聚焦点，然后往后移，通过调整追踪正确的焦距，从而获得观察期间可提供的最清晰的图像。以这种方式手动抖动通过焦距后，操作人员即可相信已观察到样本显示的所有内容，即处于仪器能提供的最佳焦点上。手动追踪或抖动操作也可能足以使样本通过一系列Z距离，从而足以超过由于表面形状的变化造成的一系列Z距离。但是如果自动收集图像，则图像在Z方向上给定的距离上获得。如果需要在两个或更多个不同的Z距离上观察，那么需要收集两张或更多张数字图像。

[0020] 在数字显微镜系统中，组织样本采用安放到载玻片上通常的方式进行准备，但不需要病理学家用手动控制的光学显微镜观察样本，而是用与光学显微镜耦合的数字照相机处理载玻片来收集显微图片。增量载物台定位控制在载玻片表面上的观察区域步进走过。扫描器能够以不同的分辨率收集样本图像，或优选地，以高分辨率获得的图像可以组合或“拼接”到一起，从而提供由多张高分辨率图像组成的图像文件。病理学家在计算机工作站上观察载玻片的数字化图像，并利用图像显示软件的放大和平移功能导航样本。关于针对这种目的的收集和拼接相邻区域的高分辨率图像的公开内容，可在例如Henderson等人已公布的美国专利申请公开2009/0195688和Dietz等人的2008/0240613中找到，所述申请的公开内容均并入本文。所述技术实现了手动控制光学显微镜的许多功能，还具有额外优势。例如，数字数据可以作为永久记录无期限地存储。图像数据可容易地通过使用网络通信进行恢复和传输。载玻片的数字图像比载玻片本身可更高效地被组织和使用。数字图像可快速导航到X-Y位置并放大/缩小，还能以各种方式注释和处理。

[0021] 通常每个逻辑图像片段中只存储一张数字图像，例如，马赛克中的每个块一张图像。数字病理学系统中也可能用扫描设备以稍微不同的焦距记录同一区域的多张图像，其中样本的成像表面位于扫描设备中使用的光学显微镜的最佳焦距之稍上方、稍下方以及优选地刚好位于最佳焦距上。在视图数量足够的情况下，这样允许在计算机工作站上观察图像的人员以光学显微镜的用户调整旋钮来抖动焦距寻求最佳焦点的距离相同的方式选择焦距稍微不同的图像。然而，需要增加数据处理和数据存储以便获取、存储并管理每张高分辨率图像。

[0022] 因此，优选在收集每个逻辑图像片段时，但可选地在某些其他进程，要采取多个预备步骤来调整焦点。载玻片在预备聚焦操作期间选定的焦距上成像。代替以不同焦距记录多张图像(其中固有地以错误的焦距获得一些图像)，在记录和存储某个块或其他片段的图像之前，使用自动聚焦控制进行必要的调焦。计划是每个最后的图像捕获操作记录一张图像。自动聚焦控制选择捕获图像的最佳焦距。X-Y载物台定位控制将视野推进到载玻片上的下一个位置。上述过程会进行重复以便传递并收集整个载玻片或样本的全部区域或待成像的选定区域的快照帧图像。

[0023] 数字成像中的自动聚焦控制通过用测量相邻像素位置之间亮度对比度或色彩值的总值的算法对像素数据进行数值分析来操作。在其他因素都等同的情况下，对比度测量的总值越大，表示图像聚焦越好。自动聚焦控制通常会尝试对比相同图像内容不同聚焦的版本，例如以稍微不同的焦距聚焦的相同内容。一张图像中有可能提供总对比度的数值测量，但由于数值测量的结果，例如图像局部对比度的整体总和，随图像内容以及聚焦精度变化，因而无法有意义地独立于图像内容确定聚焦质量。

[0024] Yazdanfar等人的美国专利7,576,307公开了一种示例性自动聚焦控制，所述专利以引用方式并入本文。Henderson等人的美国专利申请公布2009/0195688公开了一种预测式自动聚焦控制，已在上文描述并并入本文。这些控制都使用一次和二次成像传感器和Z定位控制来改变焦距。其目的是对比两个或更多个不同焦距上的聚焦精度，并找到最佳聚焦的距离，从而在所述距离上获取并存储图像。此过程涉及对比同一图像内容的两个或更多个不同聚焦图像的聚焦质量的测量。在上述情景中，聚焦质量的数值测量是有意义的(例如所有像素位置的局部对比度值的总和)。可以推断，产生对比度测量较大总和的焦距(或其他聚焦质量测量)，要比在相同测量中产生较低总和的距离更接近于最佳可能焦距。

[0025] 所收集的图像成为块或局部帧区域。这些区域通常在块内容对准和像素值结合或“拼接”的区域稍微重叠，以便与其他相邻块沿过渡区合并从而形成样本的合成图像。图像对准和拼接的实例可在Zhou的美国专利6,785,427和Dietz的已公布的专利申请公开US2008/0240613中找到，二者均以引用方式并入本发明中。

[0026] 在采用自动聚焦和Z位置控制来选择最佳焦距来收集给定位置相邻或隔开的图像片段的数字图像时，可以假设相同的距离是样本上所有其他图像片段位置的最佳距离。从另一个极端看，可能重复自动聚焦和Z位置的选择步骤，来尝试为每个图像片段独立获取一个最佳焦距。另一个替代方法是获取给定图像片段的最佳Z位置，并将此Z位置用于给定图像片段的特定X和/或Y距离内所有图像片段，每隔一定数量的图像片段或从图像片段一行或一列换至下一行或列等等的时候，重复一次Z位置选择。在并入本文的Wetzel的已公布的专利申请公开US 2006/0204072中，在间隔的点上测试了多个块来确定每个点上最佳焦点的最优Z位置。参考平面尽可能接近的配合与最佳聚焦距离相交，并且样本上每个块的Z位置被选定为所配合的平面上对应的位置。

[0027] 可以为参考图像片段确定最佳焦点Z位置，并将其用于一些包括相邻图像片段的较大区域。例如，在标本上或标本某部位的中心上的图像片段，可用作最优Z位置已确定的参考图像片段。可在相关涉及到的且仔细的自动聚焦程序后选定该Z位置，并将其用于拼接到图像或图像的一部分中的一组其余的图像片段。可替代地，用较少涉及的程序为每个下一块进行新的自动聚焦程序时，参考图像片段的Z位置可以仅仅是起始位置。考虑到载玻片的安放、样本的表面形状和其他因素，不同图像片段或片段中不同区域的最佳焦距仍然可能位于不同的焦距上，这仍然是可能的。需要一种方法来对比并表示或以其他方式对参考图像片段和组内其他图像片段之间聚焦质量不同的情况予以响应，其中Z位置可以被独立确定也可以不被独立确定，且图像片段被拼接成较大的马赛克或合成图像。

[0028] 已知一些图像评价算法，但一般都用于对比相同图像内容在不同焦距上的不同图像。在尝试独立于图像内容评价图像质量时，例如对显示了不同样本或给定样本上不同区域的各种图像进行聚焦质量分级时，就遇到了挑战。

[0029] 前述讨论和实例都只适用于焦距和聚焦质量问题。在条件的不同影响图像质量时，焦点只是选择用于收集样本的数字图像的替代条件的比较普遍问题的一个实例。例如，有可能从顺光和/或逆光照明或照明振幅、照明光谱、极化条件、图像收集时间、孔径大小及视野深度等替代条件中选择。典型的解决方案采用标称条件，或在自动聚焦的情况下使用控制器来选择感知到的最优条件，但会造成图像片段之间聚焦平面深度的一些变化以及聚焦质量的一些变化。本公开最初用聚焦精度作为感兴趣的图像质量标准和Z位置作为影响通过对比度测量的图像质量的变量进行举例说明。但本发明不只限于所述质量标准、所述变量或测量图像质量的技术。本发明同样适用于其他质量标准、影响焦点和/或其他质量标准的其他变量，以及可用于测试焦点或其他质量标准的其他可能测量。

[0030] 使用焦点作为代表性的图像质量标准，许多焦点评价图像处理算法可以给出焦点质量的数值测量值，其不表示绝对意义上的质量水平，但其质量变化方式至少允许对相同图像内容的两张图片进行有意义的对比。在Y.Sun等人的“Autofocusing in Computer Microscopy：Selecting the Optimal Focus Algorithm”，Microscopy Research and Technique 65：139-149(2004)中，对比了以下算法：

[0031] 基于导数的算法：

[0032] ·阈值绝对梯度(Santos等人，1997)

[0033] ·平方梯度(Santos等人，1997)

[0034] ·Brenner梯度(Brenner等人，1971)

[0035] ·Tenenbaum梯度(Tenengrad)(Yeo等人，1993；Krotov，1987)

[0036] ·改进的Laplace求和(Nayar和Nakagawa，1994)

[0037] ·能量Laplace(Subbarao等人，1993)

[0038] ·小波算法(Yang和Nelson，2003)

[0039] ·小波算法W2(Yang和Nelson，2003)

[0040] ·小波算法W3(Yang和Nelson，2003)

[0041] ·统计算法：

[0042] ·方差(Groen等人，1985；Yeo等人，1993)

[0043] ·标准化的方差(Groen等人，1985；Yeo等人，1993)

[0044] ·自相关(Vollath，1987，1988)

[0045] ·基于标准差的相关(Vollath，1987，1988)

[0046] ·基于直方图的算法：

[0047] ·值域算法(Firestone等人，1991)

[0048] ·熵算法(Firestone等人，1991)

[0049] ·直观算法：

[0050] ·阈值内容(Groen等人，1985；Mendelsohn和Mayall，1972)

[0051] ·阈值像素计数(Green等人，1985)

[0052] ·图像功率(Santos等人，1997)

[0053] 所述图像处理算法可用于获取像素数据特征的客观测量值，如图像上像素或像素组之间的对比度，其测量值与聚焦精度有关，但也与图像结构特征，即图像内容有关。所述图像处理算法在对比含有相同内容的不同图像时能够以有意义的方式对比图像质量特征(即，除焦点或其他方面的图像质量以外，对比的所有方面都相同)。数值算法为不同类型的图像内容产生不同的客观分数。该算法可能会为一些类型的内容产生比其他类型的内容低的对比度(或与质量或聚焦精度相关的其他变量值)的客观分数，即使当其内容产生较低客观分数的图像的实际质量更好时。

[0054] 需要一种方法来对图像质量自动评价，尤其是聚焦精度，该方法独立于图像内容，或具有与对比相同图像内容的两张替代图片上的相同图像内容一样的依赖性，但不具自动聚焦技术典型的复杂性，其中在不同的Z轴距离上收集相同图像帧的两张或更多张图像，并对图像进行对比以便确定哪一张的图像质量更好。

发明内容

[0055] 为满足这些及其他需求和目标，一般需要通过如快照或行扫描的图像获取操作为如块状或长条形的相邻图像区域获取两个或更多个数字图像片段。所述图像片段沿边缘彼此重叠，例如合并或拼接相邻重叠的图像片段的像素值的边缘，以跨越接合成较大图像的分开采集的图像片段的结合处以提供平滑过渡。最初采集的两个或更多个图像片段为较大图像的同一部分提供了至少两个版本，即图像片段重叠处边缘上内容的两种图像。各自处理这些版本以获取与如聚焦精度的图像质量相关的客观测量值，所述图像质量可通过例如整合相邻或附近像素的像素值之间的差来确定。由于重叠边缘上出现了相同的图像内容，故两个重叠边缘上的客观测量值为两个或更多个图像片段的质量对比和分级提供了有意义的基础。因此，客观测量值不受图像内容的可变性影响。

[0056] 由于边缘重叠的区域包含相同的图像内容，故与图像质量(如聚焦精度)和图像内容都有关的客观测量适用于分开采集的图像之间的质量对比。由于不考虑图像内容，故比较具有相同内容的边缘内的区域会产生变化。如果边缘精确对齐，那么用于对比的图像区域可以是全部边缘；或者，如果边缘未精确对齐，那么用于对比的图像区域可以是边缘上内容重叠的有限部分。

[0057] 通过这种方式获取对重叠边缘的相对评价。可能会发现两个边缘的图像质量测量值相等，或一个边缘测得的质量较好，而另一个质量较差。通过相对评价可能无法在绝对意义上了解边缘上图像质量的优劣。如果质量测量值相等，那么两个重叠边缘的质量可能一样好或一样差。但是，由于质量评价与内容无关，故不同的结果表示质量上的差异。可以获取并分析此差异范围的数值测量值。

[0058] 通过比较质量评价可以得出一些结论，例如区分出需要重新获取的图像。如果相比于与图像片段共享重叠边缘的一个或几个相邻图像片段，某图像片段边缘的相对质量数值明显较低，即大于相对质量的阈值差，那么最好重新获取图像片段。在看来定向的且多个块或其他图像片段所共有的结果中的差异可被识别并用于显示诊断样本、显微镜和照相机对准问题的特定有用信息。在一些实施例中，可以通过对马赛克的轮廓中的图像片段添加数值标签或色彩编码映射来使结果用图表实现可视化。此技术提供的图像质量评价，除需要重叠边缘外，不需要质量校准参考甚至参考图像。

[0059] 本公开的目的在于对图像的分散区域进行图像质量评价，所述图像包含由所获取的数字图像片段组成的拼接图或马赛克，无论所述数字图像片段是块阵列、条形图形、片状图形还是包含重叠边缘的另一图像片段排列，所述边缘如相邻图像片段混和在一起以便沿周边平滑合并的边缘。根据一方面，本技术依赖于确定相邻图像片段的相对图像质量，其中所述相邻图像片段的相对图像质量基于重叠边缘中出现的相同图像内容的质量对比。在获取各边缘相对于其在下一个相邻图像部分的边缘中的重叠副本的相对评价后，可以扩展对比结果以便通过所述结果做出逻辑结论，例如通过标识图形的存在，所述图形表示或可以提示关于特定图像片段、图像片段的区域、许多图像片段的总体马赛克的质量的可能的结论。

[0060] 根据与质量相关的数值质量测量值，会发现每个边缘的质量比下一个相邻片段的重叠边缘的质量要好或差。在块状图像片段的情况下，除外边缘以外，块还有上、下、左、右四个方向不同的边缘。相对差值可以作为单独群体评价，例如分析和对比每块的上部边缘与在垂直方向上位于其上面的下一个相邻块的下部边缘的相对质量测量。反之，类似地，下部边缘值可以考虑与垂直方向上的下一个向下的块进行对比，侧面也是如此。另一种测量是采用块的所有四个边缘上差值的均方根(即，对块的每个边缘与四个相邻块的重叠边缘之间的差值的绝对值求平均值)。

[0061] 根据有利方面，对于为块、其边缘或成对边缘(如每个块上相对或相邻的边缘)获取的质量值差数，可以进行统计分析。一种技术中，各边缘的值的群体(例如，与位于下一个上面的块的下部边缘重叠的所有上部边缘的差)可以根据一种特定的测量进行分析，从而产生包括最大值、最小值、平均值和标准差的差数群体。例如，可用Brenner梯度(综合对比)分析上部边缘的差。然后再次对块进行分析，例如对不同边缘(如侧面边缘)，或使用不同的测量(如Laplace值求和)进行分析。两次测量结果的相似点及不同点可以进行进一步的分析。例如，在Brenner和Laplace(以及潜在的额外测量)产生不同的直方图形状(不同的钟形曲线)时，可以对值进行标准化以便强制这些群体符合相似的曲线形状。标准化后的值将用于分析。

[0062] 图像片段的群体及其各自质量等级可以采用这些及其他方法处理。通过图像片段、边缘或边缘组合以及测量算法获得的结果可以分开确定并减少，以便进行可视化成图来识别信息并区分出可接受的与不可接受的图像片段采集。此技术提供了一种大体上与图像内容无关的图像质量评价，不需要使用参考图像作为校准标准或使用多个完整的片段副本进行选择性对比。

[0063] 有利地，与图像质量有关的客观测量可以是与聚焦精度有关的测量，例如，评价对比度。此等测量通常也与图像内容的各方面相关。条纹老虎或斑点豹的图像，固有地要比黄褐色的狮子图像对比度高。但根据所公开的技术，通过利用图像片段的重叠边缘包含相同图像内容这一事实，各图像采集操作可能产生不同的聚焦精度或其他质量标准，可以有意义地对相邻图像片段的相对质量进行对比。客观测量输出，例如对重叠边缘区域的局部对比度求和的数值算法，由于测量应用于相同内容的不同图像捕获，故会产生可以进行有意义的对比的两个值或测量结果。

[0064] 根据另一方面，数值算法为重叠的两个或更多个边缘中的每一个产生的值，允许对图像版本(每个重叠的边缘)进行相对分级，即比其边缘重叠的相邻图像版本质量优或差。考虑其作为一种群体，重叠的图像片段具有量化的相对于其相邻片段的相对质量对比。这些质量对比在最高至最低对比值之间变动。极限值和群体可用于定义接受/拒绝标准。
对平均值和标准差进行统计分析可以识别出被认定为不可接受的离群值。被认定不可接受的那部分图像片段可用百分比表示。可接受性范围可根据在群体中的相对位置确定。可以确定并映射相对值以便以可视的形式表示图像片段的整个拼接图或马赛克上的比较图像质量的方面。

[0065] 用于方便地进行对比的图像片段都是常规形状，如扫描的条状、捕获的方形或矩形像素块。然而，图像片段也可以是与另一片段重叠的任何规则或不规则形状，以使得包括顶点或角区域的多个相邻图像片段可能有四个、六个或更多个片段在相同内容上重叠。本公开用马赛克、长条状或带状中的方形、矩形或其他形状的块举例说明图像片段，但不限于特定形状，只要有可以比较相同内容的两个或更多个版本的重叠区域，尤其是用于拼接的边缘，可适用于规定的或任意的各种形状。

[0066] 已知多种方法可用于评价局部对比度和至少部分与图像质量有关的，尤其是与聚焦精度有关的类似客观测量。一个非限制性实例是对特定位于重叠边缘上的所有像素值进行Brenner梯度值求和。将同一算法应用于相同内容的两个不同图像，即两个重叠的边缘，会为两个相邻且边缘重叠的图像片段产生相对聚焦精度的测量值，所述测量值与内容无关。根据另一技术，可应用与相同或不同质量标准相关的多种评价，如测量可选标准化后的像素数据导数值、统计分析以及群体分布标准等。其结果是区分或可选地也以可视化形式映射由拼接到一起的图像片段组成的总体图像的质量测量值。

[0067] 质量评价可扩展到图像片段上的所有像素位置，通过插入到为重叠边缘确定的值之间并置于所发现的最佳值和最差值之间的等级点上，可对图像片段上的不同位置分级。这些等级可以转换为色彩映射，例如用不同色彩显示质量最好的区域(例如，绿色或蓝色等温和的色彩显示最佳质量)，用另一种色彩(例如，红色或黄色等警示性色彩)显示质量最差的区域。这些色彩用于填充可在图像显示器上向病理学家显示的原始图像版本，例如和微型插图一起或位于微型插图内，或通过选择性的鼠标单击操作显示。导致图像片段的帧上聚焦质量变化的特定条件，如由于光学显微镜和载物台上的载玻片平面未对准，会在色彩映射上明确显示出来。同样有可能用此评价来触发对选定图像片段的图像进行重新采集。

[0068] 本技术可以作为图像处理方法，用与数字病理学系统的自动化载玻片扫描仪相关的处理器中的软件实现。鉴于提供如Brenner梯度评价的质量评价所需要的计算相对而言并不复杂而是多次重复，因此可提供现场可编程门阵列或类似的硬件/固件解决方案，以便提供与图像片段图像捕获和拼接过程的相配合的高速计算。

[0069] 所公开的实施例可提供利用各种不同评价算法进行的对于聚焦质量和其他质量的评价，而且由于相同的图像内容，即相邻图像片段的重叠部分，在两个图像片段之间，并且最终在更大的马赛克的所有图像片段中形成了相对质量评价，故在任何情况下，所述评价都与马赛克或拼接图的不同图像片段上所显示的组织结构类型的差别无关。

附图说明

[0070] 下文将讨论为实现上文所述的目标和方面而作为新的途径公开的系统和方法的实例、特定替代方法和实施例。本发明并不限于作为实例示出或描述的实施例，并能够在随附的权利要求书的范围内变化。在附图中：

[0071] 图1是结合数字病理学的示例性图像采集布置的示意图，该图放大显示了样本载玻片和光学器件之间的未对准，并放大了组织标本的表面形状的变化程度。

[0072] 图2是带有重叠图像区域的标本载玻片的平面图，其中分开的数字图像采集已完成，作为边缘重叠的矩形的阵列显示。

[0073] 图3显示了应用质量相关算法获取图像质量的比较测量值的示意图。所述算法应用于两个相邻的图像片段沿边缘重叠的边缘区域。

[0074] 图4显示了阵列中具有常规形状的块的重叠图像片段的图像区域的平面图。

[0075] 图5显示了根据所公开技术的实施例所完成的方法步骤的顺序的流程图。

[0076] 图6是由多个图像采集区域组成的显微图像，沿一个或多个边缘区分了图像采集区域的质量差异，其结果用位于与各自的图像片段对应的块上的阴影或色彩编码表示。所述阴影或色彩编码可表示分级或表示阈值比较的结果，例如满足或不满足阈值的块用不同阴影或色彩表示。

[0077] 图7是多部分的色彩编码(阴影)图，在顶部覆盖标本的图像，在底部分开显示并带有阴影标度，其中基于所对比的边缘相对于图像片段的定向来区分质量差值。

[0078] 图8是显示根据一个实施例实践本技术的特定步骤的流程图，其中一种结果如图7所示。

[0079] 图9是与图8对应的流程图，但其中另一种结果是对选定图像采集片段重新成像的排队。

具体实施方式

[0080] 根据本公开，对于两个图像片段沿包含相同图像内容的边缘具有重叠边缘的如块或条的相邻图像采集片段，对数字图像的质量，尤其是显微病理学样本的聚焦精度进行了对比评价。有利地，此边缘可以是两个片段通过图像处理技术结合或拼接到一起形成平滑过渡的重叠边缘。在包含要在此边缘处结合或拼接的相邻片段的图像中，图像片段的重叠部分包含重叠区域中图像内容的两个分开采集的版本，每个版本都与其自身的图像采集相关。在最终的合成图像中，如图像片段的马赛克中，重叠边缘中内容的两个图像最终可进行平均处理或交错，从而实现从一个图像片段到另一个图像片段的平滑过渡。然而，本技术的一方面是，因边缘处相邻图像采集的重叠也要进行比较，所以可提供边缘内容的两个版本，从而提供相对图像质量的测量值。

[0081] 对于边缘处存在的两个图像，通过对两次不同的图像采集的重叠边缘区域的至少两个版本中的图像质量进行对比数值质量评价，可以根据本发明的技术予以利用。由于两张图像上显示的内容相同，尽管是通过不同的图像采集获取的，但是可能进行对比或相对质量评价。对比质量评价优选应用于合成图像的连续图像采集片段以及重叠的多个边缘，例如矩形的四个边或合成马赛克中其他形状的块。所有相邻片段的成对重叠边缘都被分配相对质量评价。与另一边缘重叠的每条边缘的每个成员，都会被分配一个带正负号的数值。所述正负号确定哪个成员较好或较差，而所述值就是差异程度的测量值。本文公开了进行此等评价的替代算法。可使用两种或更多种此等算法有助于评价。不同算法的结果要进行标准化。可以定义接受阈值。图像片段或图像片段各部分的分级或可接受性，可在图像片段拼接到一起组成的合成图像所对应的图形上以可视化的方式显示出来。

[0082] 从数学角度看，数值质量评价，如在图像片段上进行Brenner梯度求和，或边缘或形状增强和评价过程，都是客观测量。但出于实用目的，由于值会受图像内容的影响，故由评价产生的数值与图像质量并不直接对应。根据已公开技术的方面，由于评价是对表示相同图像内容在多个图像采集中的边缘的对比评价，故可以消除图像内容不同所产生的变化。

[0083] 图1示出结合数字病理学使用的示例性图像采集布置的示意图。所显示的图像采集设备可以是带有自动载玻片供给装置的自动化载玻片扫描系统的一部分，所述自动载玻片供给装置可操作以从片盒中供给并装载载玻片，从而每次成像一个图像，但是为了简化附图，自动供给装置的方面未示出。

[0084] 承载组织样本或其他主体的标本22被安放到承载于载物台25上的载玻片24上，通过光学器件26暴露于图像传感器28，图像传感器28与计算机处理器30连接，计算机处理器30可处理数字图像数据，并且存储、传输或在显示设备32上显示图像。载玻片24和光学显微镜26可相对移动，以便将光学器件相对定位到在X-Y方向上延伸的平面上的点，从而在载玻片24上选择待成像位置并相对调整光学器件26和标本22在Z方向上的间距来选择焦距。优选地，使用自动聚焦控制来选择性地测试两个或更多个Z轴间距的聚焦精度，从而使设备能够为每个载玻片至少选择一次最佳焦距。优选地，载玻片在相邻区域被重复成像或在扫描中通过所显示的图像采集区域。在一个示例性实施例中，采集图像，在X和Y方向上移动载物台至将相邻区域移到图像采集区域所在的位置，然后再次采集图像。计算机处理器30被编程以管理来自图像传感器28的像素数据图像，特别是对图像进行组织以便使用显示器32(或与处理器30进行数据通信的另一显示器)的观察者能够导航该合成图像，所述合成图像包含在相邻位置布置的多个所采集的图像，且优选地通过图像在像素数据中进行拼接过渡合并到一起。

[0085] 如图1中放大的方式所示，标本22可具有一些高度变化。载玻片24和/或载物台25相对于光学器件可能相对未对准，以使得图像采集区域的一侧比另一侧相对更高。可能会出现光学变化，从而导致视野内图像的质量发生变化。样本的照明可能不同。这些以及类似的变化会导致一次图像采集区域以及载玻片区域上图像质量的差异，其中所述载玻片区域包括由在计算机系统30的控制下以相邻的方式在显示设备32上的多个待成像和待显示的图像采集区域组成。

[0086] 光学显微镜26与如照相机的图像传感器28耦合，图像传感器28以快照形式收集标本图像采集区域的二维静态图像或图片并将其数字化。或者，图像传感器可包括行扫描传感器，所述行扫描传感器沿与行扫描传感器延长线垂直的方向在标本上方相对移动，用于在对行扫描传感器的元素定期取样期间以扫描的方式收集二维图像。所得的二维像素数字图像数据被载入计算机系统30中，计算机系统30具有用于数据和程序编码的处理器和存储器，可操作以在显示器32上显示图像。计算机系统可以通过数据通信网络进行连接以便进行远程数据存储、数据操作和数据库操作，进而进行图像数据管理、医师(病理学家)工作流程管理、患者信息管理和其他用途。

[0087] 在高分辨率图像采集的情况下，各自采集的图像可对应于阵列中相邻扫描的长条状、矩形或其他形状的块，所述阵列构成马赛克或合成图，其中所采集图像的各个边缘沿其周边进行彼此合并(马赛克的周边上的块除外)。完整的马赛克或合成图可以在低分辨率下作为一张图像进行观察，或者在较高分辨率下从一张采集图像跨越采集图像结合的周边导航到另一图像。通过对分开采集图像片段结合的边缘求平均值，可以从一张图像平滑过渡到下一张。有利地，通过采集在标本22或其他主体的相同区域重叠的图像，可以实现平滑过渡。可选地，处理器30匹配两张图像边缘上的相同内容，从而尽可能精确地对准所述图像。处理器30通过加权平均、交错像素值及以其他方式使数据平滑来沿边缘合并图像，以便在边缘的宽度上从一张图像过渡到另一张，而不是突然出现离散线。

[0088] 图2图示了一个实例，其中样本图像35包括图像片段37的规则阵列，图像片段37可以通过载物台和/或光学器件26定位之后连续快照来采集。如图2所示，各自的图像片段37在一个或多个边缘40彼此重叠。这些边缘即为处理器30可将图像片段合并或拼接起来的边缘。或者，图像片段37可以是带有重叠边缘的相邻的长条状、扇形或从图像中分隔出的其他部分等。图3显示了两个图像片段37，每个图像片段都有一个与另一个重叠的边缘部分40，以提供标本图像35的一部分的两个版本。有利地，这些边缘也是处理器30(也参见图1)将要合并的相同边缘，处理器30通过沿边缘拼接图像片段形成合成图像42。

[0089] 图像分析算法45被应用于两个重叠边缘区域40的像素数据。图像分析算法45可以是上文提到的任何算法，如导数、统计、直方图/群体分布算法，其中这些算法与被认为对图像有利的至少一个变量相关，即，与图像质量相关的算法。为了便于解释且不受限制，可以用产生与图像聚焦精度相关的数值的算法举例说明上述算法。数据受图像内容影响，但如果是应用于具有相同内容的两个图像边缘40，那么所述算法为两个边缘40产生的数值的差就是这些两个边缘上图像的质量差异的测量值。

[0090] 图4中，规则放置的图像片段37的阵列形成了马赛克合成图像42中的方形或块，其中可以看到标本22的图像。如图4所示，通常标本占有载玻片的有限区域，周围是空白区域。在成像过程期间或之后，可确定一个或多个图像片段37是空白片段，并且可以从对比图像质量计算过程删掉。

[0091] 每个片段或块37与其相邻的块共享重叠边缘40。在此方形或矩形阵列中，除在成像区域的外边缘以外的块都有四个相邻的块，这些块与任何给定块的区域在边缘上重叠。每个块都有上、下、左、右边缘，各边缘均包含可与相邻块重叠的对等图像区域进行对比的图像区域。将质量评价算法应用于边缘40，从而产生与质量变量(如聚焦精度)有关的两个输出值Qn。相对质量评价是两个重叠区域的输出值的差，即Q1-Q2。根据在质量相关算法
45中哪个图像片段得分高，此值可能为正值或负值，而其绝对值是通过算法45确定的质量差异程度的测量值。如上述讨论，通过算法45得到的结果不用于确定图像边缘40处图像质量的优劣，而只是对边缘处相对于另外一个图像对图像质量进行评定。

[0092] 如图4所示，还可以看到四个图像片段37在角上彼此重叠，其中所描绘的矩形块在水平和垂直方向上相邻。不同形状，如六边形，也可能有六个片段在一个角上重叠。此等角可允许在角区域的四个或六个重叠版本间进行比较评定，并对所有对重叠起作用的片段进行相对分级。然而，角块较小，包含的像素相对较少，角距图像片段37的中心距离最大，并且通常是视野的中心，光学系统在此处的性能可能最好。因此，由角区域产生的差值数据不像上、下、左、右边缘所产生的数据那样可靠。在一种布置中，边缘40中重叠的所有像素都用于通过算法45产生输出Q，因此都对差值Q1-Q2有影响。或者，可能在有限距离内忽略极端角的数据，并使计算基于靠近垂直和水平中线的边缘的中心部分。

[0093] 在处理器30的程序设计中，算法45对各边缘40的输出的差Q1-Q2被译为指示其中一个边缘具有较高质量，并且是其范围内的测量值。存储差的正负号和值。

[0094] 图4显示了一个在纵向和横向上有重叠边缘40的图像片段37的阵列。在每个重叠边缘40，都有两个版本的内容，算法45都会产生两个值。如果算法的值与质量正相关，如在对比度评价算法中对比度评价越高表示聚焦越好，那么带正负号的值表示由一个或多个质量相关算法45为相邻图像片段37的重叠边缘40产生的正或负差值。

[0095] 边缘处的或(因图像内容而具有一定交叉相关)除边缘以外的图像片段区域中的图像数据片段37可以进行分级。通过基于重叠边缘处的结果在图像片段之间进行相对质量评价，可能推断整个图像片段37的相对质量评价。然而，边缘处的相对质量评价对于给定图像片段的不同的边相对于其相邻图像片段可能不同。由于可能在相对质量评价结果的定向中识别出一种模式，故所公开技术的这一方面具有优势。特定模式与对应的图像收集装置的方面有关。例如，上、下、左或右侧边缘显示的相对质量评价比其他边缘高或低的规律的变化，可能表示光学未对准或载物台或装载的样本载玻片倾斜。

[0096] 图5以方框图形式显示了所公开方法的步骤。所述方法一般包含应用图像质量算法。在一种布置中，应用了多个图像质量评价算法，其类型为自动聚焦应用中所使用的类型。这些不同算法抽取对图像质量方面尤其是聚焦精度，以及对图像内容的其他方面敏感的值。由于此等算法数学上测量图像内容中所发现特征的特性，故算法的应用可以称为“特征抽取”。除对局部图像对比度敏感的算法外，基于Canny边缘、图像梯度和Laplacian特征、局部图像统计特征以及小波特征的特征抽取也是有用的。

[0097] 在获取相同内容的重叠边缘版本的特征测量值以及标识哪个边缘得分较高或较低及高或低多少的差值后，所得数据可用多种方式进行处理。可选地，可对特征抽取或差值数据进行标准化。对表示与第一数字图像和第二数字图像相关的在边缘处特别是重叠边缘处的测量结果的值进行编码和存储。利用基于结果的群体预定或确定的阈值，可以将各自的值应用于阈值检测技术。可以逐个图像观察结果，例如通过基于每个图像片段和其相邻片段之间的四个带正负号的比较值应用选择的标准。多个图像片段的结果可以一起观察，例如通过对样本组织图像的一部分或另一部分的结果进行评价。有利地，将多个图像片段的结果按方向进行区分。因此，如果看到图像片段的大部分所具有的特征图中的质量差异对一个或多个边有利而对一个或多个相对的边不利，那么可以怀疑光学器件未对准或标本倾斜。优选地，相对质量评价可多次进行，例如基于相同边缘上的结果对比(例如，所有图像片段的上、下、左或右侧)、每个片段的平均值和/或值的范围以及群体中这些值排列的百分比等。

[0098] 图6示出了基于上部边缘差值的评价。行号和列号在放大窗口中以表格的形式标示。叠加到图像片段的马赛克上的阴影(色彩编码)与接受阈值一致。此显示可作为参考，并与马赛克的显示一起呈现。可以为所有下部边缘对比或左右侧对比等生成类似的显示。对于单一块来说，最大差值和最小差值之间的平均值和范围可用于识别可疑的图像片段捕获。

[0099] 在一个实施例中，每个重叠边缘都应用了多个算法或特征抽取过程，例如可从上文提及的列表中选择算法或特征抽取过程，并且为所检查的每个特征都获取一个差值。不同的特征抽取算法可用于离焦检测和在不同条件下进行质量评价。如前文所述，由于算法应用于重叠边缘中的相同内容，故对比中已除去其对图像内容的依赖。此外，由于响应所具有的量值不同并且以不同的比率变化，故所获取的特征抽取值无法直接进行数量比较。

[0100] 有利地，使用两步标准化方法来标准化作为图像质量测量值的与聚焦精度有关的量值和特征变化率。此标准化的特征差值通过以下公式描述：

[0101]

[0102] 其中，I1和I2是两个图像中的重叠区域，fi是以i为指数的特征矢量f的特征值，并且ki是特征差异相对于通过获取多次叠加的图像，例如在自动聚焦程序期间，产生的聚焦深度的斜率。右侧的第二个分数实现对量值的标准化。通过特征响应的绝对差异获取的特征，本质上通过对其量值进行标准化被转换为相对测量值。对于特定特征，由于特征值彼此接近，故此项变为零。另一种极端情况下，在值差异很大时，根据特征差异的正负号，分母项确保此项在±1之间。

[0103] 右侧的第一个分数实现对变化率的标准化。此标准化通过使用一组栈图像实现，用于训练特征差异相对于到真实焦平面的深度距离的变化。每种特征的响应适合一种线性函数，并且各个函数的斜率ki用于表示每种特征响应的锐度(根据定义，所有特征都通过位于距离零上的原点)。此分数的分子设置为这些斜率中的最小值，从而确保分数值被限制在0到1之间。因此，通过组合这些标准化的项，标准化后的特征差异被限制在-1到+1之间。这标准化后的相对特征差异(或简称为“特征差异”)允许对不同类型的特征进行有意义的对比。这些特征差异通过采用所包括的所有特征差异的中间数组合得到，从而得到总体特征差异分数，可为所述总体特征差异分数分配好的或差的或处于好差之间的等级。此值可以与接受阈值进行比较。

[0104] 特征差异的正负号表示被比较图像的相对质量(如聚焦精度)。正号意味着图像I1优于图像I2。因此，差异的量值和正负号提供了图像质量的相对测量值。

[0105] 在使用多种测量时，其中每种测量都会产生图像质量的相对差异，优选地，在其结果如上所述进行标准化后，可通过对不同测量的结果求平均值来处理其结果。一种或多种测量中出现的极端结果可以引起拒绝所捕获的图像或整个载玻片马赛克。或者，在有利于看起来一致的测量值的情况下，极端结果可从考虑因素中排除。在每个情况下，由于评价是基于对比使用了重叠且包含相同图像内容的相邻图像片段37的边缘区域40的质量相关数值算法的结果，故图像内容的影响都不是考虑因素。

[0106] 根据其边缘的相对质量评价，图像片段37的群体定义了图像质量评价对比值(Q1-Q2)的范围，包括正值和负值。在某些方面质量评价对比的范围和分布可用于识别需要引起注意或重新捕获的图像片段。由于与方向有关的差异图可以暗示光学未对准，或载物台或标本倾斜，故与图像的方向方面有关的差值独立地有用。

[0107] 在某些方面，通过质量评价算法获取的一种或多种质量测量的差值对于提供总体图像质量的测量值或提供信息是有用的，以便提示需要重新对准且可能需要重新捕获部分或所有图像。由于对比结果显示特定图像片段对比的差异比其他对比的差异大，则往往需要重新捕获。除此以外，可以设想质量差异测量值可能会显示图像与边缘40中的质量近似相等，而其质量可能都比较差。在有利的布置中，例如对于待捕获的第一个图像片段37，可采取预备步骤来建立基准焦距条件，或可以定时反复执行。优选地，在捕获每个图像片段37时，至少采用粗略的或预测的自动聚焦步骤。但也可能对一些图像捕获片段进行广泛分析，从而额外保证聚焦精度或校准。已知一个或多个特定片段基于此额外保证时，质量差异测量的范围可以视为在所述保证基础之上进行，其中至少广泛分析过的图像片段可能精确聚焦。因此，边缘40的质量评价之间的差异分布，表示的是从高质量状态向下变动的图像片段的群体，而不是按可能是低质量的任意规范变动的图像片段的群体。

[0108] 在对图像片段进行成像的同时可执行主观质量评价方法，且优选地在载玻片仍然位于显微镜的扫描区上时完成。基于一个或多个边缘的差值不符合接受标准的特定片段37可以进行排队以便重新成像。所捕获图像的马赛克上差异范围较大时，可能需要对整个载玻片进行反复成像和/或提醒操作人员等。

[0109] 本发明的一个有利应用是对显微数字病理学的聚焦精度进行评价。在采集两个不同的图像片段37期间，例如由于图1所示的倾斜或样本表面形状问题，显微镜对两个相邻片段的边缘重叠部分的聚焦精度可能不一样。严重离焦的图像可能无益于诊断目的，即使是稍微离焦的图像可能一般分析起来也较难从而使用户烦恼。块上特定点的聚焦精度可在极好的清晰和致命的模糊之间变化。有时聚焦精度在一个块的区域上都不一样，例如在块的一角或一侧清晰而在对角或对侧模糊，或者可能在块的中心和周边，只有一个清晰而另一个模糊。

[0110] 根据本发明的一个方面，对相邻块相互重叠的边缘区域特别获取了对比度测量值。对比度测量值可以是对图像中像素阵列上的所有像素或选定像素的Brenner梯度求和、Laplacian转换或总对比度存在范围的类似测量、对比度统计分析或上述各方法的组合。相同的梯度、转换或分析算法也可以用于不同的像素间距尺度或加权。这些和类似的测量都与图像质量尤其是聚焦精度相关。通过对包含相同内容的两个相邻块的各自重叠部分进行两种测量，并进行定性和定量差异比较，由于图像内容的变化而难于或无法进行比较的算法结果可用于决定一种更接近绝对意义上图像质量。

[0111] 在相比于其他重叠边缘，在特定重叠边缘之间检测到重大差异的情况下，例如所测得的差超过预定阈值，则图像采集控制可自动断定对一张或多张图像的采集失败。如果出现一种图形，尤其是与方向有关时，例如上下边缘对比的差异比左右(或者是组合，如左上部和右下部相对于右上部和左下部等)对比的差异大，则有利地应注释并报告所述图形。特定于方向的图形可在与样本图像对应的图上有效地显示，从而潜在地提示系统未对准和/或光学问题，可以校正这些问题后再开始扫描。

[0112] 图5是显示了所公开方法的步骤的流程图。采集包括主体22的有限区域的第一数字图像37，对35成像，然后再采集包括与所述有限区域相邻的主体区域的至少一张第二数字图像。使第一数字图像和第二数字图像沿边缘40重叠，从而使第一数字图像和第二数字图像包括像素数据子集，即与重叠边缘对应的像素，其包括主体的相同区域，即两张不同的图像37上的相同内容，需要对所述图像的质量进行评价。

[0113] 此技术还可以包含首先找到重叠区域，其中在组织样本上采集的相邻图像包括相同的内容。此步骤可以结合对准相邻图像片段的像素以便将其对齐在马赛克上块的正确相对位置实现，和/或作为合并或拼接相邻图像之前的步骤。

[0114] 所采集的两个相邻图像或块之间重叠区域的范围通常是连续的，可通过载物台移动的参数进行粗略界定。相邻图像捕获区域的中心之间的载物台位移距离比所采集图像在位移方向上沿图像的一侧测得的尺寸小。这产生了重叠边缘40。

[0115] 图像片段37用作重叠边缘40的部分不需要包括图像片段中所有重叠范围内的像素，但至少要包括部分边缘像素。在一个实例中，图像片段一边可以是2000个像素。边缘40可重叠200个像素或10％。两个片段37的极端周边边缘可以忽略，如每个宽25个像素。
可选地，图像片段的极端角也可忽略，如每个角100个像素。各片段37上剩余的宽150个像素长1800个像素的边缘重叠区可用作像素重叠区域。还可能为重叠且有用的区域采用其他特定数量和比例，如图像片段37每侧4096个像素，或其他更大或更小的比例。

[0116] 在任何情况下，将数值图像分析算法应用于第一数字图像和第二数字图像上至少与边缘对应的像素数据子集，从而为第一数字图像和第二数字图像表示的所述主体的所述相同区域产生两个特征。本技术不排除将相同或其他算法应用于图像片段37除重叠边缘40以外区域的其他步骤的可能性，但本发明不包括此等步骤，本发明依赖于根据一个或多个评价算法45对具有相同内容和潜在不同评价的区域(边缘40)的相对测量。所述算法可以是各种测量中的任何一种或多种，有利地涉及至少一种质量评价，且可选地涉及多种评价，且对于显微病理学/组织学数字成像，优选地包括聚焦质量测量。

[0117] 通过将算法应用于边缘所获取的相对测量值可用于以下一个或多个操作：标准化质量和/或其他像素数据值；定义并运算像素数据值的范围或分布；编码、存储并表示进行比较的与数字图像片段37相关的一种或多种测量；触发通过/失败或对全部或部分标本进行重新成像，以及一般基于相同区域的两种特征的对比评价图像的决策。尽管在聚焦精度或其他质量标准上可能会存在变化，但这些行动仍然受益于重叠边缘显示了相同图像内容的两个版本这一事实，因此，对比通过质量相关算法45获取的结果，可以提供不受图像内容相关性影响的有意义的无参考质量信息。

[0118] 本技术可以并入图像处理程序中，其中所述图像处理程序用于通过调整或相对移动具有重叠边缘的图像直至边缘内容最接近地一致来对准相邻图像。理论上，两张图像的重叠区域中的像素应完全对准到基础组织上相同的点，但由于图像采集和像素对准上的微小变化，实际上会有所不同。对齐块或图像的过程包括对准图像的相对位置从而对准两个重叠边缘的内容。此对准步骤还有助于在后续图像处理中跨边缘拼接由块组成的马赛克，通常涉及重叠边缘内对准点上像素值的移动平均，以便所有块共同形成可能在相邻块之间跨边缘导航的较大马赛克。

[0119] 如果两个块的重叠边缘上的图像都在焦点上，那么两个边缘上对应点的像素数据非常相似。如果其中一个或另一个边缘不在焦点上，那么像素数据可能差异较大。如果两张图像都同等离焦，那么像素数据再次相似。根据本技术，对两个边缘应用与聚焦有关的一种或多种客观数值算法，从而产生可能相等或不同的数值评价。在存在差异的情况下，应认为两个重叠图像边缘中的一个比另一个聚焦精确。

[0120] 在一种用于测量图像差异的实施例中，可以为图像的两个重叠区域获取能产生客观数值测量值的大量不同的特征评价。这些评价包括前文所述聚焦精度的替代评价，如基于导数的算法(如Canny边缘、阈值绝对梯度、平方梯度、Brenner梯度、Tenenbaum梯度、改进的Laplace求和、小波)、统计算法(如方差、标准化方差、自相关、基于标准差的相关)、直方图算法(如范围算法或熵算法)或在结果量化时的直观算法(如阈值内容、阈值像素统计、图像功率)的输出。

[0121] 在应用多种算法时，可认为每个算法对图像的一种或多种特性(即“特征”)敏感。不同的算法对聚焦精度敏感，但一些算法可能也对其他方面敏感，如形状的存在或图像内容的变化。对两个边缘40应用相同的算法倾向于减少图像内容的影响，但当应用于特定重叠边缘40上时，一种或另一种算法可能产生较大或较小的数值差异。本技术所具有的多种算法使其具有多种用途且可响应于一系列图像内容情况。为避免特征支配差异计算的问题，采用了所述的标准化。根据一种技术，可为特征差异最大可接受的量值设置阈值。根据其他技术，对给定图像片段的所有边缘重叠区的量值进行求和，并应用阈值最大可接受总和。作为另一技术，在给定方向上重叠的所有图像的差值分别进行相对于阈值的评估，且可选地映射到与样本马赛克上各片段37的位置相关的视觉显示上。

[0122] 图6图示的实施例中，通过图8中流程图的方法确定的差值被确定介于最大和最小差值范围内，并且所述范围由应用于马赛克中相应图像片段的不同色彩(在图中用阴影表示)标识。图7中，数值差异的范围也通过色彩或阴影差异表示，从而突出显示马赛克中获取截然不同结果的区域。此图还包括选定块的放大后的图示，通过将清晰的块与模糊的块进行对比举例显示了图像质量的差异。

[0123] 在图6的实施例中，所示出的值可以表示基于与给定图像片段37相关的所有四个边缘的差异的组合图。图7在顶部展示的实施例中，其结果如图6在马赛克的图像上以可视化形式显示，但对每个边缘，即上、下、左、右边缘分别进行了分开的评价。可以对图像绘阴影来识别范围内每个值的位置，例如使用色彩编码光谱范围。在每一种情况下，每个图像片段37都有一个值，且片段的位置相应地加了色彩或阴影。图7底部显示了相同的色彩或阴影表示，但未像马赛克那样叠加。

[0124] 显示评价结果也是图9的流程图的一方面。此外，图9示出了从所有片段中选择可接受的图像片段，并对不符合选择标准的图像片段重新成像的步骤。

[0125] 所使用的特定特征评价或评价组合可以基于对重叠图像边缘进行的算法的试验来有选择性地选择。例如，评价聚焦精度时，可选择性地使用在不同焦距上最紧密追随图像栈上预期趋势的特征评价。

[0126] 图6显示了图8中所示技术的结果的可视化成图，并且图7显示了两种不同的技术。在图6和图7顶部的实施例中，各图像片段37通过如上所述对重叠边缘中的像素数据处理而对准、拼接到一起，并且没有对所述边缘进行识别。在图7的底部，用绘阴影的或“热力图”表示来显示结果，旁边有用于对比的基准标度。热图用色彩区分基于阈值比较被认定质量不符合预定阈值的区域，优选地用警示性色彩(如橙色或红色)显示。满足阈值的区域用柔和的色彩(如蓝色或绿色)显示，在附图中一般由较深的阴影表示。

[0127] 所公开的技术是一种图像处理方法，包括采集第一数字图像，如块或条状图像片段37，其包括成像主体的有限区域；以及采集包括与所述有限区域相邻的主体区域的至少一个第二数字图像，其中第一数字图像和第二数字图像沿其边缘40重叠，第一数字图像和第二数字图像提供的像素数据集中，像素数据子集与包括主体的相同区域的边缘对应。将数值图像分析算法应用于第一数字图像和第二数字图像至少与所述边缘对应的像素数据子集上。这为用第一数字图像和第二数字图像表示的主体的相同区域产生两种特征。通过所述算法获得的结果可以进行标准化、编码、存储、应用于阈值、以可视化形式应用，以便指示与第一数字图像和第二数字图像相关的测量值，且一般基于所述重叠的相同区域的两种特征的对比进行质量评价并报告。本技术不需要参考图像进行对比，并且可以利用重叠边缘的两种视图高效地操作以推断关于整个图像的质量评价信息。

[0128] 成像主体是病理学标本载玻片，其中通过快照、扫描或类似技术获得多个显微数字图片，使用所述技术会产生重叠区域，如相邻边缘处的重叠边缘。每个数字图片都与各自的所述有限区域对应。多个显微数字图片一起组成了标本或包括标本的标本载玻片的全部或至少预定部分。

[0129] 在图4中所示的实施例中，多个显微数字图片的至少一部分在至少两个边上与其他所述显微数字图片重叠。在角等位置，可能会显示两个以上的区域重叠，如矩形图像片段的四个边或六边形图像片段的六个边等。几个片段37重叠的这些角区域可以进行对比，但如果忽略角区域，对数据的依赖性可能更好。

[0130] 数值分析可包含基于导数的算法、统计算法、基于直方图的算法和直观算法中的至少一个，从而产生与边缘内像素位置处聚焦精度有关的数值。或者，可以使用用数值或以对比方式表示此等测量值的其他质量测量和其他技术。在有利实施例中，数值分析包括产生鉴定每个重叠边缘的聚焦精度的至少一个总计数值。此方法包含对沿边缘重叠的第一数字图像和第二数字图像的相对聚焦精度进行分级。此过程可执行于连续成对的重叠图像片段。在不需要任何参考图像或校准标准的情况下，可按聚焦精度或其他质量标准对图像片段进行分级。在结合广泛的自动聚焦控制顺序的操作获取了一个或多个图像片段时(例如，最初或定期用大量的Z轴焦距进行了校准步骤)，可考虑此方面，例如，为直接通过此改进的自动聚焦控制步骤的操作得到的图像片段分配假定的高质量评价。在某种意义上，本技术用广泛自动聚焦的图像片段的形式利用了校准参考。本发明的技术不需要排除所有图像参考。

[0131] 数值分析或算法为每个重叠边缘产生鉴定质量，优选地鉴定聚焦精度的至少一个总计数值。由于重叠边缘上图像的内容相同，故算法的结果，尤其是为各边缘产生的值的差，会量化所述相邻且沿其边缘重叠的两个数字图像相对聚焦精度的差异。可以完全或部分地基于一个或多个各自重叠边缘的总计数值的差异在总体上量化图像片段的质量。

[0132] 本发明的方法可应用于各种图像收集过程，其中所收集的相邻图像要组合成由条状、块状或其他形状组成的合成图或马赛克，其中所述过程会产生可选地可用于对准和/或拼接相邻图像的重叠边缘。特别是对于数字病理学成像，本方法包含将病理学或组织学标本安放到定义了X-Y平面的载玻片上，以及将载玻片布置于带有数字扫描或静态快照照相机的显微镜的载物台上，以便在Z轴焦距上记录标本在X-Y位置的放大的图像。显微镜具有定位X-Y平面中视野的控件以及沿Z轴的相对焦距控件。Z轴控件可以是自动聚焦系统的一部分。

[0133] 照相机可用于获取并至少临时存储待捕获的每个图像片段在不同焦距上的连续像素数据图像，其中应用聚焦精度算法来确定并选择或可能预测优选焦距，然后收集此图像片段的像素数据图像。可选地，载玻片的初始安装过程可用于为捕获的第一个图像片段选择焦距。自动聚焦的关注可用于提供一些保证，即高质量地(如精确聚焦)捕获某些图像片段。然而，对重叠边缘的质量相关算法的结果进行对比，一般在不需要用于校准或类似目的的参考图像的情况下操作。

[0134] 在获取了第一图像片段后，沿X方向和Y方向中的至少一个方向使视野移动足以包括标本上与前一次收集的图像片段相邻的图像片段的距离，包括与一个或多个先前收集的图像片段重叠的边缘区域。获取下一张像素数据图像，并通过继续移动载玻片收集具有重叠边缘区域的像素数据图像，包括载玻片的全部或预定部分的图像作为阵列的相邻图像片段进行记录。预定部分可以是标本或标本上已被确认为观察的特定区域所占据的部分。

[0135] 通过应用与图像质量相关的数值图像分析算法对重叠边缘区域的像素数据进行分析。由于出现了重叠，重叠边缘或其他形状上的至少两个像素数据集表示至少两个像素数据图像中的相同内容。这为主体的所述相同区域和相同图像内容(但质量上有差异)产生了至少两个特征，用第一数字图像和第二数字图像表示。可使用上文所述的一种或多种算法，或者也可使用能产生数值质量评价的另一算法。在有利实例中，算法可以是对局部对比度值求和，如Brenner梯度计算。Brenner梯度算法计算像素值i(x，y)和在水平或垂直距离上有两个像素位置的相邻像素的对应像素值之间的第一差值的所有像素的和。即：

[0136]2

[0137] 其中((i(x+2，y)-i(x，y)) ≥θ(即在差异超过阈值时)。像素值“i”可以是像素的基于亮度或色彩的变量值，如R、G和B振幅的和或平均值。相同的算法还可在局部像素之间间距不同(如更大)的情况下应用。

[0138] 阵列中相邻重叠图像片段的质量差异，用图像片段的重叠边缘的数值质量特征之间的正或负差进行带正负号和量化。作为无参考群体，图像片段可基于其相邻像素的差异范围进行相对于彼此的分级。可以对每个图像片段的多个边缘进行综合分级，或者也可一起考虑与多个图像片段对应的边上的边缘，从而对与方向相关的差异进行区分。例如，可同时考虑一些或所有片段的上下左右侧其中之一来辨别对比质量中与方向有关的变化。考虑差值的正负号和/或绝对值时需考虑到方向。可以同时考虑两个对边的正负号和差值，从而定义与垂直或水平方向有关的变量。此外，也可以将一对邻边与其相对的一对边一起考虑，从而辨别关于对角线方向的信息。

[0139] 所公开的技术解决了与采集合成显微图像相关的问题，其中一些图像片段的质量比其他的好，且一些图像片段数量不足。优选地，上述方法的步骤可在采集图像片段的过程期间完成。每个下一个重叠片段的质量相对于其相邻片段进行评价，并在存储器中保存评价信息。在第一次采集完所有需要的图像片段后，系统可以处理质量信息并在载玻片保持安放以便成像时重新采集图像质量最差的图像。

[0140] 本技术回避了对可以包括各种组织类型和结构的主体进行图像质量评价的挑战，其中所述各种组织类型和结构固有地产生不同的对比度评价或与图像质量相关的类似客观测量值。使用本文公开的比较策略能消除仅因图像内容的差异造成的客观评价测量值的变化。

[0141] 上述公开内容定义了本发明的一般方面和示例性的特定方面。然而，本发明不限于作为实例公开的实施例。应参考随附的权利要求书而不是上文对优选实施例的描述来对要求专有权的本发明的范围进行评价。