一种基于背景和前景信息的彩色图像显著性检测方法

摘要

本发明公开了一种基于背景和前景信息的彩色图像显著性检测方法，包括以下步骤：对输入的彩色图像进行过分割处理得到一系列超像素块；选取背景种子，通过各超像素块与背景种子之间特征对比获得粗糙显著度；基于背景种子的特征分布定义各超像素块的背景权重，通过背景权重改善粗糙显著度获得基于背景信息的显著度；对上一步形成的基于背景信息的显著图进行分割，在所有分割结果中选取一个紧密的前景区域，提取前景区域特征，通过特征对比获得基于前景信息的显著度；整合前两步获得的基于背景和前景信息的显著度，并进行平滑操作得到所有超像素块优化后的显著度。本发明能够更加一致地突出图像中的前景目标，并且对图像中背景噪声有很好的抑制效果。

权利要求

1.一种基于背景和前景信息的彩色图像显著性检测方法，其特征是，包括以下步骤：步骤一，图像预处理：对输入的彩色图像进行过分割处理得到一系列超像素块，将超像素块作为最小处理单元；

步骤二，基于背景信息的显著性检测：选取背景种子，通过各超像素块与背景种子之间特征对比获得粗糙显著度；基于背景种子的特征分布定义各超像素块的背景权重，通过背景权重改善粗糙显著度获得基于背景信息的显著度；

步骤三，基于前景信息的显著性检测：对上一步形成的基于背景信息的显著图进行分割，在所有分割结果中选取一个紧密的前景区域，提取前景区域特征，通过特征对比获得基于前景信息的显著度；

步骤四，显著度的整合：整合前两步获得的基于背景和前景信息的显著度获得整合显著度，并对整合显著度进行平滑操作得到所有超像素块优化后的显著度；

在所述步骤二中，获得基于背景信息的显著度的具体过程为：

11)选取图像边框处的超像素块作为背景种子，通过图像中各超像素块与背景种子进行特征对比获得各超像素块的粗糙显著度；

12)对所选取的背景种子进行K均值聚类，根据每个聚类的空间分布确定各聚类属于背景的概率，第k个聚类中背景种子的背景权重定义如下：Pk＝1-exp(-α(Ls+Lo)),k＝1,2,…,K

其中，Ls为包含所有第k个聚类的最短超像素链的长度，Lo为该超像素链中属于其他聚类的超像素块的数量，参数α范围为0.01～0.08，K为选取的聚类中心数；

13)对于图像中其他超像素块，首先，计算超像素块与所有背景种子的测地距离，得到与该超像素块测地距离最小的背景种子：其中，BG为背景种子的集合，dgeo(si,sj)为两个超像素块的测地距离；由上一步12)可知该背景种子的背景概率，记该背景种子的背景概率为 此超像素块与此背景种子的测地距离为 则此超像素块的背景权重为：然后依次计算出各超像素块的背景权重；

14)定义超像素块的基于背景信息的显著度为：

其中， 为超像素块si的基于背景信息的显著度， 为步骤11)中计算得到的超像素块si的粗糙显著度。

2.根据权利要求1所述的一种基于背景和前景信息的彩色图像显著性检测方法，其特征是，在所述步骤一中，过分割处理采用SLIC超像素分割方法。

3.根据权利要求1所述的一种基于背景和前景信息的彩色图像显著性检测方法，其特征是，参数α为0.05。

4.根据权利要求1所述的一种基于背景和前景信息的彩色图像显著性检测方法，其特征是，在所述步骤三中，获得基于前景信息的显著度具体过程为：

21)利用parametric maxflow方法对上一步骤中获得的基于背景的显著图进行分割，得到一系列紧密的前景区域，maxflow方法分割结果为：其中，N为图像中超像素个数，Ai为超像素块si的面积，xi∈{1,0}表示超像素块si是否属于前景区域，eij为相邻超像素块之间的相似度，xf为得到的前景区域分割结果；

22)在所有分割结果中，依据以下公式选取值最优的分割结果作为前景区域：其中，xf为分割得到的多个分割结果，N为超像素块的个数， 为超像素块si的基于背景的显著度，V(xf)为分割结果xf的空间坐标方差；

23)提取选择的前景区域特征，通过特征对比确定图像中各超像素块的基于前景的显著度：其中，FG为获取的前景超像素块的集合，dc(si,sj)和dl(si,sj)分别为超像素块之间的颜色距离和空间距离。

5.根据权利要求4所述的一种基于背景和前景信息的彩色图像显著性检测方法，其特征是，在所述步骤四中，具体过程为：

31)将获得的基于背景和前景的显著度进行整合，整合公式如下：其中， 为超像素块si的整合显著度， 表示超像素块si的基于背景的显著度， 表示超像素块si的基于前景的显著度，参数β值范围为2.5～8；

32)进一步优化整合的显著度，优化函数如下：

其中，wc(si,sj)表示相邻的两个超像素块的颜色相似性，Si和Sj表示待优化的相邻两个超像素块的显著度， 和 分别为超像素块si的背景权重和前景标记， 为超像素块si的整合显著度，N为图像中超像素的个数；此优化函数是全局优化函数，对优化函数进行优化解得所有超像素块的优化显著度。

6.根据权利要求5所述的一种基于背景和前景信息的彩色图像显著性检测方法，其特征是，参数β值为4。

说明书

一种基于背景和前景信息的彩色图像显著性检测方法

技术领域

[0001] 本发明属于图像场景的显著性检测技术领域，具体涉及一种基于背景和前景信息的彩色图像显著性检测方法。

背景技术

[0002] 视觉显著性是视觉认知和场景理解的重要研究内容，涉及认知心理学、认知神经科学、计算机视觉等多个学科。由于场景中的前景目标与其背景存在特征上的差异，人眼视觉系统往往能够快速定位场景中的前景区域并且优先处理该区域的信息。为了模拟人眼的这种高效率信息处理方法，显著性检测近年来得到了相关领域学者们的广泛关注。

[0003] 显著性检测的研究最早可追溯到Treisman等人提出的特征整合理论(Anne Treisman and Garry Gelade(1980)."A feature-integration theory of attention."Cognitive Psychology,Vol.12,No.1,pp.97–136)。在此基础之上，Itti及Koch等人提出了最早的显著性检测计算模型(L.Itti,C.Koch,E.Niebur,“Amodel of saliency-based visual attention  for rapid scene  analysis”,IEEE  Trans.Pattern Anal.Mach.Intell 20(11)(1998)1254–1259)，即著名的IT模型。早期的显著性检测算法注重预测注视焦点，不能够一致地突出前景目标区域，并且形成的显著图中包含有大量的背景噪声，这些问题极大地限制了显著性检测算法的应用。

[0004] 随着计算机视觉的不断发展，特别是近十几年里，学者们提出了大量的显著性检测算法，其主要思想仍然是通过特征对比的方式突出前景目标。基于局部特征对比的显著性检测算法采用中央-外周的对比策略，即通过中央区域与其周边邻域的特征对比，突出目标物体。该方法往往突出了前景目标的边缘区域而不能一致地突出整个前景目标。基于全局特征对比的显著性检测算法往往会选取合适的背景信息，例如，图像边框区域的特征，并通过对比突出前景目标。该方法只考虑了所选取背景区域的特征，直接将其视为背景特征用于特征对比，而忽视了背景区域特征的空间分布，因此，所提取的背景特征中可能包含部分前景信息，对后续的显著性检测会造成负面影响。因此，基于特征对比的方法能够检测出简单场景下的显著目标，但是对于前景或背景有多种特征并存的复杂场景，其检测效果仍然不理想。

[0005] 近年来，学者们逐渐意识到认知神经科学以及认知心理学等认知科学对显著性检测的启发式作用。例如，Wei等人(Geodesic saliency using background priors)发现人眼在观察图像时往往将图像的边框部分默认为背景成分，由此引入背景先验，并通过特征的对比形成全局的显著性检测。该方法仅使用了背景成分的特征突出前景区域，却没有考虑其特征的空间分布。为有效地抑制显著图中的背景噪声，大连理工大学的卢湖川团队(J.Wang,H.Lu,X.Li,N.Tong,W.Liu,Saliency detection via background and foreground seed selection,Neurocomputing 152(2015)359–368.)在显著性检测过程中引入前景信息，其先后将图像中角点形成的凸壳和对背景显著图进行自适应分割产生的区域视为前景区域。但是，角点形成的凸壳没有考虑目标物体的轮廓信息，而自适应分割没有考虑目标物体的紧密特性，因此，使用上述方法引入的前景信息本身会包含大量的背景噪声，使得后续的噪声抑制效果不佳。

发明内容

[0006] 本发明的目的在于克服现有技术中的不足，提供了一种基于背景和前景信息的彩色图像显著性检测方法，解决了现有技术中无法做到一致地突出前景目标和有效地抑制显著图中的背景噪声的技术问题。

[0007] 为解决上述技术问题，本发明提供了一种基于背景和前景信息的彩色图像显著性检测方法，其特征是，包括以下步骤：

[0008] 步骤一，图像预处理：对输入的彩色图像进行过分割处理得到一系列超像素块，将超像素块作为最小处理单元；

[0009] 步骤二，基于背景信息的显著性检测：选取背景种子，通过各超像素块与背景种子之间特征对比获得粗糙显著度；基于背景种子的特征分布定义各超像素块的背景权重，通过背景权重改善粗糙显著度获得基于背景信息的显著度；

[0010] 步骤三，基于前景信息的显著性检测：对上一步形成的基于背景信息的显著图进行分割，在所有分割结果中选取一个紧密的前景区域，提取前景区域特征，通过特征对比获得基于前景信息的显著度；

[0011] 步骤四，显著度的整合：整合前两步获得的基于背景和前景信息的显著度获得整合显著度，并对整合显著度进行平滑操作得到所有超像素块优化后的显著度。

[0012] 进一步的，在所述步骤一中，过分割处理采用SLIC超像素分割方法。

[0013] 进一步的，在所述步骤二中，获得基于背景信息的显著度的具体过程为：

[0014] 11)选取图像边框处的超像素块作为背景种子，通过图像中各超像素块与背景种子进行特征对比获得各超像素块的粗糙显著度；

[0015] 12)对所选取的背景种子进行K均值聚类，根据每个聚类的空间分布确定各聚类属于背景的概率，第k个聚类中背景种子的背景权重定义如下：

[0016] Pk＝1-exp(-α(Ls+Lo)) (k＝1,2,…,K)

[0017] 其中，Ls为包含所有第k个聚类的最短超像素链的长度，Lo为该超像素链中属于其他聚类的超像素块的数量，参数α范围为0.01～0.08，K为选取的聚类中心数；

[0018] 13)对于图像中其他超像素块，首先，计算超像素块与所有背景种子的测地距离，得到与该超像素块测地距离最小的背景种子：

[0019]

[0020] 其中，BG为背景种子的集合，dgeo(si,sj)为两个超像素块的测地距离；由上一步12)可知该背景种子的背景概率，记该背景种子的背景概率为 此超像素块与此背景种子的测地距离为 则此超像素块的背景权重为：

[0021]

[0022] 然后依次计算出各超像素块的背景权重；

[0023] 14)定义超像素块的基于背景信息的显著度为：

[0024]

[0025] 其中， 为超像素块si的基于背景信息的显著度， 为步骤11)中计算得到的超像素块si的粗糙显著度。

[0026] 进一步的，参数α为0.05。

[0027] 进一步的，在所述步骤三中，获得基于前景信息的显著度具体过程为：

[0028] 21)利用parametric maxflow方法对上一步骤中获得的基于背景的显著图进行分割，得到一系列紧密的前景区域，maxflow方法分割结果为：

[0029]

[0030] 其中，N为图像中超像素个数，Ai为超像素块si的面积，xi∈{1,0}表示超像素块si是否属于前景区域，eij为相邻超像素块之间的相似度，xf为得到的前景区域分割结果；

[0031] 22)在所有分割结果中，依据以下公式选取值最优的分割结果作为前景区域：

[0032]

[0033] 其中，Xf为分割得到的多个分割结果，N为超像素块的个数， 为超像素块si的基于背景的显著度，V(xf)为分割结果xf的空间坐标方差；

[0034] 23)提取选择的前景区域特征，通过特征对比确定图像中各超像素块的基于前景的显著度：

[0035]

[0036] 其中，FG为获取的前景超像素块的集合，dc(si,sj)和dl(si,sj)分别为超像素块之间的颜色距离和空间距离。

[0037] 进一步的，在所述步骤四中，具体过程为：

[0038] 31)将获得的基于背景和前景的显著度进行整合，整合公式如下：

[0039]

[0040] 其中， 为超像素块si的整合显著度， 表示超像素块si的基于背景的显著度，表示超像素块si的基于前景的显著度，参数β值范围为2.5～8，

[0041] 32)进一步优化整合的显著度，优化函数如下：

[0042]

[0043] 其中，wc(si,sj)表示相邻的两个超像素块的颜色相似性，Si和Sj表示待优化的相邻两个超像素块的显著度， 和 分别为超像素块si的背景权重和前景标记， 为超像素块si的整合显著度，N为图像中超像素的个数；此优化函数是全局优化函数，对优化函数进行优化解得所有超像素块的优化显著度。

[0044] 进一步的，参数β值为4。

[0045] 与现有技术相比，本发明所达到的有益效果是：本发明采用基于图像边框区域特征分布的背景权重，改善了基于背景特征对比的显著性检测效果；基于maxflow方法提取前景区域，兼顾了前景目标的边缘信息和目标物体的紧密性，能够准确描述场景中的前景目标；背景和前景信息在显著性检测中的不同作用整合得到的两个显著图，进一步优化整合得到的显著图，优化的显著图在背景和前景区域内部更加趋于平滑。本发明能够更加一致地突出图像中的前景目标，并且对图像中背景噪声有很好的抑制效果。

附图说明

[0046] 图1为本发明实施例的彩色图像显著性检测的流程示意图。

[0047] 图2为本发明实施例的背景权重改善显著性检测的效果图，其中，(a)为输入图像，(b)为显著目标真值，(c)为粗糙显著图，(d)为背景权重，(e)为基于背景的显著图。

[0048] 图3为本发明实施例的背景权重计算流程示意图，其中，(a)为输入图像，(b)为超像素分割结果，(c)为背景种子聚类结果，(d)为所选种子的背景权重，(e)为所有超像素块的背景权重。

[0049] 图4为本发明实施例的前景区域提取及其抑制噪声的效果图，其中，(a)为输入图像，(b)为基于背景的显著图，(c)为提取的前景区域，(d)为基于前景的显著图，(e)为整合的显著图，(f)为优化的显著图。

[0050] 图5为本发明实施例的显著性检测结果与现有技术的检测结果的对比图，其中，(a)为输入图像，(b)为显著目标真值，(c)为本发明申请的检测结果，(d)为IT模型的检测结果，(e)为XIE模型的检测结果，(f)为BFS模型的检测结果。

具体实施方式

[0051] 下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

[0052] 图1为本发明实施例的彩色图像显著性检测的流程示意图。如图1所示，本方法的一种基于背景和前景信息的彩色图像显著性检测方法，其特征是，包括以下步骤：

[0053] 步骤一，图像预处理：对输入的彩色图像进行过分割处理得到一系列超像素块，将超像素块作为最小处理单元。

[0054] 将输入的彩色图像利用SLIC超像素分割方法，将图像过分割为许多的超像素块，将超像素块作为后续操作的最小的处理单元。

[0055] 步骤二，基于背景信息的显著性检测：

[0056] 人眼在观察图像时趋于关注图像的中心位置(通常认为目标出现在图像的中心)，而忽略图像的边框区域(图像的边框为背景)。因此选取图像边框处的超像素块作为背景种子，通过图像中各超像素块与背景种子进行特征对比获得所有超像素块的粗糙显著度，形成粗糙显著图，如图2(c)所示。为了排除前景信息的干扰，进一步考虑所选取背景种子的特征分布，对背景种子进行特征聚类，根据每个聚类的空间分布确定种子属于背景的概率，据此定义各超像素块的背景权重，如图2(d)所示。运用背景权重改善粗糙显著度，获得基于背景信息的显著度，形成基于背景的显著图，如图2(e)所示。

[0057] 获得基于背景信息的显著图的具体过程为：

[0058] 11)选取图像边框处的超像素块作为背景种子，通过图像中各超像素块与背景种子进行特征对比获得各超像素块的粗糙显著度，形成粗糙显著图，此过程参考现有技术；

[0059] 12)对所选取的背景种子进行K均值聚类，如图3(c)所示，根据每个聚类的空间分布确定各聚类属于背景的概率，第k个聚类中背景种子的背景权重定义如下：

[0060] Pk＝1-exp(-α(Ls+Lo)) (k＝1,2,…,K)

[0061] 其中，Ls为包含所有第k个聚类的最短超像素链的长度，Lo为该超像素链中属于其他聚类的超像素块的数量，参数α为常量，可以设置为0.01～0.08，通过实际试验确定α设置为0.05时可获得最佳检测效果，K为选取的聚类中心数；超像素块的背景权重值越大，其属于背景的概率就越大，相反，值越小，则认为其属于前景的可能性就越大。

[0062] 13)对于图像中其他超像素块，根据超像素块与所选取背景种子的连通性计算其背景权重。首先，计算超像素块与所有背景种子的测地距离，得到与该超像素块测地距离最小的背景种子：

[0063]

[0064] 其中，BG为背景种子的集合，dgeo(si,sj)为两个超像素块的测地距离。由上一步12)可知该背景种子的背景概率，记该背景种子的背景概率为 此超像素块与此背景种子的测地距离为 则此超像素块的背景权重为：

[0065]

[0066] 计算效果如图3(e)所示；

[0067] 14)定义超像素块的基于背景信息的显著度为：

[0068]

[0069] 其中， 为超像素块si的基于背景信息的显著度， 为步骤11)中计算得到的超像素块si的粗糙显著度，由各超像素块的基于背景信息的显著度获得基于背景信息的显著图，如图2(e)所示。

[0070] 步骤三，基于前景信息的显著性检测：上一步骤中获得的基于背景的显著图进行分割，在所有分割结果中选取一个紧密的前景区域，提取前景目标特征，通过特征对比获得基于前景信息的显著度，形成基于前景信息的显著图。

[0071] 获得基于前景信息的显著图的具体过程为：

[0072] 21)利用parametric maxflow方法对上一步骤中获得的基于背景的显著度进行分割，得到一系列紧密的前景区域：

[0073]

[0074] 其中，N为图像中超像素个数，Ai为超像素块si的面积，xi∈{1,0}表示超像素块si是否属于前景区域，eij为相邻超像素块之间的相似度，xf为得到的前景区域分割结果。相比于OTSU方法，该方法分割得到的前景区域与显著目标的闭合紧密的特性相一致，能够更好地描述图像中的显著目标，如图4(c)所示；

[0075] 22)根据各分割结果与基于背景的显著图的一致程度以及显著性目标的空间精密性，依据以下公式选取最合适的分割结果作为前景区域：

[0076]

[0077] 其中，Xf为分割得到的多个分割结果，N为超像素块的个数， 为超像素块si的基于背景的显著度，V(xf)为分割结果xf的空间坐标方差。如图4(c)所示，此前景区域提取方法既考虑了前景目标的边缘信息又考虑了目标物体的紧密性，所提取的前景区域能够准确反映前景目标特征；

[0078] 23)提取前景区域特征，通过特征对比确定图像中各超像素块的基于前景的显著度：

[0079]

[0080] 其中，FG为获取的前景超像素块的集合，dc(si,sj)和dl(si,sj)分别为超像素块之间的颜色距离和空间距离。由各超像素块的基于前景的显著度获得基于前景的显著图，如图4(d)所示，由于背景区域与前景区域往往存在颜色和空间上的差异，采用此方法计算得到的基于前景的显著图能够有效地抑制背景噪声。

[0081] 步骤四，显著图的整合及优化：

[0082] 由于背景信息和前景信息在显著性检测中的作用不同，即背景信息用于突出前景目标，而前景信息用于抑制背景噪声，整合前两步获得的基于背景和前景信息的显著图。基于背景和前景的显著度整合公式如下：

[0083]

[0084] 其中， 为第i个超像素块的整合显著度， 表示第i个超像素块的基于背景的显著度， 表示第i个超像素块的基于前景的显著度，参数β值为常量，参数范围可以为2.5～8，通过实际试验确定β设置为4时可获得最佳检测效果；整合得到的显著图既能够突出前景目标又有效地抑制了背景噪声。

[0085] 为了得到视觉上更加平滑的显著图，进一步优化整合的显著度图，优化函数如下：

[0086]

[0087] 其中，wc(si,sj)表示相邻的两个超像素块的颜色相似性，Si和Sj表示待优化的相邻两个超像素块的显著度， 和 分别为超像素块si的背景权重和前景标记， 为超像素块si的整合显著度，N为图像中超像素的个数。此优化函数是全局优化函数，对优化函数进行求解，求解过程参见现有技术，最后直接一次解出所有超像素块的优化显著度，形成最终的基于背景和前景信息的显著图。

[0088] 图5为根据本发明的实施例的显著性检测结果与现有技术的检测结果的对比图。其中，图5(c)为本发明申请的检测结果，图5(d)为IT模型(L.Itti,C.Koch,E.Niebur,A model of saliency-based visual attention for rapid scene analysis,IEEE Trans.Pattern Anal.Mach.Intell 20(11)(1998)1254–1259.)的检测结果，图5(e)为XIE模型(Y.Xie,H.Lu,M.-H.Yang,Bayesian saliency via low and mid level cues,IEEE Trans.Image Processing 22(5)(2013)1689–1698.)的检测结果，图5(f)为BFS模型(J.Wang,H.Lu,X.Li,N.Tong,W.Liu,Saliency detection via background and foreground seed selection,Neurocomputing 152(2015)359–368.)的检测结果。IT模型是一种注视焦点预测模型，其无法一致地突出整个显著目标。XIE模型和BFS模型分别通过角点凸壳和自适应分割产生的区域引入前景信息，其产生的区域中往往包含背景部分，不能准确地反映前景目标特征。

[0089] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。