本发明公开了一种快速流形排序和低秩约束的协同显著性检测方法。首先，通过两阶段的快速流形排序算法为每张图片生成多张协同显著图；然后，基于协同显著图从每张图片分割出一组不同尺度的显著性区域，并通过显著图构建的特征矩阵得到自适应权重，与协同显著图相乘得到融合后的结果；最后，再利用图割法对检测结果作进一步优化。本发明能够有效增强协同显著性物体，并抑制背景和非协同显著区域。
1.一种快速流形排序和低秩约束的协同显著性检测方法，其特征在于，包括以下步骤：步骤1、基于快速流形排序算法得到第一阶段协同显著图：步骤1.1、对于给定的一组输入图像 M为该组输入图像的数目，用LAB空间颜色来表示每一个像素点，构建数据点集χ＝{x1,x2,...,xn}，其中xk代表用LAB空间颜色表示的某一像素，n代表该组输入图像所有像素数目；
步骤1.2、利用聚类算法选择d个聚类中心作为锚点{u1,u2,...,ud}，每一个数据点xk与距它最近的s个锚点相连，s＜d，计算所有数据点与各自最近的s个锚点之间的关联权重zkp，并组成一个关联矩阵Z∈Rd×n；
步骤1.3、使用单张显著性检测算法得到的显著图 作为原始标签信息,并计算计算每一张显著图SMi的均值thi，当像素大于均值thi，则yi被赋值“1”，否则yi被赋值“0”，得到初始列向量y＝[y1；y2；...；yM]；
步骤1.4、采用快速流形排序算法，得到每张输入图像二值化的协同显著图 即第一阶段协同显著图；
步骤2、基于快速流形排序得到第二阶段协同显著性图：步骤2.1、在得到的第一阶段协同显著图 的基础上为每张图像选取不同的标签信息，每一次选取的标签为一张协同显著图 的值；
步骤2.2、将第一阶段协同显著图 重构为列向量y1，此步骤共有M次循环，在第i次循环中，保留y1中第i张图像的标签信息，而其余协同显著图的标签信息置0；
步骤2.3、对于每一张输入图像Ii，得到M张协同显著图 即第二阶段协同显著性图；
步骤3.1、利用超像素分割法对输入图像Ii划分超像素，一张输入图像Ii表示成一组超像素集合 其中ni表示图像Ii中超像素的数目；
步骤3.2、对每张协同显著图 通过阈值化得到二值图Bij；
步骤3.3、根据二值图Bij得到协同显著图 所对应的分割区域fij＝Ii·Bij；
步骤4.1、步骤3分割出的显著性区域fij之间具有相似属性，为了表示这种相似属性，利用三维颜色直方图来表示分割出的每一个显著性区域，将每一个颜色通道分为q个区间，总计Q＝q3个颜色区间，统计每一个显著性区域在每一个颜色区间的像素个数，用以表示该显著性区域的颜色直方图，记为hij∈RQ×1，将所有分割出的显著性区域表示为特征矩阵步骤4.2、特征矩阵H具有低秩性质，将特征矩阵表示为H＝L+S，L代表低秩部分，S代表稀疏部分；
步骤4.3、求解稀疏矩阵S，基于稀疏矩阵S计算每一张协同显著图 的差异值ζij：ζij＝-||Sij||2
其中，Sij为矩阵S第i行第j列元素，||·||2代表矩阵的l2范数；
步骤5、基于差异值计算自适应权重并得到融合图：步骤5.1、定义每一张协同显著图 的自适应权重σij：步骤5.2、将自适应权重σij与协同显著图 进行融合，得到融合图：步骤6、优化平滑融合图，得到最终的协同显著性检测结果。
2.根据权利要求1所述快速流形排序和低秩约束的协同显著性检测方法，其特征在于，在步骤1.2中，聚类算法采用k-means算法。
3.根据权利要求1所述快速流形排序和低秩约束的协同显著性检测方法，其特征在于，在步骤1.2中，关联权重zkp的计算公式如下：其中，up∈{u1,u2,...,ud}，λk＝|xk-us|，us为所有锚点中距离xk第s近的锚点，
4.根据权利要求1所述快速流形排序和低秩约束的协同显著性检测方法，其特征在于，在步骤1.4中，快速流形排序算法的函数r*如下：其中， W＝ZTZ，D为对角矩阵，其对角元素 Wkv为矩阵W第k行v列的元素， 为权值系数。
5.根据权利要求4所述快速流形排序和低秩约束的协同显著性检测方法，其特征在于，权值系数
6.根据权利要求1所述快速流形排序和低秩约束的协同显著性检测方法，其特征在于，在步骤3.1中，采用超像素分割法采用SLIC法。
7.根据权利要求1所述快速流形排序和低秩约束的协同显著性检测方法，其特征在于，在步骤3.2中，通过如下公式获得二值图Bij：其中，x∈SPi，avg用来计算超像素x所包含的所有像素点在显著图 上的显著值的平均值，Tij为阈值， 为控制这个阈值的系数。
8.根据权利要求7所述快速流形排序和低秩约束的协同显著性检测方法，其特征在于，
9.根据权利要求1所述快速流形排序和低秩约束的协同显著性检测方法，其特征在于，在步骤4.3中，采用RPCA算法求解S：min(||L||*+λ||S||1)
其中，||·||*代表矩阵的核范数，||·||1代表矩阵的l1范数，λ为用来控制矩阵S的稀疏程度的参数。
10.根据权利要求1所述快速流形排序和低秩约束的协同显著性检测方法，其特征在于，步骤6的具体过程如下：步骤6.1、采用图割的方法对融合图进行平滑；
步骤6.2、利用Max-Flow方法得到第i张输入图像基于前景概率的每个像素点的前景图Mi；
步骤6.3、计算最终的协同显著性检测结果CSfinal：
一种快速流形排序和低秩约束的协同显著性检测方法
技术领域
[0001] 本发明属于计算机视觉图像检测领域，特别涉及了一种快速流形排序和低秩约束的协同显著性检测方法。
背景技术
[0002] 协同显著性检测是计算机视觉领域的一个热门研究方向。其作为视觉显著性检测领域的一个分支，旨在凸显一组多张图片中相同的显著性目标，并被广泛应用于物体协同分割、视频的前景提取、图像检索、多摄像头监控等计算机视觉任务之中。
[0003] 现有的协同显著性检测算法主要分为三类：自底向上的方法、基于融合的方法和基于学习的方法。自底向上的方法通过人工提取一些图片特征得到一组图片的二值化结果。Li等人通过挖掘单张图片的内部显著性和多张图片之间的显著性关联得到一组成对图片的协同显著性区域。随后，他们在先前工作的基础上，使用多尺度的分割方法探索前景区域的物体属性，以产生单张图像的内部显著图，同时，提取更多有效的局部描述符来计算图片之间的协同显著图。以上两种方法都是通过加权组合图像内部和图像之间的显著图以得到最终的协同显著图。Fu等人提出基于聚类的协同显著性检测方法，通过融合对比，空间和相关性这三个线索得到最终的协同显著性图。Cao等人提出了一种通用的显著性融合框架，通过探索多张显著图之间的关系来获得一个自适应权重，以通过加权融合产生协同显著图。最近，基于学习的协同显著性检测方法正在逐渐兴起，Li等人提出两阶段的检测框架，通过显著图确定标签信息，然后利用快速流形排序学习得到二值化协同显著性图。然而，该方法第一阶段通过显著图选取的标签信息并不纯净，导致其第二阶段经过快速流形排序(EMR)学习得到的二值图并不准确，最终导致前景像素和背景像素的误检。
发明内容
[0004] 为了解决上述背景技术提出的技术问题，本发明旨在提供一种快速流形排序和低秩约束的协同显著性检测方法，增强协同显著性物体，并抑制背景和非协同显著区域。
[0005] 为了实现上述技术目的，本发明的技术方案为：
[0006] 一种快速流形排序和低秩约束的协同显著性检测方法，包括以下步骤：
[0007] 步骤1、基于快速流形排序算法得到第一阶段协同显著图：
[0008] 步骤1.1、对于给定的一组输入图像 M为该组输入图像的数目，用LAB空间颜色来表示每一个像素点，构建数据点集χ＝{x1,x2,...,xn}，其中xk代表用LAB空间颜色表示的某一像素，n代表该组输入图像所有像素数目；
[0009] 步骤1.2、利用聚类算法选择d个聚类中心作为锚点{u1,u2,...,ud}，每一个数据点xk与距它最近的s个锚点相连，s＜d，计算所有数据点与各自最近的s个锚点之间的关联权重zkp，并组成一个关联矩阵Z∈Rd×n；
[0010] 步骤1.3、使用单张显著性检测算法得到的显著图 作为原始标签信息,并计算计算每一张显著图SMi的均值thi，当像素大于均值thi，则yi被赋值“1”，否则yi被赋值“0”，得到初始列向量y＝[y1；y2；...；yM]；
[0011] 步骤1.4、采用快速流形排序算法，得到每张输入图像二值化的协同显著图即第一阶段协同显著图；
[0012] 步骤2、基于快速流形排序得到第二阶段协同显著性图：
[0013] 步骤2.1、在得到的第一阶段协同显著图 的基础上为每张图像选取不同的标签信息，每一次选取的标签为一张协同显著图 的值；
[0014] 步骤2.2、将第一阶段协同显著图 重构为列向量y1，此步骤共有M次循环，在第i次循环中，保留y1中第i张图像的标签信息，而其余协同显著图的标签信息置0；
[0015] 步骤2.3、对于每一张输入图像Ii，得到M张协同显著图 即第二阶段协同显著性图；
[0016] 步骤3、协同显著性分割：
[0017] 步骤3.1、利用超像素分割法对输入图像Ii划分超像素，一张输入图像Ii表示成一组超像素集合 其中ni表示图像Ii中超像素的数目；
[0018] 步骤3.2、对每张协同显著图 通过阈值化得到二值图Bij；
[0019] 步骤3.3、根据二值图Bij得到协同显著图 所对应的分割区域fij＝Ii·Bij；
[0020] 步骤4、低秩约束：
[0021] 步骤4.1、步骤3分割出的显著性区域fij之间具有相似属性，为了表示这种相似属性，利用三维颜色直方图来表示分割出的每一个显著性区域，将每一个颜色通道分为q个区间，总计Q＝q3个颜色区间，统计每一个显著性区域在每一个颜色区间的像素个数，用以表Q×1示该显著性区域的颜色直方图，记为hij∈R ，将所有分割出的显著性区域表示为特征矩阵
[0022] 步骤4.2、特征矩阵H具有低秩性质，将特征矩阵表示为H＝L+S，L代表低秩部分，S代表稀疏部分；
[0023] 步骤4.3、求解稀疏矩阵S，基于稀疏矩阵S计算每一张协同显著图 的差异值ζij：
[0024] ζij＝-||Sij||2
[0025] 其中，Sij为矩阵S第i行第j列元素，||·||2代表矩阵的l2范数；
[0026] 步骤5、基于差异值计算自适应权重并得到融合图：
[0027] 步骤5.1、定义每一张协同显著图 的自适应权重σij：
[0028]
[0029] 步骤5.2、将自适应权重σij与协同显著图 进行融合，得到融合图：
[0030]
[0031] 步骤6、优化平滑融合图，得到最终的协同显著性检测结果。
[0032] 进一步地，在步骤1.2中，聚类算法采用k-means算法。
[0033] 进一步地，在步骤1.2中，关联权重zkp的计算公式如下：
[0034]
[0035] 其中，up∈{u1,u2,...,ud}，λk＝|xk-us|，us为所有锚点中距离xk第s近的锚点，[0036] 进一步地，在步骤1.4中，快速流形排序算法的函数r*如下：
[0037]
[0038] 其中， W＝ZTZ，D为对角矩阵，其对角元素 Wkv为矩阵W第k行v列的元素， 为权值系数。
[0039] 进一步地，权值系数
[0040] 进一步地，在步骤3.1中，采用超像素分割法采用SLIC法。
[0041] 进一步地，在步骤3.2中，通过如下公式获得二值图Bij：
[0042]
[0043]
[0044] 其中，x∈SPi，avg用来计算超像素x所包含的所有像素点在显著图 上的显著值的平均值，Tij为阈值， 为控制这个阈值的系数。
[0045] 进一步地，
[0046] 进一步地，在步骤4.3中，采用RPCA算法求解S：
[0047] min(||L||*+λ||S||1)
[0048] s.t.H＝L+S
[0049] 其中，||·||*代表矩阵的核范数，||·||1代表矩阵的l1范数，λ为用来控制矩阵S的稀疏程度的参数；
[0050] 进一步地，步骤6的具体过程如下：
[0051] 步骤6.1、采用图割的方法对融合图进行平滑；
[0052] 步骤6.2、利用Max-Flow方法得到第i张输入图像基于前景概率的每个像素点的前景图Mi；
[0053] 步骤6.3、计算最终的协同显著性检测结果CSfinal：
[0054]
[0055] 采用上述技术方案带来的有益效果：
[0056] 本发明通过快速流形排序产生的基于不同标签信息的协同显著图，并利用低秩分解得到的自适应权重加权融合，得到融合后的结果，最后再用图割法平滑优化，得到的协同显著图能有效增强协同显著区域，抑制非协同部分。
附图说明
[0057] 图1是本发明的方法流程图；
[0058] 图2是本发明与其余不同算法检测结果的对比图；
[0059] 图3是本发明与其余算法在AP、AUC、F-measure指标上的对比图。
具体实施方式
[0060] 以下将结合附图，对本发明的技术方案进行详细说明。
[0061] 本实施例在最常用的iCoseg数据集进行实验。iCoseg包含38组图片，每组含多张图片，每张图片包含一个或多个外形相似或相同的物体，共634张图像。每张图像都有基于像素级别的真值图用于对协同显著性图的评测。
[0062] 如图1所示，本发明提出的一种快速流形排序和低秩约束的协同显著性检测方法，具体步骤如下。
[0063] 步骤1、基于快速流形排序算法得到第一阶段协同显著图：
[0064] 步骤1.1、对于给定的一组输入图像 M为该组输入图像的数目，用LAB空间颜色来表示每一个像素点，构建数据点集χ＝{x1,x2,...,xn}，其中xk代表用LAB空间颜色表示的某一像素，n代表该组输入图像所有像素数目；
[0065] 步骤1.2、利用k-menas聚类算法选择d个聚类中心作为锚点{u1,u2,...,ud}，每一个数据点xk与距它最近的s个锚点相连，s＜d，计算所有数据点与各自最近的s个锚点之间的关联权重zkp，并组成一个关联矩阵Z∈Rd×n：
[0066]
[0067] 其中，up∈{u1,u2,...,ud}，λk＝|xk-us|，us为所有锚点中距离xk第s近的锚点，[0068] 步骤1.3、使用单张显著性检测算法得到的显著图 作为原始标签信息,并计算计算每一张显著图SMi的均值thi，当像素大于均值thi，则yi被赋值“1”，否则yi被赋值“0”，得到初始列向量y＝[y1；y2；...；yM]；
[0069] 步骤1.4、采用快速流形排序算法，得到每张输入图像二值化的协同显著图即第一阶段协同显著图，快速流形排序算法的函数r*如下：
[0070]
[0071] 其中， W＝ZTZ，D为对角矩阵，其对角元素 Wkv为矩阵W第k行v列的元素， 为权值系数，在本实施例中
[0072] 步骤2、基于快速流形排序得到第二阶段协同显著性图：
[0073] 步骤2.1、在得到的第一阶段协同显著图 的基础上为每张图像选取不同的标签信息，每一次选取的标签为一张协同显著图 的值；
[0074] 步骤2.2、将第一阶段协同显著图 重构为列向量y1，此步骤共有M次循环，在第i次循环中，保留y1中第i张图像的标签信息，而其余协同显著图的标签信息置0；
[0075] 步骤2.3、对于每一张输入图像Ii，得到M张协同显著图 即第二阶段协同显著性图。
[0076] 步骤3、协同显著性分割：
[0077] 步骤3.1、利用SLIC超像素分割法对输入图像Ii划分超像素，一张输入图像Ii表示成一组超像素集合 其中ni表示图像Ii中超像素的数目；
[0078] 步骤3.2、对每张协同显著图 通过阈值化得到二值图Bij：
[0079]
[0080]
[0081] 其中，x∈SPi，avg用来计算超像素x所包含的所有像素点在显著图 上的显著值的平均值，Tij为阈值， 为控制这个阈值的系数，在本实施例中
[0082] 步骤3.3、根据二值图Bij得到协同显著图 所对应的分割区域fij＝Ii·Bij。
[0083] 步骤4、低秩约束：
[0084] 步骤4.1、步骤3分割出的显著性区域fij之间具有相似属性，为了表示这种相似属性，利用三维颜色直方图来表示分割出的每一个显著性区域，将每一个颜色通道分为q个区间，总计Q＝q3个颜色区间，统计每一个显著性区域在每一个颜色区间的像素个数，用以表示该显著性区域的颜色直方图，记为hij∈RQ×1，将所有分割出的显著性区域表示为特征矩阵
[0085] 步骤4.2、特征矩阵H具有低秩性质，将特征矩阵表示为H＝L+S，L代表低秩部分，S代表稀疏部分；
[0086] 步骤4.3、采用RPCA算法求解稀疏矩阵S：
[0087] min(||L||*+λ||S||1)
[0088] s.t.H＝L+S
[0089] 其中，||·||*代表矩阵的核范数，||·||1代表矩阵的l1范数，λ为用来控制矩阵S的稀疏程度的参数；
[0090] 基于S计算每一张协同显著图 的差异值：
[0091] ζij＝-||Sij||2
[0092] 其中，Sij为矩阵S第i行第j列元素，||·||2代表矩阵的l2范数。
[0093] 步骤5、基于差异值计算自适应权重并得到融合图：
[0094] 步骤5.1、分割出的显著性物体越接近最终的协同显著性区域，差异值就越小，反之，差异值越大，引入指数函数更好的突出差异性，定义每一张协同显著图 的自适应权重σij：
[0095]
[0096] 步骤5.2、将自适应权重σij与协同显著图 进行融合，得到融合图：
[0097]
[0098] 步骤6、优化平滑融合图，得到最终的协同显著性检测结果：
[0099] 步骤6.1、采用图割的方法对融合图进行平滑；
[0100] 步骤6.2、利用Max-Flow方法得到第i张输入图像基于前景概率的每个像素点的前景图Mi；
[0101] 步骤6.3、由于可能出现的对前景像素和背景像素的误检，为了增加结果的鲁棒性，综合考虑融合图CSi与前景图Mi得到最终的协同显著性检测结果
[0102] 图2是本发明与其余不同优秀算法检测结果的对比图，图3是本发明方法与其余优秀算法在AP(average precision)、AUC(area under curve)、F-measure指标上的对比图，可以看出本发明的各项指标均超过其余方法，说明本发明的有效性。在图中，Ours表示本发明，其余CBCS-S、CBCS、BSCA、CSHS、ESMG、RBD、RFPR均为本领域已知算法。
[0103] 实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。
