本发明公开一种基于多人眼感知分组特性的图构造方法，包括以下步骤：将待处理图像过分割成多个超像素，并将超像素定义为图的顶点；基于人眼感知分组特性中的空间邻近特性，将在图像空间中相邻的超像素相连，作为图的一部分边；基于人眼感知分组特性中的颜色相似特性，将图像中颜色特征相似的超像素相连，作为图的另一部分边；基于人眼感知分组特性的纹理相似特性，将图像中纹理特征相似的超像素相连，作为图的又一部分边；基于PRSVM算法，学习空间邻近度、颜色相似性和纹理相似性对图中边权的作用大小；将图的边权定义为相连的两个超像素之间空间邻近度、颜色相似性和纹理相似性的加权和。本发明充分考虑人眼的多种感知分组特性，有效描述图像中各区域之间的关系，有助于对图像中的目标进行检测。
1.一种基于多人眼感知分组特性的图构造方法，其特征在于：依次包括以下步骤：
S1：基于现有的Simple Linear Iterative Clustering算法，将待处理图像过分割成多个超像素，并将超像素定义为所构造图的顶点；
S2：基于人眼感知分组特性中的空间邻近特性，将在图像空间中相邻的超像素相连，作为图的一部分边；空间邻近特性表示在空间上相近的区域将被感知分组到同一个物体之内；
S3：基于人眼感知分组特性中的颜色相似特性，将图像中颜色特征相似的超像素相连，作为图的另一部分边；颜色相似特性是指具有相似颜色特征的区域将被感知分组为同一物体；
S4：基于人眼感知分组特性的纹理相似特性，将图像中纹理特征相似的超像素相连，作为图的又一部分边；纹理相似特性是指具有相似纹理特征的区域将被感知分组为同一物体；
S5：基于Primal-based Ranking Support Vector Machine算法，学习顶点间的空间邻近度、颜色相似度和纹理相似度对相连顶点间边权的作用大小；根据空间邻近度、颜色相似度和纹理相似度对边权的作用大小，将顶点间的不同感知分组特性进行加权求和，获得图的边权。
2.根据权利要求1所述的基于多人眼感知分组特性的图构造方法，其特征在于：所述步骤S1中，将待处理的图像过分割成300个同质的超像素，用R表示这些超像素集合，将这些超像素定义为所构造图的顶点；其中，各超像素的空间特征、颜色特征和纹理特征分别定义为对应超像素中各像素点在图像坐标位置、CIELAB颜色空间和LBP纹理空间中的平均值，每一个图像都将其各超像素的空间特征、颜色特征和纹理特征归一化到[0,1]之间。
3.根据权利要求1所述的基于多人眼感知分组特性的图构造方法，其特征在于：所述步骤S2中，将图像空间中相邻的超像素定义为在图像中存在共享轮廓线的超像素；用大小为
300*300的邻接矩阵A记录两两超像素在图像中是否具有共享轮廓线，用Ri和Rj分别代表两个超像素，i和j是对应超像素下标，1≤i，j≤300：如果Aij＝1，那么两个超像素Ri和Rj在图像中具有共享轮廓线，即边(Ri,Rj)∈E；否则，这两个超像素在图像中不具有共享轮廓线，E代表所构造图中边的集合。
4.根据权利要求1所述的基于多人眼感知分组特性的图构造方法，其特征在于：所述步骤S3中，将颜色距离Dcolor小于0.15的超像素定义为颜色特征相似的超像素，即：如果两个超像素Ri和Rj的颜色距离Dcolor(Ri,Rj)小于0.15，那么这两个超像素进行相连获得图的一条边，即边(Ri,Rj)∈E，E代表所构造图中边的集合；其中，两个超像素之间的颜色距离Dcolor是指这两个超像素颜色特征的欧几里得距离，i和j是对应超像素下标，1≤i，j≤300。
5.根据权利要求1所述的基于多人眼感知分组特性的图构造方法，其特征在于：所述步骤S4中，将纹理距离Dtexture小于0.15的超像素定义为纹理特征相似的超像素，即：如果两个超像素Ri和Rj的纹理距离Dtexture(Ri,Rj)小于0.15，那么将这两个超像素进行相连获得图的一条边，即边(Ri,Rj)∈E；其中，两个超像素之间的纹理距离Dtexture是指这两个超像素纹理特征的欧几里得距离，i和j是对应超像素下标，1≤i，j≤300。
6.根据权利要求1所述的基于多人眼感知分组特性的图构造方法，其特征在于：在所述步骤S5中：两个超像素Ri和Rj之间的空间相近度Sspace(Ri,Rj)、颜色相似度Scolor(Ri,Rj)和纹理相似度Stexture(Ri,Rj)根据高斯核函数进行计算，如下式所示：2
在上式中，尺度参数σ是控制距离对相似度影响的一个常数，设置为0.1，Dspace、Dcolor和Dtexture分别表示两个超像素之间的空间距离、颜色距离和纹理距离，分别定义为两个超像素空间位置特征、颜色特征和纹理特征的欧几里得距离，i和j是对应超像素下标，1≤i，j≤
7.根据权利要求6所述的基于多人眼感知分组特性的图构造方法，其特征在于：所述步骤S5中，将边的权重定义为两个超像素之间空间邻近度、颜色相似度和纹理相似度的加权和，如下式所示：W(Ri,Rj)＝α1Sspace(Ri,Rj)+α2Scolor(Ri,Rj)+α2Stexture(Ri,Rj)α＝[α1；α2；α3]是相似度对边权的作用大小向量，其中α1、α2和α3分别表示空间邻近度、颜色相似度和纹理相似度对边权的作用大小，i和j是对应超像素下标，1≤i，j≤300。
8.根据权利要求7所述的基于多人眼感知分组特性的图构造方法，其特征在于：基于PRSVM算法，为学习得到最终的边权，获得适用于显著目标检测问题的图像感知分组结果，在显著目标检测数据库上进行训练，而训练所需的正负样本选取方式如下所述：将属于同一类别的超像素对作为正样本，记为V+，正样本的特征X(V+)由对应超像素对的空间邻近度、颜色相似度和纹理相似度组成：X(V+)＝[Sspace(V+)；Scolor(V+)；Stexture(V+)]；
此处属于同一类别是指同属于一个显著目标或图像背景；
将不属于同一类别的超像素对作为负样本，记为V-，负样本的特征X(V-)由对应超像素对的空间邻近度、颜色相似度和纹理相似度组成：X(V-)＝[Sspace(V-)；Scolor(V-)；Stexture(V-)]；此处不同属于同一类别是指一个属于显著目标而另一个属于图像背景；
通过解决如下的优化问题计算空间邻近度、颜色相似度和纹理相似度对边权的重要性；
在上式中，P中包含了所有的正负样本对，C>0是一个惩罚系数，表示对误差的宽容度。
一种基于多人眼感知分组特性的图构造方法
技术领域
[0001] 本发明属于图像处理技术，具体涉及一种基于多人眼感知分组特性的图构造方法。
背景技术
[0002] 对于计算机视觉和图像处理而言，图能够直观描述图像中各区域之间的关系，是一种有效的信息表示方法。此外，图作为一个数学分支，有着深厚的数学理论背景和概括力强的优点。现有很多研究工作基于图对计算机视觉和图像进行处理，包括半监督的分类和降维方法，以及无监督的谱聚类算法等。
[0003] 尽管图是基于图的算法的核心，但是对于图构造的问题确相对较少地受到研究和关注。大部分工作基于k近邻的方法对图进行构造。这些图构造方法的性能非常依赖于所选取的k值。此外，这些图构造方法认为每种特征(比如说颜色、位置和纹理特征)的作用是相同的，按这种特征作用相同的方式来计算边权使得在复杂图像中的检测效果不佳。
[0004] 另外，一部分用于图像处理的方法通过连接空间相邻的图像区域来对图进行构造，这种图构造方法仅仅考虑了人眼感知分组特性中的空间邻近特性，在处理复杂图像时性能有待提高。
发明内容
[0005] 发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于多人眼感知分组特性的图构造方法。
[0006] 技术方案：本发明的一种基于多人眼感知分组特性的图构造方法，依次包括以下步骤：
[0007] S1：基于现有的Simple Linear Iterative Clustering(SLIC)算法，将待处理图像过分割成多个超像素，并将超像素定义为所构造图的顶点；
[0008] S2：基于人眼感知分组特性中的空间邻近特性，将在图像空间中相邻的超像素相连，作为图的一部分边；空间邻近特性表示在空间上相近的区域很有可能被感知分组到同一个物体之内；
[0009] S3：基于人眼感知分组特性中的颜色相似特性，将图像中颜色特征相似的超像素相连，作为图的另一部分边；颜色相似特性是指具有相似颜色特征的区域更有可能被感知分组为同一物体；
[0010] S4：基于人眼感知分组特性的纹理相似特性，将图像中纹理特征相似的超像素相连，作为图的又一部分边；纹理相似特性是指具有相似纹理特征的区域更有可能被感知分组为同一物体；
[0011] S5：基于PRSVM算法，学习顶点间的空间邻近度、颜色相似度和纹理相似度对相连顶点间边权的作用大小；根据空间邻近度、颜色相似度和纹理相似度对边权的作用大小，将顶点间的不同感知分组特性进行加权求和，获得图的边权。
[0012] 进一步的，所述步骤S1中，将待处理的图像过分割成300个同质的超像素，用R表示这些超像素集合，将这些超像素定义为所构造图的顶点；其中，各超像素的空间特征、颜色特征和纹理特征分别定义为对应超像素中各像素点在图像坐标位置、CIELAB颜色空间和LBP纹理空间中的平均值，每一个图像都将其各超像素的空间特征、颜色特征和纹理特征归一化到[0,1]之间。
[0013] 进一步的，所述步骤S2中，将图像空间中相邻的超像素定义为在图像中存在共享轮廓线的超像素；用大小为300*300的邻接矩阵A记录两两超像素在图像中是否具有共享轮廓线，用Ri和Rj(i和j是对应超像素下标，1≤i,j≤300)代表两个超像素：如果Aij＝1，那么两个超像素Ri和Rj在图像中具有共享轮廓线即边(Ri,Rj)∈E；否则，这两个超像素在图像中不具有共享轮廓线，E代表所构造图中边的集合。
[0014] 进一步的，所述步骤S3中，将颜色距离Dcolor小于0.15的超像素定义为颜色特征相似的超像素，即：如果两个超像素Ri和Rj的颜色距离Dcolor(Ri,Rj)小于0.15，那么这两个超像素进行相连获得图的一条边，即边(Ri,Rj)∈E，E代表所构造图中边的集合；其中，两个超像素之间的颜色距离Dcolor是指这两个超像素颜色特征的欧几里得距离。
[0015] 进一步的，所述步骤S4中，将纹理距离Dtexture小于0.15的超像素定义为纹理特征相似的超像素，即：如果两个超像素Ri和Rj的纹理距离Dtexture(Ri,Rj)小于0.15，那么将这两个超像素进行相连获得图的一条边，即边(Ri,Rj)∈E；其中，两个超像素之间的纹理距离Dtexture是指这两个超像素纹理特征的欧几里得距离。
[0016] 进一步的，在所述步骤S5中：两个超像素Ri和Rj之间的空间相近度Sspace(Ri,Rj)、颜色相似度Scolor(Ri,Rj)和纹理相似度Stexture(Ri,Rj)根据高斯核函数进行计算，如下式所示：
[0017]
[0018]
[0019]
[0020] 在上式中，尺度参数σ2是控制距离对相似度影响的一个常数，设置为0.1，Dspace、Dcolor和Dtexture分别表示两个超像素之间的空间距离、颜色距离和纹理距离，分别定义为两个超像素空间位置特征、颜色特征和纹理特征的欧几里得距离。
[0021] 进一步的，所述步骤S5中，将边的权重定义为两个超像素之间空间邻近度、颜色相似度和纹理相似度的加权和，如下式所示：
[0022] W(Ri,Rj)＝α1Sspace(Ri,Rj)+α2Scolor(Ri,Rj)+α2Stexture(Ri,Rj)
[0023] α＝[α1；α2；α3]是相似度对边权的作用大小向量，其中α1、α2和α3分别表示空间邻近度、颜色相似度和纹理相似度对边权的作用大小。
[0024] 进一步的，基于PRSVM算法，学习顶点间的空间邻近度、颜色相似度和纹理相似度对相连顶点间边权的作用大小。目标是学习得到一个边权函数，使得对于任一超像素Rk，如果超像素Ri比超像素Rj更有可能与Rk感知分组到一起，那么Ri和Rk之间边的权重应该大于Rj和Rk之间边的权重。为了学习得到最终的边权，获得适用于显著目标检测问题的图像感知分组结果，在显著目标检测数据库上进行训练，而训练所需的正负样本选取方式如下所述。
[0025] 将属于同一类别(显著目标或图像背景)的超像素对作为正样本，记为V+，正样本的特征X(V+)由对应超像素对的空间邻近度、颜色相似度和纹理相似度组成：X(V+)＝[Sspace(V+)；Scolor(V+)；Stexture(V+)]；将不属于同一类别(一个属于显著目标而另一个属于图像背景)的超像素对作为负样本，记为V-，负样本的特征X(V-)由对应超像素对的空间邻近度、颜色相似度和纹理相似度组成：X(V-)＝[Sspace(V-)；Scolor(V-)；Stexture(V-)]。
[0026] 通过解决如下的优化问题计算空间邻近度、颜色相似度和纹理相似度对边权的重要性；
[0027]
[0028] 在上式中，P中包含了所有的正负样本对，C>0是一个惩罚系数，表示对误差的宽容度。有益效果：本发明从人眼有效的感知分组认知特性出发，结合多种感知分组认知特性选取图的边，并且基于PRSVM算法解决多种感知分组认知特性的整合问题得到图的边权；充分考虑人眼有效的先验认知特性，有助于提高基于图的算法的性能；而且本发明将该图构造方法应用于图像中的显著目标检测算法研究中，能够提高显著目标检测的检测准确率(Precision)和召回率(Recall)。
附图说明
[0029] 图1为实施例的整体流程示意图；
[0030] 图2为本发明应用于显著目标检测问题时，与九种显著目标检测方法的视觉比较图。
具体实施方式
[0031] 下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
[0032] 如图1所示，本实施例的基于多人眼感知分组特性的图构造方法，依次包括以下步骤：
[0033] S1：基于现有的Simple Linear Iterative Clustering(SLIC)算法，将待处理图像过分割成多个超像素，并将超像素定义为所构造图的顶点。
[0034] 在本实施例中，将待处理的图像过分割成300个同质的超像素(用R表示这些超像素集合)，将这些超像素定义为所构造图的顶点。各超像素的空间特征、颜色特征和纹理特征分别定义为对应超像素中各像素点在图像坐标位置、CIELAB颜色空间和LBP纹理空间中的平均值。每一个图像都将其各超像素的空间特征、颜色特征和纹理特征归一化到[0,1]之间。
[0035] S2：基于人眼感知分组特性中的空间邻近特性，将在图像空间中相邻的超像素相连，作为图的一部分边。空间邻近特性表示在空间上相近的区域很有可能被感知分组到同一个物体之内。
[0036] 在本实施例中，用大小为300*300的邻接矩阵A记录两两超像素在图像中是否具有共享轮廓线，用Ri和Rj(i和j是超像素下标，1≤i,j≤300)代表两个超像素：如果Aij＝1，那么两个超像素Ri和Rj在图像中具有共享轮廓线；否则，这两个超像素在图像中不具有共享轮廓线。用E代表所构造图中边的集合。将图像空间中相邻的超像素定义为在图像中存在共享轮廓线的超像素。如果两个超像素Ri和Rj在图像中具有共享轮廓线(即Aij＝1)，那么这两个超像素进行相连获得图的一条边(即边(Ri,Rj)∈E)。
[0037] S3：基于人眼感知分组特性中的颜色相似特性，将图像中颜色特征相似的超像素相连，作为图的一部分边；颜色相似特性是指具有相似颜色特征的区域更有可能被感知分组为同一物体；
[0038] 在本实施例中，将颜色距离Dcolor小于0.15的超像素定义为颜色特征相似的超像素。也就是说，如果两个超像素Ri和Rj的颜色距离Dcolor(Ri,Rj)小于0.15，那么这两个超像素进行相连获得图的一条边(即边(Ri,Rj)∈E)。其中，两个超像素之间的颜色距离Dcolor定义为这两个超像素颜色特征的欧几里得距离。
[0039] S4：基于人眼感知分组特性的纹理相似特性，将图像中纹理特征相似的超像素相连，作为图的一部分边；纹理相似特性是指具有相似纹理特征的区域更有可能被感知分组为同一物体；
[0040] 在本实施例中，将纹理距离Dtexture小于0.15的超像素定义为纹理特征相似的超像素。也就是说，如果两个超像素Ri和Rj的纹理距离Dtexture(Ri,Rj)小于0.15，那么将这两个超像素进行相连获得图的一条边(即边(Ri,Rj)∈E)。其中，两个超像素之间的纹理距离Dtexture定义为这两个超像素纹理特征的欧几里得距离。
[0041] S5：将边的权重定义为两个超像素之间空间邻近度、颜色相似度和纹理相似度的加权和，如下式所示。
[0042] W(Ri,Rj)＝α1Sspace(Ri,Rj)+α2Scolor(Ri,Rj)+α2Stexture(Ri,Rj)
[0043] α＝[α1；α2；α3]是相似度对边权的作用大小向量。其中α1、α2和α3分别表示空间邻近度、颜色相似度和纹理相似度对边权的作用大小。两个超像素Ri和Rj之间的空间相近度Sspace(Ri,Rj)、颜色相似度Scolor(Ri,Rj)和纹理相似度Stexture(Ri,Rj)根据高斯核函数进行计算，如下式所示：
[0044]
[0045]
[0046]
[0047] 在上式中，尺度参数σ2是控制距离对相似度影响的一个常数。在本发明中设置为0.1。Dspace、Dcolor和Dtexture分别表示两个超像素之间的空间距离、颜色距离和纹理距离，分别定义为两个超像素空间位置特征、颜色特征和纹理特征的欧几里得距离。
[0048] 基于PRSVM算法，学习顶点间的空间邻近度、颜色相似度和纹理相似度对相连顶点间边权的作用大小。目标是学习得到一个边权函数，使得对于任一超像素Rk，如果超像素Ri比超像素Rj更有可能与Rk感知分组到一起，那么Ri和Rk之间边的权重应该大于Rj和Rk之间边的权重。为了学习得到最终的边权，获得适用于显著目标检测问题的图像感知分组结果，在显著目标检测数据库上进行训练，而训练所需的正负样本选取方式如下所述。将属于同一类别(显著目标或图像背景)的超像素对作为正样本，记为V+。正样本的特征X(V+)由对应超像素对的空间邻近度、颜色相似度和纹理相似度组成：X(V+)＝[Sspace(V+)；Scolor(V+)；Stexture(V+)]。将不属于同一类别(一个属于显著目标而另一个属于图像背景)的超像素对作为负样本，记为V-。负样本的特征X(V-)由对应超像素对的空间邻近度、颜色相似度和纹理相似度组成：X(V-)＝[Sspace(V-)；Scolor(V-)；Stexture(V-)]。本发明通过解决如下的优化问题计算空间邻近度、颜色相似度和纹理相似度对边权的重要性。
[0049]
[0050] 在上式中，P中包含了所有的正负样本对。C>0是一个惩罚系数，表示对误差的宽容度。
[0051] 为验证本发明提供的图构造方法的有效性，下面使用该方法构造图并应用于显著目标检测问题：基于所构造的图，使用下述函数对图像中的显著目标进行检测：
[0052] F*＝(D-αW)-1Q
[0053] 上式中，矩阵W记录了根据本发明方法所得的边权。D是一个对角矩阵，记录所构造图中各顶点的度：第i个顶点的度D(i,i)等于邻接矩阵W中第i行的所有元素之和。α是[0,1)之间的参数，表明了在计算某超像素的显著值时，与该超像素相连的其他超像素的显著值和该超像素的初始值之间的相对贡献。在实验中，将α设置为0.99。
[0054] Q是初始状态向量，表明所构造图中哪些顶点为查询顶点。实验中，首先分别使用位于图像四条边上的超像素作为背景查询顶点得到四个相应的临时结果，将这四个临时结果相乘得到初始显著图，然后使用这个初始显著图的平均值作为阈值将该图进行分割得到前景和背景，最后使用前景区域作为前景查询顶点计算得到最终的显著图。
[0055] 此处，使用平均准确率mAP在MSRA10K和ECSSD数据库上进行了实验，并将基于所构造图的显著目标检测方法和9种当前最好的显著目标检测方法进行了对比。这9种方法分别是：MST方法、GP方法、CL方法、BD方法、GR方法、HM方法、CB方法、RC方法、FT方法。本发明的方法则简称为Ours。
[0056] MSRA10K数据库包含了10000幅测试图像，每张图像对应有人工的像素级的显著性标注。各种方法产生的显著图在MSRA10K数据库上的平均准确率mAP评测结果如下表所示。在比较的9种方法种，GP、CL、BD、GR和HM方法都是基于图的显著目标检测方法。从表中可见，本发明提供的图构造方法使得显著目标检测的性能优于其他基于图的方法。
[0057] 表1.多种显著目标检测方法在MSRA10K数据库上的性能比较
[0058]方法名称 Ours MST GP CL BD
mAP 0.9236 0.8725 0.9122 0.8743 0.9053
方法名称 GR HM CB RC FT
mAP 0.8963 0.8757 0.8610 0.8174 0.5976
[0059] ECSSD数据库包含了1000张前景和背景均比较复杂的图像，每张图像对应有人工的像素级的显著性标注。各种方法产生的显著图在ECSSD数据库上的平均准确率mAP评测结果如下表所示。从表中可见，各种方法在该数据库上的性能都低于在MSRA10K数据库上的性能，说明复杂的自然场景图像更难检测出显著目标。本发明优于其他显著目标检测方法，说明本发明提供的图构造方法有利于在复杂自然场景图像中检测出显著目标。
[0060] 表2 多种显著目标检测方法在ECSSD数据库上的性能比较
[0061]方法名称 Ours MST GP CL BD
mAP 0.8015 0.7475 0.7863 0.7568 0.7659
方法名称 GR HM CB RC FT
mAP 0.7865 0.7635 0.7514 0.6842 0.4526
[0062] 为进一步说明本发明的有效性，本发明与其他九种不同显著目标检测方法的检测结果进行了视觉比较，如图2所示，第a列是输入的原图，第b列是人工标注的真值图，第c列是本发明的检测结果，其他各列是其余不同方法的检测结果。比较的第一幅图中包含了复杂的前景，其他方法只检测出了显著前景目标的一部分，而本发明能够更统一地高亮出显著前景目标。比较的第二幅图中包含了复杂的背景，其他方法容易错误地高亮背景区域，而本发明能够更好地抑制图像背景区域。可见，本发明有助于在复杂自然场景图像中检测出显著目标，使得检测结果与人工标注的真值图更加一致。
