一种局部相关的超像素融合方法

摘要

本发明提供一种减少迭代运算量、加快融合速度的局部相关的超像素融合方法，属于图像处理中的图像分割领域。本发明以像素为基本的融合单位，增强像素之间的局部相关性，通过像素间的交互进而实现超像素的融合。在像素的融合过程中，将超像素的划分作为先验指导信息，确保超像素内的像素具有相同的类别属性，在增加邻近像素之间相关性的同时，保持物体区域之间的边缘判别能力。通过超像素的融合，对每个融合区域获得语义特征空间，根据相关性进行相应融合；在对单像素的分类过程中，将其转换到不同的语义空间中，按照视觉侧重点的不同计算像素到聚类中心的距离，提高像素类别归属的可靠性。最后根据原始分辨率下的超像素的标记，实现超像素的融合。

权利要求

1.一种局部相关的超像素融合方法，所述方法包括如下步骤：步骤一：对原始图像进行减采样，对减采样后的图像进行平滑处理，采用k-均值算法获取初始的聚类中心；

步骤二：计算减采样后的非平滑图像中每个像素到所有聚类中心的距离值；

步骤三：将像素xi的局部相关性融入到步骤二获得的距离值中：xi表示第i个像素的视觉特征向量，μk表示第k个聚类中心的视觉特征向量，Wi为以像素xi为中心的固定大小的邻域矩形窗口，xj是xi邻域窗口内的像素，Nw为邻域窗口内像素个数；

步骤四：对融入局部相关性的距离值dists(xi，μk),再利用超像素的划分保持物体边缘的判别能力，获得距离：Si为第i个超像素，xi为Si内像素， 为超像素Si内的像素个数；

步骤五：根据每个像素对聚类中心的距离 确定像素新的聚类类别,获取新的聚类类别均值；

步骤六：判断相邻两次聚类类别均值的差值是否小于设定的迭代阈值，若是，转入步骤七，若否，计算每个像素到当前聚类中心的距离，转入步骤三；

步骤七：根据原始分辨率下的超像素的标记，实现超像素的融合；

其特征在于，所述步骤六中，判断相邻两次聚类类别均值的差值是否小于设定的迭代阈值，若是，转入步骤七，若否，执行以下步骤：步骤1：对每个聚类类别对应的区域生成一个语义特征空间；

步骤2：获得语义特征空间的相关性，判断相关性是否大于等于设定的特征空间融合阈值，若是，则将对应的两个聚类类别合并，转入步骤3，若否，则直接转入步骤3；

步骤3：在不同的语义特征空间内计算每个像素到当前聚类中心的距离，转入步骤三。

2.根据权利要求1所述的一种局部相关的超像素融合方法，其特征在于，所述步骤2中，获得语义特征空间的相关性：其中 和 分别表示第s个语义特征空间和第t个语义特征空间的第n维坐标，l＝min(ps,pt)，ps和pt分别为第s个语义特征空间和第t个语义特征空间的维数，s＝1,2…,K，t＝

1,2…,K，s≠t，K表示融合后图像区域的个数。

3.根据权利要求2所述的一种局部相关的超像素融合方法，其特征在于，所述步骤3中，在不同的语义特征空间内计算每个像素到当前聚类中心的距离为：其中，xi表示第i个像素的视觉特征向量，μk表示第k个聚类中心的视觉特征向量；

为第k个语义特征空间对应的坐标系， 表示第k个语义特征空间的第n维坐标对应的特征值，其中，上标k＝1,2…,K，下标n＝1,…,pk，pk表示第k个语义特征空间的维数； 为加在第n维坐标上的权值。

说明书

一种局部相关的超像素融合方法

技术领域

[0001] 本发明涉及一种超像素融合方法，特别涉及一种局部相关的超像素融合方法，本发明属于图像处理中的图像分割领域。

背景技术

[0002] 图像分割是图像分析的首要和关键步骤，分割的结果直接影响到对后续图像内容的分析。如果缺少相应的背景知识，仅从视觉内容本身入手实现图像分割，仍然是图像处理领域中的一个难题。鉴于精确的图像分割难以实现，实际应用中只能采取弱分割方法，再由后续步骤对弱分割结果进行综合，以期望获取合理的分割结果。而超像素就是目前最常采用的一种图像弱分割结果，已经成为当前图像分割的热点，目前已有很多较为成熟的超像素分割方法。

[0003] 一个超像素即为一小片在空间上连续的分割区域，这样图像中一个完整的物体，以超像素方式被分解为一组若干个细碎的分割区域。因此该方法实际为一种过分割策略，优点是能够较好地保持图像中不同物体区域的边缘，有效避免或降低欠分割现象的发生，缺点是还需要一种有效的后续步骤，将超像素进行融合以达到图像物体级别的语义分割。对于纹理区域而言，由于纹理元素间视觉差异较大，可能会导致同一纹理区域被划分为视觉差异较大的超像素，这样会给后续的融合带来较大的难题。超像素融合不仅要考虑超像素之间的视觉相似性，还要考虑超像素彼此之间的位置相关性，特别是对纹理区域的融合，空间位置上的相关性就显得尤为重要，而马尔科夫模型是表达这种局部相关性的一种较为理想的工具，所以尽管目前已经有不少超像素融合方法，但基本上都局限于马尔科夫随机场或与之相关的条件随机场模型，而超像素形状上的不规则以及马尔科夫模型参数之间的耦合性，导致了该类方法的计算复杂度较高。

发明内容

[0004] 本发明提供一种减少迭代运算量、加快融合速度的局部相关的超像素融合方法。

[0005] 本发明的一种局部相关的超像素融合方法，所述方法包括如下步骤：

[0006] 步骤一：对原始图像进行减采样，对减采样后的图像进行平滑处理，采用k-均值算法获取初始的聚类中心；

[0007] 步骤二：计算减采样后的非平滑图像中每个像素到所有聚类中心的距离值；

[0008] 步骤三：将像素的局部相关性融入到步骤二获得的距离值中；

[0009] 步骤四：对融入局部相关性的距离值,再利用超像素的划分保持物体边缘的判别能力；

[0010] 步骤五：根据每个像素对聚类中心的距离确定像素新的聚类类别,获取新的聚类类别均值；

[0011] 步骤六：判断相邻两次聚类类别均值的差值是否小于设定的迭代阈值，若是，转入步骤七，若否，计算每个像素到当前聚类中心的距离，转入步骤三；

[0012] 步骤七：根据原始分辨率下的超像素的标记，实现超像素的融合。

[0013] 优选的是，所述步骤六中，判断相邻两次聚类类别均值的差值是否小于设定的迭代阈值，若是，转入步骤七，若否，执行以下步骤：

[0014] 步骤1：对每个聚类类别对应的区域生成一个语义特征空间；

[0015] 步骤2：获得语义特征空间的相关性，判断相关性是否大于等于设定的特征空间融合阈值，若是，则将对应的两个聚类类别合并，转入步骤3，若否，则直接转入步骤3；

[0016] 步骤3：在不同的语义特征空间内计算每个像素到当前聚类中心的距离，转入步骤三；

[0017] 优选的是，所述步骤2中，获得语义特征空间的相关性：

[0018]

[0019] 其中 和 分别表示第s个语义特征空间和第t个语义特征空间的第n维坐标，l＝min(ps,pt)，ps和pt分别为第s个语义特征空间和第t个语义特征空间的维数，s＝1,2…,K，t＝1,2…,K，s≠t，K表示融合后图像区域的个数。

[0020] 优选的是，所述步骤3中，在不同的语义特征空间内计算每个像素到当前聚类中心的距离为：

[0021]

[0022] 其中，xi表示第i个像素的视觉特征向量，μk表示第k个聚类中心的视觉特征向量；为第k个语义特征空间对应的坐标系， 表示第k个语义特征空间的第n维坐标对应的特征值，其中，上标k＝1,2…,K，下标n＝1,…,pk pk表示第k个语义特征空间的维数；
为加在第n维坐标上的权值。

[0023] 优选的是，所述步骤三为：

[0024] 将一幅图像的所有像素到某个聚类中心距离视为一幅图像，该图像中每个像素值即为原图像像素到所述聚类中心的距离值，对这幅图像进行均值滤波，即：获得加入局部相关性的距离值。

[0025] 优选的是，所述步骤四为：

[0026] 对位于每个超像素内的任意像素，用相应超像素内的距离平均值替代所述像素到某个聚类中心的距离值。

[0027] 上述技术特征可以各种适合的方式组合或由等效的技术特征来替代，只要能够达到本发明的目的。

[0028] 本发明的有益效果在于，超像素的融合不仅要考虑超像素之间的视觉相似性，还要考虑它们之间的位置相关性，尽管马尔科夫模型能够对超像素间的局部相关性进行有效编码，但由于形状的不规则以及参数之间的耦合性，导致马尔科夫模型缺乏快速有效的计算方法。本发明对k-均值聚类进行改进，以像素为基本的融合单位，采用滤波方法增强像素之间的局部相关性，通过像素间的交互进而实现超像素的融合。在像素的融合过程中，将超像素的划分作为先验指导信息，确保超像素内的像素具有相同的类别属性，在增加邻近像素之间相关性的同时，保持物体区域之间的边缘判别能力。通过超像素的融合，融合后的图像区域的语义会逐步凸显，对每个融合区域，采用KL-变换形成自己的语义特征空间，语义特征空间中按照视觉差异，对坐标系进行加权处理，就会形成融合区域的视觉侧重点。在对单像素的分类过程中，将其转换到不同的语义空间中，按照视觉侧重点的不同计算像素到聚类中心的距离，提高像素类别归属的可靠性。为了提高运算效率，对图像进行减采样，在低分辨率下获取超像素的类别属性，减少迭代运算量、加快融合速度。

附图说明

[0029] 图1为本发明具体实施方式的流程示意图。

具体实施方式

[0030] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0031] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

[0032] 下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

[0033] 结合图1说明本实施方式，本实施方式所述的一种局部相关的超像素融合方法，所述方法包括如下：

[0034] 步骤一：设置迭代次数初值t＝0；设置初始融合后图像区域的个数K，由于在融合过程中可能会有区域合并现象发生，所以K一般选择比实际期望区域个数大一些。为了减少迭代运算量，对原始图像进行减采样处理，为了获取较为合理的聚类初始值，对减采样后的图像进行平滑处理，采用k-均值算法获取聚类中心初始值

[0035] 同时设置迭代阈值ηiter、特征空间融合阈值ηmerge；

[0036] 步骤二：计算减采样后的非平滑图像中每个像素到所有聚类中心的距离值；

[0037] 对减采样后非平滑图像，在视觉空间内，计算每个像素xi到每个聚类中心μk的欧式距离 其中xi＝[xi1xi2…xim]T为第i个像素的视觉特征向量，m为视觉特征的维数；μk＝[μk1μk2…μkm]T为视觉特征空间中的第k个聚类中心。

[0038] 其中 表示第t次迭代的聚类中心，即第k个聚类中像素视觉特征的平均值；i＝1,2…,N，N为减采样后图像像素的个数。为了提高运算效率，这里采用欧式距离的平方，取消了进一步的开方运算。

[0039] 步骤三：将像素的局部相关性融入到距离值中：

[0040] 由邻近像素的局部相关性可知，邻近像素很有可能属于同一分割区域，而k-均值聚类是按照距离值对像素分类，所以邻近像素的距离值应具有一定的相似性，将这一先验知识融入到像素到聚类中心的距离值中，具体做法如下：将某像素到某个聚类中心距离视为一幅图像，该图像中每个像素值即为原图像像素到所述聚类中心的距离值，对这幅图像进行均值滤波，即：获得加入局部相关性的距离值：

[0041]

[0042] 其中Wi为以像素xi为中心的固定大小的邻域矩形窗口，xj是xi邻域窗口内的像素，Nw为窗口内像素个数。

[0043] 均值滤波后的距离能够增强邻近像素之间的相关性，保证不同超像素块间的像素能够彼此交互，从而达到超像素块融合的目的。由于像素位置排列规则，滤波又有成熟的快速算法，这样就能以较低代价在聚类融合过程中添加空间位置相关性。

[0044] 步骤四：在融入局部相关性的距离值中，保持物体边缘的判别能力：

[0045] 步骤三的均值滤波能够促进邻近超像素的融合，但同时也会导致所分割的实际物体边缘的模糊化，甚至会导致边缘区域形成一个独立的分割区域，给区域融合增加新的障碍。而超像素可以较好地定位图像的边缘，因此这一信息在聚类过程中就显得十分重要，需要将其合理地融入到聚类过程中。由于超像素内的所有像素具有相同的类别属性，而每个像素一定位于一个特定的超像素内，因此在步骤三的基础上，对位于每个超像素内的任意像素，用相应超像素内的距离平均值替代所述像素到某个聚类中心的距离值，即：

[0046]

[0047] 其中Si为第i个超像素，xi为Si内像素， 为超像素Si内的像素个数。

[0048] 这样可以在聚类过程中有效地维持物体边缘，同时也进一步起到距离的平滑作用。这一过程相当于用超像素模板对平滑后的距离图像进行切边处理，达到对平滑后的距离图像进行保边处理目的，保证了超像素聚类融合过程中边缘定位的准确性。

[0049] 步骤五：根据每个像素对聚类中心的距离确定像素新的聚类类别,获取新的聚类类别均值:

[0050] 按照每个像素对聚类中心点的距离 将像素标记为不同类别，即：

[0051]

[0052] 将迭代次数t累加，即t＝t+1，计算第t次迭代每个聚类类别的像素视觉特征平均值：

[0053]

[0054] 其中，vk代表第k个聚类的集合，Nk表示第k个聚类的集合中的像素个数。

[0055] 步骤六：判断相邻两次聚类类别均值的差值是否小于设定的迭代阈值ηiter，即[0056]

[0057] 若满足等式(5)则退出迭代，转步骤十，否则继续迭代，转步骤七。

[0058] 步骤七：对每个聚类类别对应的区域生成一个语义特征空间：

[0059] 对于视觉相似的像素而言，将其放置在不同的物体区域环境下，由于侧重点的不同，其呈现出的语义可能会明显不同。为此在聚类过程中，对每个融合的分割区域，采用KL-变换，按照视觉上的分布生成自己的语义特征空间。由于不同分割区域间的视觉分布的不同，语义特征空间的坐标系方向也会不同。这样在每个语义特征空间中，按照视觉差异对坐标系进行加权处理，就会形成自己的视觉侧重点。在对单像素的分类过程中，将其转换到不同的语义特征空间中，按照视觉侧重点的不同，在不同语义环境下进行比较，而不仅仅依赖自身的视觉特性对像素进行分类，从而提高像素类别归属的可靠性。为此对于每个类别，首先采用KL-变换分别生成自己的语义特征子空间，具体过程如下：

[0060] 步骤七一：求取每个聚类类别的相关矩阵：

[0061]

[0062] Nk为vk内图像像素的个数。

[0063] 步骤七二：根据每个聚类类别的相关矩阵，建立特征方程，并求解特征值：

[0064] 建立特征方程为：|λkI-Ck|＝0   (7)

[0065] 求出特征值，并使其按大小顺序排列 其中pk为第k个语义特征空间维数，可根据实际情况对其进行降维处理，即pk≤m；m为原始视觉特征空间维数，特征向量

[0066] 步骤七三：分别求出对应于特征值 的单位特征向量要求 其中||.||代表2-范数。则 为所生成的语义特征空间中的一组新的正交
基。

[0067] 步骤八：获得语义特征空间的相关性，判断相关性是否大于等于设定的特征空间融合阈值，若是，则将对应的两个聚类类别合并，若否，则转入步骤九：

[0068] 每个语义特征空间对应一个融合后的完整分割区域，如果两个语义空间具有较强的相关性，说明它们代表的是同一分割区域的语义，应该将其合并，这样可以根据图像内容，自适应地选择分割后的物体区域的数目。定义两个特征空间的相关度为：

[0069]

[0070] 其中 和 分别表示第s个语义特征空间和第t个语义特征空间的第n维坐标，l＝min(ps,pt)，s＝1,2…,K，t＝1,2…,K，s≠t。若Jmerge(s,t)≥ηmerge，则删除s,t中数值较大的聚类均值，令L为类别标记，则对于max(s,t)≤L≤K，有L＝L-1，最后设置K＝K-1。

[0071] 步骤九：在不同的语义特征空间内计算像素到聚类中心的距离：

[0072] 对减采样非平滑图像，将每个像素投影到不同语义特征空间中，在该语义特征空间内计算每个像素到该聚类中心的距离。由于融合后物体区域内像素会存在视差，特别对于纹理区域，这种视觉差异会更加明显。而在视觉特征空间中，新坐标系 是按照视觉差异 重新排布，为了形成自己的视觉侧重点，避免这种视觉差异性对距离计算的影响，在新坐标系 下，对每个坐标维进行加权处理，权重为 这样在新的语义特征空间内，每个像素到该聚类中心的距离为：

[0073]

[0074] 转步骤三。

[0075] 步骤十：根据原始分辨率下的超像素的标记，实现超像素的融合。

[0076] 虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。