一种自然场景图像的自动标注方法

摘要

本发明公开了一种自然场景图像的自动标注方法，属于计算机视觉领域。该方法包括如下步骤：提取图像特征；采用无监督算法分割原图像产生超像素图；通过CRF建模像素标注模型并在模型中嵌入显著性先验信息；求解模型实现像素标注。本发明采用CRF作为基本模型，在CRF模型中引入显著性检测先验信息，通过显著性检测实现前景目标与背景的分离并在前景目标区域构建超像素间全连接关联关系。由于引入了显著性检测先验信息，有效提高了图像中前景目标的分类精度，于此同时，前景区域和背景区域的分离有效解决了前景与背景的分类“串扰”问题。因而，本方法可有效地提高像素标注的整体分类精度，针对前景目标轮廓相对复杂、各子区域间颜色纹理差异较大的场景效果显著。

权利要求

1.一种自然场景图像的自动标注方法，其特征在于，包括如下步骤：步骤1，提取图像特征；

步骤2，采用无监督算法分割原图像产生超像素图；

步骤3，通过CRF建模像素标注模型并在模型中嵌入显著性先验信息；

步骤4，求解模型实现像素标注；

其中，所述步骤3中，在模型中嵌入显著性先验信息包括以下步骤：①通过显著性检测算法计算图像像素显著性映射，并基于显著性映射采用阈值法分割出前景区域和背景区域；

②在前景区域以超像素为基本分类单元，并采用前景区域超像素类别分布和超像素内像素平均分布的加权和作为前景区域超像素类别分布；

③构建前景区域超像素间全连接关联关系，通过任意两个超像素间颜色直方图和位置特征的高斯核线性组合建模超像素间相似性，具体形式为：其中i,j为超像素索引，hi,hj为超像素颜色直方图，pi,pj为超像素中心位置在图像中的位置，θ1,θ2为高斯核参数，w1,w2为高斯核线性组合系数，[ci≠cj]为指示函数，其具体形式为：其中ci,cj分别为超像素i,j的类别标记；

④前景区域分别采用步骤②和③建模超像素一阶势能和二阶势能，并结合背景区域单像素一阶势能，二阶平滑项及高阶势能构建CRF分类模型。

2.如权利要求1所述的一种自然场景图像的自动标注方法，其特征在于，步骤①基于显著性映射采用阈值法分割出前景区域和背景区域，具体包括如下步骤：步骤31，设定最小像素显著性阈值η，统计显著性映射图像中显著性映射大于η的显著性像素；

步骤32，设定最小超像素显著性阈值γ，统计所有超像素中显著性像素占该超像素的比例，若该比例值大于阈值γ，则该超像素为显著性超像素，所有显著性超像素组成的区域即为前景区域。

说明书

一种自然场景图像的自动标注方法

技术领域

[0001] 本发明属于计算机视觉领域，特别涉及一种自然场景图像的自动标注方法。

背景技术

[0002] 近年来，计算机视觉中的图像理解获得了迅速发展并在许多领域取得了广泛应用，受到广大学者的广泛关注。现有场景图像标注算法往往以无向图模型条件随机场CRF(Conditional Random Field)为基本框架，通过在条件随机场CRF中引入局部平滑，位置，共现，互斥等上下文先验信息实现像素标注。现有上下文先验信息的引入虽在一定程度上增强了模型描述能力，但仍然存在不足，难以有效提高分类精度尤其是前景目标的分类精度。经研究发现，现有图像理解算法难以有效提高像素标注精度的原因主要有：

[0003] 1.在场景图像理解中，背景(天空，草地…)区域纹理特征相对一致，变化较小，分类相对容易。

[0004] 2.前景目标(人，动物，建筑，船…)尺寸相对较小且轮廓复杂，在前景目标边缘区域过平滑问题严重，易导致前景背景分类“串扰”。

[0005] 3.单个前景目标内部各子区域间的颜色纹理特征差异较大，易导致各子区域间分类不一致。

[0006] 目前在图像理解问题中，背景目标的分类相对容易，精度较高，而关键前景目标的分类精度欠佳。现有算法通过在CRF中引入上下文先验信息虽在一定程度上提高了像素标注的总体分类精度，但对于相对复杂的前景目标分类效果欠佳。

发明内容

[0007] 本发明为解决图像标注中复杂前景目标分类精度不高的问题，提出了一种自然场景图像的自动标注方法，可有效解决前景目标与背景分类的串扰问题及由于前景目标内部各子区域间的颜色纹理特征差异较大导致的各子区域间分类不一致问题。

[0008] 本发明采用的技术方案如下：

[0009] 一种自然场景图像的自动标注方法，包括如下步骤：

[0010] 步骤1，提取图像特征；

[0011] 步骤2，采用无监督算法分割原图像产生超像素图；

[0012] 步骤3，通过CRF建模像素标注模型并在模型中嵌入显著性先验信息；

[0013] 步骤4，求解模型实现像素标注。

[0014] 所述步骤3中，在模型中嵌入显著性先验信息包括以下步骤：

[0015] ①通过显著性检测算法计算图像像素显著性映射，并基于显著性映射采用阈值法分割出前景区域和背景区域；

[0016] ②在前景区域以超像素为基本分类单元，并采用前景区域超像素类别分布和超像素内像素平均分布的加权和作为前景区域超像素类别分布；

[0017] ③构建前景区域超像素间全连接关联关系，通过任意两个超像素间颜色直方图和位置特征的高斯核线性组合建模超像素间相似性，具体形式为：

[0018]

[0019] 其中i,j为超像素索引，hi,hj为超像素颜色直方图，pi,pj为超像素中心位置在图像中的位置，θ1,θ2为高斯核参数，w1,w2为高斯核线性组合系数，[ci≠cj]为指示函数，其具体形式为：

[0020]

[0021] 其中ci,cj分别为超像素i,j的类别标记；

[0022] ④前景区域分别采用步骤②和③建模超像素一阶势能和二阶势能，并结合背景区域单像素一阶势能，二阶平滑项及高阶势能构建CRF分类模型。

[0023] 其中，步骤①基于显著性映射采用阈值法分割出前景区域和背景区域，具体包括如下步骤：

[0024] 步骤31，设定最小像素显著性阈值η，统计显著性映射图像中显著性映射大于η的显著性像素；

[0025] 步骤32，设定最小超像素显著性阈值γ，统计所有超像素中显著性像素占该超像素的比例，若该比例值大于阈值γ，则该超像素为显著性超像素，所有显著性超像素组成的区域即为前景区域。

[0026] 本发明采用CRF作为基本模型，在CRF模型中引入显著性检测先验信息，通过显著性检测实现前景目标与背景的分离并在前景目标区域构建超像素间全连接关联关系。与现有技术相比，本发明具有以下特征：

[0027] 首先，本发明实现了前景与背景的分离，通过在前景目标和背景区域分别建模，相对有效地防止了在前景和背景边缘处的“串扰”问题，因而可有效提高总体分类精度。

[0028] 其次，本发明通过阈值算法分割出前景目标后，通过在前景目标区域构建超像素全连接关联关系，并将该关联关系作为二阶势能引入CRF框架。超像素全连接将前景目标作为一个整体约束在一起，可有效解决复杂由于前景目标中局部子区域间纹理颜色特征差异较大导致的前景目标内部分类不一致问题，从而可有效提高前景目标分类精度和像素标注总体精度。该方法针对前景目标轮廓相对复杂、各子区域间颜色纹理差异较大的场景效果显著。

附图说明

[0029] 图1为本发明整体流程图。

[0030] 图2为本发明中构建引入显著性检测先验的图像理解模型子流程图。

[0031] 图3为本发明中显著性前景目标分割步骤子流程图。

具体实施方式

[0032] 以下结合附图说明本发明的具体实施方式。

[0033] 如图1所示，本发明公开了一种自然场景图像的自动标注方法，需要说明的是，本发明的核心步骤是在CRF模型中嵌入显著性检测先验信息，具体实施方式的描述主要侧重于步骤3，步骤1，2以及步骤4未公开的内容可采用已有技术实现，具体描述如下：

[0034] 1.提取图像特征：

[0035] 特征提取是目标识别及图像理解等视觉任务的重要内容之一，其往往通过将像素的颜色及采用滤波获得的周围纹理等特征值组成向量来表征该像素点(或超像素)，有效地对具有判别性的特征提取是获得高准确率的基础，具体可采用现有方法实现图像特征提取，如：首先提取图像纹理特征(基于高斯滤波器组)、Sift特征及LBP等特征描述，进而通过Kmeans等聚类算法对各个特征描述进行聚类以构建图像视觉字并基于该视觉字构建像素特征描述。

[0036] 2.采用无监督算法过分割原图像产生超像素图：

[0037] 本发明所构建的模型中涉及高阶建模及前景目标区域中超像素稠密连接，因此需采用无监督分割算法分割原图像产生超像素分割。具体分割算法可采用现有MeanShift算法实现图像分割。

[0038] 3.通过CRF建模像素标注模型并在分类模型中嵌入显著性先验信息：

[0039] 针对复杂前景目标中由于局部子区域间颜色纹理差异较大而导致的各子区域分类不一致问题，本发明提出了在CRF模型中嵌入显著性检测先验信息方法。通过显著性信息分割出前景目标，进而建立前景目标各子区域间全连接关联关系并将该全连接关联关系作为二阶势能项引入CRF模型。前景区域超像素全连接关联关系可有效地将复杂前景目标各子区域作为一个整体约束在一起，可有效解决由于局部子区域间颜色纹理差异较大而导致的各子区域分类不一致问题，从而可有效提高前景目标分类精度。同时本方法采用将前景区域和背景区域分离的方式，可有效解决前景和背景分类中的“串扰”问题，故可提高整体分类精度。

[0040] 给定训练样本集D＝{{I1,L1},{I2,L2},...{Ik,Lk}...,{IN,LN}}，N为训练图像数，Ik表示图像数据，Lk为图像Ik对应的像素标注数据。如图2所示，CRF模型中嵌入显著性先验信息的建模过程如下：

[0041] ①通过显著性检测算法计算图像像素显著性映射，并基于显著性映射采用阈值法分割出前景和背景；

[0042] ②在前景区域以超像素作为基本分类单元，并采用前景区域超像素类别分布和超像素内像素平均分布的加权和作为前景区域超像素类别分布。由于前景区域像素数目较多，为降低模型复杂度，故以超像素作为基本分类单元。在一阶势能中，单个像素关于目标的分布比采用超像素训练得到的目标类别分布更准确，故本发明采用前景区域超像素类别分布和该超像素内所有像素的平均分布的加权和作为该超像素的类别分布以提高超像素分类精度。超像素类别分布计算如下：

[0043]

[0044] 上式中的lamda即为加权系数， 表示前景区域超像素ci的目标类别分布，ψi为超像素ci内像素i的目标类别分布。

[0045] ③构建前景区域超像素间全连接关联关系，通过任意两个超像素间颜色直方图和位置特征的高斯核线性组合建模超像素间相似性，具体形式为：

[0046]

[0047] 其中i,j为超像素索引，hi,hj为超像素颜色直方图，pi,pj，θ1,θ2为高斯核参数，可采用经验值设置。w1,w2为高斯核线性组合系数，可通过网格搜索进行优化。[ci≠cj]为指示函数，其具体形式为：

[0048]

[0049] 其中ci,cj分别为超像素i,j的类别标记。

[0050] ④前景区域分别采用步骤②和③建模超像素一阶势能和二阶势能。为实现图像标注，结合背景区域单像素一阶势能，二阶平滑项及高阶势能，进而构建像素标注模型，其形式如式子(4)所示：

[0051]

[0052] (4)式中λ1,λ2,λ3分别为像素一阶势能，平滑项及超像素高阶势能项的影响因子，V表示像素位置集合，i为像素索引，SP分割出的前景目标区域即前景目标超像素集合，ci,cj即为前景目标区域超像素索引。前三项针对背景区域建模，分别为像素势能，位置相邻像素平滑项和背景区域超像素高阶势能项，该三项势能函数计算可通过现有技术实现(如：可通过训练Boost分类器构建像素及超像素一阶势能)。(4)式中最后两项即为本发明提出的通过显著性检测构建的前景目标区域超像素全连接势能项，分别为前景超像素一阶势能函数和前景区域超像素全连接势能函数。

[0053] 4.求解模型(4)实现像素标注，由式(2)可知，模型(4)满足子模性，故可通过图割法求解。