基于低秩矩阵表示的图像前景物体检测方法及检测系统转让专利

申请号 : CN201610575854.1

文献号 : CN106204613B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 胡卫明彭厚文李兵

申请人 : 中国科学院自动化研究所

摘要 :

本发明公开了一种基于低秩矩阵表示的图像前景物体检测方法及检测系统。其中,该方法包括提取待处理图像的特征,并利用特征聚类的方式对待处理图像进行子区域划分;接着计算每一子区域的特征均值,以获得子区域的特征表示,并将全部子区域的特征表示排列成矩阵,以获得待处理图像的特征矩阵;然后,利用低秩矩阵表示方法,将特征矩阵分解成低秩矩阵与稀疏矩阵;再针对稀疏矩阵的每一列计算l∞范数,以获得对应子区域的显著性值,并基于子区域的显著值来构成待处理图像的显著图;最后,对显著图进行自适应阈值划分,从而获得待处理图像的前景物体区域。通过本发明实施例解决了如何从前景和背景表观相似的图像中完整地检测前景物体的技术问题。

权利要求 :

1.一种基于低秩矩阵表示的图像前景物体检测方法,其特征在于,所述方法至少包括:提取待处理图像的特征,并利用特征聚类的方式对所述待处理图像进行子区域划分;

计算每一子区域的特征均值,以获得所述子区域的特征表示,并将所述全部子区域的特征表示排列成矩阵,以获得所述待处理图像的特征矩阵;

利用低秩矩阵表示方法,将所述特征矩阵分解成低秩矩阵与稀疏矩阵;

针对所述稀疏矩阵的每一列计算l∞范数,以获得对应子区域的显著性值,并基于所述子区域的显著值来构成所述待处理图像的显著图;

对所述显著图进行自适应阈值划分,从而获得所述待处理图像的前景物体区域;

所述利用低秩矩阵表示方法,将所述特征矩阵分解成低秩矩阵与稀疏矩阵,具体包括:计算所述子区域间的相似度矩阵;

根据所述子区域间的相似度矩阵,确定拉普拉斯矩阵;

使用所述拉普拉斯矩阵,并利用低秩矩阵表示方法将所述特征矩阵分解成所述低秩矩阵与所述稀疏矩阵;

“计算所述子区域间的相似度矩阵”的步骤具体包括根据以下公式,确定相邻子区域之间的相似度:其中,σc与σf表示高斯函数的标准差变量;ci表示子区域中心点的坐标位置;fi表示子区域的特征表示;N表示子区域数量;i,j的取值为0,...,N;

将不相邻子区域之间的相似度设置为零;

通过确定出相邻子区域之间的相似度和不相邻子区域之间的相似度,得到子区域间的相似度矩阵W=[wi,j]N×N;

“根据所述子区域间的相似度矩阵,确定拉普拉斯矩阵”的步骤具体包括根据以下公式来确定拉普拉斯矩阵:L=D-W

其中,D=diag{d1,1,...,di,i,...,dN,N}表示对角矩阵;N表示子区域数量;di,i=∑jwi,j;

W表示相似度矩阵;wi,j表示相似度矩阵中的元素;i,j的取值为0,...,N;

“使用所述拉普拉斯矩阵,并利用低秩矩阵表示方法将所述特征矩阵分解成所述低秩矩阵与所述稀疏矩阵”的步骤具体包括根据以下公式将所述特征矩阵分解成所述低秩矩阵与所述稀疏矩阵:其中,S表示稀疏矩阵;Z表示低秩矩阵;||·||*表示核范数;||·||2,1表示组稀疏范数,且定义为 si表示稀疏矩阵的第i列;Tr表示求矩阵的迹;α和β分别表示矩阵分解算法的参数;所述低秩矩阵表达图像背景区域,所述稀疏矩阵表示图像前景物体区域。

2.根据权利要求1所述的方法,其特征在于,所述提取待处理图像的特征,利用特征聚类的方式对所述待处理图像进行子区域划分,具体包括:提取所述待处理图像的以下一种或几种特征:RGB颜色特征、梯度直方图HOG特征和甘伯Gabor纹理特征;

对所述特征进行最大-最小归一化处理;

利用刚性划分策略将所述待处理图像进行区域分割,并将区域中心点作为聚类的初始中心;

利用K-均值聚类算法迭代调整聚类中心,以使所述区域内归一化后特征的差异最小;

根据特征欧氏距离最短原则,将所述待处理图像的每一像素划分到对应的所述聚类中心,从而对所述待处理图像进行所述子区域划分。

3.根据权利要求1所述的方法,其特征在于,所述计算每一子区域的特征均值,以获得所述子区域的特征表示,并将所述全部子区域的特征表示排列成矩阵,以获得所述待处理图像的特征矩阵,具体包括:计算所述子区域内特征的均值,以获得表达所述子区域的特征表示;

根据所述子区域在所述待处理图像平面上出现的位置,按照从左到右、从上到下的顺序,将所述全部子区域特征表示依次拼接成所述特征矩阵。

4.根据权利要求1所述的方法,其特征在于,所述针对所述稀疏矩阵的每一列计算l∞范数,以获得对应子区域的显著性值,并基于所述子区域的显著值来构成所述待处理图像的显著图,具体包括:根据以下公式,针对所述稀疏矩阵的每一列计算l∞范数,以获得对应所述子区域的显著性值:Sal(Pi)=||si||∞

其中,所述Pi表示子区域;所述Sal(·)表示显著性值;所述si表示稀疏矩阵的第i列;所述i=1......N;

对所述待处理图像所有子区域的显著值进行最大-最小归一化;

根据以下公式,将归一化后的显著值赋值于所述待处理图像平面上对应的像素:Map(x,y)=Sal(Pi)

其中,所述(x,y)表示所述待处理图像子区域Pi内包含像素对应的位置;所述Map(·,·)表示待处理图像的显著图。

5.根据权利要求1所述的方法,其特征在于,所述对所述显著图进行自适应阈值划分,从而获得所述待处理图像的前景物体区域,具体包括:利用Otsu's阈值划分方法将所述显著图分割成二进制图像,并用标记为第一标号的像素表示所述待处理图像物体所在区域;

根据所述二进制图像中标记为所述第一标号的像素出现的位置,来计算所述待处理图像的连通区域;

统计每一所述连通区域内包含像素的个数,并确定包含像素个数最多的连通区域所含的像素个数;

基于所述每一连通区域内包含像素的个数及所述包含像素个数最多的连通区域所含的像素个数,并利用最大连通区域原则,来提取前景物体区域。

6.根据权利要求5所述的方法,其特征在于,所述根据所述二进制图像中标记为所述第一标号的像素出现的位置,来计算所述待处理图像的连通区域,具体包括:逐行扫描所述二进制图像,将每一行中标记为所述第一标号的连续像素序列记为一团簇,并记下所述团簇的起点和终点位置;

针对除了第一行之外的所有行内的团簇,执行以下操作:如果当前团簇与前一行中的所有团簇的起点和终点区间没有重合区域,则给所述当前团簇赋予一数字标号,所述数字标号从1开始依次计数;

如果所述当前团簇仅与所述前一行中一团簇的起点和终点区间有重合,则将所述前一行对应团簇的数字标号赋予所述当前团簇;

如果所述当前团簇与所述前一行中的2个以上团簇的起点和终点区间有重合区域,则将该些团簇的数字标号中最小的一数字标号赋予所述当前团簇;同时,将所述前一行的有重合区域的多个团簇的数字标号写入等价对;

将每一所述等价对中的团簇,标记为同一团簇;

对所述每一团簇依次标记数字标号,并将所述数字标号对应到所述待处理图像中,形成所述待处理图像的所述连通区域。

7.一种基于低秩矩阵表示的图像前景物体检测系统,其特征在于,所述系统至少包括:划分模块,用于提取待处理图像的特征,利用特征聚类的方式对所述待处理图像进行子区域划分;

第一处理模块,用于计算每一子区域的特征均值,以获得所述子区域的特征表示,并将所述全部子区域的特征表示排列成矩阵,以获得所述待处理图像的特征矩阵;

分解模块,用于利用低秩矩阵表示方法,将所述特征矩阵分解成低秩矩阵与稀疏矩阵;

第二处理模块,用于针对所述稀疏矩阵的每一列计算l∞范数,以获得对应子区域的显著性值,并基于所述子区域的显著值来构成所述待处理图像的显著图;

自适应阈值划分模块,用于对所述显著图进行自适应阈值划分,从而获得所述待处理图像的前景物体区域;

所述分解模块具体包括:

计算单元,用于计算所述子区域间的相似度矩阵;

确定单元,用于根据所述子区域间的相似度矩阵,确定拉普拉斯矩阵;

分解单元,用于使用所述拉普拉斯矩阵,并利用低秩矩阵表示方法将所述特征矩阵分解成所述低秩矩阵与所述稀疏矩阵;

所述计算单元还用于执行以下操作:

根据以下公式,确定相邻子区域之间的相似度:

其中,σc与σf表示高斯函数的标准差变量;ci表示子区域中心点的坐标位置;fi表示子区域的特征表示;N表示子区域数量;i,j的取值为0,...,N;

将不相邻子区域之间的相似度设置为零;

通过确定出相邻子区域之间的相似度和不相邻子区域之间的相似度,得到子区域间的相似度矩阵W=[wi,j]N×N;

所述确定单元还用于根据以下公式来确定拉普拉斯矩阵:L=D-W

其中,D=diag{d1,1,...,di,i,...,dN,N}表示对角矩阵;N表示子区域数量;di,i=∑jwi,j;

W表示相似度矩阵;wi,j表示相似度矩阵中的元素;i,j的取值为0,...,N;

所述分解单元还用于根据以下公式将所述特征矩阵分解成所述低秩矩阵与所述稀疏矩阵:其中,S表示稀疏矩阵;Z表示低秩矩阵;||·||*表示核范数;||·||2,1表示组稀疏范数,且定义为 si表示稀疏矩阵的第i列;Tr表示求矩阵的迹;α和β分别表示矩阵分解算法的参数;所述低秩矩阵表达图像背景区域,所述稀疏矩阵表示图像前景物体区域。

8.根据权利要求7所述的系统,其特征在于,所述划分模块具体包括:提取单元,用于提取所述待处理图像的以下一种或几种特征:RGB颜色特征、梯度直方图HOG特征和甘伯Gabor纹理特征;

归一化单元,用于对所述特征进行最大-最小归一化处理;

分割单元,用于利用刚性划分策略将所述待处理图像进行区域分割,并将区域中心点作为聚类的初始中心;

调整单元,用于利用K-均值聚类算法迭代调整聚类中心,以使所述区域内归一化后特征的差异最小;

划分单元,用于根据特征欧氏距离最短原则,将所述待处理图像的每一像素划分到对应的所述聚类中心,从而对所述待处理图像进行所述子区域划分。

说明书 :

基于低秩矩阵表示的图像前景物体检测方法及检测系统

技术领域

[0001] 本发明实施例涉及计算机视觉技术领域,具体涉及一种基于低秩矩阵表示的图像前景物体检测方法及检测系统,但绝不限于此。

背景技术

[0002] 作为计算机视觉的一个重要研究领域,图像前景物体检测(Image Foreground Object Detection)是实现图像内容理解的一个重要步骤。它可以为图像内容理解提供快速感知和预处理。所谓前景物体检测就是从图像中快速检测并提取出最能够吸引人类视觉注意的语义物体,它是计算机视觉领域的底层问题之一,同时也是神经学、认知学、心理学、图像处理等诸多领域的研究内容。显著物体检测的研究具有广泛应用价值,它可以在图像压缩、图像检索、物体检测与识别以及图像高层语义理解等研究问题上发挥作用,也可以在视频监控、安全生产、辅助医疗、影视娱乐等实际问题中得到应用。
[0003] 近年来,图像前景物体检测呈现快速发展的趋势,研究者们提出了许多有效的计算模型和算法。从人类视觉认知的角度,可以将这些算法分为两类,一类是下意识的、自底向上(Bottom-up)的算法,另一类是有明确意识指导的、自顶向下(Top-down)的算法。自底向上的前景物体检测算法主要通过视觉选择性注意机制发现图像中能够吸引人类视觉注意的语义物体。这种方法由视觉数据(即图像本身)驱动,与具体目标任务无关,因而通常检测速度较快。利用对比度分析、上下文分析以及统计分析等方式实现前景物体的检测。自低向上的算法具有计算效率高、生物启发式、不需要外部人工干预等良好的特点。与自低向上的算法不同,自顶向下的检测算法往往由检测任务驱动,有明确的检测目标。这类方法大多利用有监督的学习算法实现目标物体的检测和提取,同时,也有部分算法通过集成高层先验感知(例如:中心先验、颜色先验、背景先验、稀疏先验等)辅助检测。一般来说,自顶向下的检测算法可靠性强,但是其泛化和拓展性较弱。目前主流的图像前景物体检测方法存在如下两个问题:(1)检测得到的结果中包含一些离散的像素和区域块,因而检测的前景物体区域连续性较差,无法获得完整的前景物体;(2)当图像的背景较复杂,或者图像的前景物体和背景区域之间表观相似时,已有的检测技术很难将图像前景物体检测出来。
[0004] 有鉴于此,特提出本发明。

发明内容

[0005] 本发明实施例的主要目的在于提供一种基于低秩矩阵表示的图像前景物体检测方法,其至少部分地解决了如何从前景和背景表观相似的图像中完整地检测前景物体的技术问题。此外,还提供一种基于低秩矩阵表示的图像前景物体检测系统。
[0006] 为了实现上述目的,根据本发明的一个方面,提供了以下技术方案:
[0007] 一种基于低秩矩阵表示的图像前景物体检测方法,所述方法至少可以包括:
[0008] 提取待处理图像的特征,利用特征聚类的方式对所述待处理图像进行子区域划分;
[0009] 计算每一子区域的特征均值,以获得所述子区域的特征表示,并将所述全部子区域的特征表示排列成矩阵,以获得所述待处理图像的特征矩阵;
[0010] 利用低秩矩阵表示方法,将所述特征矩阵分解成低秩矩阵与稀疏矩阵;
[0011] 针对所述稀疏矩阵的每一列计算l∞范数,以获得对应子区域的显著性值,并基于所述子区域的显著值来构成所述待处理图像的显著图;
[0012] 对所述显著图进行自适应阈值划分,从而获得所述待处理图像的前景物体区域。
[0013] 进一步地,所述提取待处理图像的特征,利用特征聚类的方式对所述待处理图像进行子区域划分,具体可以包括:
[0014] 提取所述待处理图像的以下一种或几种特征:RGB颜色特征、梯度直方图HOG特征和甘伯Gabor纹理特征;
[0015] 对所述特征进行最大-最小归一化处理;
[0016] 利用刚性划分策略将所述待处理图像进行区域分割,并将区域中心点作为聚类的初始中心;
[0017] 利用K-均值聚类算法迭代调整聚类中心,以使所述区域内归一化后特征的差异最小;
[0018] 根据特征欧氏距离最短原则,将所述待处理图像的每一像素划分到对应的所述聚类中心,从而对所述待处理图像进行所述子区域划分。
[0019] 进一步地,所述计算每一子区域的特征均值,以获得所述子区域的特征表示,并将所述全部子区域的特征表示排列成矩阵,以获得所述待处理图像的特征矩阵,具体可以包括:
[0020] 计算所述子区域内特征的均值,以获得表达所述子区域的特征表示;
[0021] 根据所述子区域在所述待处理图像平面上出现的位置,按照从左到右、从上到下的顺序,将所述全部子区域特征表示依次拼接成所述特征矩阵。
[0022] 进一步地,所述利用低秩矩阵表示方法,将所述特征矩阵分解成低秩矩阵与稀疏矩阵,具体可以包括:
[0023] 计算所述子区域间的相似度矩阵;
[0024] 根据所述子区域间的相似度矩阵,确定拉普拉斯矩阵;
[0025] 使用所述拉普拉斯矩阵,并利用低秩矩阵表示方法将所述特征矩阵分解成所述低秩矩阵与所述稀疏矩阵。
[0026] 进一步地,所述针对所述稀疏矩阵的每一列计算l∞范数,以获得对应子区域的显著性值,并基于所述子区域的显著值来构成所述待处理图像的显著图,具体可以包括:
[0027] 根据以下公式,针对所述稀疏矩阵的每一列计算l∞范数,以获得对应所述子区域的显著性值:
[0028] Sal(Pi)=||si||∞
[0029] 其中,所述Pi表示子区域;所述Sal(·)表示显著性值;所述si表示稀疏矩阵的第i列;i=1......N;
[0030] 对所述待处理图像所有子区域的显著值进行最大-最小归一化;
[0031] 根据以下公式,将归一化后的显著值赋值于所述待处理图像平面上对应的像素:
[0032] Map(x,y)=Sal(Pi)
[0033] 其中,所述(x,y)表示所述待处理图像子区域Pi内包含像素对应的位置;所述Map(·,·)表示待处理图像的显著图。
[0034] 进一步地,所述对所述显著图进行自适应阈值划分,从而获得所述待处理图像的前景物体区域,具体可以包括:
[0035] 利用Otsu's阈值划分方法将所述显著图分割成二进制图像,并用标记为第一标号的像素表示所述待处理图像物体所在区域;
[0036] 根据所述二进制图像中标记为所述第一标号的像素出现的位置,来计算所述待处理图像的连通区域;
[0037] 统计每一所述连通区域内包含像素的个数,并确定包含像素个数最多的连通区域所含的像素个数;
[0038] 基于所述每一连通区域内包含像素的个数及所述包含像素个数最多的连通区域所含的像素个数,并利用最大连通区域原则,来提取前景物体区域。
[0039] 进一步地,所述根据所述二进制图像中标记为所述第一标号的像素出现的位置,来计算所述待处理图像的连通区域,具体可以包括:
[0040] 逐行扫描所述二进制图像,将每一行中标记为所述第一标号的连续像素序列记为一团簇,并记下所述团簇的起点和终点位置;
[0041] 针对除了第一行之外的所有行内的团簇,执行以下操作:
[0042] 如果当前团簇与前一行中的所有团簇的起点和终点区间没有重合区域,则给所述当前团簇赋予一数字标号,数字标号从1开始依次计数;
[0043] 如果所述当前团簇仅与所述前一行中一团簇的起点和终点区间有重合,则将所述前一行对应团簇的数字标号赋予所述当前团簇;
[0044] 如果所述当前团簇与所述前一行中的2个以上团簇的起点和终点区间有重合区域,则将该些团簇的数字标号中最小的一数字标号赋予所述当前团簇;同时,将所述前一行的有重合区域的多个团簇的数字标号写入等价对;
[0045] 将每一所述等价对中的团簇,标记为同一团簇;
[0046] 对所述每一团簇依次标记数字标号,并将所述数字标号对应到所述待处理图像中,形成所述待处理图像的所述连通区域。
[0047] 为了实现上述目的,根据本发明的另一个方面,还提供了一种基于低秩矩阵表示的图像前景物体检测系统。其中,所述系统至少包括:
[0048] 划分模块,用于提取待处理图像的特征,利用特征聚类的方式对所述待处理图像进行子区域划分;
[0049] 第一处理模块,用于计算每一子区域的特征均值,以获得所述子区域的特征表示,并将所述全部子区域的特征表示排列成矩阵,以获得所述待处理图像的特征矩阵;
[0050] 分解模块,用于利用低秩矩阵表示方法,将所述特征矩阵分解成低秩矩阵与稀疏矩阵;
[0051] 第二处理模块,用于针对所述稀疏矩阵的每一列计算l∞范数,以获得对应子区域的显著性值,并基于所述子区域的显著值来构成所述待处理图像的显著图;
[0052] 自适应阈值划分模块,用于对所述显著图进行自适应阈值划分,从而获得所述待处理图像的前景物体区域。
[0053] 进一步地,所述划分模块具体包括:
[0054] 提取单元,用于提取所述待处理图像的以下一种或几种特征:RGB颜色特征、梯度直方图HOG特征和甘伯Gabor纹理特征;
[0055] 归一化单元,用于对所述特征进行最大-最小归一化处理;
[0056] 分割单元,用于利用刚性划分策略将所述待处理图像进行区域分割,并将区域中心点作为聚类的初始中心;
[0057] 调整单元,用于利用K-均值聚类算法迭代调整聚类中心,以使所述区域内归一化后特征的差异最小;
[0058] 划分单元,用于根据特征欧氏距离最短原则,将所述待处理图像的每一像素划分到对应的所述聚类中心,从而对所述待处理图像进行所述子区域划分。
[0059] 进一步地,所述分解模块具体包括:
[0060] 计算单元,用于计算所述子区域间的相似度矩阵;
[0061] 确定单元,用于根据所述子区域间的相似度矩阵,确定拉普拉斯矩阵;
[0062] 分解单元,用于使用所述拉普拉斯矩阵,并利用低秩矩阵表示方法将所述特征矩阵分解成所述低秩矩阵与所述稀疏矩阵。
[0063] 与现有技术相比,上述技术方案至少具有以下有益效果:
[0064] 本发明实施例提出一种基于低秩矩阵表示的图像前景物体检测方法及检测系统。其中,该方法首先提取待处理图像的特征,并利用特征聚类的方式对待处理图像进行子区域划分;接着计算每一子区域的特征均值,以获得子区域的特征表示,并将全部子区域的特征表示排列成矩阵,以获得待处理图像的特征矩阵;然后,利用低秩矩阵表示方法,将特征矩阵分解成低秩矩阵与稀疏矩阵;再针对稀疏矩阵的每一列计算l∞范数,以获得对应子区域的显著性值,并基于子区域的显著值来构成待处理图像的显著图;最后,对显著图进行自适应阈值划分,从而获得待处理图像的前景物体区域。本发明实施例通过对图像前景和背景区域分别建模,增大了前景和背景在特征空间中的差异,使得两者更易分离,因而检测得到的前景物体区域更加完整,且可以处理前景物体和背景区域表观相似的图像,提高了图像前景物体检测方法的鲁棒性。
[0065] 当然,实施本发明的任一产品不一定需要同时实现以上所述的所有优点。
[0066] 本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其它优点可通过在所写的说明书、权利要求书以及附图中所特别指出的方法来实现和获得。

附图说明

[0067] 附图作为本发明的一部分,用来提供对本发明的进一步的理解,本发明的示意性实施例及其说明用于解释本发明,但不构成对本发明的不当限定。显然,下面描述中的附图仅仅是一些实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。在附图中:
[0068] 图1为根据一示例性实施例示出的基于低秩矩阵表示的图像前景物体检测方法的流程示意图;
[0069] 图2为根据一示例性实施例示出的提取待处理图像的特征并利用特征聚类的方式对待处理图像进行子区域划分的流程示意图;
[0070] 图3为根据一示例性实施例示出的利用低秩矩阵表示方法将特征矩阵分解成低秩矩阵与稀疏矩阵的流程示意图;
[0071] 图4为根据一示例性实施例示出的对显著图进行自适应阈值划分从而获得待处理图像的前景物体区域的流程示意图;
[0072] 图5为根据一示例性实施例示出的基于低秩矩阵表示的图像前景物体检测系统的结构示意图;
[0073] 图6为根据一示例性实施例示出的划分模块的结构示意图;
[0074] 图7为根据一示例性实施例示出的分解模块的结构示意图。
[0075] 这些附图和文字描述并不旨在以任何方式限制本发明的保护范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。

具体实施方式

[0076] 下面结合附图以及具体实施例对本发明实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然,所描述的实施例仅仅是本申请的一部分实施例,并不是全部实施例。基于本申请中的实施例,本领域普通技术人员在不付出创造性劳动的前提下,所获的所有其它等同或明显变型的实施例均落在本发明的保护范围内。本发明实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。
[0077] 需要说明的是,在下面的描述中,为了方便理解,给出了许多具体细节。但是很明显,本发明的实现可以没有这些具体细节。
[0078] 还需要说明的是,在没有明确限定或不冲突的情况下,本发明中的各个实施例及其中的技术特征可以相互组合而形成技术方案。
[0079] 目前,现有技术检测的前景物体区域连续性较差,无法获得完整的前景物体,而且当图像的背景较复杂,或者图像的前景物体和背景区域之间表观相似时,很难将图像前景物体检测出来。为此,本发明实施例提出一种基于低秩矩阵表示的图像前景物体检测方法。如图1所示,该方法可以通过步骤S100至步骤S140来实现。
[0080] 步骤S100:提取待处理图像的特征,并利用特征聚类的方式对待处理图像进行子区域划分。
[0081] 具体地,如图2所示,本步骤可以通过步骤S101至步骤S105来实现。
[0082] 步骤S101:提取待处理图像的以下一种或几种特征:RGB颜色特征、梯度直方图HOG特征和甘伯Gabor纹理特征。
[0083] 步骤S102:对特征进行最大-最小归一化处理。
[0084] 在具体操作过程中,本步骤可以根据以下公式将特征数据变换为0-1之间的数值:
[0085]
[0086] 其中,x表示待处理图像的特征数据;min和max分别表示特征数据的最小值与最大值;x*表示归一化之后的特征数据。
[0087] 步骤S103:利用刚性划分策略将待处理图像进行区域分割,并将区域中心点作为聚类的初始中心。
[0088] 步骤S104:利用K-均值聚类算法迭代调整聚类中心,以使区域内归一化后特征的差异最小。
[0089] 步骤S105:根据特征欧氏距离最短原则,将待处理图像的每一像素划分到对应的聚类中心,从而对待处理图像进行子区域划分。
[0090] 下面以一优选实施例来对利用特征聚类的方式对待处理图像进行子区域划分的过程进行详细说明。
[0091] 将待处理图像分割成N个子区域{Pi}i=1,…N,设{ci}i=1,…N表示区域中心点,将{ci}i=1,…N作为聚类的初始中心。
[0092] 然后,利用K-均值聚类算法(K-means)迭代调整{ci}i=1,…N,以使得N个区域内特征差异最小。
[0093] 再根据特征欧氏距离最短原则,将待处理图像的每一像素划分到对应的聚类中心{ci}i=1,…N,从而将待处理图像划分成N个子区域(即N个小区域)。
[0094] 优选地,N取位于200至300之间的一个整数,例如:N取值为250。
[0095] 步骤S110:计算每一子区域的特征均值,以获得子区域的特征表示,并将全部子区域的特征表示排列成矩阵,以获得待处理图像的特征矩阵。
[0096] 在实际应用中,本步骤可以通过步骤S111和步骤S112来实现。
[0097] 步骤S111:计算子区域内特征的均值,以获得表达子区域的特征表示。
[0098] 步骤S112:根据子区域在待处理图像平面上出现的位置,按照从左到右、从上到下的顺序,将全部子区域特征表示依次拼接成特征矩阵。
[0099] 作为示例,设{Pi}i=1,…N表示子区域;{fi}i=1,…N表示子区域的特征表示;N表示子区域数量。通过步骤S112的处理后可以得到特征矩阵 其中D表示特征的维度。
[0100] 步骤S120:利用低秩矩阵表示方法,将特征矩阵分解成低秩矩阵与稀疏矩阵。
[0101] 具体地,如图3所示,本步骤可以通过步骤S121至步骤S123来实现。
[0102] 步骤S121:计算子区域间的相似度矩阵。
[0103] 在具体操作过程中,可以根据以下公式,确定相邻子区域之间的相似度:
[0104]
[0105] 其中,σc与σf表示高斯函数的标准差变量;ci表示子区域中心点的坐标位置(也即表示聚类中心);fi表示子区域的特征表示;N表示子区域数量;i,j的取值为0,…,N。
[0106] 将不相邻子区域之间的相似度设置为零。
[0107] 通过确定出相邻子区域之间的相似度和不相邻子区域之间的相似度,就可以得到子区域间的相似度矩阵W=[wi,j]N×N。
[0108] 步骤S122:根据子区域间的相似度矩阵,确定拉普拉斯矩阵。
[0109] 具体地,本步骤可以根据以下公式来确定拉普拉斯矩阵:
[0110] L=D-W
[0111] 其中,D=diag{d1,1,...,di,i,...,dN,N}表示对角矩阵;N表示子区域数量;di,i=∑jwi,j;W表示相似度矩阵;wi,j表示相似度矩阵中的元素;i,j的取值为0,...,N。
[0112] 步骤S123:使用拉普拉斯矩阵,并利用低秩矩阵表示方法将特征矩阵分解成低秩矩阵与稀疏矩阵。
[0113] 具体地,本步骤可以根据以下公式来实现:
[0114]
[0115] 其中,S表示稀疏矩阵;Z表示低秩矩阵;||·||*表示核范数(即矩阵非零奇异值的和);||·||2,1表示组稀疏范数,且定义为 si表示稀疏矩阵的第i列;Tr表示求矩阵的迹;α和β分别表示矩阵分解算法的参数。
[0116] 本步骤中得到的低秩矩阵可以用来表达图像背景区域,稀疏矩阵可以用来表达图像前景物体区域。
[0117] 步骤S130:针对稀疏矩阵的每一列计算l∞范数,以获得对应子区域的显著性值,并基于子区域的显著值来构成待处理图像的显著图。
[0118] 具体地,本步骤可以通过步骤S131至步骤S133来实现。
[0119] 步骤S131:根据以下公式,针对稀疏矩阵的每一列计算l∞范数,以获得对应子区域的显著性值:
[0120] Sal(Pi)=||si||∞
[0121] 其中,Pi表示子区域;Sal(·)表示显著性值;si表示稀疏矩阵的第i列;i=1......N。
[0122] 步骤S132:对待处理图像所有子区域的显著值进行最大-最小归一化。
[0123] 在实际应用中,本步骤可以参考步骤S102示例性示出的方法来实现,在此不再赘述。
[0124] 步骤S133:根据以下公式,将归一化后的显著值赋值于待处理图像平面上对应的像素:
[0125] Map(x,y)=Sal(Pi)
[0126] 其中,Pi表示子区域;(x,y)表示待处理图像子区域Pi内包含像素对应的位置;Map(·,·)表示待处理图像的显著图。
[0127] 步骤S140:对显著图进行自适应阈值划分,从而获得待处理图像的前景物体区域。
[0128] 具体地,如图4所示,本步骤可以通过步骤S141至步骤S144来实现。
[0129] 步骤S141:利用Otsu's阈值划分方法将显著图分割成二进制图像,并用标记为第一标号的像素表示待处理图像物体所在区域。
[0130] 其中,二进制图像例如可以为0-1二进制图像。本步骤在将显著图分割成0-1二进制图像后,可以用标记为0的像素表示待处理图像背景所在的区域,可以用标记为1(其可以相当于步骤S141中的第一标号)的像素表示待处理图像物体所在的区域,当然,在实际应用中,也可以用与此处相反的方式来标记。
[0131] 步骤S142:根据二进制图像中标记为第一标号的像素出现的位置,来计算待处理图像的连通区域。
[0132] 以二进制图像为0-1二进制图像为例,用标记为0的像素表示待处理图像背景所在的区域,用标记为1的像素表示待处理图像物体所在的区域,则本步骤中根据标记为1的像素出现的位置,计算待处理图像的连通区域。
[0133] 具体地,本步骤可以通过步骤S1421至步骤S1424来实现。
[0134] 步骤S1421:逐行扫描二进制图像,将每一行中标记为第一标记的连续像素序列记为一个团簇,并记下该团簇的起点和终点位置。
[0135] 以二进制图像为0-1二进制图像为例,则本步骤中将每一行中标记为1的连续像素序列记为一个团簇。
[0136] 步骤S1422:针对除了第一行之外的所有行内的团簇,执行以下操作:
[0137] 如果该当前团簇与前一行中的所有团簇的起点和终点区间没有重合区域,则给该当前团簇赋予一个数字标号,这里的数字标号从1开始依次计数;
[0138] 如果该当前团簇仅与前一行中一个团簇的起点和终点区间有重合,则将前一行对应团簇的数字标号赋予当前团簇;
[0139] 如果该当前团簇与前一行中的2个以上(包含2个)团簇的起点和终点区间有重合区域,则将这些团簇的数字标号中最小的一个数字标号赋予当前团簇;同时,将上一行的有重合区域的多个团簇的数字标号写入等价对。
[0140] 其中,将上一行的有重合区域的多个团簇的数字标号写入等价对,说明它们属于同一类。
[0141] 步骤S1423:将每一等价对中的团簇,标记为同一个团簇。
[0142] 步骤S1424:对每一个团簇依次标记数字标号,并将该数字标号对应到待处理图像中,形成待处理图像的连通区域。
[0143] 步骤S143:统计每一个连通区域内包含像素的个数,并确定包含像素个数最多的连通区域所含的像素个数。
[0144] 步骤S144:基于每一个连通区域内包含像素的个数及包含像素个数最多的连通区域所含的像素个数,并利用最大连通区域原则,来提取前景物体区域。
[0145] 作为示例,假设:Ri表示每一个连通区域内包含像素的个数;Rmax表示包含像素个数最多的连通区域(即最大连通区域)内的像素个数;f(Ri)表示像素区域;则根据以下公式来确定可能的前景物体区域:
[0146]
[0147] 其中,λ表示预设参数,优选地,λ取0.6。
[0148] 然后,将标记为1的像素区域确定为检测得到的前景物体区域。
[0149] 上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述,但是本领域技术人员可以理解,为了实现本实施例的效果,不同的步骤之间不必按照这样的次序执行,其可以同时(并行)执行或以颠倒的次序执行,这些简单的变化都在本发明的保护范围之内。
[0150] 基于与方法实施例相同的技术构思,本发明实施例还提供一种基于低秩矩阵表示的图像前景物体检测系统。该系统可以执行上述方法实施例。如图5所示,该系统50可以包括划分模块51、第一处理模块52、分解模块53、第二处理模块54和自适应阈值划分模块55。其中,划分模块51用于提取待处理图像的特征,利用特征聚类的方式对待处理图像进行子区域划分。第一处理模块52用于计算划分模块51划分出的每一子区域的特征均值,以获得子区域的特征表示,并将全部子区域的特征表示排列成矩阵,以获得待处理图像的特征矩阵。分解模块53用于利用低秩矩阵表示方法,将通过第一处理模块52得到的特征矩阵分解成低秩矩阵与稀疏矩阵。第二处理模块54用于针对通过分解模块53得到的稀疏矩阵的每一列计算l∞范数,以获得对应子区域的显著性值,并基于子区域的显著值来构成待处理图像的显著图。自适应阈值划分模块55用于对通过第二处理模块54得到的显著图进行自适应阈值划分,从而获得待处理图像的前景物体区域。
[0151] 如图6所示,在一个可选的实施例中,在上述实施例的基础上,划分模块60具体可以包括:提取单元61、归一化单元62、分割单元63、调整单元64和划分单元65。其中,提取单元61用于提取待处理图像的以下一种或几种特征:RGB颜色特征、梯度直方图HOG特征和甘伯Gabor纹理特征。归一化单元62用于对通过提取单元61提取的特征进行最大-最小归一化处理。分割单元63用于利用刚性划分策略将待处理图像进行区域分割,并将区域中心点作为聚类的初始中心。调整单元64用于利用K-均值聚类算法迭代调整聚类中心,以使区域内归一化后特征的差异最小。划分单元65用于根据特征欧氏距离最短原则,将待处理图像的每一像素划分到对应的通过调整单元64调整的聚类中心,从而对待处理图像进行所述子区域划分。
[0152] 如图7所示,在一个可选的实施例中,在上述实施例的基础上,分解模块70具体可以包括:计算单元72、确定单元74和分解单元76。其中,计算单元72,用于计算子区域间的相似度矩阵。确定单元74,用于根据由计算单元72得到的子区域间的相似度矩阵,确定拉普拉斯矩阵。分解单元76用于使用由确定单元74得到的拉普拉斯矩阵,并利用低秩矩阵表示方法将特征矩阵分解成低秩矩阵与稀疏矩阵。
[0153] 需要说明的是,上述实施例提供的基于低秩矩阵表示的图像前景物体检测系统在进行图像前景物体检测时,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将系统的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
[0154] 本领域技术人员可以理解,上述基于低秩矩阵表示的图像前景物体检测系统还包括一些其他公知结构,例如处理器、控制器、存储器等,为了不必要地模糊本公开的实施例,这些公知的结构未在图5-7中示出。
[0155] 应该理解,图5-7中的各个模块的数量仅仅是示意性的。根据实际需要,各模块可以具有任意的数量。
[0156] 上述系统实施例可以用于执行上述方法实施例,其技术原理、所解决的技术问题及产生的技术效果相似,所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0157] 应指出的是,上面分别对本发明的系统实施例和方法实施例进行了描述,但是对一个实施例描述的细节也可应用于另一个实施例。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。本领域技术人员应该理解:本发明实施例中的模块或者步骤还可以再分解或者组合。例如上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
[0158] 本发明的上述方法实施例和系统实施例可以通过计算机系统和编程语言来实现。该计算机系统包括中央处理单元(CPU),其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中,还存储有系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。编程语言包括但不限于Matlab语言和C++语言。
[0159] 以上对本发明实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体的个例对本发明的原理和实施方式进行了阐述,但是,上述实施例的说明仅适用于帮助理解本发明实施例的原理;同时,对于本领域技术人员来说,依据本发明实施例,在具体实施方式以及应用范围之内均会做出改变。
[0160] 需要说明的是,本文中涉及到的流程图或框图不仅仅局限于本文所示的形式,其还可以进行其他划分和/或组合。
[0161] 还需要说明的是:附图中的标记和文字只是为了更清楚地说明本发明,不视为对本发明保护范围的不当限定。
[0162] 再需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
[0163] 术语“包括”、“所含”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0164] 如本文中所使用的,术语“模块”、“单元”可以指代在计算系统上执行的软件对象或例程。可以将本文中所描述的不同模块实现为在计算系统上执行的对象或过程(例如,作为独立的线程)。虽然优选地以软件来实现本文中所描述的系统和方法,但是以硬件或者软件和硬件的组合的实现也是可以的并且是可以被设想的。
[0165] 本发明的各个步骤可以用通用的计算装置来实现,例如,它们可以集中在单个的计算装置上,例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备或者多处理器装置,也可以分布在多个计算装置所组成的网络上,它们可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此,本发明不限于任何特定的硬件和软件或者其结合。
[0166] 本发明提供的方法可以使用可编程逻辑器件来实现,也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等),例如根据本发明的实施例可以是一种计算机程序产品,运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质,该介质上包含计算机程序逻辑或代码部分,用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如:采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器,例如:RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于:光存储介质(例如:CD-ROM和DVD)、磁光存储介质(例如:MO)、磁存储介质(例如:磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如:存储卡)和具有内置ROM的媒体(例如:ROM盒)。
[0167] 本发明并不限于上述实施方式,在不背离本发明实质内容的情况下,本领域普通技术人员可以想到的任何变形、改进或替换均落入本发明的保护范围。