基于中心暗通道先验信息的图像显著性物体检测方法转让专利

申请号 : CN201710600386.3

文献号 : CN107292318B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 李革朱春彪王文敏王荣刚高文黄铁军

申请人 : 北京大学深圳研究生院

摘要 :

本发明公布了一种基于中心暗通道先验信息的图像显著性物体的检测方法,利用颜色、深度、距离信息对图像的显著性区域进行定位检测,得到图像中显著性物体的初步检测结果,再利用本发明提出的中心暗通道先验信息,优化显著性检测的最终结果。本发明能够更加精准,更加鲁棒地检测出显著性物体。本发明利用中心暗通道先验信息进行显著性检测,可增加显著性物体检测的精准性。同时,也增强了显著性检测的鲁棒性;能够解决现有的显著性检测精确度不高、健壮性不够的问题,使图像中的显著性区域更精准地显现出来,为后期的目标识别和分类等应用提供精准且有用的信息;适用于更多复杂的场景,使用范围更广。

权利要求 :

1.一种基于中心暗通道先验信息的图像显著性物体的检测方法,利用颜色、深度、距离信息对图像的显著性区域进行定位检测,得到图像中显著性物体的初步检测结果,再利用中心暗通道先验信息进行优化,得到显著性检测的最终结果;包括如下步骤:

1)输入一张待检测图像Io,获得该图像的深度图Id;

2)将图像Io分成K个区域,并计算得到每一个区域的颜色显著性值;

3)将深度图Id分成K个区域,计算得到深度图中每一个区域的深度显著性值;

4)计算图像Id每个子区域k的中心和深度权重DW(dk);

5)进行初步显著性检测:利用待检测图像Io中每一个区域的颜色显著性值、深度图Id中每一个区域的深度显著性值和区域的中心和深度权重DW(dk),通过高斯归一化方法计算得到初步的显著性检测结果S1;

6)求取图像的中心暗通道先验信息;包括如下过程:

首先求取图像的中心先验信息Scsp;

然后,求取图像的暗通道先验信息Sdcp;

最后通过公式(8)求取图像的中心暗通道先验信息Scdcp:Scdcp=ScspSdcp  (8)

7)将步骤5)得到的初步显著性检测结果和步骤6)得到的中心暗通道先验信息利用式(9)进行融合,得到最后的显著性检测结果:其中,S即为最后的显著性检测结果。

2.如权利要求1所述图像显著性物体的检测方法,其特征是,步骤1)具体利用Kinect设备得到的该图像的深度图Id。

3.如权利要求1所述图像显著性物体的检测方法,其特征是,步骤2)具体通过K-means算法将图像分成K个区域,并通过式(1)计算得到每一个子区域的颜色显著性值Sc(rk):其中,rk和ri分别代表区域k和i,Dc(rk,ri)表示区域k和区域i在L*a*b颜色空间上的欧氏距离,Pi代表区域i所占图像区域的比例,Wd(rk)定义如式(2):其中,Do(rk,ri)表示区域k和区域i的坐标位置距离,σ是一个参数控制着Wd(rk)的范围。

4.如权利要求3所述图像显著性物体的检测方法,其特征是,步骤3)采用与步骤2)相同的方法将深度图Id分成多个区域,通过式(3)计算深度图的深度显著性值Sd(rk):其中,Dd(rk,ri)是区域k和区域i在深度空间的欧氏距离。

5.如权利要求1所述图像显著性物体的检测方法,其特征是,步骤4)通过式(4)计算区域k的中心和深度权重Wcd(rk):其中,G(·)表示高斯归一化,‖·‖表示欧氏距离操作,Pk是区域k的位置坐标,Po是该图像的坐标中心,Nk是区域k的像素数量;DW(dk)是深度权重,定义如式(5):DW(dk)=(max{d}-dk)μ  (5)

其中,max{d}表示深度图的最大深度,dk表示区域k的深度值,μ是一个与计算的深度图有关的参数,定义如式(6):其中,min{d}表示深度图的最小深度。

6.如权利要求1所述图像显著性物体的检测方法,其特征是,步骤5)通过式(7)计算得到初步的显著性检测结果S1(rk):S1(rk)=G(Sc(rk)×Wcd(rk)+Sd(rk)×Wcd(rk))  (7)其中,G(·)表示高斯归一化;Sc(rk)是每一个子区域的颜色显著性值;Wcd(rk)是区域k的中心和深度权重;Sd(rk)是深度图的深度显著性值。

说明书 :

基于中心暗通道先验信息的图像显著性物体检测方法

技术领域

[0001] 本发明涉及图像处理技术领域,尤其涉及一种利用中心暗通道先验信息进行图像的显著性物体检测的方法。

背景技术

[0002] 在面对一个复杂场景时,人眼的注意力会迅速集中在少数几个显著的视觉对象上,并对这些对象进行优先处理,该过程被称为视觉显著性。显著性检测正是利用人眼的这种视觉生物学机制,用数学的计算方法模拟人眼对图像进行适当的处理,从而获得一张图片的显著性物体。由于我们可以通过显著性区域来优先分配图像分析与合成所需要的计算资源,所以,通过计算来检测图像的显著性区域意义重大。提取出的显著性图像可以广泛应用于许多计算机视觉领域的应用,包括对兴趣目标物体的图像分割,目标物体的检测与识别,图像压缩与编码,图像检索,内容感知图像编辑等方面。
[0003] 通常来说,现有的显著性检测框架主要分为:自底向上的显著性检测方法和自顶向下的显著性检测方法。目前大多采用自底向上的显著性检测方法,它是基于数据驱动的,且独立于具体的任务;而自顶向下的显著性检测方法是受意识支配的,与具体任务相关。
[0004] 现有方法中,自底向上的显著性检测方法大多使用低水平的特征信息,例如颜色特征、距离特征和一些启发式的显著性特征等。尽管这些方法有各自的优点,但是在一些特定场景下的具有挑战性的数据集上,这些方法表现的不够精确,不够健壮。为了解决这一问题,随着3D图像采集技术的出现,目前已有方法通过采用深度信息来增强显著性物体检测的精准度。尽管深度信息可以增加显著性物体检测的精准度,但是,当一个显著性物体与其背景有着低对比的深度时,还是会影响显著性检测的精准度。
[0005] 综合来看,现有的图像显著性物体检测方法在检测显著性物体时精准度不高,方法健壮性不够强,容易造成误检、漏检等情况,很难得到一个精确的图像显著性检测结果,不仅造成显著性物体本身的错检,同时也会对利用显著性检测结果的应用造成一定的误差。

发明内容

[0006] 为了克服上述现有技术的不足,本发明提出了一种新的基于中心暗通道先验信息的图像显著性物体检测方法,能够解决现有的显著性检测精确度不高、健壮性不够的问题,使图像中的显著性区域更精准地显现出来,为后期的目标识别和分类等应用提供精准且有用的信息。
[0007] 本发明提供的技术方案是:
[0008] 一种基于中心暗通道先验信息的图像显著性物体的检测方法,利用颜色、深度、距离信息对图像的显著性区域进行定位检测,得到图像中显著性物体的初步检测结果,再利用本发明提出的中心暗通道先验信息,优化显著性检测的最终结果;其实现包括如下步骤:
[0009] 1)输入一张待检测图像Io,利用Kinect设备得到的该图像的深度图Id;
[0010] 2)利用K-means算法将图像Io分成K个区域,并计算得到图像Io每一个区域的颜色显著性值;
[0011] 3)同颜色显著性值计算方式一样,计算得到深度图Id中每一个区域的的深度显著性值;
[0012] 4)通常来说,显著性物体都位于中心位置,计算深度图Id子区域k的中心和深度权重DW(dk);
[0013] 5)进行初步显著性检测:利用待检测图像中每一个区域的颜色显著性值、深度图中每一个区域的深度显著性值和区域的中心和深度权重,通过高斯归一化方法计算得到初步的显著性检测结果S1;
[0014] 6)求取图像的中心暗通道先验信息;包括如下过程:
[0015] 首先利用文献(Qin Y,Lu H,Xu Y,et al.Saliency detection via Cellular Automata[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2015:110-119)记载的算法求取图像的中心先验信息Scsp;
[0016] 然后,利用文献(Kaiming He,Jian Sun,and Xiaoou Tang.Single image haze removal using dark channel prior.In Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conference on,pages 1956–1963,2009)记载的算法求取图像的暗通道先验信息Sdcp;
[0017] 最后通过公式(8)求取图像的中心暗通道先验信息Scdcp:
[0018] Scdcp=ScspSdcp  (8)
[0019] 7)将步骤5)得到的初步显著性检测结果和步骤6)得到的中心暗通道先验信息利用式(9)进行融合,得到最后的显著性检测结果:
[0020]
[0021] 其中,S即为最后的显著性检测结果。
[0022] 与现有技术相比,本发明的有益效果是:
[0023] 本发明提供了一种基于中心暗通道先验信息的图像显著性物体检测算法,首先基于图像颜色、空间、深度信息计算出初步的显著性结果。然后求取图像的中心暗通道先验信息。最后,将初步显著性结果图与中心暗通道先验信息进行融合,得到最后的显著性检测结果图。实验结果表明,本发明较其他方法检测结果更有效。
[0024] 本发明能够更加精准,更加鲁棒地检测出显著性物体。与现有技术相比,本发明由于利用了中心暗通道先验信息进行显著性检测,可以增加显著性物体检测的精准性。同时,也增强了显著性检测的鲁棒性。本发明适用于更多复杂的场景,使用范围更广,如将本发明方法用于小目标检测追踪领域。

附图说明

[0025] 图1为本发明提供的流程框图。
[0026] 图2为本发明实施例中对输入图像分别采用现有方法、采用本发明方法检测图像得到的检测结果图像,以及人工标定期望得到图像的对比图;
[0027] 其中,第一列为输入图像,第二列为人工标定期望得到的图像,第三列至第九列为现有其他方法得到的检测结果图像,第十列为本发明检测结果图像。
[0028] 图3为本发明应用在小目标检测追踪领域;
[0029] 其中,第一行为输入的视频帧序列,第二行为该帧序列的中心暗通道先验信息,第三行为本算法检测得到的视频帧序列,第四行人工标定期望得到的视频帧序列。

具体实施方式

[0030] 下面结合附图,通过实施例进一步描述本发明,但不以任何方式限制本发明的范围。
[0031] 本发明提供了一种基于中心暗通道先验信息的图像显著性物体检测算法,能够更加精准,更加鲁棒地检测出显著性物体。本发明首先基于图像颜色、空间、深度信息计算出初步的显著性结果。然后求取图像的中心暗通道先验信息。最后,将初步显著性结果图与中心暗通道先验信息进行融合,得到最后的显著性检测结果图。图1为本发明提供的显著性物体检测方法的流程框图,包括以下步骤:
[0032] 步骤一、输入一张待检测的图像Io,利用Kinect设备得到的该图像的深度图Id;
[0033] 步骤二、利用K-means算法将图像分成K个区域,并通过式(1)计算得到每一个子区域的颜色显著性值:
[0034]
[0035] 其中,rk和ri分别代表区域k和i,Dc(rk,ri)表示区域k和区域i在L*a*b颜色空间上的欧氏距离,Pi代表区域i所占图像区域的比例,Wd(rk)定义如下:
[0036]
[0037] 其中,Do(rk,ri)表示区域k和区域i的坐标位置距离,σ是一个参数控制着Wd(rk)的范围。
[0038] 步骤三、同颜色显著性值计算方式一样,通过式(3)计算深度图的深度显著性值:
[0039]
[0040] 其中,Dd(rk,ri)是区域k和区域i在深度空间的欧氏距离。
[0041] 步骤四、通常来说,显著性物体都位于中心位置,通过式(4)计算区域k的中心和深度权重Wcd(rk):
[0042]
[0043] 其中,G(·)表示高斯归一化,||·||表示欧氏距离操作,Pk是区域k的位置坐标,Po是该图像的坐标中心,Nk是区域k的像素数量。DW(dk)是深度权重,定义如下:
[0044] DW(dk)=(max{d}-dk)μ  (5)
[0045] 其中,max{d}表示深度图的最大深度,dk表示区域k的深度值,μ是一个与计算的深度图有关的参数,定义如下:
[0046]
[0047] 其中,min{d}表示深度图的最小深度。
[0048] 步骤五、利用式(7)得到初步的显著性检测结果S1(rk):
[0049] S1(rk)=G(Sc(rk)×Wcd(rk)+Sd(rk)×Wcd(rk))  (7)
[0050] 步骤六、求取图像的中心暗通道先验信息;
[0051] 首先利用文献(Qin Y,Lu H,Xu Y,et al.Saliency detection via Cellular Automata[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2015:110-119)记载的算法求取图像的中心先验信息Scsp;
[0052] 然后,利用文献(Kaiming He,Jian Sun,and Xiaoou Tang.Single image haze removal using dark channel prior.In Computer Vision and Pattern Recognition,2009.CVPR 2009.IEEE Conference on,pages 1956–1963,2009)记载的算法求取图像的暗通道先验信息Sdcp;
[0053] 最后通过公式(8)求取图像的中心暗通道先验信息Scdcp:
[0054] Scdcp=ScspSdcp  (8)
[0055] 步骤九、利用式(9)将初步显著性检测结果和中心暗通道先验信息进行融合,得到我们最后的显著性检测结果:
[0056]
[0057] 本发明具体实施中,对输入图像分别采用现有方法、采用本发明方法检测图像得到的检测结果图像,以及人工标定期望得到图像的对比图如图2所示;其中,第一列为输入图像,第二列为人工标定期望得到的图像,第三列至第九列为现有其他方法得到的检测结果图像,第十列为本发明检测结果图像。
[0058] 如图3所示,本发明应用在小目标检测追踪领域;其中,第一行为输入的视频帧序列,第二行为该帧序列的中心暗通道先验信息,第三行为本算法检测得到的视频帧序列,第四行人工标定期望得到的视频帧序列。因此,本发明提供了的基于中心暗通道先验信息的显著性物体检测算法也适用于小目标检测追踪领域。
[0059] 需要注意的是,公布实施例的目的在于帮助进一步理解本发明,但是本领域的技术人员可以理解:在不脱离本发明及所附权利要求的精神和范围内,各种替换和修改都是可能的。因此,本发明不应局限于实施例所公开的内容,本发明要求保护的范围以权利要求书界定的范围为准。