一种基于图像检索的显著性检测元评估方法转让专利

申请号 : CN201710522580.4

文献号 : CN107240107B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 牛玉贞陈建儿郭文忠

申请人 : 福州大学

摘要 :

本发明涉及一种基于图像检索的显著性检测元评估方法,包括以下步骤:分别以用户标注的显著性图和T种显著性检测算法生成的显著性图作为权重计算输入图像的加权颜色直方图,并利用基于内容的图像检索方法获取检索图像,分别得到检索序列和;分别计算检索序列和的相似性值,排序得到图像检索应用对T种显著性检测算法的评估排序序列;分别计算显著性检测评估方法对T种显著性检测算法的评估值,排序得到显著性检测评估方法对T种显著性检测算法的评估排序序列;计算序列与的相关性;取图像集中所有输入图像的相关性的平均值作为显著性检测评估方法的评估值。该方法有利于为实际应用选出合适有效的显著性检测评估方法。

权利要求 :

1.一种基于图像检索的显著性检测元评估方法,其特征在于:包括以下步骤:

步骤S1:对于图像集中的一输入图像Ii,分别以用户标注的显著性图和T种显著性检测算法生成的显著性图作为权重计算输入图像的加权颜色直方图,并利用基于内容的图像检索方法获取检索图像,分别得到检索序列 和{Lk(Ii)|k=1,2,…,T};

步骤S2:分别计算检索序列 与Lk(Ii)的相似性值ek(Ii),将得到的{ek(Ii)|k=1,

2,…,T}值排序得到图像检索应用对T种显著性检测算法的评估排序序列

步骤S3:对于一显著性检测评估方法b,分别计算显著性检测评估方法b对T种显著性检测算法的评估值,将评估值排序得到显著性检测评估方法b对T种显著性检测算法的评估排序序列Xb(Ii);

步骤S4:计算序列 与Xb(Ii)的相关性Yb(Ii);

步骤S5:依次取图像集中的其他输入图像,重复步骤S1-S4,得到数据中所有输入图像的相关性{Yb(Ii)|i=1,2,…,N},N表示图像集中图像总数,取平均值 作为显著性检测评估方法b的评估值。

2.根据权利要求1所述的一种基于图像检索的显著性检测元评估方法,其特征在于:所述步骤S1中,计算输入图像的加权颜色直方图,并利用基于内容的图像检索方法获取检索图像,得到检索序列,包括以下步骤:步骤S11:对输入图像Ii,分别计算输入图像Ii在RGB、Lab、HSV三种颜色空间上的加权颜色直方图;计算加权颜色直方图时,每个通道像素取值范围平均分成8个组,故对于三个通道的颜色空间组的总数量为512,则输入图像Ii在颜色空间c下的加权颜色直方图的计算公式为:其中,h(m,c)表示输入图像在第c种颜色空间第m个组的加权颜色直方图,p表示输入图像的像素,Ic表示在颜色空间c下的输入图像,M(p)表示像素p的显著性值,bm表示第m个组的颜色值集合,Ic(p)∈bm表示像素p在颜色空间c下的输入图像的颜色值属于bm表示的颜色值集合,δ{.}表示指示函数,当像素p属于bm时返回1,否则返回0,W和H分别表示输入图像的宽度和高度;

步骤S12:对输入图像Ii,将输入图像Ii分成3×3网格的图像块,计算输入图像Ii的分块加权颜色直方图,每个通道像素取值范围平均分成4个组,故对于三个通道的颜色空间组的总数量为64,则分块加权颜色直方图的计算公式为:其中,h(m,c,r)表示输入图像在第c种颜色空间第m个组的第r个图像块的加权颜色直方图,Ic,r表示输入图像在颜色空间c下的第r个图像块;

步骤S13:计算输入图像Ii与图像集中其他任意输入图像Ij之间的相似性:

其中,f(Ii,Ij)表示图像Ii和图像Ij的相似性值,R表示图像分块的总块数,f(Ii,Ij)越大,说明两张图像越相似;

步骤S14:将输入图像Ii与图像集中其他任意输入图像Ij之间的相似性值{f(Ii,Ij)}降序排列,得到输入图像Ii的检索序列:L(Ii)={l1,l2,…,lN-1},i=1,2,…,N

其中,lq表示输入图像Ii的检索序列中第q张图像的编号;为了区分使用不同的显著性图作为加权图得到的图像检索结果,采用 表示使用用户标注的显著性图作为加权图得到的检索序列,采用Lk(Ii)表示使用显著性检测算法k生成的显著性图作为加权图得到的检索序列。

3.根据权利要求1所述的一种基于图像检索的显著性检测元评估方法,其特征在于:所述步骤S2中,分别计算检索序列 与Lk(Ii)的相似性值ek(Ii),将得到的相似性值排序得到图像检索应用对T种显著性检测算法的评估排序序列 包括以下步骤:步骤S21:对于输入图像Ii,按如下公式计算检索序列 和Lk(Ii)的相似性值ek(Ii):其中,Pk(Ii,j)表示Lk(Ii)中第j张图像在 中的位置;j=1,2,…,D,D表示检索返回的前D幅图像;

步骤S22:将{ek(Ii)|k=1,2,…,T}升序排列,得到图像检索应用对T种显著性检测算法的评估排序序列

4.根据权利要求1所述的一种基于图像检索的显著性检测元评估方法,其特征在于:所述步骤S3中,采用显著性检测评估方法b对输入图像Ii使用T种显著性检测算法生成的显著性图进行评估,根据评估值大小将评估结果好的显著性检测算法排在前面,依序排列,得到显著性检测评估方法b对T种显著性检测算法的评估排序序列Xb(Ii)。

5.根据权利要求1所述的一种基于图像检索的显著性检测元评估方法,其特征在于:所述步骤S4中,按如下公式计算序列 与Xb(Ii)的相关性Yb(Ii):其中 和Xb(Ii,k)分别表示在 和Xb(Ii)序列中第k个显著性检测算法的编号。

说明书 :

一种基于图像检索的显著性检测元评估方法

技术领域

[0001] 本发明涉及图像和视频处理以及计算机视觉技术领域,特别是一种基于图像检索的显著性检测元评估方法。

背景技术

[0002] 显著性检测用于提取图像中的显著区域。由于显著性检测可以作为图像预处理步骤降低计算机视觉领域中问题的计算复杂度,显著性检测一直是计算机视觉领域的研究热点。许多显著性检测算法被提出来应用于各种实际应用,比如目标识别,图像检索,图像压缩等等。不同的显著性检测算法性能不同,导致实际应用中采用不同的显著性检测算法得到的效果也不同,因此用于选择合适的显著性检测算法的显著性检测评估方法变得尤为重要。
[0003] 现有的显著性检测评估方法存在若干缺点。首先,不同的显著性检测评估方法对于同一种显著性检测算法的评估结果往往不一致。其次,大部分显著性检测评估方法是从理论出发对图像显著性检测算法进行评估,缺少从实际应用角度评估显著性检测算法。显著性检测算法作为实际应用中的预处理步骤,其在实际应用中的性能是至关重要的,基于实际应用对其评估可以解决显著性检测评估方法对不同算法评估结果不一致问题。

发明内容

[0004] 本发明的目的在于提供一种基于图像检索的显著性检测元评估方法,该方法有利于为实际应用选出合适有效的显著性检测评估方法。
[0005] 为实现上述目的,本发明的技术方案是:一种基于图像检索的显著性检测元评估方法,包括以下步骤:
[0006] 步骤S1:对于图像集中的一输入图像Ii,分别以用户标注的显著性图和T种显著性检测算法生成的显著性图作为权重计算输入图像的加权颜色直方图,并利用基于内容的图像检索方法获取检索图像,分别得到检索序列 和{Lk(Ii)|k=1,2,…,T};
[0007] 步骤S2:分别计算检索序列 与Lk(Ii)的相似性值ek(Ii),将得到的{ek(Ii)|k=1,2,…,T}值排序得到图像检索应用对T种显著性检测算法的评估排序序列[0008] 步骤S3:对于一显著性检测评估方法b,分别计算显著性检测评估方法b对T种显著性检测算法的评估值,将评估值排序得到显著性检测评估方法b对T种显著性检测算法的评估排序序列Xb(Ii);
[0009] 步骤S4:计算序列 与Xb(Ii)的相关性Yb(Ii);
[0010] 步骤S5:依次取图像集中的其他输入图像,重复步骤S1-S4,得到数据中所有输入图像的相关性{Yb(Ii)|i=1,2,…,N},N表示图像集中图像总数,取平均值 作为显著性检测评估方法b的评估值。
[0011] 进一步地,所述步骤S1中,计算输入图像的加权颜色直方图,并利用基于内容的图像检索方法获取检索图像,得到检索序列,包括以下步骤:
[0012] 步骤S11:对输入图像Ii,分别计算输入图像Ii在RGB、Lab、HSV三种颜色空间上的加权颜色直方图;计算加权颜色直方图时,每个通道像素取值范围平均分成8个组,故对于三个通道的颜色空间组的总数量为512,则输入图像Ii在颜色空间c下的加权颜色直方图的计算公式为:
[0013]
[0014] 其中,h(m,c)表示输入图像在第c种颜色空间第m个组的加权颜色直方图,p表示输入图像的像素,Ic表示在颜色空间c下的输入图像,M(p)表示像素p的显著性值,bm表示第m个组的颜色值集合,Ic(p)∈bm表示像素p在颜色空间c下的输入图像的颜色值属于bm表示的颜色值集合,δ{.}表示指示函数,当像素p属于bm时返回1,否则返回0,W和H分别表示输入图像的宽度和高度;
[0015] 步骤S12:对输入图像Ii,将输入图像Ii分成3×3网格的图像块,计算输入图像Ii的分块加权颜色直方图,每个通道像素取值范围平均分成4个组,故对于三个通道的颜色空间组的总数量为64,则分块加权颜色直方图的计算公式为:
[0016]
[0017] 其中,h(m,c,r)表示输入图像在第c种颜色空间第m个组的第r个图像块的加权颜色直方图,Ic,r表示输入图像在颜色空间c下的第r个图像块;
[0018] 步骤S13:计算输入图像Ii与图像集中其他任意输入图像Ij之间的相似性:
[0019]
[0020] 其中,f(Ii,Ij)表示图像Ii和图像Ij的相似性值,R表示图像分块的总块数,f(Ii,Ij)越大,说明两张图像越相似;
[0021] 步骤S14:将输入图像Ii与图像集中其他任意输入图像Ij之间的相似性值{f(Ii,Ij)}降序排列,得到输入图像Ii的检索序列:
[0022] L(Ii)={l1,l2,…,lN-1},i=1,2,…,N
[0023] 其中,lq表示输入图像Ii的检索序列中第q张图像的编号;为了区分使用不同的显著性图作为加权图得到的图像检索结果,采用 表示使用用户标注的显著性图作为加权图得到的检索序列,采用Lk(Ii)表示使用显著性检测算法k生成的显著性图作为加权图得到的检索序列。
[0024] 进一步地,所述步骤S2中,分别计算检索序列 与Lk(Ii)的相似性值ek(Ii),将得到的相似性值排序得到图像检索应用对T种显著性检测算法的评估排序序列Xb(Ii),包括以下步骤:
[0025] 步骤S21:对于输入图像Ii,按如下公式计算检索序列 和Lk(Ii)的相似性值ek(Ii):
[0026]
[0027] 其中,Pk(Ii,j)表示Lk(Ii)中第j张图像在 中的位置;j=1,2,…,D,D表示检索返回的前D幅图像;
[0028] 步骤S22:将{ek(Ii)|k=1,2,…,T}升序排列,得到图像检索应用对T种显著性检测算法的评估排序序列
[0029] 进一步地,所述步骤S3中,采用显著性检测评估方法b对输入图像Ii使用T种显著性检测算法生成的显著性图进行评估,根据评估值大小将评估结果好的显著性检测算法排在前面,依序排列,得到显著性检测评估方法b对T种显著性检测算法的评估排序序列Xb(Ii)。
[0030] 进一步地,所述步骤S4中,按如下公式计算序列 与Xb(Ii)的相关性Yb(Ii):
[0031]
[0032] 其中 和Xb(Ii,k)分别表示在 和Xb(Ii)序列中第k个显著性检测算法的编号。
[0033] 相较于现有技术,本发明的有益效果是:本发明选择图像检索作为实际应用的代表,基于实际意义评估显著性检测评估方法。显著性图可以帮助提高基于内容的图像检索方法得到的检索结果的准确度。本发明通过计算使用显著性检测算法生成的显著性图的检索结果和使用用户标注图的检索结果的相似性对显著性检测算法进行评估。显著性图与用户标注图越相似,检索结果越相似,该显著性检测算法越好。然后,使用显著性检测评估方法对显著性检测算法进行评估。最后,计算各显著性检测评估方法对显著性检测算法的评估结果与图像检索应用对显著性检测算法的评估结果的相关性,相关性值越大,说明该评估方法越符合图像检索这一实际应用。综上,本发明提出的基于图像检索的显著性检测元评估方法,能够有效的对显著性检测评估方法进行排序,为实际应用挑选合适的显著性检测评估方法,具有较大的使用价值。

附图说明

[0034] 图1是本发明方法的流程框图。
[0035] 图2是本发明一实施例的整体方法的实现流程图(以图像Ii作为输入为例)。
[0036] 图3是本发明实施例中计算ek的实现流程图(以图像I79作为输入为例)。

具体实施方式

[0037] 下面结合附图及具体实施例对本发明作进一步的详细说明。
[0038] 本发明基于图像检索的显著性检测元评估方法,如图1、2所示,包括以下步骤:
[0039] 步骤S1:对于图像集中的一输入图像Ii,分别以用户标注的显著性图和T种显著性检测算法生成的显著性图作为权重计算输入图像的加权颜色直方图,并利用基于内容的图像检索方法获取检索图像,分别得到检索序列 和{Lk(Ii)|k=1,2,…,T};
[0040] 步骤S2:分别计算检索序列 与Lk(Ii)的相似性值ek(Ii),将得到的{ek(Ii)|k=1,2,…,T}值排序得到图像检索应用对T种显著性检测算法的评估排序序列[0041] 步骤S3:对于一显著性检测评估方法b,分别计算显著性检测评估方法b对T种显著性检测算法的评估值,将评估值排序得到显著性检测评估方法b对T种显著性检测算法的评估排序序列Xb(Ii);
[0042] 步骤S4:计算序列 与Xb(Ii)的相关性Yb(Ii);
[0043] 步骤S5:依次取图像集中的其他输入图像,重复步骤S1-S4,得到数据中所有输入图像的相关性{Yb(Ii)|i=1,2,…,N},N表示图像集中图像总数,取平均值 作为显著性检测评估方法b的评估值。
[0044] 在本实施例中,所述步骤S1中,计算输入图像的加权颜色直方图,并利用基于内容的图像检索方法获取检索图像,得到检索序列,包括以下步骤:
[0045] 步骤S11:对输入图像Ii,分别计算输入图像Ii在RGB、Lab、HSV三种颜色空间上的加权颜色直方图;计算加权颜色直方图时,每个通道像素取值范围平均分成8个组,故对于三个通道的颜色空间组的总数量为512,则输入图像Ii在颜色空间c下的加权颜色直方图的计算公式为:
[0046]
[0047] 其中,h(m,c)表示输入图像在第c种颜色空间第m个组的加权颜色直方图,p表示输c入图像的像素,I表示在颜色空间c下的输入图像,M(p)表示像素p的显著性值,bm表示第m个组的颜色值集合,Ic(p)∈bm表示像素p在颜色空间c下的输入图像的颜色值属于bm表示的颜色值集合,δ{.}表示指示函数,当像素p属于bm时返回1,否则返回0,W和H分别表示输入图像的宽度和高度;
[0048] 步骤S12:对输入图像Ii,将输入图像Ii分成3×3网格的图像块,计算输入图像Ii的分块加权颜色直方图,每个通道像素取值范围平均分成4个组,故对于三个通道的颜色空间组的总数量为64,则分块加权颜色直方图的计算公式为:
[0049]
[0050] 其中,h(m,c,r)表示输入图像在第c种颜色空间第m个组的第r个图像块的加权颜色直方图,Ic,r表示输入图像在颜色空间c下的第r个图像块;
[0051] 步骤S13:计算输入图像Ii与图像集中其他任意输入图像Ij之间的相似性:
[0052]
[0053] 其中,f(Ii,Ij)表示图像Ii和图像Ij的相似性值,R表示图像分块的总块数,f(Ii,Ij)越大,说明两张图像越相似;以计算图像I1与I2相似性为例,计算公式为:
[0054]
[0055] 其中,f(I1,I2)表示图像I1和图像I2的相似性值,R(=9)表示图像分块的总块数;
[0056] 步骤S14:将输入图像Ii与图像集中其他任意输入图像Ij之间的相似性值{f(Ii,Ij)}降序排列,得到输入图像Ii的检索序列:
[0057] L(Ii)={l1,l2,…,lN-1},i=1,2,…,N
[0058] 其中,lq表示输入图像Ii的检索序列中第q张图像的编号;为了区分使用不同的显著性图作为加权图得到的图像检索结果,采用 表示使用用户标注的显著性图作为加权图得到的检索序列,采用Lk(Ii)表示使用显著性检测算法k生成的显著性图作为加权图得到的检索序列。
[0059] 在本实施例中,所述步骤S2中,分别计算检索序列 与Lk(Ii)的相似性值ek(Ii),将得到的相似性值排序得到图像检索应用对T种显著性检测算法的评估排序序列Xb(Ii),包括以下步骤:
[0060] 步骤S21:对于输入图像Ii,按如下公式计算检索序列 和Lk(Ii)的相似性值ek(Ii):
[0061]
[0062] 其中,Pk(Ii,j)表示Lk(Ii)中第j张图像在 中的位置;j=1,2,…,D,D表示检索返回的前D幅图像;对于图像检索应用,最关键的检索图像是检索返回的前若干幅图像,本实施例中,不失一般性的取检索返回的前25幅图像,因此,j的取值范围为1,2,…,25;
[0063] 步骤S22:将{ek(Ii)|k=1,2,…,T}升序排列,得到图像检索应用对T种显著性检测算法的评估排序序列
[0064] 在本实施例中,所述步骤S3中,采用显著性检测评估方法b对输入图像Ii使用T种显著性检测算法生成的显著性图进行评估,根据评估值大小将评估结果好的显著性检测算法排在前面,依序排列,得到显著性检测评估方法b对T种显著性检测算法的评估排序序列Xb(Ii)。
[0065] 在本实施例中,所述步骤S4中,按如下公式计算序列 与Xb(Ii)的相关性Yb(Ii):
[0066]
[0067] 其中 和Xb(Ii,k)分别表示在 和Xb(Ii)序列中第k个显著性检测算法的编号。
[0068] 以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。