一种基于过滤深度卷积特征的图像检索方法转让专利
申请号 : CN202110805566.1
文献号 : CN113515661B
文献日 : 2022-03-11
发明人 : 张伯健 , 卢奋 , 刘广海 , 孔令杰 , 陆周
申请人 : 广西师范大学
摘要 :
权利要求 :
1.一种基于过滤深度卷积特征的图像检索方法,其特征是,包括步骤如下:步骤1、分别将数据集中的每张数据图像输入深度卷积神经网络模型中,提取每张数据图像的N个深度卷积特征图Xmn(p,q);其中每个深度卷积特征图对应一个通道;
步骤2、计算每张数据图像的过滤图Fm(p,q);
步骤2.1、计算每张数据图像的N个深度卷积特征的方差Emn;
步骤2.2、从每张数据图像的N个深度卷积特征图中选出方差较大的k个深度卷积特征图,作为每张数据图像的过滤选定深度卷积特征图;
步骤2.3、先将每张数据图像的k个过滤选定深度卷积特征图的相同位置上的像素点的特征值相加,得到该张数据图像的叠加深度卷积特征图;再将叠加深度卷积特征图的每个像素点的特征值都除以k,得到每张数据图像的过滤图Fm(p,q);
步骤3、对于每张数据图像,将步骤2所得到的该张数据图像的过滤图Fm(p,q)与步骤1所得到的该张数据图像的N个深度卷积特征图Xmn(p,q)进行点乘,得到每张数据图像的N个过滤深度卷积特征图X′mn(p,q);
步骤4、计算每张数据图像的空间权重图Sm(p,q);
步骤4.1、将每张数据图像的N个过滤深度卷积特征图X′mn(p,q)的所有像素点的特征值相加,得到每张数据图像的N个过滤深度卷积特征图的综合特征值hmn;
步骤4.2、将所有数据图像的对应通道的过滤深度卷积特征的综合特征值相加,得到N个通道特征值h′n;
步骤4.3、先对N个通道特征值h′n排序,并记录通道特征值h′n较大的前b个通道特征值的序号作为选定通道序号;再从每张数据图像的N个深度卷积特征图中分别选出选定通道序号所对应的深度卷积特征图,作为每张数据图像的空间选定深度卷积特征图;
步骤4.4、将每张数据图像的b个空间选定深度卷积特征图进行相同位置上的像素点的特征值的平方相加,得到每张数据图像的空间叠加深度卷积特征图S′m(p,q);
步骤4.5、将每张数据图像的空间叠加深度卷积特征图S′m(p,q)进行归一化,得到每张数据图像的空间权重图Sm(p,q);
步骤5、对于每张数据图像,将步骤4所得到的该张数据图像的空间权重图Sm(p,q)与步骤1所得到的该张数据图像的N个深度卷积特征图Xmn(p,q)进行点乘,得到每张数据图像的N个空间加权深度卷积特征图X″mn(p,q);
步骤6、将每张数据图像的N个空间加权深度卷积特征图的通道权重值Pmn与综合特征值Φmn相乘,得到每张数据图像的N个通道加权深度卷积特征值Gmn;
步骤7、对每张数据图像的N个通道加权深度卷积特征值Gmn进行L2标准化和PCA白化降维处理,得到每张数据图像的N个特征表示G′mn,并利用每张数据图像的N个特征表示G′mn构建每张数据图像的特征表示向量G′m;
步骤8、将待检索图像输入深度卷积神经网络模型中,提取待检索图像的N个深度卷积特征图X*n(p,q);
步骤9、先将步骤4.3中计算空间权重图的过程中所得到的选定通道序号所对应的待检索图像的b个深度卷积特征图进行相同位置上像素点的特征值的平方相加,得到待检索图像的空间叠加深度卷积特征图;再对待检索图像的空间叠加深度卷积特征图进行归一化,得到待检索图像的空间权重图S*(p,q);
步骤10、将待检索图像的空间权重图S*(p,q)与待检索图像的N个深度卷积特征图X*n(p,q)进行点乘,得到待检索图像的N个空间加权深度卷积特征图X″*n(p,q);
步骤11、将待检索图像的N个空间加权深度卷积特征图的通道权重值P*n与综合特征值Φ*n相乘,得到待检索图像的N个通道加权深度卷积特征值G*n;
步骤12、对待检索图像的N个通道加权深度卷积特征值G*n进行L2标准化和PCA白化降维处理,得到待检索图像的N个特征表示G′*n,并利用待检索图像的N个特征表示G′mn构建待检索图像的特征表示向量G′*;
步骤13、步骤12所得的计算待检索图像的特征表示向量G′*与步骤7所得的数据集中的每张数据图像的特征表示向量G′m的L2距离,并按照距离从小到大的顺序返回最终检索结果;
其中,m=1,2,...,M,M表示数据集中数据图像的数量,n=1,2,...,N,N表示深度卷积特征图也即通道的数量,p=1,2,...,W,W表示深度卷积特征图的高度,q=1,2,...,H,H表示深度卷积特征图的高度,k、b为设定值,ε为设定的常量。
2.根据权利要求1所述的一种基于过滤深度卷积特征的图像检索方法,其特征是,步骤
6中,第m张数据图像的第n个通道权重值Pmn为:其中,m=1,2,...,M,M表示数据集中数据图像的数量,n=1,2,...,N,N表示深度卷积特征图的数量,p=1,2,...,W,W表示深度卷积特征图的高度,q=1,2,...,H,H表示深度卷积特征图的高度,Zmn表示第m张数据图像的第n个空间加权深度卷积特征图的像素点的特征值的非零占比,βmn表示第m张数据图像的第n个空间加权深度卷积特征图的响应强度值,ε为设定的常量。
3.根据权利要求1所述的一种基于过滤深度卷积特征的图像检索方法,其特征是,步骤
6中,第m张数据图像的第n个综合特征值Φmn为:其中,m=1,2,...,M,M表示数据集中数据图像的数量,n=1,2,...,N,N表示深度卷积特征图的数量,p=1,2,...,W,W表示深度卷积特征图的高度,q=1,2,...,H,H表示深度卷积特征图的高度,X″mn(p,q)表示第m张数据图像的第n个空间加权深度卷积特征图。
4.根据权利要求1所述的一种基于过滤深度卷积特征的图像检索方法,其特征是,步骤
11中,待检索图像的第n个通道权重值P*n为:其中,n=1,2,...,N,N表示深度卷积特征图的数量,p=1,2,...,W,W表示深度卷积特征图的高度,q=1,2,...,H,H表示深度卷积特征图的高度,Z*n表示待检索图像的第n个空间加权深度卷积特征图的像素点的特征值的非零占比,β*n表示待检索图像的第n个空间加权深度卷积特征图的响应强度值,ε为设定的常量。
5.根据权利要求1所述的一种基于过滤深度卷积特征的图像检索方法,其特征是,步骤
11中,待检索图像的第n个综合特征值Φ*n为:其中,n=1,2,...,N,N表示深度卷积特征图的数量,p=1,2,...,W,W表示深度卷积特征图的高度,q=1,2,...,H,H表示深度卷积特征图的高度,X″*n(p,q)表示待检索图像的第n个空间加权深度卷积特征图。
说明书 :
一种基于过滤深度卷积特征的图像检索方法
技术领域
背景技术
时互联网又是人类获取信息的有效技术手段,面对海量的图像,如何查询自己现需要的图
像面临着巨大的困难和挑战。早期的图像检索技术是基于文本的,这需要对每一幅图像都
进行标记,这种标记随着人的主观因素的不同而不同,同时,单一的文本并不能有效的表示
图像的内容,这也就限制了基于文本的图像检索技术的发展。于是,基于内容的图像检索技
术开始出现。在图像检索的早期开发中,研究人员通常使用颜色和纹理等全局特征来表示
图像内容。但是,在某些照明、遮挡和变形条件下,全局特征性能表现不佳,因此很难应用于
某些场景下的图像检索任务。近年来,将深度卷积神经网络应用到图像检索领域表现出非
常优异的性能。主要的步骤是从深度卷积神经网络中提取深度卷积特征,通过聚合深度卷
积特征来形成具有可区分性的图像特征表示向量,利用特征向量来进行特征匹配并返回最
相似的图像。基于深度卷积神经网络的图像检索技术已经成为当前研究的热点,然而由于
深度卷积特征中背景噪声会影响检索结果,因此如何利用深度卷积特征来构建更加具有可
区分性的图像表示是当前面临的主要困难和挑战。
发明内容
每个像素点的特征值都除以k,得到每张数据图像的过滤图Fm(p,q);
个过滤深度卷积特征图X′mn(p,q);
通道序号所对应的深度卷积特征图,作为每张数据图像的空间选定深度卷积特征图;
像的N个空间加权深度卷积特征图X″mn(p,q);
G′mn构建每张数据图像的特征表示向量G′m;
索图像的空间叠加深度卷积特征图;再对待检索图像的空间叠加深度卷积特征图进行归一
化,得到待检索图像的空间权重图S*(p,q);
待检索图像的特征表示向量G′*;
H表示深度卷积特征图的高度,k、b为设定值,ε为设定的常量。
度卷积特征图的高度,Zmn表示第m张数据图像的第n个空间加权深度卷积特征图的像素点的
特征值的非零占比,βmn表示第m张数据图像的第n个空间加权深度卷积特征图的响应强度
值,ε为设定的常量。
度卷积特征图的高度,X″mn(p,q)表示第m张数据图像的第n个空间加权深度卷积特征图。
空间加权深度卷积特征图的像素点的特征值的非零占比,β*n表示待检索图像的第n个空间
加权深度卷积特征图的响应强度值,ε为设定的常量。
的第n个空间加权深度卷积特征图。
述了图像中的目标物体,其能够有效抑制深度卷积特征中的背景噪声,能够形成具有可区
分性的图像表示,实验结果证明我们的方法能够有效提高图像检索精确度。
附图说明
具体实施方式
卷积特征进行过滤,以除去背景噪声;然后,设计一种空间权重,用来增强目标物体的响应;
接着,利用通道权重对通道进行增强,生成图像的表示向量;最后,对图像的表示向量进行
标准化和降维,得到最终的特征向量用于相似性匹配,从而返回图像检索的结果。该方法模
拟了利用深度卷积神经网络模型获取图像的深度卷积特征来执行图像检索任务,生成的图
像表示能够有效的描述图像中的目标物体,能够提高图像检索的精确度,通过空间权重和
通道权重来分别对那些包括有关键语义信息的特征图赋予更高权重,以提高图像的可辨别
性能,其具体步骤如下:
示每张数据图像的深度卷积特征图的数量(也是值通道的数量,因为每个通道对应一个深
度卷积特征图),p=1,2,...,W,W表示深度卷积特征图的宽度,q=1,2,...,H,H表示深度卷
积特征图的高度。
表示深度卷积特征图Xmn(p,q)中的每个像素点的特征值都依次
减去均值。
每个像素点的特征值都除以k,得到该张数据图像的过滤图Fm(p,q):
图像的N个过滤深度卷积特征图X′mn(p,q):
是说每张数据图像都选择这些序号对应的通道上的深度卷积特征图作为空间选定深度卷
积特征图)。再利用每张数据图像的这些选定通道序号对应的深度卷积特征图作为每张数
据图像的空间选定深度卷积特征图,这些选定的深度卷积特征图将用于构造每张数据图像
的空间权重图。
数据图像的N个空间加权深度卷积特征图X″mn(p,q):
图的响应强度值, ε为设定的一个很小的常量,ε=
0.0001,其目的是为了保证分母和分子不为0。
度卷积特征图的高度,X″mn(p,q)表示空间加权深度卷积特征图。
G′mn构建每张数据图像的特征表示向量G′m={G′mn,n=1,2,...,N}。
加深度卷积特征图S′*(p,q);再对待检索图像的空间叠加深度卷积特征图S′*(p,q)进行归
一化,得到待检索图像的空间权重图S*(p,q)。
待检索图像的特征表示向量G′*={G′*n,n=1,2,...,N}。
索结果。
将其应用于图像检索。我们提出了新的图像检索框架。关键技术主要分为过滤器、空间权重
和通道权重三部分。当我们关注通道时,过滤器可以消除噪音的干扰,这有利于选择更具区
别的通道。空间权重可以加强空间位置中目标物体的响应,在突出关键特征、进一步抑制背
景噪声方面发挥作用。通道权重可以增强某些通道响应不突出但包含关键功能的通道,在
抑制视觉突然性方面也起着一定的作用。实验结果表明,我们提出的方法能够提高图像检
索的性能。
本领域技术人员在本发明的启示下获得的其它实施方式,均视为在本发明的保护之内。