一种基于哈希重建的图像特征点匹配方法转让专利

申请号 : CN201610490360.3

文献号 : CN106126668B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 邢爽杜强聂方兴

申请人 : 北京小白世纪网络科技有限公司

摘要 :

本发明公开了一种基于哈希重建的图像特征点匹配方法,包括如下步骤:利用被查图像的被查特征点的特征学习哈希函数;利用哈希函数学习哈希重建矩阵;对查询特征点和被查特征点通过距离度量筛选候选特征点;对候选特征点及查询特征点进行哈希重建;对哈希重建后的候选特征点及查询特征点进行相似度对比,最后得到匹配的特征点。本发明提供的一种基于哈希重建的图像特征点匹配方法通过两步匹配的方法,提高了匹配精度;在通过哈希重建得到的重建特征进行匹配的过程中,不需存储原始特征,减少了存储及建索引的代价,从而实现了快速的特征点匹配。

权利要求 :

1.一种基于哈希重建的图像特征点匹配方法,其特征在于,包括如下步骤:利用被查图像的被查特征点的特征学习哈希函数;

利用哈希函数学习哈希重建矩阵;

利用哈希重建矩阵筛选得到与查询特征点匹配的特征点;

所述利用哈希重建矩阵筛选得到匹配的特征点的步骤中,具体包括如下步骤:对查询特征点和被查特征点通过距离度量筛选候选特征点;

对候选特征点及查询特征点进行哈希重建;

对哈希重建后的候选特征点及哈希重建后的查询特征点进行相似度对比,最后得到匹配的特征点;

具体包括如下步骤:

步骤S1:利用被查图像的被查特征点的特征学习哈希函数;

步骤S2:利用步骤S1中得到的哈希函数学习旋转矩阵和哈希重建矩阵;

步骤S3:利用步骤S2得到的旋转矩阵,得到查询特征点的哈希码和被查特征点的哈希码;

步骤S4:将步骤S3得到的查询特征点的哈希码与被查特征点的哈希码进行距离度量,将所有距离小于阈值的被查特征点作为候选特征点集合;

步骤S5:利用步骤S2得到的哈希重建矩阵,对查询特征点及步骤S4筛选出的候选特征点集合进行哈希重建,得到查询特征点的重建特征及步骤S4筛选出的候选特征点集合的重建特征;

步骤S6:将步骤S5中的候选特征点集合的重建特征分别与查询特征点的重建特征进行相似度对比,并按相似度从大到小进行排序,最后得到匹配的特征点;

在所述步骤S1:利用被查图像的被查特征点的特征学习哈希函数的步骤中,具体包括:通过哈希方法利用被查图像的被查特征点的特征学习哈希函数;

在所述步骤S1中,通过哈希方法利用被查图像的被查特征点的特征学习哈希函数的步骤中,采用的所述哈希方法为ITQ哈希方法,具体包括如下步骤:步骤S1.1:对被查图像的被查特征点的特征矩阵X进行PCA降维,得到PCA降维矩阵T;

步骤S1.2:利用上一步得到的PCA降维矩阵T,得到对被查特征点的特征矩阵X进行PCA降维后的特征矩阵V,V=TX;

步骤S1.3:构建哈希函数;

所述步骤S1中构建的哈希函数为:

其中,H为哈希码矩阵,R为ITQ的旋转矩阵,U为哈希重建矩阵,X为被查特征点的特征矩阵。

2.如权利要求1所述的一种基于哈希重建的图像特征点匹配方法,其特征在于,所述步骤S2:利用步骤S1中得到的哈希函数学习旋转矩阵和哈希重建矩阵的步骤,具体包括:对步骤S1中得到的哈希函数进行迭代优化,得到旋转矩阵R和哈希重建矩阵U。

3.如权利要求2所述的一种基于哈希重建的图像特征点匹配方法,其特征在于,所述步骤S3:利用步骤S2得到的旋转矩阵,得到被查特征点的哈希码和查询特征点的哈希码的步骤,具体包括如下步骤:步骤S3.1:对于被查特征点的特征矩阵xi,利用步骤S1.1得到的PCA降维矩阵T进行特征降维,得到降维后的被查特征点的特征向量xi′=Txi;

步骤S3.2:利用步骤S2得到旋转矩阵R和上一步得到的降维后的被查特征点特征向量xi′,得到哈希码hi=Rxi′;

步骤S3.3:对于查询特征点的特征矩阵q,利用步骤S1.1得到的PCA降维矩阵T进行特征降维,得到降维后的查询特征点的特征向量q′=Tq;

步骤S3.4:利用步骤S2得到旋转矩阵R和上一步得到的降维后的查询特征点的特征向量q′,得到哈希码hq=Rq′。

4.如权利要求3所述的一种基于哈希重建的图像特征点匹配方法,其特征在于,所述步骤S5:利用步骤S2得到的哈希重建矩阵,对查询特征点及步骤S4筛选出的候选特征点集合进行哈希重建,得到查询特征点的重建特征及步骤S4筛选出的候选特征点集合的重建特征的步骤中,所述查询特征点的重建特征q″=Uhq,步骤S4筛选出的候选特征点集合的重建特征x″i=Uhi。

5.如权利要求4所述的一种基于哈希重建的图像特征点匹配方法,其特征在于,所述被查特征点的特征采用SIFT特征。

说明书 :

一种基于哈希重建的图像特征点匹配方法

技术领域

[0001] 本发明属于计算机多媒体技术领域,尤其涉及一种基于哈希重建的图像特征点匹配方法。

背景技术

[0002] 基于图像局部特征(如SIFT特征)的图像描述方法在图像检索中得到广泛用于,为了提高检索精度,需要对特征点直接进行快速匹配,然而目前的特征点匹配方法在匹配精度和匹配速度上很难找到一个更好的平衡。现有的图像特征点匹配方法普遍存在匹配复杂度高、计算量大或者匹配精度不高的问题。

发明内容

[0003] 本发明的目的之一在于提供一种基于哈希重建的图像特征点匹配方法,以解决现有图像特征点匹配方法匹配复杂度高、计算量大或者匹配精度不高的问题。
[0004] 本发明的发明目的是通过下述技术方案来实现的:
[0005] 一种基于哈希重建的图像特征点匹配方法,包括如下步骤:
[0006] 对被查图像的被查特征点的特征学习哈希函数;
[0007] 利用哈希函数学习哈希重建矩阵;
[0008] 利用哈希重建矩阵筛选得到与查询特征点匹配的特征点。
[0009] 进一步的,所述利用哈希重建矩阵筛选得到匹配的特征点的步骤中,具体包括如下步骤:
[0010] 对查询特征点和被查特征点通过距离度量筛选候选特征点;
[0011] 对候选特征点及查询特征点进行哈希重建;
[0012] 对哈希重建后的候选特征点及哈希重建后的查询特征点进行相似度对比,最后得到匹配的特征点。
[0013] 进一步的,一种基于哈希重建的图像特征点匹配方法具体包括如下步骤:
[0014] 步骤S1:利用被查图像的被查特征点的特征学习哈希函数;
[0015] 步骤S2:利用步骤S1中得到的哈希函数学习旋转矩阵和哈希重建矩阵;
[0016] 步骤S3:利用步骤S2得到的旋转矩阵,得到查询特征点的哈希码和被查特征点的哈希码;
[0017] 步骤S4:将步骤S3得到的查询特征点的哈希码与被查特征点的哈希码进行距离度量,将所有距离小于阈值的被查特征点作为候选特征点集合;
[0018] 步骤S5:利用步骤S2得到的哈希重建矩阵,对查询特征点及步骤S4筛选出的候选特征点集合进行哈希重建,得到查询特征点的重建特征及步骤S4筛选出的候选特征点集合的重建特征;
[0019] 步骤S6:将步骤S5中的候选特征点集合的重建特征分别与查询特征点的重建特征进行相似度对比,并按相似度从大到小进行排序,最后得到匹配的特征点。
[0020] 进一步的,在所述步骤S1:利用被查图像的被查特征点的特征学习哈希函数的步骤中,具体包括:通过哈希方法利用被查图像的局部特征点的特征学习哈希函数。
[0021] 进一步的,在所述步骤S1中,通过哈希方法利用被查图像的被查特征点的特征学习哈希函数的步骤中,采用的所述哈希方法为ITQ哈希方法,具体包括如下步骤:
[0022] 步骤S1.1:对被查图像的被查特征点的特征矩阵X进行PCA降维,得到PCA降维矩阵T;
[0023] 步骤S1.2:利用上一步得到的PCA降维矩阵T,得到对被查特征点的特征矩阵X进行PCA降维后的特征矩阵V,V=TX;
[0024] 步骤S1.3:构建哈希函数。
[0025] 进一步的,所述步骤S1中构建的哈希函数为:
[0026]
[0027] 其中,H为哈希码矩阵,R为ITQ的旋转矩阵,U为哈希重建矩阵,X为被查特征点的特征矩阵。
[0028] 进一步的,所述步骤S2:利用步骤S1中得到的哈希函数学习旋转矩阵和哈希重建矩阵的步骤,具体包括:
[0029] 对步骤S1中得到的哈希函数进行迭代优化,得到旋转矩阵R和哈希重建矩阵U。
[0030] 进一步的,所述步骤S3:利用步骤S2得到的旋转矩阵,得到被查特征点的哈希码和查询点的哈希码的步骤,具体包括如下步骤:
[0031] 步骤S3.1:对于被查特征点的特征矩阵xi,利用步骤S1.1得到的PCA降维矩阵T进行特征降维,得到降维后的被查特征点的特征向量xi′=Txi;
[0032] 步骤S3.2:利用步骤S2得到旋转矩阵R和上一步得到的降维后的被查特征点特征向量xi′,得到哈希码hi=Rxi′;
[0033] 步骤S3.3:对于查询特征点的特征矩阵q,利用步骤S1.1得到的PCA降维矩阵T进行特征降维,得到降维后的查询特征点的特征向量q′=Tq;
[0034] 步骤S3.4:利用步骤S2得到旋转矩阵R和上一步得到的降维后的查询特征点的特征向量q′,得到哈希码hq=Rq′。
[0035] 进一步的,所述步骤S5:利用步骤S2得到的哈希重建矩阵,对查询特征点及步骤S4筛选出的候选特征点集合进行哈希重建,得到查询特征点的重建特征及步骤S4筛选出的候选特征点集合的重建特征的步骤中,所述查询特征点的重建特征q″=Uhq,步骤S4筛选出的候选特征点集合的重建特征xi″=Uhi。
[0036] 进一步的,所述被查特征点的特征采用SIFT特征。
[0037] 本发明的有益效果:本发明提供的一种基于哈希重建的图像特征点匹配方法通过两步匹配的方法,提高了匹配精度;在通过哈希重建得到的重建特征进行匹配的过程中,不需存储原始特征,减少了存储及建索引的代价,从而实现了快速的特征点匹配。

附图说明

[0038] 图1为本发明基于哈希重建的图像特征点匹配方法流程图。

具体实施方式

[0039] 下文将结合具体实施方式详细描述本发明。应当注意的是,下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的,它们可以被相互组合从而达到更好的技术效果。
[0040] 一种基于哈希重建的图像特征点匹配方法,包括如下步骤:
[0041] 对被查图像的被查特征点的特征学习哈希函数;
[0042] 利用哈希函数学习哈希重建矩阵;
[0043] 利用哈希重建矩阵筛选得到与查询特征点匹配的特征点。
[0044] 进一步的,在利用哈希重建矩阵筛选得到匹配的特征点的步骤中,具体包括如下步骤:
[0045] 对查询特征点和被查特征点通过距离度量筛选候选特征点;
[0046] 对候选特征点及查询特征点进行哈希重建;
[0047] 对哈希重建后的候选特征点及查询特征点进行相似度对比,最后得到匹配的特征点。
[0048] 如图1所示,本发明提供的一种基于哈希重建的图像特征点匹配方法具体包括如下步骤:
[0049] 步骤S1:对被查图像的被查特征点的特征学习哈希函数;
[0050] 步骤S2:利用步骤S1中得到的哈希函数学习旋转矩阵和哈希重建矩阵;
[0051] 步骤S3:利用步骤S2得到的旋转矩阵,得到查询特征点的哈希码和被查特征点的哈希码;
[0052] 步骤S4:将步骤S3得到的查询特征点的哈希码与被查特征点的哈希码进行距离度量,将所有距离小于阈值的被查特征点作为候选特征点集合;
[0053] 步骤S5:利用步骤S2得到的哈希重建矩阵,对查询特征点及步骤S4筛选出的候选特征点集合进行哈希重建,得到查询特征点的重建特征及步骤S4筛选出的候选特征点集合的重建特征;
[0054] 步骤S6:将步骤S5中的候选特征点集合的重建特征分别与查询特征点的重建特征进行相似度对比,并按相似度从大到小进行排序,最后得到匹配的特征点。
[0055] 本发明首先利用哈希码通过汉明距离快速筛选候选特征点,再对候选特征点以及查询特征点进行哈希重建,在哈希重建基础上进一步进行筛选。整个匹配过程中通过了两步筛选,提高了匹配精度。
[0056] 实施例
[0057] 本发明提供的一种基于哈希重建的图像特征点匹配方法具体包括如下步骤:
[0058] (1)通过迭代量化(Iterative Quantization,ITQ)哈希方法对被查图像的被查特征点的尺度不变特征转换(Scale-invariant feature transform,SIFT)特征学习哈希函数,具体包括如下步骤:
[0059] (1.1)对被查图像的被查特征点的特征矩阵X进行PCA降维,得到PCA降维矩阵T;
[0060] (1.2)利用上一步得到的PCA降维矩阵T,得到对被查特征点的特征矩阵X进行PCA降维后的特征矩阵V,V=TX;
[0061] (1.3)构建哈希函数,该哈希函数为:
[0062]
[0063] 其中,H为哈希码矩阵,R为ITQ的旋转矩阵,U为哈希重建矩阵,X为被查特征点的特征矩阵。
[0064] (2)对步骤(1)中得到的哈希函数进行迭代优化,学习得到旋转矩阵R和哈希重建矩阵U。
[0065] (3)利用步骤(2)得到的旋转矩阵R,得到被查特征点的哈希码和查询特征点的哈希码的步骤,具体包括如下步骤:
[0066] (3.1)对于被查特征点的特征矩阵xi,利用步骤(1.1)得到的PCA降维矩阵T进行特征降维,得到降维后的被查特征点的特征向量xi′=Txi;
[0067] (3.2)利用步骤(2)得到旋转矩阵R和上一步得到的降维后的被查特征点特征向量xi′,得到哈希码hi=Rxi′,所有被查特征点的哈希码构成被查特征点库的哈希索引。
[0068] (3.3)对于查询特征点的特征矩阵q,利用步骤(1.1)得到的PCA降维矩阵T进行特征降维,得到降维后的查询特征点的特征向量q′=Tq;
[0069] (3.4)利用步骤(2)得到旋转矩阵R和上一步得到的降维后的查询特征点的特征向量q′,得到哈希码hq=Rq′。
[0070] (4)将步骤(3)得到的查询特征点的哈希码与被查特征点的哈希码进行汉明距离度量,将所有汉明距离小于阈值的被查特征点作为候选特征点集合;
[0071] (5)利用步骤(2)得到的哈希重建矩阵U,对查询特征点及步骤S4筛选出的候选特征点集合进行哈希重建,得到查询特征点的重建特征及步骤S4筛选出的候选特征点集合的重建特征的步骤中,所述查询特征点的重建特征q″=Uhq,步骤S4筛选出的候选特征点集合的重建特征xi″=Uhi。
[0072] (6)将步骤(5)中的候选特征点集合的重建特征分别与查询特征点的重建特征进行相似度对比,并按相似度从大到小进行排序,最后得到匹配的特征点。
[0073] 本发明提供的一种基于哈希重建的图像特征点匹配方法中首先利用哈希码通过汉明距离快速筛选候选特征点,再对候选特征点以及查询特征点进行哈希重建,在哈希重建基础上进一步进行筛选。整个匹配过程中通过了两步筛选,提高了匹配精度。
[0074] 本发明提供的一种基于哈希重建的图像特征点匹配方法在通过哈希重建得到的重建特征进行匹配的过程中,不需存储原始特征,减少了存储及建索引的代价,从而实现了快速的特征点匹配。
[0075] 当然应意识到,虽然通过本发明的示例已经进行了前面的描述,但是对本发明做出的将对本领域的技术人员显而易见的这样和其他的改进及改变应认为落入如本文提出的本发明宽广范围内。因此,尽管本发明已经参照了优选的实施方式进行描述,但是,其意并不是使具新颖性的设备由此而受到限制,相反,其旨在包括符合上述公开部分、权利要求的广阔范围之内的各种改进和等同修改。