用于稀疏重建的匹配方法及装置转让专利
申请号 : CN202111143438.1
文献号 : CN113869414B
文献日 : 2022-11-08
发明人 : 由清圳
申请人 : 埃洛克航空科技(北京)有限公司
摘要 :
本公开实施例公开了一种用于稀疏重建的匹配方法及装置，首先对图片集中各个图片建立基于视觉单词的倒排索引结构；为当前图片中的特征描述子在待匹配图片中确定与其相符的视觉单词；而后基于倒排索引结构，确定与相符的视觉单词所映射的映射特征描述子；最后计算当前图片中的特征描述子与映射特征描述子的相似度分值；基于相似度分值，确定与当前图片相匹配的图片。通过计算图片中特征描述子与映射特征描述子的相似度分值，确定图片的相似度，大大提高了特征匹配效率和匹配准确度。
权利要求 :
1.一种用于稀疏重建的匹配方法，其特征在于，包括：
对图片集中各个图片建立基于视觉单词的倒排索引结构；
为当前图片中的特征描述子在待匹配图片中确定与其相符的视觉单词；
基于倒排索引结构，确定与相符的视觉单词所映射的映射特征描述子；计算当前图片中的特征描述子与映射特征描述子的相似度分值；包括基于任两张图片中的特征描述子的匹配关系，建立匹配矩阵；计算匹配矩阵中匹配关系对应的第一分值，其中，当对匹配矩阵中部分匹配关系计算相似性分值时：预先对原始照片进行多种类别的语义分割，分割后将图片中每个像素点对应的所属类别保存记录，过滤掉匹配矩阵中语义类别不同的两两特征描述子的匹配关系，只计算语义类别相同的两两特征描述子的匹配关系对应的第一分值；
第一分值可以用于描述距离度量空间的概念，因此分值越大意味着距离越远，相似性越低；
当对匹配矩阵中所有的匹配关系计算的相似性分值时：预先对原始照片进行多种类别的语义分割，分割后将图片中每个像素点对应的所属类别保存记录，而后区分出语义类别相同的匹配关系、以及语义类别不同的匹配关系，针对不同的关系赋予不同的分值，如果语义类别相同，那么赋予较低的语义的得分，如果语义类别不同，那么赋予较高的语义的得分；
基于相似度分值，确定与当前图片相匹配的图片；
其中，计算当前图片中的特征描述子与映射特征描述子的相似度分值包括：基于匹配矩阵，确定当前图片中的特征描述子与映射特征描述子的匹配关系对应的第一分值；计算当前图片中的特征描述子与映射特征描述子的汉明得分；基于第一分值、汉明得分确定相似度分值。
2.根据权利要求1所述的用于稀疏重建的匹配方法，其特征在于，计算当前图片中的特征描述子与映射特征描述子的相似度分值包括：计算当前图片中的各个特征描述子与各个映射特征描述子的相似度分值；
将各个相似度分值求和，得到当前图片中与待匹配图片的相似度分值。
3.根据权利要求1所述的用于稀疏重建的匹配方法，其特征在于，为当前图片中的特征描述子在待匹配图片中确定最相近的前m个视觉单词。
4.一种用于稀疏重建的匹配装置，其特征在于，包括：
生成单元，被配置成对图片集中各个图片建立基于视觉单词的倒排索引结构；
第一确定单元，被配置成为当前图片中的特征描述子在待匹配图片中确定与其相符的视觉单词；
第二确定单元，被配置成基于倒排索引结构，确定与相符的视觉单词所映射的映射特征描述子；
计算单元，被配置成计算当前图片中的特征描述子与映射特征描述子的相似度分值；
包括基于任两张图片中的特征描述子的匹配关系，建立匹配矩阵；计算匹配矩阵中匹配关系对应的第一分值，其中，当对匹配矩阵中部分匹配关系计算相似性分值时：预先对原始照片进行多种类别的语义分割，分割后将图片中每个像素点对应的所属类别保存记录，过滤掉匹配矩阵中语义类别不同的两两特征描述子的匹配关系，只计算语义类别相同的两两特征描述子的匹配关系对应的第一分值；第一分值可以用于描述距离度量空间的概念，因此分值越大意味着距离越远，相似性越低；
当对匹配矩阵中所有的匹配关系计算的相似性分值时：预先对原始照片进行多种类别的语义分割，分割后将图片中每个像素点对应的所属类别保存记录，而后区分出语义类别相同的匹配关系、以及语义类别不同的匹配关系，针对不同的关系赋予不同的分值，如果语义类别相同，那么赋予较低的语义的得分，如果语义类别不同，那么赋予较高的语义的得分；
第三确定单元，被配置成基于相似度分值，确定与当前图片相匹配的图片；
其中，计算当前图片中的特征描述子与映射特征描述子的相似度分值包括：基于匹配矩阵，确定当前图片中的特征描述子与映射特征描述子的匹配关系对应的第一分值；计算当前图片中的特征描述子与映射特征描述子的汉明得分；基于第一分值、汉明得分确定相似度分值。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1‑3任意一项所述的用于稀疏重建的匹配方法。
6.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1‑3任意一项所述的用于稀疏重建的匹配方法。
说明书 :
用于稀疏重建的匹配方法及装置
技术领域
[0001] 本公开涉及数据处理技术领域，具体涉及到一种用于稀疏重建的匹配方法及装置。
背景技术
[0002] 一张图片上通常有几千、几万个特征点，需要将一张图片上的每个点与另外一张图片上的所有点计算匹配关系，这种直接匹配的方式匹配效率低。
发明内容
[0003] 本公开的主要目的在于提供一种用于稀疏重建的匹配方法及装置。
[0004] 为了实现上述目的，根据本公开的第一方面，提供了一种用于稀疏重建的匹配方法，包括：对图片集中各个图片建立基于视觉单词的倒排索引结构；为当前图片中的特征描述子在待匹配图片中确定与其相符的视觉单词；基于倒排索引结构，确定与相符的视觉单词所映射的映射特征描述子；计算当前图片中的特征描述子与映射特征描述子的相似度分值；基于相似度分值，确定与当前图片相匹配的图片。
[0005] 可选地，方法还包括：基于任两张图片中的特征描述子的匹配关系，建立匹配矩阵；计算匹配矩阵中匹配关系对应的第一分值。
[0006] 可选地，计算当前图片中的特征描述子与映射特征描述子的相似度分值包括：基于匹配矩阵，确定当前图片中的特征描述子、与映射特征描述子的匹配关系对应的第一分值；计算当前图片中的特征描述子与映射特征描述子的汉明得分；基于第一分值、汉明得分确定相似度分值。
[0007] 可选地，计算当前图片中的特征描述子与映射特征描述子的相似度分值包括：计算当前图片中的各个特征描述子与各个映射特征描述子的相似度分值；将各个相似度分值求和，得到当前图片中与待匹配图片的相似度分值。
[0008] 可选地，为当前图片中的特征描述子在待匹配图片中确定最相近的前m个视觉单词。
[0009] 根据本公开的第二方面，提供了一种用于稀疏重建的匹配装置，包括：生成单元，被配置成对图片集中各个图片建立基于视觉单词的倒排索引结构；第一确定单元，被配置成为当前图片中的特征描述子在待匹配图片中确定与其相符的视觉单词；第二确定单元，被配置成基于倒排索引结构，确定与相符的视觉单词所映射的映射特征描述子；计算单元，被配置成计算当前图片中的特征描述子与映射特征描述子的相似度分值；第三确定单元，被配置成基于相似度分值，确定与当前图片相匹配的图片。
[0010] 作为本实施例一种可选的实现方式，装置还包括：基于任两张图片中的特征描述子的匹配关系，建立匹配矩阵；计算匹配矩阵中匹配关系对应的第一分值。
[0011] 作为本实施例一种可选的实现方式，基于匹配矩阵，确定当前图片中的特征描述子、与映射特征描述子的匹配关系对应的第一分值；计算当前图片中的特征描述子与映射特征描述子的汉明得分；基于第一分值、汉明得分确定相似度分值。
[0012] 根据本公开的第三方面，提供了一种计算机可读存储介质，存储有计算机指令，计算机指令用于使计算机执行第一方面任意一项实现方式所述的用于稀疏重建的匹配方法。
[0013] 根据本公开的第四方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行第一方面任意一项实现方式所述的用于稀疏重建的匹配方法。
[0014] 在本公开实施例用于稀疏重建的匹配方法及装置中，首先对图片集中各个图片建立基于视觉单词的倒排索引结构；为当前图片中的特征描述子在待匹配图片中确定与其相符的视觉单词；而后基于倒排索引结构，确定与相符的视觉单词所映射的映射特征描述子；最后计算当前图片中的特征描述子与映射特征描述子的相似度分值；基于相似度分值，确定与当前图片相匹配的图片。通过计算图片中特征描述子与映射特征描述子的相似度分值，确定图片的相似度，大大提高了特征匹配效率和匹配准确度。
附图说明
[0015] 为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016] 图1是根据本公开实施例的用于稀疏重建的匹配方法的流程图；
[0017] 图2是根据本公开实施例的用于稀疏重建的匹配装置的结构示意图；
[0018] 图3是根据本公开实施例的电子设备的示意图。
具体实施方式
[0019] 为了使本技术领域的人员更好地理解本公开方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本公开保护的范围。
[0020] 需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0021] 需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0022] 根据本公开实施例，提供了一种用于稀疏重建的匹配方法，如图1所示，该方法包括如下的步骤101至步骤105：
[0023] 步骤101：对图片集中各个图片建立基于视觉单词的倒排索引结构。
[0024] 在本实施例中，针对图片集中任一图片，首先基于词汇树生成视觉单词visual_word，而后建立基于visual_word的倒排索引结构。
[0025] 步骤102：为当前图片中的特征描述子在待匹配图片中确定与其相符的视觉单词。
[0026] 在本实施例中，可首先遍历当前图片所包含的特征描述子D1，D2，...，Dn，针对任一特征描述子Di，确定与其相近的至少一个视觉单词{V1,V2,V4,...}。
[0027] 作为本实施例一种可选的实现方式，为当前图片中的特征描述子在待匹配图片中确定最相近的前m个视觉单词。
[0028] 在本可选的实现方式中，可以在确定相映射的视觉单词后，通过计算特征描述子和visual_word的距离关系，将最相近的前m个视觉单词作为相符的视觉单词。
[0029] 步骤103：基于倒排索引结构，确定与相符的视觉单词所映射的映射特征描述子。
[0030] 在本实施例中，可利用visual_word的倒排索引结构，找到当前Vj所指向的最近特征描述子
[0031] 步骤104：计算当前图片中的特征描述子与映射特征描述子的相似度分值。
[0032] 在本实施例中，针对当前图片中的任一特征描述子Di与映射特征描述子的相似度分值，进而可以得到整张当前图片与待匹配图片的相似度分值。
[0033] 作为本实施例一种可选的实现方式，计算当前图片中的特征描述子与映射特征描述子的相似度分值包括：计算当前图片中的各个特征描述子与各个映射特征描述子的相似度分值；将各个相似度分值求和，得到当前图片中与待匹配图片的相似度分值。
[0034] 在本可选的实现方式中，通过对当前图片中所有的特征描述子进行匹配，并计算所有特征描述子的相似度分值，进而可以得到当前图片与待匹配图片间的相似度分数。
[0035] 作为本实施例一种可选的实现方式，方法还包括：基于任两张图片中的特征描述子的匹配关系，建立匹配矩阵；计算匹配矩阵中匹配关系对应的第一分值。
[0036] 在本可选的实现方式中，第一分值可以是对匹配矩阵中所有的匹配关系计算的相似性分值；也可以是对匹配矩阵中部分匹配关系计算的相似性分值。
[0037] 图片之间两两匹配关系，如有两个图片：ImageA、ImageB，ImageA中的所有特征点：a1,a2,a3...；ImageB中的所有特征点：b1,b2,b3...；为了获得ImageA中与ImageB中特征点的匹配关系，构建匹配矩阵如下表：
[0038] a1 a2 a3 ...
b1 Score11 Score12 Score13
b2 Score21 Score22 Score23
b3 Score31 Score32 Score33
...
b1 Score11 Score12 Score13
b2 Score21 Score22 Score23
b3 Score31 Score32 Score33
...
[0039] 一张图片上通常有几千、几万个特征点，需要将一张图片上的每个点与另外一张图片上的所有点计算匹配关系，这样的直接匹配效率十分低下。
[0040] 当对匹配矩阵中部分匹配关系计算的相似性分值时：
[0041] 可以预先对原始照片进行多种类别的语义分割，分割后将图片中每个像素点对应的所属类别保存记录。过滤掉匹配矩阵中语义类别不同的两两特征描述子的匹配关系，只计算语义类别相同的两两特征描述子的匹配关系对应的第一分值。第一分值可以用于描述距离度量空间的概念，因此分值越大意味着距离越远，相似性越低。
[0042] 如下表，黑色表格中两个特征类别不同，灰色表格可表示两个特征的类别相同，可以将黑色表格中弱相关的匹配关系过滤掉。
[0043]
[0044] 第一分值的大小可以基于采用特征描述子维度值的百分比来确定。由于特征描述子维度值不同，因此得到的每个匹配关系(语义类别相同的匹配关系)中的值是不同的。
[0045] 通过语义分割为每个像素标记的类别标签，可以有效的过滤两个特征点集合的弱相关匹配对，不但可以提升匹配速度，而且可以减少误匹配。
[0046] 当对匹配矩阵中所有的匹配关系计算的相似性分值：
[0047] 可以预先对原始照片进行多种类别的语义分割，分割后将图片中每个像素点对应的所属类别保存记录。而后区分出语义类别相同的匹配关系、以及语义类别不同的匹配关系。针对不同的关系赋予不同的分值，如果语义类别相同，那么赋予较低的语义的得分，如果语义类别不同，那么赋予较高的语义的得分。例如，表格中灰色得分可以采用描述子维度值的20％；黑色得分可以采用描述子维度值的80％，而20％或者80％均可以被配置。
[0048] 作为本实施例一种可选的实现方式，计算当前图片中的特征描述子与映射特征描述子的相似度分值包括：基于匹配矩阵，确定当前图片中的特征描述子、与映射特征描述子的匹配关系对应的第一分值；计算当前图片中的特征描述子与映射特征描述子的汉明得分；基于第一分值、汉明得分确定相似度分值。
[0049] 在本可选的实现方式中，一种方式可以是利用匹配矩阵进行匹配度判断，如果在匹配矩阵中存在当前图片中的特征描述子、与映射特征描述子的匹配对，则该匹配对的语义类别相同，确定该匹配关系对应的第一分值Scoresem。如果在匹配矩阵中不存在当前图片中的特征描述子、与映射特征描述子的匹配关系，也即该匹配对的语义类别不同，直接过滤掉。
[0050] 另一种方式可以是，直接基于该匹配关系，在匹配矩阵中确定该匹配关系的第一分值Scoresem。
[0051] 更进一步，与此同时，还可通过汉明距离的方法，快速计算两个Di与 之间的汉明得分Scoreham。最后可利用Score＝Scoresem+Scoreham来计算相似度分值。由于Scoresem、Scoreham均用以描述距离度量空间的概念，因此数值越大，相似度越低。
[0052] 步骤105：基于相似度分值，确定与当前图片相匹配的图片。
[0053] 在本实施例中，在确定相匹配的图片时，可以首先对相似度分数由小到大进行排序，将排序位于前n个的相似度分数所相关的待匹配图片，确定为与当前图片相匹配的图片。
[0054] 示例性地，如果相似度分值满足预设阈值，那么将满足阈值的相似度分数所相关的待匹配图片，确定为与当前图片相匹配的图片。
[0055] 从以上的描述中，可以看出，本公开实现了如下技术效果：提高了特征描述子的匹配效率、提高了匹配准确率。
[0056] 需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0057] 根据本公开实施例，还提供了一种用于实施上述用于稀疏重建的匹配方法的装置，该装置包括：生成单元201，被配置成对图片集中各个图片建立基于视觉单词的倒排索引结构；第一确定单元202，被配置成为当前图片中的特征描述子在待匹配图片中确定与其相符的视觉单词；第二确定单元203，被配置成基于倒排索引结构，确定与相符的视觉单词所映射的映射特征描述子；计算单元204，被配置成计算当前图片中的特征描述子与映射特征描述子的相似度分值；第三确定单元205，被配置成基于相似度分值，确定与当前图片相匹配的图片。
[0058] 作为本实施例一种可选的实现方式，装置还包括：基于任两张图片中的特征描述子的匹配关系，建立匹配矩阵；计算匹配矩阵中匹配关系对应的第一分值。
[0059] 作为本实施例一种可选的实现方式，基于匹配矩阵，确定当前图片中的特征描述子、与映射特征描述子的匹配关系对应的第一分值；计算当前图片中的特征描述子与映射特征描述子的汉明得分；基于第一分值、汉明得分确定相似度分值。
[0060] 本公开实施例提供了一种电子设备，如图3所示，该电子设备包括一个或多个处理器31以及存储器32，图3中以一个处理器31为例。
[0061] 该控制器还可以包括：输入装置33和输出装置34。
[0062] 处理器31、存储器32、输入装置33和输出装置34可以通过总线或者其他方式连接，图3中以通过总线连接为例。
[0063] 处理器31可以为中央处理器(CentralProcessingUnit，CPU)。处理器31还可以为其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现场可编程门阵列(Field‑ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0064] 存储器32作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本公开实施例中的控制方法对应的程序指令/模块。处理器31通过运行存储在存储器32中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的用于稀疏重建的匹配方法。
[0065] 存储器32可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器32可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器32可选包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0066] 输入装置33可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。
[0067] 一个或者多个模块存储在存储器32中，当被一个或者多个处理器31执行时，执行如图1所示的方法。
[0068] 本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各电机控制方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read‑OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(FlashMemory)、硬盘(HardDiskDrive，缩写：HDD)或固态硬盘(Solid‑StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
[0069] 虽然结合附图描述了本公开的实施方式，但是本领域技术人员可以在不脱离本公开的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。