适用于无人机系统航拍图像的特征误匹配剔除方法及系统

摘要

本发明公开了一种适用于无人机系统航拍图像的特征误匹配剔除方法及系统，属于计算机视觉领域，包括步骤：S1，在航拍图像与卫星地图初始匹配后，根据两幅图像中的像素距离对匹配点进行粗筛；S2，粗筛后选择最优匹配，剔除重复匹配；S3，剔除重复匹配后，筛选出较优的特征点；S4，通过步骤S3筛选后剩余的匹配点，估计两幅图像的基础矩阵，利用基础矩阵剔除误匹配；S5，基础矩阵剔除误匹配后，使用单应矩阵对剩余的匹配点剔除误匹配。本发明能够稳定可靠地剔除无人机航拍图像与卫星地图之间的误匹配点，最终可以达到一个极高的正确匹配率。

权利要求

1.一种适用于无人机系统航拍图像的特征误匹配剔除方法，其特征在于，包括如下步骤：S1，在航拍图像与卫星地图初始匹配后，根据两幅图像中的像素距离对匹配点进行粗筛；

S2，粗筛后选择最优匹配，剔除重复匹配；在步骤S2中，包括子步骤：选择最优匹配依据特征描述子的欧氏距离，设 为航拍图像中若干个特征点的描述子，这些特征点匹配到了卫星地图中同一个特征点，设其描述子为 ，则对 中每个描述子都计算其与 之间的欧式距离，取其中欧式距离最小的一组匹配作为最优匹配；将最优匹配保留下来，其余重复匹配则剔除掉；

S3，剔除重复匹配后，筛选出较优的特征点；在步骤S3中，包括子步骤：利用KNN近邻最优匹配筛选出较优的特征点；所述利用KNN近邻最优匹配筛选出较优的特征点，包括子步骤：取航拍图像中的一个特征点，并找出其与卫星地图中欧式距离最近的前两个特征点，在这两个特征点中，如果最近的描述子欧式距离除以次近的描述子欧式距离得到的比率少于设定阈值 ，则接受这一对匹配点，否则就舍弃这一组匹配；

S4，通过步骤S3筛选后剩余的匹配点，估计两幅图像的基础矩阵，利用基础矩阵剔除误匹配；

S5，基础矩阵剔除误匹配后，使用单应矩阵对剩余的匹配点剔除误匹配。

2.根据权利要求1所述的适用于无人机系统航拍图像的特征误匹配剔除方法，其特征在于，在步骤S1中，包括子步骤：设航拍图像中某特征点的像素坐标为  ，对应卫星地图中的匹配点像素坐标为 ，则不满足下式的匹配点为误匹配，其中 为判断阈值；

。

3.根据权利要求1所述的适用于无人机系统航拍图像的特征误匹配剔除方法，其特征在于，在步骤S4中，所述利用基础矩阵剔除误匹配包括子步骤：对于空间中某被观测点在图像中的投影点 ，其在另一幅图像中的对应点 必定在极线 上；这样将 的对应点的搜索范围从二维平面降低为一条直线，图像中偏离极线的匹配点即为误匹配，到极线距离小于设定值的匹配点即为正确匹配。

4.根据权利要求1所述的适用于无人机系统航拍图像的特征误匹配剔除方法，其特征在于，在步骤S5中，包括子步骤：对于一组匹配的像点 ， ，根据下式判断其是否为误匹配：为二范数， 为阈值，H为单应矩阵。

5.一种适用于无人机系统航拍图像的特征误匹配剔除系统，其特征在于，包括计算机软硬件系统，所述计算机软硬件系统用于执行如权利要求1 4中任一所述适用于无人机系~统航拍图像的特征误匹配剔除方法。

说明书

适用于无人机系统航拍图像的特征误匹配剔除方法及系统

技术领域

[0001] 本发明涉及计算机视觉领域，更为具体的，涉及一种适用于无人机系统航拍图像的特征误匹配剔除方法及系统。

背景技术

[0002] 计算机视觉在近年间出现了快速的发展，并且在无人机航拍领域开始大范围应用，通过应用计算机视觉技术，可以实现包括视觉定位在内的多种功能。

[0003] 实现视觉定位的思路之一就是将实拍图像与卫星地图进行图像特征匹配，进而求解出无人机在世界中的绝对位姿。

[0004] 特征匹配的原理是从图像中选取某些特征点并对图像进行局部分析，而非观察整幅图像。只要图像中有足够多可检测的特征点，并且这些特征点各不相同且特征稳定，就能被精确地定位，将两两图像中的特征点建立一一对应关系就是特征匹配的核心任务。所有依靠图像特征匹配的计算机视觉技术都要求两两图像中被匹配的特征点具有较高的正确匹配率，特征点的正确匹配率越高就越能获得更精确可靠的结果。

[0005] 当下主流的特征匹配方法如ORB（Oriented Fast and Rotated Brief）、SURF（Speeded Up Robust Feature）、SIFT（Scale‑invariant feature transform）等，都会随着图像之间的差异增大出现大量的误匹配，而无人机拍摄的航拍图像和卫星地图之间往往因为拍摄季节、拍摄时间、城市发展变迁等多种因素而存在较大的差异。目前用于剔除误匹配的方法主要包括KNN近邻最优匹配阈值筛选、对极约束等，这些方法在处理航拍图像与卫星地图的误匹配特征时往往不能获得可靠的结果。

发明内容

[0006] 本发明的目的在于克服现有技术的不足，提供一种适用于无人机系统航拍图像的特征误匹配剔除方法及系统，能够稳定可靠地剔除无人机航拍图像与卫星地图之间的误匹配点，最终可以达到一个极高的正确匹配率。

[0007] 本发明的目的是通过以下方案实现的：

[0008] 一种适用于无人机系统航拍图像的特征误匹配剔除方法，包括如下步骤：

[0009] S1，在航拍图像与卫星地图初始匹配后，根据两幅图像中的像素距离对匹配点进行粗筛；

[0010] S2，粗筛后选择最优匹配，剔除重复匹配；

[0011] S3，剔除重复匹配后，筛选出较优的特征点；

[0012] S4，通过步骤S3筛选后剩余的匹配点，估计两幅图像的基础矩阵，利用基础矩阵剔除误匹配；

[0013] S5，基础矩阵剔除误匹配后，使用单应矩阵对剩余的匹配点剔除误匹配。

[0014] 进一步地，在步骤S1中，包括子步骤：设航拍图像中某特征点的像素坐标为，对应卫星地图中的匹配点像素坐标为 ，则不满足下式的匹配点为误匹配，其中 为判断阈值；

[0015] 。

[0016] 进一步地，在步骤S2中，包括子步骤：选择最优匹配依据特征描述子的欧氏距离，设 为航拍图像中若干个特征点的描述子，这些特征点匹配到了卫星地图中同一个特征点，设其描述子为 ，则对 中每个描述子都计算其与 之间的欧式距离，取其中欧式距离最小的一组匹配作为最优匹配；将最优匹配保留下来，其余重复匹配则剔除掉。

[0017] 进一步地，在步骤S3中，包括子步骤：利用KNN近邻最优匹配筛选出较优的特征点。

[0018] 进一步地，在步骤S4中，所述利用基础矩阵剔除误匹配包括子步骤：对于空间中某被观测点 在图像中的投影点 ，其在另一幅图像中的对应点 必定在极线 上；这样将 的对应点的搜索范围从二维平面降低为一条直线，图像中偏离极线的匹配点即为误匹配，到极线距离小于设定值的匹配点即为正确匹配。

[0019] 进一步地，在步骤S5中，包括子步骤：对于一组匹配的像点 ， ，根据下式判断其是否为误匹配：

[0020]

[0021] 为二范数， 为阈值，H为单应矩阵。

[0022] 进一步地，所述利用KNN近邻最优匹配筛选出较优的特征点，包括子步骤：

[0023] 取航拍图像中的一个特征点，并找出其与卫星地图中欧式距离最近的前两个特征点，在这两个特征点中，如果最近的描述子欧式距离除以次近的描述子欧式距离得到的比率少于设定阈值 ，则接受这一对匹配点，否则就舍弃这一组匹配。

[0024] 一种适用于无人机系统航拍图像的特征误匹配剔除系统，包括计算机软硬件系统，所述计算机软硬件系统用于执行如上任一所述适用于无人机系统航拍图像的特征误匹配剔除方法。

[0025] 本发明的有益效果包括：

[0026] 本发明能够稳定可靠地剔除无人机航拍图像与卫星地图之间的误匹配点，最终可以达到一个极高的正确匹配率。

附图说明

[0027] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

[0028] 图1为本发明实施例方法的步骤流程图；

[0029] 图2为基础矩阵约束关系示意图；

[0030] 图3为单应约束示意图；

[0031] 图4为仅使用KNN紧邻最优匹配筛选剔除误匹配的效果；

[0032] 图5为使用本发明所述方法剔除误匹配的效果。

具体实施方式

[0033] 下面结合附图和实施例对发明进一步说明。本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。

[0034] 如图1所示，本发明实施例提供了一种适用于航拍图像与卫星地图之间的特征误匹配剔除方法，在具体实施过程中，包括如下步骤：

[0035] S1，在将航拍图像与卫星地图初始匹配后，根据两幅图像中的像素距离对匹配点进行粗筛。具体的实施过程中，在通过特征匹配方法获得初始匹配点后，本发明实施例方法首先会根据两幅图像中的像素距离对匹配点进行粗筛。设航拍图像中某特征点的像素坐标为 ，对应卫星地图中的匹配点像素坐标为 ，则认为不满足式（1）的匹配点为误匹配，其中 为判断阈值。理论上，同一个区域的卫星地图和航拍图像之间对应的匹配点往往距离不大，因此 可以根据图像的分辨率选取一个合适的值，经测试480p分辨率下取 即可。

[0036] （1）

[0037] S2，粗筛后选择最优匹配，剔除重复匹配。具体的实施过程中，由于现有的特征匹配方法经常会出现一幅图像中的多个特征点匹配到了另一幅图像中同一个特征点的情况，显然在该情况下最多只会有一组正确匹配。因此，为了解决这个问题，需要选择这当中最优的一组匹配保留下来，其余匹配则剔除掉。在本发明实施例方法选择最优匹配可依据特征描述子的欧氏距离。具体的，设 为航拍图像中若干个特征点的描述子，这些特征点匹配到了卫星地图中同一个特征点，设其描述子为 ，则对 中每个描述子都计算其与 之间的欧式距离，取其中欧式距离最小的一组匹配作为最优匹配。

[0038] S3，剔除重复匹配后，筛选出较优的特征点。具体的实施过程中，删除重复匹配点后，本发明实施例方法通过对KNN近邻算法进行新的场景应用，即利用KNN近邻最优匹配筛选出较优的特征点，具体描述如下：取航拍图像中的一个特征点，并找出其与卫星地图中欧式距离最近的前两个特征点，在这两个特征点中，如果最近的描述子欧式距离除以次近的描述子欧式距离得到的比率ratio少于某个阈值 ，则接受这一对匹配点，否则就舍弃这一组匹配。因为对于错误匹配，由于特征空间的高维性，相似的距离可能有大量其他的错误匹配，从而它的ratio值比较高。显然降低比例阈值 匹配点数目会减少，但更加稳定，因此只需要将不满足 的特征点删除掉即可，经试验阈值 可以设置为0.85左右。

[0039] S4，通过步骤S3筛选后剩余的匹配点，估计两幅图像的基础矩阵，利用基础矩阵剔除误匹配。具体的实施过程中，可通过剩余的匹配点估计两幅图像的基础矩阵，需要注意的是，即使是采用LMEDS（最小平方中值法）或是RANSAC（随机抽样一致）这样的鲁棒方法，要正确估计基础矩阵也至少需要特征点有50%以上的正确匹配率，而经过本发明实施例方法的上述流程步骤的筛选和处理后，保障了剩余匹配点的正确匹配率都会大幅超过50%，因此才足以支持基础矩阵的求解。在本步骤中，利用基础矩阵剔除误匹配的方法详细描述如下：

[0040] 基础矩阵建立的关系为：空间中某被观测点 在图像中的投影点 ，其在另一幅图像中的对应点 必定在极线 上。这样将 的对应点的搜索对应点的范围从二维平面降低为一条直线，如图2所示。

[0041] 基础矩阵在数学上表示为一个 的秩为2的矩阵。将两幅图像中的匹配点坐标写成齐次坐标形式（即焦距为1时匹配点在图像中的坐标） 和 ，基础矩阵 将确定如下约束关系：

[0042] （2）

[0043] （3）

[0044] 其中 与 即为极线，它可以用一个三维向量表示。

[0045] 由上述约束关系可知，图像中偏离极线的匹配点即为误匹配，由于特征点像素坐标不完全精确，因此认为到极线距离小于一定值的匹配点即为正确匹配，公式描述如下。

[0046] （4）

[0047] 阈值 可根据图像分辨率选择一个较小的值即可，经测试在480p的分辨率下取即可得到较好的筛选结果。

[0048] S5，基础矩阵剔除误匹配后，使用单应矩阵对剩余的匹配点剔除误匹配。具体的实施过程中，在使用基础矩阵后，绝大多数的误匹配就已经被剔除掉了，但因为可能会存在少量误匹配点会沿极线分布，这些误匹配点无法通过基础矩阵剔除，为了进一步将这些沿极线分布的误匹配点剔除掉，最后再使用单应矩阵对剩余的匹配点进行最终筛选。

[0049] 如图3所示，当图像中的特征点在现实世界中处于同一个平面时，单应矩阵能够计算出第一幅中的像点在第二幅图中对应的像素位置，因此能够建立起两幅图像之间点对点的约束关系。当被用于计算单应矩阵的特征点不严格处于一个平面时，单应矩阵在计算对应像点位置时会产生误差。本发明实施例方法经过创造性的思考，发现这个误差来自于两方面，一是特征点在现实世界中与单应矩阵对应的平面之间的距离，该距离越小，单应约束越精确。二是相机两次拍摄的平移距离，两次拍摄的平移距离相对于场景深度越小，单应约束越精确。

[0050] 基于上述发现的误差来源进一步分析，本发明发现无人机在进行航拍时的飞行高度一般较高，因此图像中的物体高度相对于飞行高度足够小，此时可以近似认为图像中的特征点、位于同一平面，因此可以使用单应矩阵近似求取两者对应的像点位置，据此剔除两幅图像间的误匹配。X为空间某平面上的一个被观测点，它在两幅图像中对应一组匹配的像点 ， ，根据式（5）判断其是否为误匹配。

[0051] （5）

[0052] 为二范数，H为单应矩阵，由于单应矩阵的近似平面假设不严格成立，因此阈值可适当放大，经过测试480p的分辨率下取 即可获得较好的剔除效果。

[0053] 本发明实施例方法能够对图像之间的初始匹配点进行逐步筛选剔除错误匹配，最终保留的匹配点具有极高的正确匹配率。

[0054] 如图4为仅使用KNN紧邻最优匹配筛选剔除误匹配删除误匹配的结果，图5为使用本发明实施例方法剔除误匹配的结果，匹配结果中的左图为无人机航拍图像，右图为对应区域的卫星图像，可以发现本发明实施例方法能够很好地剔除掉误匹配，最后剩余的匹配中已没有肉眼可见的误匹配存在。

[0055] 实施例1

[0056] 一种适用于航拍图像与卫星地图之间的特征误匹配剔除方法，包括如下步骤：

[0057] S1，在航拍图像与卫星地图初始匹配后，根据两幅图像中的像素距离对匹配点进行粗筛；

[0058] S2，粗筛后选择最优匹配，剔除重复匹配；

[0059] S3，剔除重复匹配后，筛选出较优的特征点；

[0060] S4，通过步骤S3筛选后剩余的匹配点，估计两幅图像的基础矩阵，利用基础矩阵剔除误匹配；

[0061] S5，基础矩阵剔除误匹配后，使用单应矩阵对剩余的匹配点剔除误匹配。

[0062] 实施例2

[0063] 在实施例1的基础上，在步骤S1中，包括子步骤：设航拍图像中某特征点的像素坐标为  ，对应卫星地图中的匹配点像素坐标为 ，则不满足下式的匹配点为误匹配，其中 为判断阈值；

[0064] 。

[0065] 实施例3

[0066] 在实施例1的基础上，在步骤S2中，包括子步骤：选择最优匹配依据特征描述子的欧氏距离，设 为航拍图像中若干个特征点的描述子，这些特征点匹配到了卫星地图中同一个特征点，设其描述子为 ，则对 中每个描述子都计算其与之间的欧式距离，取其中欧式距离最小的一组匹配作为最优匹配；将最优匹配保留下来，其余重复匹配则剔除掉。

[0067] 实施例4

[0068] 在实施例1的基础上，在步骤S3中，包括子步骤：利用KNN近邻最优匹配筛选出较优的特征点。

[0069] 实施例5

[0070] 在实施例1的基础上，在步骤S4中，所述利用基础矩阵剔除误匹配包括子步骤：对于空间中某被观测点 在图像中的投影点 ，其在另一幅图像中的对应点 必定在极线上；这样将 的对应点的搜索范围从二维平面降低为一条直线，图像中偏离极线的匹配点即为误匹配，到极线距离小于设定值的匹配点即为正确匹配。

[0071] 实施例6

[0072] 在实施例1的基础上，在步骤S5中，包括子步骤：对于一组匹配的像点 ， ，根据下式判断其是否为误匹配：

[0073]

[0074] 为二范数， 为阈值，H为单应矩阵。

[0075] 实施例7

[0076] 在实施例4的基础上，所述利用KNN近邻最优匹配筛选出较优的特征点，包括子步骤：

[0077] 取航拍图像中的一个特征点，并找出其与卫星地图中欧式距离最近的前两个特征点，在这两个特征点中，如果最近的描述子欧式距离除以次近的描述子欧式距离得到的比率少于设定阈值 ，则接受这一对匹配点，否则就舍弃这一组匹配。

[0078] 实施例8

[0079] 一种适用于无人机系统航拍图像的特征误匹配剔除系统，包括计算机软硬件系统，所述计算机软硬件系统用于执行如实施例1 实施例7中任一所述适用于无人机系统航~拍图像的特征误匹配剔除方法。

[0080] 描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

[0081] 根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。

[0082] 作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

[0083] 本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

[0084] 上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。

[0085] 除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。