设备定位方法、装置、电子设备及可读存储介质转让专利
申请号 : CN202110707314.5
文献号 : CN113252045B
文献日 : 2021-11-02
发明人 : 曹亚 , 周俊琨 , 吉翔
申请人 : 成都睿沿科技有限公司
摘要 :
权利要求 :
1.一种设备定位方法,其特征在于,所述方法包括:获取设备当前采集的目标图像;所述目标图像为所述设备采集的监控区域内的图像;
将所述目标图像与构建的基准地图进行特征点匹配,获得匹配的特征点,所述匹配的特征点包括在所述目标图像中的第一特征点以及在所述基准地图中的第二特征点;其中,所述基准地图为所述监控区域的地图,所述基准地图包括各个特征点的坐标信息;
根据所述第一特征点在所述目标图像中截取第一区域图像,以及根据所述第二特征点在所述基准地图中截取第二区域图像;其中,所述第一区域图像包括所述第一特征点,所述第一区域图像为所述目标图像中的一部分图像,所述第二区域图像包括所述第二特征点,所述第二区域图像为所述基准地图中的一部分图像;
若所述第一区域图像与所述第二区域图像匹配,则基于匹配的所述第一区域图像和所述第二区域图像获取所述设备的当前坐标。
2.根据权利要求1所述的方法,其特征在于,所述在所述目标图像中截取包含所述第一特征点的第一区域图像,以及在所述基准地图中截取包含所述第二特征点的第二区域图像,包括:
在所述目标图像中截取以所述第一特征点为中心点的第一区域图像,以及在所述基准地图中截取以所述第二特征点为中心点的第二区域图像。
3.根据权利要求1所述的方法,其特征在于,通过以下方式确定所述第一区域图像与所述第二区域图像是否匹配:
计算获得所述第一区域图像和所述第二区域图像之间的相似度;
在所述相似度大于预设相似度时,则确定所述第一区域图像与所述第二区域图像匹配。
4.根据权利要求3所述的方法,其特征在于,所述计算获得所述第一区域图像和所述第二区域图像之间的相似度,包括:
提取所述第一区域图像的第一边缘信息,以及提取所述第二区域图像的第二边缘信息;
计算获得所述第一边缘信息与所述第二边缘信息之间的豪斯多夫Hausdorff距离,其中,所述Hausdorff距离用于表征所述第一区域图像和所述第二区域图像之间的相似度。
5.根据权利要求1所述的方法,其特征在于,所述基于匹配的所述第一区域图像和所述第二区域图像获取所述设备的当前坐标,包括:获取所述第一区域图像的多个第一角点的坐标以及获取所述第二区域图像的多个第二角点的坐标;
根据所述多个第一角点的坐标和所述多个第二角点的坐标计算获得所述第一区域图像与所述第二区域图像之间的映射变换矩阵;
根据所述映射变换矩阵以及所述目标图像的中心点坐标获得所述设备的当前坐标。
6.根据权利要求1所述的方法,其特征在于,在所述匹配的特征点包括多对时,所截取的第一区域图像为N张,所截取的第二区域图像为N张,取i为1到M,M小于或等于N,第i张第一区域图像与第i张第二区域图像匹配,所述基于匹配的所述第一区域图像和所述第二区域图像获取所述设备的当前坐标,包括:取i为1到M,根据匹配的特征点各自在第i张第一区域图像和在第i张第二区域图像的坐标计算获得所述第一区域图像与所述第二区域图像之间的映射变换矩阵;
根据所述映射变换矩阵以及所述目标图像的中心点坐标获得所述设备的当前坐标。
7.根据权利要求1‑6任一所述的方法,其特征在于,通过以下方式构建所述基准地图:获取不同时刻下采集的初始图像,所述初始图像中包含坐标信息;
提取每张所述初始图像中的各个特征点的特征信息,并形成包含各个初始图像中各个特征点的特征信息的基准地图;
所述将所述目标图像与构建的基准地图进行特征点匹配,获得匹配的特征点,包括:提取所述目标图像中各个特征点的特征信息;
根据所述目标图像中各个特征点的特征信息以及各个初始图像中各个特征点的特征信息,将所述目标图像与各个初始图像进行特征点匹配,获得匹配的特征点。
8.一种设备定位装置,其特征在于,所述装置包括:图像获取模块,用于获取设备当前采集的目标图像;所述目标图像为所述设备采集的监控区域内的图像;
特征点匹配模块,用于将所述目标图像与构建的基准地图进行特征点匹配,获得匹配的特征点,所述匹配的特征点包括在所述目标图像中的第一特征点以及在所述基准地图中的第二特征点;其中,所述基准地图为所述监控区域的地图,所述基准地图包括各个特征点的坐标信息;
图像截取模块,用于根据所述第一特征点在所述目标图像中截取第一区域图像,以及根据所述第二特征点在所述基准地图中截取第二区域图像;其中,所述第一区域图像包括所述第一特征点,所述第一区域图像为所述目标图像中的一部分图像,所述第二区域图像包括所述第二特征点,所述第二区域图像为所述基准地图中的一部分图像;
定位模块,用于若所述第一区域图像与所述第二区域图像匹配,则基于匹配的所述第一区域图像和所述第二区域图像获取所述设备的当前坐标。
9.一种电子设备,其特征在于,包括处理器以及存储器,所述存储器存储有计算机可读取指令,当所述计算机可读取指令由所述处理器执行时,运行如权利要求1‑7任一所述的方法。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时运行如权利要求1‑7任一所述的方法。
说明书 :
设备定位方法、装置、电子设备及可读存储介质
技术领域
背景技术
对该问题未有相应的解决方案。
发明内容
时无法定位的问题。
所述匹配的特征点包括在所述目标图像中的第一特征点以及在所述基准地图中的第二特
征点;根据所述第一特征点在所述目标图像中截取第一区域图像,以及根据所述第二特征
点在所述基准地图中截取第二区域图像;若所述第一区域图像与所述第二区域图像匹配,
则基于匹配的所述第一区域图像和所述第二区域图像获取所述设备的当前坐标。
以及在基准地图中截取第二区域图像,再将两个区域图像进行匹配,从而通过区域图像的
匹配可以筛选出无效的匹配特征点,这样设备无需依赖GPS装置即可实现定位,并且由于截
取的区域图像包含更多的信息,所以将两个区域图像进行匹配后来确定设备的当前坐标,
更准确。
度。
时,可以依赖特征点周围更多的特征信息,匹配精度更高。
度。
像匹配,所述基于所述第二区域图像获取所述设备的当前坐标,包括:
备实现更准确地定位。
图中的第二特征点;
图像。
图像匹配。
豪斯多夫Hausdorff距离,其中,所述Hausdorff距离用于表征所述第一区域图像和所述第
二区域图像之间的相似度。
第二角点的坐标计算获得所述第一区域图像与所述第二区域图像之间的映射变换矩阵;根
据所述映射变换矩阵以及所述目标图像的中心点坐标获得所述设备的当前坐标。
像匹配,所述定位模块,用于取i为1到M,根据匹配的特征点各自在第i张第一区域图像和在
第i张第二区域图像的坐标计算获得所述第一区域图像与所述第二区域图像之间的映射变
换矩阵;根据所述映射变换矩阵以及所述目标图像的中心点坐标获得所述设备的当前坐
标。
目标图像与各个初始图像进行特征点匹配,获得匹配的特征点。
一方面提供的所述方法中的步骤。
明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以
根据这些附图获得其他相关的附图。
具体实施方式
标图像中截取第一区域图像以及在基准地图中截取第二区域图像,再将两个区域图像进行
匹配,这样设备无需依赖GPS装置即可实现自主定位。
120,至少一个存储器130和至少一个通信总线140。其中,通信总线140用于实现这些组件直
接的连接通信。其中,本申请实施例中设备的通信接口120用于与其他节点设备进行信令或
数据的通信。存储器130可以是高速RAM存储器,也可以是非易失性的存储器(non‑volatile
memory),例如至少一个磁盘存储器。存储器130可选的还可以是至少一个位于远离前述处
理器的存储装置。存储器130中存储有计算机可读取指令,当所述计算机可读取指令由所述
处理器110执行时,电子设备执行下述图2所示方法过程。例如,存储器130可用于存储基准
地图等信息,处理器110可用于在进行设备定位时,从存储器130中读取基准地图,然后与设
备采集的目标图像进行特征点匹配,并进行区域图像截取,进行区域图像匹配等操作,进而
实现对设备的定位。
其组合实现。
置。无人机在进行定位时,可以进行图像采集,如在需要获取无人机的坐标时,无人机可以
控制无人机上搭载的摄像头进行拍照,获得目标图像。无人机将当前采集的图像作为目标
图像(可以理解地,无人机在需要定位时所采集的图像均可称为目标图像,在无人机的实时
定位过程中,无人机所采集的目标图像可以有多张,本申请中针对基于每张目标图像进行
定位的处理方式均相同)发送给电子设备,以便于电子设备基于目标图像进行分析,以对无
人机进行定位。可以理解地,本申请中,电子设备可以为服务器、终端设备(如手机、计算机
等)等具有数据计算能力的设备,而在无人机自主导航的场景下,电子设备也可以为无人
机,这样无人机自身即可基于所采集的目标图像进行自主定位,而在电子设备控制无人机
飞行的过程中,电子设备可以为服务器。为了便于描述,下述以电子设备为服务器为例进行
说明。
法实现定位,这样在GPS装置不可用时,不需要GPS装置即可实现定位。在检测到GPS装置恢
复正常工作时,无人机则可切换到由GPS装置进行定位,这样可以将两种定位方式结合,以
使得在任何时刻都可以获得更精确的定位。
要对某个区域进行巡航监控,则该基准地图可以是指该区域的地图,其可以是预先通过无
人机对该区域进行图像采集,然后基于采集的图像进行构建的,或者也可以是从网络上下
载的针对该区域的卫星地图,该基准地图中包含有各个位置点(如各个特征点)的坐标信息
(如经纬度信息)。
征提取,二进制特征提取算子如ORB(Oriented FAST and Rotated BRIEF)、BRISK(Binary
Robust Invariant Scalable Keypoints)、FREAK(Fast Retina Keypoint)等。通过这些二
进制特征提取算子来提取目标图像和基准地图中的特征点的特征信息,这样特征信息是一
些二进制特征,在进行特征点匹配时,可以实现快速计算,提高匹配效率。当然,提取目标图
像和基准地图中各个特征点的特征信息还可以采用其他特征提取算法,如SIFT特征提取方
法等。
式距离计算,若计算出的距离小于一个预设值,则认为特征点x1与特征点y1匹配,反之,则
不匹配,此时特征点x1可以称为第一特征点,特征点y1可以称为第二特征点。按照该方式则
可以获得目标图像与基准地图中匹配的特征点。可以理解地,一个特征点还可能有多个匹
配的特征点,如特征点x1可能还与基准地图中的特征点y2匹配,特征点y1还可能与目标图
像中的特征点x2匹配。
能并不准确,为了对这些匹配有误的特征点对进行筛选,所以还需要根据第一特征点在目
标图像中截取第一区域图像,根据第二特征点在基准地图中截取第二区域图像。
第二特征点的第二图像,如图3所示。在另一些实施方式中,还可以截取未包含第一特征点
的第一区域图像以及未包含第二特征点的第二区域图像,如以第一特征点所在的位置偏移
一定数量(如第一偏移量,偏移的数量可以根据实际需求设定,但是应该尽量偏移较小的位
置为宜,如偏移一个特征点的位置)的特征点,然后以该特征点为边界点截取第一区域图
像,同理,以第二特征点所在的位置偏移一定数量(第二偏移量)的特征点,然后以该特征点
为边界点截取第二区域图像,如图4所示。其中,第一偏移量和第二偏移量可以相同也可以
不同,所截取的区域图像的形状和大小可以根据需求灵活设置。
心点的第二区域图像,如图5所示。其中,第一区域图像和第二区域图像的尺寸和形状可以
根据实际需求灵活设置,如第一区域图像和第二区域图像均为正方形或长方形,为了进行
区域图像的准确匹配,第一区域图像和第二区域图像的尺寸和形状可以相同,或者有略微
差异。
第一区域图像和第二区域图像之间的映射关系来确定无人机的当前坐标。
以及在基准地图中截取第二区域图像,再将两个区域图像进行匹配,这样设备无需依赖GPS
装置即可实现定位,并且由于截取的区域图像包含更多的信息,所以将两个区域图像进行
匹配后来确定设备的当前坐标,更准确。
提取每张初始图像中的各个特征点的特征信息,并形成包含各个初始图像中各个特征点的
特征信息的基准地图。
采集设备、光照、外界环境等影响导致巡航区域的地貌、地形等不同,所以,这样获得的初始
图像的分辨率以及特征可能不同,如此根据初始图像构建的基准地图是一种多模态的形
式,进而在进行特征匹配时,可以进行多尺度特征的提取,能够实现更准确的定位。
储,基准地图中的特征点的特征信息可以认为是包含这多张初始图像中各个特征点的特征
信息,这种情况下,基准地图的特征点的特征信息可以是预先提取并存储好的,在进行特征
点匹配时,可无需重新进行基准地图的特征提取,匹配效率更高。
像与各个初始图像进行特征点匹配,获得匹配的特征点。
地图中的各特征点之间的汉明距离或欧式距离等,在距离小于预设值时,则认为两个特征
点匹配,反之,则不匹配。这样对于目标图像的一个特征点,则可能分别与不同基准地图中
的特征点匹配,如目标图像中的特征点x1与基准地图1中的特征点y11匹配,并与基准地图2
中的特征点y21匹配,或者目标图像中的特征点x2与基准地图2中的特征点y21匹配。如此获
得的匹配特征点包含有多对,此时这些匹配的特征点对可能是一些误匹配特征点对,所以,
还需要通过截取第一区域图像和第二区域图像进行匹配来进一步对这些误匹配特征点对
进行筛除,以便于对无人机进行准确地定位。
特征点为中心点进行截取)。
点坐标与目标图像的中心点坐标之间的偏移量(包括横坐标之间的偏移量和纵坐标之间的
偏移量)),然后基于第一区域图像和第二区域图像计算获得两张区域图像之间的缩放比
例,然后可根据目标图像的中心点坐标、偏移量、缩放比例计算得到目标图像的中心点坐标
映射到基准地图中的坐标(此时可认为是两张图像中的图像坐标之间的映射),然后将该坐
标转换为GPS坐标,该GPS坐标即可作为无人机的当前坐标。或者,若第一区域图像和第二区
域图像为矩形图像,则可以根据第一区域图像的四个角点的坐标(即多个第一角点的坐标)
和第二区域图像的四个角点的坐标(即多个第二角点的坐标)计算获得第一区域图像到第
二区域图像的映射变换矩阵,然后将目标图像的中心点坐标乘以映射变换矩阵即可获得无
人机的当前坐标。
基准地图1中的特征点y12匹配。这种情况中所截取的第一区域图像和第二区域图像可以如
图6所示。
个区域图像能匹配上(表示其中有一对匹配的特征点是无效的,可能是匹配错误的特征点
对,通过区域图像匹配,则可以剔除误匹配的特征点对),则可按照情况1中的方式来确定无
人机的当前坐标。若此时有两个区域图像或者两个以上的区域图像匹配上(通过区域图像
的匹配可以筛选出有效的特征点对,这样后续计算获得的映射变换矩阵更准确),则可以先
计算一个映射变换矩阵,然后根据映射变换矩阵来确定无人机的当前坐标。
与第i张第二区域图像匹配,即在N张区域图像中有M张区域图像匹配,N为大于等于2的整
数。此时,在获取设备的当前坐标时,可以取i为1到M,然后根据匹配的特征点各自在第i张
第一区域图像和在第i张第二区域图像的坐标计算获得第一区域图像与第二区域图像之间
的映射变换矩阵,再根据映射变换矩阵以及目标图像的中心点坐标获得设备的当前坐标。
换矩阵可以为单映射变换矩阵或者透视变换矩阵,可以使用最小均方误差或者RANSAC方法
计算获得。这样即可找到目标图像与基准地图1之间的一种映射关系,从而可以将目标图像
的中心点坐标与映射变换矩阵相乘即可得到无人机的当前坐标,即无人机在基准地图1中
的坐标。
基准地图1中的特征点y12匹配。这种情况中所截取的第一区域图像和第二区域图像可以如
图7所示,即第一区域图像a1包含目标图像中的特征点x1和x2,第二区域图像b11包含基准
地图1中的特征点y11和y12,即这种情况下截取的第一区域图像和第二区域图像均为一张,
上述情况2中有多张,情况1中由于只有一对特征点匹配,所以也只有一张。此时由于只有一
张第一区域图像和第二区域图像,所以可以按照情况1中的方式来确定无人机的当前坐标。
的特征点x2与基准地图1中的特征点y12匹配,目标图像中的特征点x3与基准地图2中的特
征点y21匹配,目标图像中的特征点x4与基准地图2中的特征点y22匹配。这种情况中所截取
的第一区域图像和第二区域图像可以如上图8所示。
中计算获得目标图像到基准地图1之间的映射变换矩阵,以此来获得无人机的当前坐标。
配后,目标图像中针对基准地图3所截取的第一区域图像与基准地图3中所截取的第二区域
图像只有一个匹配或者没有匹配时,则将该匹配结果剔除,不参与后续的坐标计算。
二区域图像b22匹配,则此时可以按照情况2中的方式分别计算获得两个映射变换矩阵(如
获得映射变换矩阵1和映射变换矩阵2),然后将目标图像的中心点坐标分别乘以两个映射
变换矩阵,此时获得两个初始坐标,然后可以将这两个初始坐标的平均坐标作为无人机的
当前坐标。或者,还可以先对获得的多个初始坐标进行筛选,如筛选多个初始坐标中明显不
靠近的一些初始坐标,如初始坐标1和初始坐标2距离较近,而初始坐标3和初始坐标1、初始
坐标2距离较远,则可以把初始坐标3剔除,将初始坐标1和初始坐标2的平均坐标作为无人
机的当前坐标。
来确定无人机的当前坐标。若有多个区域图像匹配,则可以分别按照情况1中的方式来获得
无人机的坐标,此时获得两个坐标,然后可将这两个当前坐标的平均坐标作为无人机的当
前坐标。如图9中,第一区域图像a1与第二区域图像b11匹配,第一区域图像a2与第二区域图
像b21匹配,则可以按照情况1中的方式来获得两个无人机的坐标,然后将这两个坐标的平
均坐标作为无人机的当前坐标。
标,从而实现无人机的定位。或者基准地图中每个位置点均标注有对应的GPS坐标,在获得
基准地图中无人机的当前坐标后,可直接根据标注的GPS坐标获得无人机的GPS坐标。
的特征点对剔除,实际上可以根据大量的有效匹配的特征点对的坐标来计算获得映射变换
矩阵,使得计算获得的映射变换矩阵更准确,后续对无人机的定位也更准确。
段距离后进行图像采集),然后继续上述的过程,直至能够匹配获得无人机的坐标为止。当
然,如果在达到预设次数未匹配时,可以对图像的相似度阈值或者特征点匹配的阈值进行
适应性调整。
时,则确定第一区域图像与第二区域图像匹配。
距离或者图像哈希值小于预设值时,表明两张图像之间的相似度大于预设相似度,则确定
两张图像匹配。
信息与第二边缘信息之间的豪斯多夫Hausdorff距离,其中,Hausdorff距离用于表征第一
区域图像和第二区域图像之间的相似度。
息之间的Hausdorff距离。Hausdorff距离是一种用于表征边缘信息的距离,能够有效解决
图像中被遮挡的问题,所以,能够更准确地判断出两张区域图像之间的相似度。
对应,能够执行图2方法实施例涉及的各个步骤,该装置200具体的功能可以参见上文中的
描述,为避免重复,此处适当省略详细描述。
地图中的第二特征点;
域图像。
域图像匹配。
间的豪斯多夫Hausdorff距离,其中,所述Hausdorff距离用于表征所述第一区域图像和所
述第二区域图像之间的相似度。
个第二角点的坐标计算获得所述第一区域图像与所述第二区域图像之间的映射变换矩阵;
根据所述映射变换矩阵以及所述目标图像的中心点坐标获得所述设备的当前坐标。
像匹配,所述定位模块240,用于取i为1到M,根据匹配的特征点各自在第i张第一区域图像
和在第i张第二区域图像的坐标计算获得所述第一区域图像与所述第二区域图像之间的映
射变换矩阵;根据所述映射变换矩阵以及所述目标图像的中心点坐标获得所述设备的当前
坐标。
述目标图像与各个初始图像进行特征点匹配,获得匹配的特征点。
机执行时,计算机能够执行上述各方法实施例所提供的方法,例如,包括:获取设备当前采
集的目标图像;将所述目标图像与构建的基准地图进行特征点匹配,获得匹配的特征点,所
述匹配的特征点包括在所述目标图像中的第一特征点以及在所述基准地图中的第二特征
点;根据所述第一特征点在所述目标图像中截取第一区域图像,以及根据所述第二特征点
在所述基准地图中截取第二区域图像;若所述第一区域图像与所述第二区域图像匹配,则
基于所述第二区域图像获取所述设备的当前坐标。
点,然后根据匹配的特征点分别在目标图像中截取第一区域图像以及在基准地图中截取第
二区域图像,再将两个区域图像进行匹配,这样设备无需依赖GPS装置即可实现定位,并且
由于截取的区域图像包含更多的信息,所以将两个区域图像进行匹配后来确定设备的当前
坐标,更准确。
辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可
以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间
的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连
接,可以是电性,机械或其它的形式。
个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的
目的。
的关系或者顺序。
任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。