标定方法、设备及系统转让专利

申请号 : CN202110089955.9

文献号 : CN112767496B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 郭芯宏任小枫冀鼎皇

申请人 : 阿里巴巴集团控股有限公司

摘要 :

本申请实施例提供一种标定方法、设备及系统。在本申请实施例中,利用内参已知的设备和待标定的设备针对同一地理区域采集的图像,联合标定待标定的设备的内参,实现了对设备自动化标定。在本申请实施例中,由于在对待标定的设备进行参数标定时,引入了内参已知的设备的图像数据,可减少待求量,增加标定出的参数的稳定性,因此,有助于提高内参标定的准确度,进而有助于后续基于标定好的设备采集的图像,恢复图像采集的区域的空间信息的精度。

权利要求 :

1.一种标定方法,其中,包括:

获取针对同一目标地理区域,内参已知设备采集的第一图像集和待标定设备采集的第二图像集;

计算所述第一图像集中的第一图像和第二图像集中的第二图像之间的相似度;

根据第一图像集中的第一图像和第二图像集中的第二图像之间的相似度,获取目标图像对;每个目标图像对包括:第一图像集中的一帧第一图像和第二图像集中的一帧第二图像;

利用所述目标图像对及所述内参已知设备的内参,联合标定所述待标定设备的内参。

2.根据权利要求1所述的方法,其中,所述计算第一图像集中的图像和第二图像集中的图像之间的相似度,包括:根据所述第一图像集和所述第二图像集中图像携带的地理位置信息,从所述第一图像集和所述第二图像集中,获取距离满足设定的距离要求的初始图像对;所述初始图像对包括:第一图像集中的一帧第一图像和第二图像集中的一帧第二图像;

确定所述初始图像对中两帧图像的相似度作为初始图像对的图像相似度;

所述根据第一图像集中的图像和第二图像集中的图像之间的相似度,获取目标图像对,包括:根据所述初始图像对的图像相似度,获取目标图像对。

3.根据权利要求2所述的方法,其中,所述确定所述初始图像中两帧图像的相似度,包括:获取所述初始图像对中两帧图像的特征点;

从所述初始图像对中两帧图像的特征点中,获取所述初始图像对中两帧图像相匹配的特征点作为目标特征点;

统计所述初始图像对包含的目标特征点的数量,作为所述初始图像对的图像相似度。

4.根据权利要求2所述的方法,其中,所述根据所述初始图像对的图像相似度,获取目标图像对,包括:按照所述初始图像对的图像相似度由大到小的顺序,从所述初始图像对中选取设定数量的图像对,作为所述目标图像对;

或者,

从所述初始图像对中,选取图像相似度大于或等于设定相似度阈值的图像对,作为所述目标图像对。

5.根据权利要求3所述的方法,其中,所述利用所述目标图像对及所述内参已知设备的内参,联合标定所述待标定设备的内参,包括:从所述目标图像对中,获取第一数量的目标图像对,作为当前标定用图像对;

利用当前标定用图像对及所述内参已知设备的内参,联合计算所述待标定设备的内参预测值;

判断利用当前标定用图像对计算出的待标定设备的内参预测值是否满足设定要求;

若判断结果为否,则在当前标定用图像对的基础上增加第二数量的目标图像对,作为新的当前标定用图像对,返回执行利用当前标定用图像对及内参已知设备的内参,联合计算所述待标定设备的内参预测值的操作,直至计算出的待标定设备的内参预测值满足所述设定要求;

根据满足所述设定要求的待标定设备的内参预测值,标定所述待标定设备的内参。

6.根据权利要求5所述的方法,其中,所述利用当前标定用图像对,联合计算所述待标定设备的内参预测值,包括:以所述内参已知设备采集当前标定用图像对中的第一图像时的外参为待求量,根据所述内参已知设备的内参和所述第一图像的目标特征点,构建反映世界坐标系、设备坐标系及所述第一图像的像素坐标系之间关系的第一方程组;

以所述待标定设备的内参及所述待标定设备采集当前标定用图像对中的第二图像时的外参为待求量,根据所述第二图像的目标特征点,构建反映世界坐标系、设备坐标系及所述第二图像的像素坐标系之间关系的第二方程组;

对当前计算轮次构建的第一方程组和第二方程组进行联合求解,以计算当前计算轮次对应的所述待标定设备的内参预测值。

7.根据权利要求6所述的方法,其中,所述对当前计算轮次构建的第一方程组和第二方程组进行联合求解,以计算当前计算轮次对应的所述待标定设备的内参预测值,包括:针对第M次构建的第一方程组和第二方程组,将第M‑1次迭代计算出的所述待标定设备的内参预测值作为所述待标定设备的内参初始值,采用循环逼近迭代的方法对所述第M次构建的第一方程组和第二方程组进行联合求解,以计算第M次对应的所述待标定设备的内参预测值;

其中,M≥2,且为整数。

8.根据权利要求6所述的方法,其中,对所述第一方程组和所述第二方程组进行联合求解,还可得到所述内参已知设备的外参预测值和所述待标定设备的外参预测值;

所述判断利用当前标定用图像对计算出的待标定设备的内参预测值是否满足设定要求,包括:将利用当前标定用图像对计算出的内参已知设备的外参预测值,带入当前求解用的第一方程组,计算当前求解用的第一方程组左右两边的方差;

将利用当前标定用图像对计算出的待标定设备的内参预测值和外参预测值带入当前求解用的第二方程组,计算当前求解用的第二方程组左右两边的方差;

计算当前求解用的第一方程组的左右两边的方差和当前求解用的第二方程组左右两边的方差之和,作为当前求解用的第一方程组和第二方程组的左右两边的第一方差;

获取当前计算轮次之前的前N次求解用的第一方程组和第二方程组左右两边的N个第二方差;

若所述第一方差和所述N个第二方差之间的波动小于或等于设定的波动阈值,则确定利用当前标定用图像对计算出的待标定设备的内参预测值满足设定要求;

其中,N≥2,且为整数。

9.根据权利要求5所述的方法,其中,所述目标地理区域为多个;所述根据计算出的待标定设备的内参预测值,标定所述待标定设备的内参,包括:获取针对多个目标地理区域分别计算出的所述待标定设备的多组内参预测值;其中,一个目标地理区域对应一组内参预测值;

计算所述多组内参预测值的均值;并从所述多组内参预测值中选择与均值之间的误差小于或等于设定的误差阈值的目标内参预测值;

根据所述目标内参预测值,标定所述待标定设备的内参。

10.根据权利要求9所述的方法,其中,所述根据所述目标内参预测值,标定所述待标定设备的内参,包括:选取所述目标内参预测值的中值,作为所述待标定设备的内参。

11.根据权利要求1所述的方法,其中,还包括:

获取所述内参已知设备和所述待标定设备采集的图像携带的地理位置信息;

所述获取针对同一目标地理区域,内参已知设备采集的第一图像集和待标定设备采集的第二图像集,包括:根据所述内参已知设备和所述待标定设备采集的图像携带的地理位置信息,获取所述内参已知设备和所述待标定设备分别针对同一目标地理区域采集的第一图像集和第二图像集。

12.根据权利要求1‑11任一项所述的方法,其中,所述内参已知设备为高级驾驶辅助系统设备;所述待标定设备为行车记录仪。

13.一种数据处理系统,其中,包括:内参已知设备、待标定设备和服务端设备;

其中,所述内参已知设备和所述待标定设备,用于采集图像,并将采集到的图像提供给所述服务端设备;

所述服务端设备,用于从所述内参已知设备和所述待标定设备采集到的图像中,获取针对同一目标地理区域,所述内参已知设备采集的第一图像集和所述待标定设备采集的第二图像集;计算所述第一图像集中的第一图像和第二图像集中的第二图像之间的相似度;

并根据第一图像集中的第一图像和第二图像集中的第二图像之间的相似度,获取目标图像对;每个目标图像对包括:第一图像集中的一帧第一图像和第二图像集中的一帧第二图像;

利用所述目标图像对及所述内参已知设备的内参,联合标定所述待标定设备的内参。

14.一种计算机设备,其中,包括:存储器和处理器;其中,所述存储器,用于存储计算机程序;

所述处理器耦合至所述存储器,用于执行所述计算机程序以用于执行权利要求1‑12任一项所述方法中的步骤。

说明书 :

标定方法、设备及系统

技术领域

[0001] 本申请涉及图像处理技术领域,尤其涉及一种标定方法、设备及系统。

背景技术

[0002] 随着各类消费级的移动终端(如手机、行车记录仪等)的不断发展,基于消费级的移动终端沿路采集的资料数据,进行电子地图数据的制作被广泛应用,其中,所述资料数据包括图像数据,比如,道路的图像数据。而基于所述图像数据构建地图过程中,需要从图像数据中识别出相应的地理要素及其几何数据,比如,道路及其几何数据(包括道路的形状、方向和位置等数据),为了从图像数据中,能够准确地获取相应地理要素及其几何数据,对移动终端进行标定非常重要。众所周知,消费级的移动终端的型号非常庞杂,比如,行车记录仪会因为硬件选型不同有非常多的型号,因此,如何对不同类型的移动终端进行统一标定是一个需要解决的问题,进一步,传统标定方式需要将移动终端在专门的标定场进行标定,但消费级的移动终端通常应用于众包采集场景,而众包采集场景,移动终端是由一般消费者持有且数量众多,在专门标定场进行标定,效率低且成本高。综前所述,如何对采集资料数据的移动终端进行统一、高效、低成本地标定,成为本领域技术人员需要解决的问题。

发明内容

[0003] 本申请的多个方面提供一种标定方法、设备及系统,用以提高对图像采集设备的内参标定的精度。
[0004] 本申请实施例提供一种标定方法,包括:
[0005] 获取针对同一目标地理区域,内参已知设备采集的第一图像集和待标定设备采集的第二图像集;利用所述第一图像集、所述第二图像集及所述内参已知设备的内参,联合标定所述待标定设备的内参。
[0006] 本申请实施例还提供一种数据处理系统,包括:内参已知设备、待标定设备和服务端设备;
[0007] 其中,所述内参已知设备和所述待标定设备,用于采集图像,并将采集到的图像提供给所述服务端设备;
[0008] 所述服务端设备,用于从所述内参已知设备和所述待标定设备采集到的图像中,获取针对同一目标地理区域,所述内参已知设备采集的第一图像集和和所述待标定设备采集的第二图像集;利用所述第一图像集、所述第二图像集及所述内参已知设备的内参,联合标定所述待标定设备的内参。
[0009] 本申请实施例还提供一种计算机设备,包括:存储器和处理器;其中,所述存储器,用于存储计算机程序;
[0010] 所述处理器耦合至所述存储器,用于执行所述计算机程序以用于执行上述标定方法中的步骤。
[0011] 本申请实施例还提供一种存储有计算机指令的计算机可读存储介质,当所述计算机指令被一个或多个处理器执行时,致使所述一个或多个处理器执行上述标定方法中的步骤。
[0012] 在本申请实施例中,利用内参已知的设备和待标定的设备针对同一地理区域采集的图像,联合标定待标定的设备的内参,实现了对设备自动化标定。在本申请实施例中,由于在对待标定的设备进行参数标定时,引入了内参已知的设备的图像数据,可减少待求量,增加标定出的参数的稳定性,因此,有助于提高内参标定的准确度,进而有助于后续基于标定好的设备采集的图像,恢复图像采集的区域的空间信息的精度。

附图说明

[0013] 此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
[0014] 图1a为本申请实施例提供的数据处理系统的结构示意图;
[0015] 图1b为本申请实施例提供的联合标定过程的流程示意图;
[0016] 图2为本申请实施例提供的标定方法的流程示意图;
[0017] 图3为本申请实施例提供的计算机设备的结构示意图。

具体实施方式

[0018] 为使本申请的目的、技术方案和优点更加清楚,下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0019] 在利用图像采集设备采集的图像构建地图过程中,需要获取图像包含的道路的空间分布信息。为了获取图像包含的道路空间分布信息,需要图像采集设备的图像的内参。因此,标定图像采集设备的内参,对保证道路的空间分布信息的精度十分重要。
[0020] 在本申请一些实施例中,利用内参已知的设备和待标定的设备针对同一地理区域采集的图像,联合标定待标定的设备的内参,实现了对设备自动化标定。在本申请实施例中,由于在对待标定的设备进行参数标定时,引入了内参已知的设备的图像数据,可减少待求量,增加标定出的参数的稳定性,因此,有助于提高内参标定的准确度,进而有助于后续基于标定好的设备采集的图像,恢复图像采集的区域的空间信息的精度。
[0021] 以下结合附图,详细说明本申请各实施例提供的技术方案。
[0022] 应注意到:相同的标号在下面的附图以及实施例中表示同一物体,因此,一旦某一物体在一个附图或实施例中被定义,则在随后的附图和实施例中不需要对其进行进一步讨论。
[0023] 图1a为本申请实施例提供的数据处理系统的结构示意图。如图1a所示,该系统包括:内参已知设备11、待标定设备12及服务端设备13。
[0024] 在本实施例中,内参已知设备11和待标定设备12为具有图像采集功能的设备,不限定内参已知设备11和待标定设备12的具体实现形态。可选地,内参已知设备11和待标定设备12为高级驾驶辅助系统(Advanced Driving Assistance System,ADAS)设备、行车记录仪、摄像头、相机等;或者为具有图像采集功能的终端设备,如智能手机、平板电脑等。优选地,内参已知设备的精度为高精度的图像采集设备,如ADAS设备等。
[0025] 在本实施例中,服务端设备13是指可以进行地图数据管理,可响应终端设备的服务请求,为用户提供与地图相关的服务的计算机设备,一般具备承担服务并保障服务的能力。服务端设备13可以为单一服务器设备,也可以云化的服务器阵列,或者为云化的服务器阵列中运行的虚拟机(Virtual Machine,VM)。另外,服务端设备也可以指具备相应服务能力的其他计算设备,例如电脑等终端设备(运行服务程序)等。
[0026] 其中,服务端设备13和内参已知设备11及待标定设备12之间可以是无线或有线连接。可选地,服务端设备13可以通过移动网络和内参已知设备11及待标定设备12通信连接,相应地,移动网络的网络制式可以为2G(GSM)、2.5G(GPRS)、3G(WCDMA、TD‑SCDMA、CDMA2000、UTMS)、4G(LTE)、4G+(LTE+)、5G、WiMax等中的任意一种。可选地,服务端设备13也可以通过蓝牙、WiFi、红外线等方式和内参已知设备11及待标定设备12通信连接。
[0027] 在本实施例中,内参已知设备11和待标定设备12可作为地图服务提供方的数据采集设备,为地图服务提供方(服务端设备13)提供图像。地图服务提供方(服务端设备13)可接收内参已知设备11和待标定设备12提供的图像,获取图像采集的区域的环境信息和空间信息。其中,区域的环境信息可包括:区域包含的对象;相应地,区域的空间信息包括:区域包含的对象的地理位置信息等。
[0028] 在实际应用中,为了保证地图数据与现实世界的一致性,及时更新地图数据,地图服务提供方会定期或不定期的采集地图数据,并利用采集的地图数据更新地图。其中,图像数据为地图服务提供方获取地图数据的重要数据来源之一。
[0029] 在实际应用中,地图服务提供方可利用其私有的采集车或图像采集设备采集图像。为了节约图像采集成本,也可获取其它设备采集的图像。例如,地图服务提供方可获取部署于其它车辆的图像采集设备采集的环境图像,或者,获取交通管理部门部署于道路上的摄像头采集的环境图像;等等。在一些实施例中,可将除地图服务提供方私有的图像采集设备之外的图像采集设备,称为众包设备。这些众包设备也可作为地图服务提供方的数据来源。其中,待标定设备12可为众包设备。内参已知设备11可为地图服务提供方私有的图像采集设备。
[0030] 在实际使用中,服务端设备13可根据图像采集设备采集的环境图像,获取现实实际的环境信息和空间信息;并利用获取的环境信息和空间信息更新地图数据。为了确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,需要建立图像采集设备成像的几何模型,这些几何模型参数就是图像采集设备的参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为图像采集设备标定。如相机标定、摄像头标定等。
[0031] 对于具有图像采集功能的设备来说,图像采集设备的参数包括:内参数(简称内参)和外参数。其中,图像采集设备的内参数是图像采集设备的固有参数,与图像采集设备的自身特性相关。比如图像采集设备的焦距、像素大小、像中心、畸变参数等。图像采集设备的外参数是其在世界坐标系中的参数,比如图像采集设备的位置、旋转方向等。
[0032] 由于图像采集设备的内参数是其固有参数,外参数会随着图像采集设备的位姿的改变而发生改变,因此,本申请实施例主要对图像采集设备的内参数标定的过程进行示例性说明。其中,图像采集设备的位姿是指图像采集设备的位置和朝向。当然,在标定图像采集设备内参数的同时,也会标定图像采集设备在采集标定用图像时的位姿进行标定。
[0033] 待标定设备12多种多样,分布位置分散,很难线下找到所有的待标定设备12来标定这些待标定设备12的内参,而且线下标定将会耗费大量的人力物力,线下标定成本较高。有些众包设备在使用时,会要求其出厂被严格标定才投入使用,后续不需要用自标定的方式获取设备内参。但是一般来说,不是所有的硬件厂商都会对设备进行标定,另外标定了的设备局限了设备的使用范围,标定好的设备往往价格上也会比未标定的要高,增加了使用成本。
[0034] 基于此,本申请实施例提供一种自动化标定待标定设备12的内参的方式。在一些实施例中,服务端设备13可获取待标定设备12采集的图像,并利用待标定设备12采集的图像,自主标定待标定设备12的内参。该标定过程中,由于待标定设备12的内参和外参均是未知的,建立图像采集设备成像的几何模型中未知参数较多,求解出的参数的稳定性较差,导致待标定设备12采集的场景发生变化时,求解出的参数不再适用。
[0035] 为了解决上述问题,在本实施例中,引入内参已知设备11,利用内参已知设备11和待标定设备12采集的图像,对待标定设备12进行联合标定。其中,内参已知设备11可为内参已知的任意图像采集设备。优先地,内参已知设备11为高精度的图像采集设备,可由地图服务提供方提供。如ADAS设备等。
[0036] 在本实施例中,内参已知设备11和待标定设备12可采集图像,并将采集到的图像提供给服务端设备13。服务端设备13可接收内参已知设备11和待标定设备12采集到的图像。
[0037] 进一步,为了利用内参已知设备11和待标定设备12采集的图像,实现对待标定设备12的内参的联合标定,则可建立内参已知设备11和待标定设备12成像的几何模型。对内参已知设备11和待标定设备12成像的几何模型进行联合求解,得到待标定设备12的内参。对于联合求解过程来说,若内参已知设备11和待标定设备12采集的图像的场景不同,则内参已知设备11和待标定设备12成像的几何模型为相互独立的几何模型,无法实现联合求解,也就无法采用内参已知设备11和待标定设备12采集的图像,对待标定设备12联合标定。
基于此,服务端设备12可从内参已知设备11和待标定设备12采集的图像中,获取针对相同场景采集的图像。
[0038] 其中,采集场景不同包括:采集的地理区域不同及同一地理区域中环境信息不同。基于此,服务端设备11在从内参已知设备11和待标定设备12采集的图像中,获取针对相同场景采集的图像时,可从内参已知设备11采集的图像和待标定设备12采集的图像中,分别获取针对同一地理区域采集的图像。在本实施例中,将相同区域定义为目标地理区域。目标地理区域可以为1个或多个。多个是指2个或2个以上。例如,可以为3个、5个、8个甚至更多。
进一步,将内参已知设备11针对目标地理区域采集的图像集,定义为第一图像集;并将待标定设备12针对目标地理区域采集的图像集,定义为第二图像集。
[0039] 可选地,内参已知设备11和待标定设备12还具有定位功能。在本实施例中,不限定内参已知设备11和待标定设备12采用进行定位的具体实施方式。可选地,内参已知设备11和待标定设备12可采用北斗定位技术、GPS定位技术、WiFi定位技术或基站定义技术进行定位,也可采用视觉定位技术进行定位。相应地,内参已知设备11和待标定设备12还可将定位信息添加到采集的图像中。可选地,内参已知设备11采用高精度定位技术进行定位。
[0040] 对于服务端设备13可获取内参已知设备11和待标定设备12采集的图像携带的地理位置信息;并根据内参已知设备11和待标定设备12采集的图像携带的地理位置信息,获取采集内参已知设备11和待标定设备12分别针对同一目标地理区域采集的第一图像集和第二图像集。对于地理区域的环境信息变化较小的区域,服务端设备13可将内参已知设备11针对该目标地理区域采集的图像,作为第一图像集;并将待标定设备12针对该目标地理区域采集的图像,作为第二图像集。进一步,考虑到同一地理区域的场景可能发生变化,不同时间段同一地理区域的环境信息可能不同。例如,对于一棵树来说,春夏秋冬四季树的状态不同;又例如,对于建筑物来说,可能会发生拆迁等情况。服务端设备13还可从内参已知设备11和待标定设备12针对同一目标地理区域采集的图像中,选择采集时间间隔小于或等于设定的时间间隔阈值的第一图像集和第二图像集。
[0041] 其中,第一图像集的图像为内参已知设备11采集的,第二图像集的图像为待标定设备12采集的;且第一图像集的图像与第二图像集的图像的采集时间间隔小于或等于设定的时间间隔阈值。在本实施例中,不限定设定的时间间隔阈值可以灵活设备。例如时间间隔阈值可以为1周、1个月、2个月或1年等等。
[0042] 在获取内参已知设备11和待标定设备12针对同一目标地理区域采集的第一图像集和第二图像集之后,服务端设备13可利用第一图像集、第二图像集及内参已知设备11的内参,联合标定待标定设备12的内参,实现了对设备的自动化标定。该自动化标定过程,无需人工线下找到待标定的设备,而且无需线下操作,有助于节约标定成本。
[0043] 另一方面,在本实施例中,由于引入了内参已知设备的图像数据,可减少标定用几何模型的待求量,增加标定出的参数的稳定性,因此,有助于提高内参标定的准确度,进而有助于后续基于标定好的待标定设备采集的图像,恢复图像采集的区域的空间信息的精度。
[0044] 在本申请实施例中,对待标定设备12进行标定的目的是为了确定待标定设备12的内参数的值,这些参数可以建立世界坐标系和图像坐标系之间的映射关系,换句话说,就是可以用这些参数把一个三维空间中的点映射到图像空间。
[0045] 在实际应用中,即便对于同一目标地理区域采集的图像,采集位置也可能不同,对于目标地理区域面积较大的情况,由于图像采集设备的采集视角的限制,可能采集到目标地理区域的局部区域,不同采集位置采集的局部区域不同。基于此,在本实施例中,为了实现利用内参已知设备11和待标定设备12采集的图像,对待标定设备12进行联合标定,还可计算第一图像集中的图像和第二图像集中的图像之间的相似度;并根据第一图像集中的图像和第二图像集中的图像之间的相似度,获取目标图像对;每个目标图像对包括:第一图像集中的一帧图像和第二图像集中的一帧图像。在本申请实施例中,为了描述和区分,将第一图像集中的任一帧图像,统一定义为第一图像;并将第二图像集中的任一帧图像,统一定义为第二图像。之后,利用目标图像对及内参已知设备11的内参,联合标定待标定设备12的内参。
[0046] 在计算第一图像集中的图像和第二图像集中的图像之间的相似度时,服务端设备13可计算第一图像集中每帧图像与第二图像集中每帧图像之间的相似度。但是,这样计算量较大。考虑到采集位置距离较远的图像所采集的地理区域的不同,针对不同的地理区域或者同一地理区域中的不同子区域所采集的图像之间的相似度较低。基于此,为了降低计算量,服务端设备13可获取第一图像集和第二图像集中图像携带的地理位置信息;并可根据第一图像集和第二图像集中图像携带的地理位置信息,从第一图像集和第二图像集中,获取图像携带的地理位置信息之间的距离满足设定的距离要求的初始图像对;每个初始图像对包括:第一图像集中的一帧第一图像和第二图像集中的一帧第二图像。可选地,服务端设备13可计算第一图像集中每帧图像携带的地理位置信息与第二图像集中每帧图像携带的地理位置信息之间的距离,并将两帧对应的地理位置信息之间的距离小于或等于设定的距离阈值的图像,作为一个初始图像对。进一步,服务端设备13可确定初始图像对中两帧图像之间的相似度,作为初始图像对的图像相似度。
[0047] 可选地,服务端设备13可计算初始图像对包含的两帧图像之间的相似度。例如,服务端设备13可获取初始图像对中的第一图像和第二图像的特征点。其中,特征点是图像特征的局部表达,可反映图像上具有的局部特殊性。可选地,服务端设备13可对初始图像对中的第一图像和第二图像分别进行斑点检测、角点检测或纹理检测,获得初始图像对包含的第一图像和第二图像的特征点。若服务端设备13对初始图像对进行斑点检测,则可采用LOG方法、DOH方法、SIFI算法或SURF算法获取初始图像对图像中的特征点。相应地,特征点为斑点。若服务端设备13对初始图像对中的第一图像和第二图像分别进行角点检测,则可采用Harris算法或FAST算法获取初始图像对中的第一图像和第二图像的特征点。相应地,特征点为角点等。对于特征点可采用特征描述符进行描述。
[0048] 进一步,服务端设备13可统计初始图像对目标特征点的数量,作为初始图像对的图像相似度。其中,初始图像对包含的目标特征点的数量越多,初始图像对的图像相似度越大。
[0049] 可选地,服务端设备13可根据初始图像对中的第一图像和第二图像的特征点的特征描述符,计算第一图像和第二图像的特征点之间的相似度;并将初始图像对中的第一图像和第二图像的特征点之间的相似度大于或等于设定的相似度阈值的特征点,作为相匹配的目标特征点。
[0050] 在本实施例中,针对第一图像中的特征点A和第二图像中的特征点B,服务端设备13可根据特征点A与特征点B的特征描述符,计算特征点A和特征点B的相似度。若特征点A和特征点B的相似度大于或等于设定的相似度阈值,则确定特征点A和特征点B为相匹配的目标特征点。相应地,若特征点A和特征点B的相似度小于设定的相似度阈值,则认为特征点A和特征点B不匹配。按照上述方式,便可确定第一图像和第二图像相匹配的目标特征点及目标特征点的数量。
[0051] 可选地,服务端设备13可计算特征点A与特征点B的特征描述符之间的距离,并用该距离衡量特征点A和特征B之间的相似度。其中,特征点A与特征点B的特征描述符之间的距离越小,特征点A和特征点B之间的相似度越大。相应地,设定的相似度阈值可采用距离阈值进行表示。特定点A与特征点B的特征描述符之间的距离小于或等于设定的距离阈值,则说明特征点A和特征点B的相似度大于或等于设定的相似度阈值。可选地,特征点A和特征点B的特征描述符之间的距离可采用余弦距离、欧式距离或马氏距离等。
[0052] 在确定初始图像对的图像相似度之后,服务端设备13可根据初始图像对的图像相似度,从初始图像对中获取目标图像对。
[0053] 可选地,服务端设备13可按照初始图像对的图像相似度由大到小的顺序,从初始图像对中选取设定数量的图像对,作为目标图像对。假设设定数量为Q,则服务端设备13可按照初始图像对的图像相似度由大到小的顺序,依次选取相似度排名在前Q位的初始图像对,作为目标图像对。其中Q为正整数。优选地,Q≥2。
[0054] 或者,服务端设备13可从初始图像对中,选取图像相似度大于或等于设定相似度阈值的图像对,作为目标图像对。接着,服务端设备13可利用目标图像对及内参已知设备11的内参,联合标定待标定设备的内参。
[0055] 可选地,服务端设备13可采用循环逼近迭代的方式,标定待标定设备12的内参。在一些实施例中,服务端设备13从目标图像对中,获取第一数量的目标图像对,作为当前标定用图像对。在本实施例中,不限定第一数量的具体取值,第一数量小于目标图像对的总数量。可选地,第一数量可以为1个或多个。多个是指2个或2个以上。
[0056] 进一步,服务端设备13可利用当前标定用图像对及内参已知设备11的内参,联合计算待标定设备12的内参预测值;之后,判断利用当前标定用图像对计算出的待标定设备12的内参预测值是否满足设定要求;若判断结果为否,则在当前标定用图像对的基础上增加第二数量的目标图像对,作为新的当前标定用图像对;并返回执行利用当前标定用图像对及内参已知设备11的内参,联合计算待标定设备12的内参预测值的操作,直至利用计算出的待标定设备12的内参预测值满足设定要求。在本实施例中,不限定第二数量的具体取值,第二数量小于目标图像对的总数量。可选地,第二数量小于或等于第一数量。例如,第一数量为5,第二数量可为1‑4等,但不限于此。
[0057] 之后,服务端设备13可根据满足设定要求的待标定设备12的内参预测值,标定待标定设备12的内参。
[0058] 下面以任一次循环迭代过程为例,对利用当前标定用图像对,联合计算待标定设备的内参预测值的过程进行示例性说明。
[0059] 在实际应用中,图像采集设备中的坐标系有4个,均为右手坐标系,分别有:世界坐标系、相机坐标系(即设备坐标系)、图像坐标系、像素坐标系。
[0060] 世界坐标系:对于某点的坐标采用(xw,yw,zw)表示。其中,世界坐标系为用户自定义的三维空间坐标系,表示物体在空间的实际位置,用来描述三维空间中物体与图像采集设备之间的坐标位置关系,度量值为米(m)。
[0061] 设备坐标系:对于某点的坐标采用(xc,yc,zc)表示。其中,相机坐标系以相机的光心为原点,zc轴与光轴重合,垂直于成像平面,度量值为米(m)。
[0062] 图像坐标系:对于某点的坐标采用(xp,yp)表示。图像坐标系位于图像平面上,是二维坐标系,xp和yp轴分别与相机坐标系中的xc和yc轴相平行,度量值为米(m)。
[0063] 像素坐标系:对于某点采用(u,v)表示,同样位于图像平面上,与图像坐标系的区别在于:像素坐标系以图像的左上角为原点;单位为像素。
[0064] 相应地,上述4个坐标系之间的映射关系可表示为:
[0065]
[0066] 其中, f表示图像采集设备的焦距,dx×dy表示图像采集设备采集的图像C中每个像素的物理尺寸。dx表示每个像素在x轴上的物理尺寸,dy表示每个像素在y轴上的物理尺寸。(u,v)表示某点P的像素坐标,(u0,v0)表示像中心的像素坐标;(xw,yw,zw)表示该点P对应的世界坐标系下的坐标;zc表示点P在设备坐标系下的z轴坐标;R和t表示图像采集设备在采集图像C时的外参数。其中,fx、fy、(u0,v0)为待求解的内参数;R和t为待求解的外参数。在公式(1)中,(u,v)为已知量,为点P在图像C中的像素坐标,其余参量均为未知量,为待求量。
[0067] 对于图像采集设备来说,内参数除了焦距、像素中心之外,还包括:畸变参数。图像采集设备的畸变参数主要是指透镜畸变,包括:径向畸变和切向畸变。对于径向畸变可描述为:
[0068]
[0069] 其中,(x,y)为畸变点在成像平面上的原始位置,r为畸变点到成像面中心的距离,(x1,y1)为径向校正后的新位置;k1,k2,k3为待求解的径向畸变系数。
[0070] 对于切向畸变,可描述为:
[0071]
[0072] 其中,(x2,y2)为切向畸变校正后的新位置;p1,p2为待求解的切向畸变系数。
[0073] 在本实施例中,对待标定设备12的内参标定的实质是利用上述公式(1)、(2)和(3)求解出待标定设备12的内参。
[0074] 基于上述分析,每个当前标定用图像对包括:一帧第一图像集中的第一图像和一帧第二图像集中的第二图像。服务端设备13可获取第一图像和第二图像中相匹配的目标特征点;并以内参已知设备11采集当前标定用图像对中的第一图像时的外参为待求量,根据内参已知设备11的内参和第一图像的目标特征点,构建反映世界坐标系、设备坐标系及第一图像的像素坐标系之间的关联关系的第一方程组。该设备坐标系可为内参已知设备的坐标系。
[0075] 其中,内参已知设备11的坐标系即为相机坐标系。由于内参已知设备11的内参是已知的,因此,内参已知设备11采集的第一图像为畸变校正后的图像。因此,对于第一图像中的每个目标特征点对应上述方程(1)组成的方程。具体实施方式为:可将内参已知设备11的内参和第一图像的目标特征点的像素坐标带入上述方程(1)得到以目标特征点的世界坐标、相机坐标及内参已知设备11的外参为待求量的方程组。
[0076] 相应地,服务端设备13还可以待标定设备的内参及待标定设备采集当前标定用图像对中的第二图像时的外参为待求量,根据第二图像的目标特征点,构建反映世界坐标系、设备坐标系及第二图像的图像坐标系之间的关联关系的第二方程组。在此处,设备坐标系可为待标定设备的坐标系。在本实施例中,第二图像中的每个目标特征点对应上述方程(1)、(2)和(3)组成的一组方程。具体实施方式为:将第二图像的目标特征点的像素坐标带入上述方程(1)、(2)和(3),对于方程(1),第二图像的目标特征点的像素坐标(u,v)为已知量,其余参数均为待求量;对于方程(2)和(3),第二图像的目标特征点的像素坐标(x,y),目标特征点到图像中心的距离r为已知量;畸变系数为待求量。
[0077] 进一步,服务端设备13可对当前计算轮次构建的第一方程组和第二方程组进行联合求解,计算当前计算轮次对应的待标定设备12的内参预测值。可选地,服务端设备13可采用循环逼近迭代方式,对当前计算轮次构建的第一方程组和第二方程组进行联合求解,得到待标定设备12的内参预测值。其中,服务端设备13对当前计算轮次构建的第一方程组和第二方程组进行联合求解,还可得到内参已知设备11的外参预测值和待标定设备12的外参预测值。
[0078] 优选地,内参已知设备11采用高精度的图像采集设备,如ADAS设备。这样,在对第一方程组和第二方程组联合求解时,有助于提高计算出的待标定设备12的内参预测值的准确度,进而有助于提高后续基于待标定设备12的内参预测值,确定的待标定设备12的内参的准确度和精度。
[0079] 在实际求解过程中,对于每次迭代求解,可对待求量进行初始化。对于第一次迭代求解过程来说,可自主设置各待求量的参数值。例如,对于待标定设备12为行车记录仪的实施例,可设置焦距的初始值为1.2倍的图像宽度,并设置畸变系数的初始值分别为k1=0,k2=0。对于内参已知设备11来说,其内参为已知的,因此其图像的校正过的图像。可选地,对于内参已知设备11为ADAS设备的情况,可设置焦距为0.5倍的图像宽度,畸变系数为k1=0,k2=0。
[0080] 在本实施例中,为了提高计算效率,针对第M次构建的第一方程组和第二方程组,将第(M‑1)次迭代计算出的待标定设备12的内参预测值作为待标定设备12的内参初始值,采用循环逼近迭代的方法对第M次构建的第一方程组和第二方程组进行联合求解,以计算第M次对应的待标定设备12的内参预测值。其中,M≥2,且为整数。当然,在对第M次构建的第一方程组和第二方程组进行求解时,除了将第(M‑1)次迭代计算出的待标定设备12的内参预测值作为待标定设备12的内参初始值,还可将第(M‑1)次迭代计算出的其它待求量的预测值,作为第M次迭代计算的初始值。
[0081] 针对每次迭代计算出的内参已知设备11的外参预测值以及待标定设备的内参预测值和外参预测值,可将利用当前标定用图像对计算出的内参已知设备的外参预测值,带入当前求解用的第一方程组,计算当前求解用的第一方程组左右两边的方差;以及,将利用当前标定用图像对计算出的待标定设备的内参预测值和外参预测值,带入当前求解用的第二方程组,计算当前求解用的第二方程组左右两边的方差;之后,计算当前求解用的第一方程组的左右两边的方差和当前求解用的第二方程组左右两边的方差之和,作为当前求解用的第一方程组和第二方程组的左右两边的第一方差。
[0082] 进一步,服务端设备12可获取当前计算轮次之前的前N次求解用的第一方程组和第二方程组左右两边的N个第二方差;其中,N≥2,且为整数。若第一方差和N个第二方差之间的波动小于或等于设定的波动阈值,则确定利用当前标定用图像对计算出的待标定设备的内参预测值满足设定要求。相应地,若第一方差和N个第二方差之间的波动大于设定的波动阈值,则确定利用当前标定用图像对计算出的待标定设备的内参预测值不满足设定要求;之后,返回执行利用当前标定用图像对,联合计算待标定设备的内参预测值的操作,直至利用计算出的待标定设备12的内参预测值满足设定要求。
[0083] 之后,服务端设备13可根据满足设定要求时计算出的待标定设备12的内参预测值,标定待标定设备12的内参。
[0084] 在一些实施例中,为了保证标定出的待标定设备12的内参的鲁棒性,可利用内参已知设备11和待标定设备12针对多个目标地理区域采集的图像,分别对待标定设备12的内参进行标定,得到多个目标地理区域分别对应的内参值。其中,每个地理目标区域可对应一组内参值。可选地,服务端设备13可获取针对多个目标地理区域分别计算出的待标定设备12的多组内参预测值;其中,一个目标地理区域对应一组内参预测值;并计算多组内参预测值的均值;之后,服务端设备13从多组内参预测值中选择与均值之间的误差小于或等于设定的误差阈值的目标内参预测值。在本实施例中,不限定误差阈值的具体取值。例如,可设置误差阈值为5%,则服务端设备13可从多组内参预测值中选择与均值之间的误差小于或等于5%的目标内参预测值。
[0085] 进一步,服务端设备13可根据目标内参预测值,标定待标定设备12的内参。可选地,服务端设备13可选取目标内参预测值的中值,作为待标定设备12的内参;或者,服务端设备13可计算目标内参预测值的平均值,作为待标定设备12的内参,等等。在本实施例中,目标内参预测值的中值,是指多组目标内参预测值中,相同参数的中值的集合。即目标内参阈值的中值包括:待标定设备12的焦距预测值的中值,像中心预测值的中值,畸变系数预测值的中值。相应地,目标内参预测值的平均值包括:待标定设备12的焦距预测值的平均值,像中心预测值的平均值,畸变系数预测值的平均值。
[0086] 为了更清楚地描述上述利用目标图像对,联合标定待标定设备12的内参的过程,下面结合一具体实施例进行示例性说明。如图1b所示,该过程主要包括以下步骤:
[0087] S1:从多个目标图像对中,获取第一数量的目标图像对,作为当前标定用图像对。
[0088] S2:获取当前标定用图像对中两帧图像相匹配的目标特征点。
[0089] S3:以内参已知设备采集当前标定用图像对中的第一图像时的外参为待求量,根据内参已知设备的内参和第一图像的目标特征点,构建可反映世界坐标系、设备坐标系及第一图像的像素坐标系之间的关联关系的第一方程组。S4:以待标定设备的内参及待标定设备当前标定用图像对中的第二图像时的外参为待求量,根据第二图像的目标特征点,构建反映世界坐标系、设备坐标系及第二图像的像素坐标系之间的关联关系的第二方程组。S5:对第一方程组和第二方程组进行联合求解,以计算待标定设备的内参预测值和外参预测值以及内参已知设备的外参预测值。
[0090] S6:将利用当前标定用图像对计算出的内参已知设备的外参预测值,带入当前求解用的第一方程组,计算当前求解用的第一方程组左右两边的方差。
[0091] S7:将利用当前标定用图像对计算出的待标定设备的内参预测值和外参预测值带入当前求解用的第二方程组,计算当前求解用的第二方程组左右两边的方差。
[0092] S8:计算当前求解用的第一方程组的左右两边的方差和当前求解用的第二方程组左右两边的方差之和,作为当前求解用的第一方程组和第二方程组的左右两边的第一方差。
[0093] S9:获取当前计算轮次之前的前N次求解用的第一方程组和第二方程组左右两边的N个第二方差;其中,N≥2,且为整数。
[0094] S10:判断第一方差和N个第二方差之间的波动是否小于或等于设定的波动阈值。若判断结果为是,则执行步骤S12;若判断结果为否,则执行步骤S11。
[0095] S11:将利用当前标定用图像对求解出的待标定设备的内参预测值作为待标定设备的内参初始值,并在当前标定用图像对的基础上增加第二数量的目标图像对,作为新的当前标定用图像对;返回执行步骤S2。
[0096] S12:将当前标定用图像对求解出的待标定设备的内参预测值,作为针对目标地理区域计算出的待标定设备的内参预测值。
[0097] S13:获取针对多个目标区域分别计算出的待标定设备的多组内参预测值;其中,一个目标区域对应一组内参预测值。
[0098] S14:计算多组内参预测值的均值;并从多组内参预测值中选择与均值之间的误差小于或等于设定的误差阈值的目标内参预测值。
[0099] S15:选取目标内参预测值的中值,作为待标定设备的内参。
[0100] 值得说明的是,针对上述步骤S3和S4可串行或并行执行。在步骤S3和S4串行执行时,不限定二者执行的先后顺序。图1b仅以先执行步骤S3,后执行步骤S4进行图示,但不构成限定。
[0101] 本申请实施例除了上述系统实施例之外,还提供标定方法,该方法适用于任何计算机设备。下面对本申请实施例提供的标定方法进行示例性说明。
[0102] 图2为本申请实施例提供的标定方法的流程示意图。如图2所示,该方法包括:
[0103] 201、获取针对同一目标地理区域,内参已知设备采集的第一图像集和待标定设备采集的第二图像集。
[0104] 202、利用第一图像集、第二图像集及内参已知设备的内参,联合标定待标定设备的内参。
[0105] 本实施例提供的标定方法,主要对待标定设备的内参进行标定。其中,关于内参已知设备和待标定设备的实现形态,可参见上述系统实施例的相关内容,在此不再赘述。
[0106] 在本实施例中,为了利用内参已知设备和待标定设备采集的图像,实现对待标定设备的内参的联合标定,则可建立内参已知设备和待标定设备成像的几何模型。对内参已知设备和待标定设备成像的几何模型进行联合求解,得到待标定设备的内参。对于联合求解过程来说,若内参已知设备和待标定设备采集的图像的场景不同,则内参已知设备和待标定设备成像的几何模型为相互独立的几何模型,无法实现联合求解,也就无法采用内参已知设备和待标定设备采集的图像,对待标定设备联合标定。基于此,在步骤201中,可获取内参已知设备和待标定设备针对同一地理区域采集的第一图像集和第二图像集。在本实施例中,将同一地理区域定义为目标地理区域。目标地理区域可以为1个或多个。多个是指2个或2个以上。例如,可以为3个、5个、8个甚至更多。进一步,将内参已知设备针对目标地理区域采集的图像集,定义为第一图像集;并将待标定设备针对目标地理区域采集的图像集,定义为第二图像集。
[0107] 可选地,内参已知设备和待标定设备还具有定位功能。在本实施例中,关于内参已知设备和待标定设备采用进行定位的具体实施方式可参见上述系统实施例的相关内容。内参已知设备和待标定设备还可将定位信息添加到采集的图像中。相应地,步骤201的一种可选实施方式为:获取内参已知设备和待标定设备采集的图像携带的地理位置信息;并根据内参已知设备和待标定设备采集的图像携带的地理位置信息,获取采集内参已知设备和待标定设备分别针对同一目标地理区域采集的第一图像集和第二图像集。其中,关于选择第一图像集中的图像的具体实施方式,可参见上述系统实施例的相关内容,在此不再赘述。
[0108] 在获取内参已知设备和待标定设备针对同一目标地理区域采集的第一图像集和第二图像集之后,接着,在步骤202中,可利用第一图像集和第二图像集及内参已知设备的内参,联合标定待标定设备的内参。由于引入了内参已知设备的图像数据,可减少标定用几何模型的待求量,增加标定出的参数的稳定性,因此,有助于提高内参标定的准确度,进而有助于后续基于标定好的待标定设备采集的图像,恢复图像采集的区域的空间信息的精度。
[0109] 在本实施例中,为了实现利用内参已知设备和待标定设备采集的图像,对待标定设备进行联合标定,步骤202的一种可选实施方式为:可计算第一图像集中的图像和第二图像集中的图像之间的相似度;并根据第一图像集中的图像和第二图像集中的图像之间的相似度,获取目标图像对;每个目标图像对包括:第一图像集中的一帧第一图像和第二图像集中的一帧第二图像;之后,利用目标图像对及内参已知设备的内参,联合标定待标定设备的内参。
[0110] 在计算第一图像集中的图像和第二图像集中的图像之间的相似度时,可计算第一图像集中每帧图像与第二图像集中每帧图像之间的相似度。但是,这样计算量较大。考虑到采集位置距离较远的图像所采集的区域的不同,针对不同区域或者同一地理区域不同子区域所采集的图像之间的相似度较低。基于此,为了降低计算量,可获取第一图像集和第二图像集中图像携带的地理位置信息;并根据第一图像集和第二图像集中图像携带的地理位置信息,从第一图像集和第二图像集中获取图像携带的地理位置信息之间的距离满足设定的距离要求的初始图像对;每个初始图像对包括:第一图像集中的一帧第一图像和第二图像集中的一帧第二图像。进一步,可确定初始图像对中两帧图像的相似度,作为初始图像对的图像相似度。
[0111] 可选地,可计算初始图像对中第一图像和第二图像之间的相似度。可选地,可获取初始图像中第一图像和第二图像的特征点;并获取初始图像对中第一图像和第二图像相匹配的特征点作为目标特征点。其中,关于获取初始图像对中第一图像和第二图像的特征点的具体实施方式,可参见上述系统实施例的相关内容,在此不再赘述。对于特征点可采用特征描述符进行描述。
[0112] 进一步,可统计初始图像对中第一图像和第二图像相匹配的目标特征点的数量,作为初始图像对的图像相似度。其中,初始图像对包含目标特征点的数量越多,初始图像对的图像相似度越大。其中,关于确定初始图像对的目标特征点的具体实施方式,可参见上述系统实施例的相关内容,在此不再赘述。
[0113] 在确定初始图像对的图像相似度之后,可根据初始图像对的图像相似度,从初始图像对中获取目标图像对。
[0114] 可选地,可按照初始图像对的图像相似度由大到小的顺序,从初始图像对中选取设定数量的图像对,作为目标图像对。或者,可从初始图像对中,选取图像相似度大于或等于设定相似度阈值的图像对,作为目标图像对。接着,可利用目标图像对,联合标定待标定设备的内参。
[0115] 可选地,可采用循环逼近迭代的方式,标定待标定设备的内参。在一些实施例中,可从多个目标图像对中,获取第一数量的目标图像对,作为当前标定用图像对。在本实施例中,不限定第一数量的具体取值,第一数量小于目标图像对的总数量。可选地,第一数量可以为1个或多个。多个是指2个或2个以上。
[0116] 进一步,可利用当前标定用图像对及内参已知设备的内参,联合计算待标定设备的内参预测值;之后,判断利用当前标定用图像对计算出的待标定设备的内参预测值是否满足设定要求;若判断结果为否,则在当前标定用图像对的基础上增加第二数量的目标图像对,作为新的标定用图像对;并返回执行利用当前标定用图像对,联合计算待标定设备的内参预测值的操作,直至利用计算出的待标定设备的内参预测值满足设定要求。可选地,第二数量小于或等于第一数量。之后,可根据满足设定要求时的待标定设备的内参预测值,标定待标定设备的内参。
[0117] 下面以任一次循环迭代过程为例,对利用当前标定用图像对,联合计算待标定设备的内参预测值的过程进行示例性说明。
[0118] 基于上述方程(1)、(2)和(3),对于每个当前标定用图像对包括:一帧第一图像集中的第一图像和一帧第二图像集中的第二图像。相应地,可获取第一图像和第二图像中相匹配的目标特征点;并以内参已知设备采集当前标定用图像对中的第一图像时的外参为待求量,根据内参已知设备的内参和第一图像的目标特征点,构建反映世界坐标系、设备坐标系及第一图像的像素坐标系之间的关联关系的第一方程组。
[0119] 相应地,还可以待标定设备的内参及待标定设备采集当前标定用图像对中的第二图像时的外参作为待求量,根据第二图像的目标特征点,构建反映世界坐标系、设备坐标系及第二图像的图像坐标系之间的关联关系的第二方程组。可选地,可对当前计算轮次构建的第一方程组和第二方程组进行联合求解,计算当前计算轮次对应的待标定设备的内参预测值。其中,对当前计算轮次构建的第一方程组和第二方程组进行联合求解,还可计算内参已知设备的外参预测值和待标定设备的外参预测值。可选地,可采用循环逼近迭代方式,对当前计算轮次构建的第一方程组和第二方程组进行联合求解。
[0120] 在本实施例中,为了提高计算效率,针对第M次构建的第一方程组和第二方程组,将第(M‑1)次迭代计算出的待标定设备的内参预测值作为待标定设备的内参初始值,采用循环逼近迭代的方法对第M次构建的第一方程组和第二方程组进行联合求解,以计算第M次对应的待标定设备的内参预测值。其中,M≥2,且为整数。当然,在对第M次构建的第一方程组和第二方程组进行求解时,除了将第(M‑1)次迭代计算出的待标定设备的内参预测值作为待标定设备的内参初始值,还可将第(M‑1)次迭代计算出的其它待求量的预测值,作为第M次迭代计算的初始值。
[0121] 针对每次迭代计算出的待标定设备的内参预测值,可将利用当前标定用图像对计算出的内参已知设备的外参预测值,带入当前求解用的第一方程组,计算当前求解用的第一方程组左右两边的方差;并将利用当前标定用图像对计算出的待标定设备的内参预测值和外参预测值,带入当前求解用的第二方程组,计算当前求解用的第二方程组左右两边的方差;之后,计算当前求解用的第一方程组的左右两边的方差和当前求解用的第二方程组左右两边的方差之和,作为当前求解用的第一方程组和第二方程组的左右两边的第一方差;并获取当前计算轮次之前的前N次求解用的第一方程组和第二方程组左右两边的N个第二方差;其中,N≥2,且为整数。若第一方差和N个第二方差之间的波动小于或等于设定的波动阈值,则确定利用当前标定用图像对计算出的待标定设备的内参预测值满足设定要求。相应地,若第一方差和N个第二方差之间的波动大于设定的波动阈值,则确定利用当前标定用图像对计算出的待标定设备的内参预测值不满足设定要求;之后,返回执行利用当前标定用图像对,联合计算待标定设备的内参预测值的操作,直至利用计算出的待标定设备的内参预测值满足设定要求。
[0122] 之后,可根据满足设定要求时计算出的待标定设备的内参预测值,标定待标定设备的内参。
[0123] 在一些实施例中,目标地理区域为多个。其中,每个目标地理区域可对应一组内参阈值。可选地,可获取针对多个目标地理区域分别计算出的待标定设备的多组内参预测值;其中,一个目标地理区域对应一组内参预测值;并计算多组内参预测值的均值;之后,从多组内参预测值中选择与均值之间的误差小于或等于设定的误差阈值的目标内参预测值。
[0124] 进一步,可根据目标内参预测值,标定待标定设备的内参。可选地,可选取目标内参预测值的中值,作为待标定设备的内参;或者,可计算目标内参预测值的平均值,作为待标定设备的内参,等等。
[0125] 值得说明的是,关于利用目标图像对及内参已知设备的内参,联合标定待标定设备的内参的具体实施方式,可参见上述图1b中的相关内容,在此不再赘述。
[0126] 需要说明的是,上述实施例所提供方法的各步骤的执行主体均可以是同一设备,或者,该方法也由不同设备作为执行主体。比如,步骤201和202的执行主体可以为设备A;又比如,步骤201的执行主体可以为设备A,步骤202的执行主体可以为设备B;等等。
[0127] 另外,在上述实施例及附图中的描述的一些流程中,包含了按照特定顺序出现的多个操作,但是应该清楚了解,这些操作可以不按照其在本文中出现的顺序来执行或并行执行,操作的序号如201、202等,仅仅是用于区分开各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。
[0128] 相应地,本申请实施例还提供一种存储有计算机指令的计算机可读存储介质,当计算机指令被一个或多个处理器执行时,致使一个或多个处理器执行上述标定方法中的步骤。
[0129] 图3为本申请实施例提供的计算机设备的结构示意图。如图3所示,该计算机设备包括:存储器30a和处理器30b。其中,存储器30a,用于存储计算机程序。
[0130] 处理器30b耦合至存储器30a,用于执行计算机程序以用于:获取针对同一目标地理区域,内参已知设备采集的第一图像集和和待标定设备采集的第二图像集;并利用第一图像集、第二图像集及内参已知设备的内参,联合标定待标定设备的内参。
[0131] 可选地,内参已知设备为高级驾驶辅助系统设备;待标定设备为行车记录仪。
[0132] 在一些实施例中,处理器30b还用于:获取所述内参已知设备和所述待标定设备采集的图像携带的地理位置信息。相应地,处理器30b在获取针对同一目标地理区域,内参已知设备采集的第一图像集和待标定设备采集的第二图像集时,具体用于:根据内参已知设备和待标定设备采集的图像携带的地理位置信息,获取内参已知设备和待标定设备分别针对同一目标地理区域采集的第一图像集和第二图像集。
[0133] 在另一些实施例中,处理器30b在联合标定待标定设备的内参时,具体用于:计算第一图像集和第二图像集中图像之间的相似度;根据第一图像集和第二图像集中图像之间的相似度,获取目标图像对;每个目标图像对包括:第一图像集中的一帧第一图像和第二图像集中的一帧第二图像;并利用目标图像对及内参已知设备的内参,联合标定待标定设备的内参。
[0134] 可选地,处理器30b在联合标定待标定设备的内参时,具体用于:根据第一图像集和第二图像集中图像携带的地理位置信息,从第一图像集和第二图像集中,获取图像携带的地理位置信息之间的距离满足设定的距离要求的初始图像对;初始图像对包括:第一图像集中的一帧第一图像和第二图像集中的一帧第二图像;确定初始图像对中两帧图像的相似度,作为初始图像对的图像相似度;根据初始图像对的图像相似度,获取目标图像对;并利用目标图像对及内参已知设备的内参,联合标定待标定设备的内参。
[0135] 进一步,处理器30b在计算初始图像对中两帧图像之间的相似度时,具体用于:获取初始图像对中两帧图像的特征点;并从初始图像对中两帧图像的特征点中,获取初始图像对中两帧图像相匹配的特征点作为目标特征点;统计初始图像对两帧图像相匹配的目标特征点的数量,作为初始图像对的图像相似度;其中,初始图像对包含的目标特征点的数量越多,初始图像对的图像相似度越大。
[0136] 可选地,处理器30b在获取目标图像对时,具体用于:按照初始图像对的图像相似度由大到小的顺序,从初始图像对中选取设定数量的图像对,作为目标图像对;或者,从初始图像对中,选取图像相似度大于或等于设定相似度阈值的图像对,作为目标图像对。
[0137] 相应地,处理器30b在联合标定待标定设备的内参时,具体用于:从目标图像对中,获取第一数量的目标图像对,作为当前标定用图像对;利用当前标定用图像对及内参已知设备的内参,联合计算待标定设备的内参预测值;判断利用当前标定用图像对计算出的待标定设备的内参预测值是否满足设定要求;若判断结果为否,则在当前标定用图像对的基础上增加第二数量的目标图像对,作为新的当前标定用图像对;并返回执行利用当前标定用图像对及内参已知设备的内参,联合计算待标定设备的内参预测值的操作,直至利用计算出的待标定设备的内参预测值满足设定要求;以及根据满足设定要求的待标定设备的内参预测值,标定待标定设备的内参。
[0138] 进一步,处理器30b在联合计算待标定设备的内参预测值时,具体用于:以内参已知设备采集当前标定用图像对中的第一图像时的外参为待求量,根据内参已知设备的内参和第一图像的目标特征点,构建反映世界坐标系、设备坐标系及第一图像的像素坐标系之间的关联关系的第一方程组;并以待标定设备的内参及待标定设备采集当前标定用图像对中的第二图像时的外参为待求量,根据第二图像的目标特征点,构建反映世界坐标系、设备坐标系及第二图像的像素坐标系之间的关联关系的第二方程组;以及,对当前计算轮次构建的第一方程组和第二方程组进行联合求解,以计算当前计算轮次对应的待标定设备的内参预测值。相应地,对当前计算轮次构建的第一方程组和第二方程组进行联合求解,还可得到内参已知设备的外参预测值和待标定设备的外参预测值。
[0139] 可选地,处理器30b在对当前计算轮次构建的第一方程组和第二方程组进行联合求解时,具体用于:针对第M次计算,将第(M‑1)次计算出的待标定设备的内参预测值作为待标定设备的内参初始值,采用循环迭代的方法对第M次计算对应的第一方程组和第二方程组进行联合求解,以计算第M次待标定设备的内参预测值;其中,M≥2,且为整数。
[0140] 可选地,处理器30b在判断利用当前标定用图像对计算出的待标定设备的内参预测值是否满足设定要求时,具体用于:将利用当前标定用图像对计算出的内参已知设备的外参预测值,带入当前求解用的第一方程组,计算当前求解用的第一方程组左右两边的方差;将利用当前标定用图像对计算出的待标定设备的内参预测值和外参预测值,带入当前求解用的第二方程组,计算当前求解用的第二方程组左右两边的方差;并计算当前求解用的第一方程组的左右两边的方差和当前求解用的第二方程组左右两边的方差之和,作为当前求解用的第一方程组和第二方程组的左右两边的第一方差;以及,获取当前计算轮次之前的前N次求解用的第一方程组和第二方程组左右两边的N个第二方差;若第一方差和N个第二方差之间的波动小于或等于设定的波动阈值,则确定利用当前标定用图像对计算出的待标定设备的内参预测值满足设定要求;其中,N≥2,且为整数。
[0141] 在另一些实施例中,目标地理区域为多个。相应地,处理器30b在标定待标定设备的内参时,具体用于:获取针对多个地理目标区域分别计算出的待标定设备的多组内参预测值;其中,一个目标地理区域对应一组内参预测值;计算多组内参预测值的均值;并从多组内参预测值中选择与均值之间的误差小于或等于设定的误差阈值的目标内参预测值;以及,根据目标内参预测值,标定待标定设备的内参。
[0142] 可选地,处理器30b在标定待标定设备的内参时,具体用于:选取目标内参预测值的中值,作为待标定设备的内参。
[0143] 在一些可选实施方式中,如图3所示,该计算机设备还可以包括:通信组件30c、电源组件30d等组件。若计算机设备为电脑等终端设备,还可包括:显示组件30e、音频组件30f等可选组件。图3中仅示意性给出部分组件,并不意味着计算机设备必须包含图3所示全部组件,也不意味着计算机设备只能包括图3所示组件。
[0144] 在本申请实施例中,存储器用于存储计算机程序,并可被配置为存储其它各种数据以支持在其所在设备上的操作。其中,处理器可执行存储器中存储的计算机程序,以实现相应控制逻辑。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
[0145] 在本申请实施例中,处理器可以为任意可执行上述方法逻辑的硬件处理设备。可选地,处理器可以为中央处理器(Central Processing Unit,CPU)、图形处理器(Graphics Processing Unit,GPU)或微控制单元(Microcontroller Unit,MCU);也可以为现场可编程门阵列(Field‑Programmable Gate Array,FPGA)、可编程阵列逻辑器件(Programmable Array Logic,PAL)、通用阵列逻辑器件(General Array Logic,GAL)、复杂可编程逻辑器件(Complex Programmable Logic Device,CPLD)等可编程器件;或者为先进精简指令集(RISC)处理器(Advanced RISC Machines,ARM)或系统芯片(System on Chip,SOC)等等,但不限于此。
[0146] 在本申请实施例中,通信组件被配置为便于其所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,4G,5G或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件还可基于近场通信(NFC)技术、射频识别(RFID)技术、红外数据协会(IrDA)技术、超宽带(UWB)技术、蓝牙(BT)技术或其他技术来实现。
[0147] 在本申请实施例中,显示组件可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示组件包括触摸面板,显示组件可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
[0148] 在本申请实施例中,电源组件被配置为其所在设备的各种组件提供电力。电源组件可以包括电源管理系统,一个或多个电源,及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
[0149] 在本申请实施例中,音频组件可被配置为输出和/或输入音频信号。例如,音频组件包括一个麦克风(MIC),当音频组件所在设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中,音频组件还包括一个扬声器,用于输出音频信号。例如,对于具有语言交互功能的设备,可通过音频组件实现与用户的语音交互等。
[0150] 本实施例提供的计算机设备,利用内参已知的设备和待标定的设备针对同一地理区域采集的图像,联合标定待标定的设备的内参,实现了对设备自动化标定。在本申请实施例中,由于在对待标定的设备进行参数标定时,引入了内参已知的设备的图像数据,可减少待求量,增加标定出的参数的稳定性,因此,有助于提高内参标定的准确度,进而有助于后续基于标定好的设备采集的图像,恢复图像采集的区域的空间信息的精度。
[0151] 需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
[0152] 本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。
[0153] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0154] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0155] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0156] 在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
[0157] 内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
[0158] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD‑ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
[0159] 还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0160] 以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。