一种基于多传感器融合的双目相机在线标定方法及系统

摘要

本发明提供了一种基于多传感器融合的双目相机在线标定方法及系统，属于计算机视觉技术领域；其中，所述方法包括：对所述双目相机的左相机与右相机的相互姿态进行第一自标定；获取所述多传感器的实时检测数据，根据所述实时检测数据对所述双目相机在载具坐标系下的姿态进行第二自标定；本发明的在线标定包括两个方面，即左右相机相互姿态的自标定和双目相机相对于地面的自标定；本发明的方案能够应对各种干扰因素导致的双目相机偏差问题，快速实现偏差后的自标定，而且本发明的方案简单可靠，实施成本低，能适应多种场景。

权利要求

1.一种基于多传感器融合的双目相机在线标定方法，包括如下步骤： S10，对所述双目相机的左相机与右相机的相互姿态进行第一自标定；

S20，获取所述多传感器的实时检测数据，根据所述实时检测数据对所述双目相机在载具坐标系下的姿态进行第二自标定；

步骤S10中，所述对所述双目相机的左相机与右相机的相互姿态进行第一自标定，包括：S110，获取左相机、右相机针对同一场景同时拍摄的图像，对所述图像进行特征提取与匹配，以得出第一匹配特征点集；

S111，利用平行校正算法对所述第一匹配特征点集中的各第一匹配特征点进行平行校正；

S112，判断平行校正后的所述第一匹配特征点是否满足第一条件，若是，则判定所述双目相机的第一姿态参数合格，输出标定参数；若否，则转S113；

S113，对所述双目相机的姿态参数进行修正；

所述判断所述校正后的第一匹配特征点是否满足第一条件，包括：若平行校正后的所述第一匹配特征点分布在同一行/列，则判定所述双目相机的第一姿态参数合格；若平行校正后的所述匹配特征点分布在不同行/列，则判定所述双目相机的第一姿态参数不合格；

步骤S113中，所述对所述双目相机的姿态参数进行修正，包括：旋转修正：构建误差函数，使用非线性优化手段对旋转角度进行旋转修正，使得平行校正后的匹配特征点分布于同一行；

平移修正：利用对极约束获得尺度因子，把所有对极约束求解出的平移矩阵按照相同的尺度因子进行缩放求解出平移矩阵，根据所述平移矩阵进行平移修正；

所述构建误差函数，包括如下步骤：

S1130，以左相机为基准，则左眼的旋转矩阵为单位矩阵，平移矩阵为0矩阵；设右眼的旋转矩阵为R，平移矩阵为T，将R分解为两个旋转矩阵 和 ；

S1131，根据Bouguet算法求解得出左校正矩阵、右校正矩阵，分别为： ，，其中， 仅和T有关；

则 对 于一 个 3 D 点 来 说 ，其 在 左 右 成 像 平 面上 的 成 像 点 分 别 为 ：和 ；

其中， 代表左相机3*3内参矩阵， 表示右相机的3*3内参矩阵， 是世界坐标系下的某点三维坐标， 和 分别为同一个世界点在左相机坐标系和右相机坐标系的三维坐标，表示右眼相机相对于左眼相机的平移矩阵；

S1132，误差函数构建为两所述成像点连线与图像坐标系X轴正方向的夹角：，其中，表示世界坐标系下一3D点在左右相机成像平面上的成像点的连线与图像坐标系X轴正方向的夹角；

针对旋转矩阵R进行优化使误差最小，即可优化出R的最优解。

2.根据权利要求1所述的一种基于多传感器融合的双目相机在线标定方法，其特征在于：步骤S20中，所述获取所述多传感器的实时检测数据，根据所述实时检测数据对所述双目相机在载具坐标系下的姿态进行第二自标定，包括：S200，定义载具坐标系和地面坐标系；

S201，获取所述载具的里程信息，根据所述里程信息求解出所述双目相机相对所述载具坐标系的偏移值，根据所述偏移值对所述双目相机进行在线标定。

3.根据权利要求2所述的一种基于多传感器融合的双目相机在线标定方法，其特征在于：步骤S201中，所述根据所述里程信息求解出所述双目相机相对所述载具坐标系的偏移值，包括：S2010，通过视差图生成V视差图，在V视差图中进行地面像素提取，得到地面点在左相机坐标系中的坐标，进而重建地面；

S2011，根据所述标定参数，求解出所述载具坐标系下的地面方程；

S2012，对左相机输入的前后帧图像进行特征匹配，获得前后帧图像的第二匹配特征点；

S2013，根据所述地面方程分别对前后帧的第二匹配特征点进行三维重建，获得其在不同时刻的3D坐标；

S2014，通过求解超定方程 P' = R*P+T获得所述前后帧图像之间的第一运动参数 ，其中，所述第一运动参数 包括旋转矩阵R和平移矩阵T；

S2015，对IMU的检测数据进行分段积分，以获得载具在所述前后帧图像之间的第二运动参数 ；

S2016，根据所述双目相机的第一运动参数 和所述载具的所述第二运动参数 ，通过方程  求解得出所述双目相机在所述载具坐标系中的第二姿态参数，其中， 代表相机坐标系转到载具坐标系的变换矩阵；

S2017，根据所述第二姿态参数和所述标定参数确定出所述双目相机相对所述载具坐标系的偏移值。

4.一种基于多传感器融合的双目相机在线标定系统，包括处理模块、存储模块、通信模块，所述处理模块分别与所述存储模块和所述通信模块连接；其中，所述存储模块，用于存储可执行的计算机程序代码；

所述通信模块，用于获取所述双目相机和所述多传感器的检测数据并传输给所述处理模块；

其特征在于：所述处理模块，用于通过调用所述存储模块中的所述可执行的计算机程序代码，执行如权利要求1‑3任一项所述的方法。

5.一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

其特征在于：所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1‑3任一项所述的方法。

6.一种计算机存储介质，该存储介质上存储有计算机程序，其特征在于：该计算机程序被处理器运行时执行如权利要求1‑3任一项所述的方法。

说明书

一种基于多传感器融合的双目相机在线标定方法及系统

技术领域

[0001] 本发明涉及计算机视觉技术领域，具体而言，涉及一种基于多传感器融合的双目相机在线标定方法及系统。

背景技术

[0002] 双目相机是计算机视觉处理中的常见装置，利用视差原理对两个从不同位置拍摄物体的图像进行计算分析，得到物体空间几何信息。通过在载具上装载双目相机系统，可以
实现载具在空间场景内的自动化移动，或者避障。在实际投入使用之前，需要利用标准标定
板或参照物对双目相机的各种参数进行离线标定。一般地，标定包括的数据有相机镜头参
数（内参），双目左右眼的相互姿态，以及双目相机在载具坐标系内的姿态（如图1所示）。相机镜头参数（包括畸变模型，焦距，光心等）在出厂时即确定，在使用过程中，一般不会改变，因此离线标定已满足需求。双目左右眼的相互姿态是指左右眼坐标系在对方坐标系中的姿
态，离线标定时能够获取足够精准的姿态参数。

[0003] 然而，在使用过程中，在各种因素（冲击，震荡等）作用下，左右眼的相互姿态可能发生改变，进而降低双目系统的性能，双目相机在载具坐标系内的姿态亦是如此，在受到冲击，震荡后，设备极有可能发生偏移（如图2所示）。双目相机设备的偏移会导致双目系统的性能下降，甚至无法正常工作。以及，由于双目相机设备的使用场景不同，在某些特殊场景
下，对已经正式投入使用的双目相机进行离线标定是非常繁琐的，且成本极高。

[0004] 经过上述分析可见，现有技术中的双目相机标定技术难以应对真实场景中的各种干扰因素，而且标定成本也较高，难以与满足使用需求。

发明内容

[0005] 为了至少解决上述背景技术中存在的技术问题，本发明提供了一种基于多传感器融合的双目相机在线标定方法、系统、电子设备及存储介质，以实现双目相机在姿态发生偏
移时实现自标定，减少标定工序，降低使用成本。

[0006] 本发明的第一方面提供了一种基于多传感器融合的双目相机在线标定方法，包括如下步骤：S10，对所述双目相机的左相机与右相机的相互姿态进行第一自标定；

[0007] S20，获取所述多传感器的实时检测数据，根据所述实时检测数据对所述双目相机在载具坐标系下的姿态进行第二自标定。

[0008] 可选地，步骤S10中，所述对所述双目相机的左相机与右相机的相互姿态进行第一自标定，包括：

[0009] S110，获取左相机、右相机针对同一场景同时拍摄的图像，对所述图像进行特征提取与匹配，以得出第一匹配特征点集；

[0010] S111，利用平行校正算法对所述第一匹配特征点集中的各第一匹配特征点进行平行校正；

[0011] S112，判断平行校正后的所述第一匹配特征点是否满足第一条件，若是，则判定所述双目相机的第一姿态参数合格，输出标定参数；若否，则转S113；

[0012] S113，对所述双目相机的姿态参数进行修正。

[0013] 可选地，所述判断所述校正后的第一匹配特征点是否满足第一条件，包括：

[0014] 若平行校正后的所述第一匹配特征点分布在同一行/列，则判定所述双目相机的第一姿态参数合格；若平行校正后的所述匹配特征点分布在不同行/列，则判定所述双目相
机的第一姿态参数不合格。

[0015] 可选地，步骤S113中，所述对所述双目相机的姿态参数进行修正，包括：

[0016] 旋转修正：构建误差函数，使用非线性优化手段对旋转角度进行旋转修正，使得平行校正后的匹配特征点分布于同一行；

[0017] 平移修正：利用对极约束获得尺度因子，把所有对极约束求解出的平移矩阵按照相同的尺度因子进行缩放求解出平移矩阵，根据所述平移矩阵进行平移修正。

[0018] 可选地，所述构建误差函数，包括如下步骤：

[0019] S1130，以左相机为基准，则左眼的旋转矩阵为单位矩阵，平移矩阵为0矩阵；设右眼的旋转矩阵为R，平移矩阵为T，将R分解为两个旋转矩阵 和 ；

[0020] S1131，根据Bouguet算法求解得出左校正矩阵、右校正矩阵，分别为：， ，其中， 仅和T有关；

[0021] 则对于一个3D点来说 ，其在左右成像平面上的成像点分别为：和 ；

[0022] 其中， 代表左相机3*3内参矩阵， 表示右相机的3*3内参矩阵， 是世界坐标系下的某点三维坐标， 和 分别为同一个世界点在左相机坐标系和右相机坐标系的三维
坐标， 表示右眼相机相对于左眼相机的平移矩阵；

[0023] S1132，误差函数构建为两所述成像点连线与图像坐标系X轴正方向的夹角：，其中，表示世界坐标系下一3D点在左右相机成像平面
上的成像点的连线与图像坐标系X轴正方向的夹角；

[0024] 针对旋转矩阵R进行优化使误差最小，即可优化出R的最优解。

[0025] 可选地，步骤S20中，所述获取所述多传感器的实时检测数据，根据所述实时检测数据对所述双目相机在载具坐标系下的姿态进行第二自标定，包括：

[0026] S200，定义载具坐标系和地面坐标系；

[0027] S201，获取所述载具的里程信息，根据所述里程信息求解出所述双目相机相对所述载具坐标系的偏移值，根据所述偏移值对所述双目相机进行在线标定。

[0028] 可选地，步骤S201中，所述根据所述里程信息求解出所述双目相机相对所述载具坐标系的偏移值，包括：

[0029] S2010，通过视差图生成V视差图，在V视差图中进行地面像素提取，得到地面点在左相机坐标系中的坐标，进而重建地面；

[0030] S2011，根据所述标定参数，求解出所述载具坐标系下的地面方程；

[0031] S2012，对左相机输入的前后帧图像进行特征匹配，获得前后帧图像的第二匹配特征点；

[0032] S2013，根据所述地面方程分别对前后帧的第二匹配特征点进行三维重建，获得其在不同时刻的3D坐标；

[0033] S2014，通过求解超定方程 P' = R*P+T获得所述前后帧图像之间的第一运动参数，其中，所述第一运动参数 包括旋转矩阵R和平移矩阵T；

[0034] S2015，对IMU的检测数据进行分段积分，以获得载具在所述前后帧图像之间的第二运动参数 ；

[0035] S2016，根据所述双目相机的第一运动参数 和所述载具的所述第二运动参数，通过方程 求解得出所述双目相机在所述载具坐标系中的
第二姿态参数，其中， 代表相机坐标系转到载具坐标系的变换矩阵；

[0036] S2017，根据所述第二姿态参数和所述标定参数确定出所述双目相机相对所述载具坐标系的偏移值。

[0037] 本发明的第二方面提供了一种基于多传感器融合的双目相机在线标定系统，包括处理模块、存储模块、通信模块，所述处理模块分别与所述存储模块和所述通信模块连接；
其中，

[0038] 所述存储模块，用于存储可执行的计算机程序代码；

[0039] 所述通信模块，用于获取所述双目相机和所述多传感器的检测数据并传输给所述处理模块；

[0040] 所述处理模块，用于通过调用所述存储模块中的所述可执行的计算机程序代码，执行如前任一项所述的方法。

[0041] 本发明的第三方面提供了一种电子设备，包括：

[0042] 存储有可执行程序代码的存储器；

[0043] 与所述存储器耦合的处理器；

[0044] 所述处理器调用所述存储器中存储的所述可执行程序代码，执行如前任一项所述的方法。

[0045] 本发明的第四方面提供了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上任一项所述的方法。

[0046] 本发明的方案，所述双目相机的左相机与右相机的相互姿态进行第一自标定；获取所述多传感器的实时检测数据，根据所述实时检测数据对所述双目相机在载具坐标系下
的姿态进行第二自标定。本发明的在线标定包括两个方面，即左右相机相互姿态的自标定
和双目相机相对于地面的自标定。本发明的方案能够应对各种干扰因素导致的双目相机偏
差问题，快速实现偏差后的自标定，而且本发明的方案简单可靠，实施成本低，能适应多种
场景。

附图说明

[0047] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对
范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这
些附图获得其他相关的附图。

[0048] 图1为现有技术双目相机标定示意图。

[0049] 图2为现有技术双目相机偏移示意图。

[0050] 图3是本发明实施例公开的一种基于多传感器融合的双目相机在线标定方法的流程示意图。

[0051] 图4为本发明中双目相机左、右相机的相互姿态自标定流程示意图。

[0052] 图5为本发明中双目相机左、右相机平行校正示意图。

[0053] 图6为本发明中双目相机左、右相机平移修正示意图。

[0054] 图7为本发明中双目相机左、右相机在载具坐标系下的姿态自标定流程图。

[0055] 图8为本发明中双目相机左、右相机在载具坐标系下的手眼标定示意图。

[0056] 图9是本发明实施例公开的一种基于多传感器融合的双目相机在线标定系统的结构示意图。

[0057] 图10是本发明实施例公开一种电子设备的结构示意图。

具体实施方式

[0058] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是
本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人
员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范
围。

[0059] 需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本发明的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的
过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清
楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0060] 在本发明中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本发明及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方位，或以特定方位进行构造和操作。

[0061] 并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领
域普通技术人员而言，可以根据具体情况理解这些术语在本发明中的具体含义。

[0062] 此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。
对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

[0063] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

[0064] 实施例一

[0065] 请参阅图3，是本发明实施例公开的一种基于多传感器融合的双目相机在线标定方法的流程示意图。如图3所示，本发明实施例的一种基于多传感器融合的双目相机在线标
定方法，包括如下步骤：S10，对所述双目相机的左相机与右相机的相互姿态进行第一自标
定；

[0066] S20，获取所述多传感器的实时检测数据，根据所述实时检测数据对所述双目相机在载具坐标系下的姿态进行第二自标定。

[0067] 在本发明实施例中，相比于现有技术中的离线标定方法，本发明设计了上述的在线标定方法。具体而言，本发明的在线标定包括两个方面，即左右相机相互姿态的自标定和
双目相机相对于地面的自标定。本发明的方案能够应对各种干扰因素导致的双目相机偏差
问题，快速实现偏差后的自标定，而且本发明的方案简单可靠，实施成本低，能适应多种场
景。

[0068] 需要进行说明的是，本发明的上述方法存在多种实施方式，一方面是通过与双目相机同处于载具上的处理设备实现，即处理设备与双目相机电连接，同时处理设备还可以
获取到载具坐标系，进而通过一系列的处理计算完成上述的第一自标定和第二自标定；其
中，处理设备可以为任何传统的处理器、控制器、微控制器或状态机，也可以通过计算装置
的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合
一个数字信号处理器核，或任何其它类似的配置来实现，例如智能手机、个人电脑、平板电
脑、可穿戴设备以及智能机器人等其他智能硬件设备。另一方面，还可以通过服务器端实
现，即服务器端与载具进行通信以实现与双目相机的间接连通，再通过一系列的处理计算
得出标定结果，并将标定结果传输给载具的双目相机，进而实现上述的第一自标定和第二
自标定；其中，服务器端可以是独立的物理服务器，也可以是多个物理服务器构成的服务器
集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

[0069] 可选地，步骤S10中，所述对所述双目相机的左相机与右相机的相互姿态进行第一自标定，包括：

[0070] S110，获取左相机、右相机针对同一场景同时拍摄的图像，对所述图像进行特征提取与匹配，以得出第一匹配特征点集；

[0071] S111，利用平行校正算法对所述第一匹配特征点集中的各第一匹配特征点进行平行校正；

[0072] S112，判断平行校正后的所述第一匹配特征点是否满足第一条件，若是，则判定所述双目相机的第一姿态参数合格，输出标定参数；若否，则转S113；

[0073] S113，对所述双目相机的姿态参数进行修正。

[0074] 在本发明实施例中，参照图4，先对双目相机的左右相机进行自标定，即控制左右相机对准同一场景同时进行拍摄，接着对从左右相机分别获得的拍摄图像进行特征提取与
匹配，从而得出第一匹配特征点集，对第一匹配特征点集中的各第一匹配特征点进行平行
校正处理（参照图5）之后，如果它们满足预定条件，则说明双目相机的第一姿态参数是合格的，反之则存在问题，需要进一步优化。于是，本发明的方案实现了对双目相机的左右相机
的自标定，避免了左右相机相互间的偏差。

[0075] 可选地，所述判断所述校正后的第一匹配特征点是否满足第一条件，包括：

[0076] 若平行校正后的所述第一匹配特征点分布在同一行/列，则判定所述双目相机的第一姿态参数合格；若平行校正后的所述匹配特征点分布在不同行/列，则判定所述双目相
机的第一姿态参数不合格。

[0077] 在本发明实施例中，可以预先在前述场景中布设横向或纵向的标定物，于是，对于姿态参数合格的双目相机来说，第一匹配特征点应当是位于同一行或同一列，反之，则第一
匹配特征点不位于同一行或同一列。本发明利用上述原理来设定第一条件，以检测出左右
相机之间是否存在某种偏差，进而得出双目相机的第一姿态参数是否合格的判断结果。

[0078] 需要进行说明的是，所述平行校正算法采用Bouguet算法，当然，除了Bouguet算法，本发明并不排斥其它平行校正算法，在此不再赘述。

[0079] 可选地，步骤S113中，所述对所述双目相机的姿态参数进行修正，包括：

[0080] 旋转修正：构建误差函数，使用非线性优化手段对旋转角度进行旋转修正，使得平行校正后的匹配特征点分布于同一行；

[0081] 平移修正：利用对极约束获得尺度因子，把所有对极约束求解出的平移矩阵按照相同的尺度因子进行缩放求解出平移矩阵，根据所述平移矩阵进行平移修正。

[0082] 在本发明实施例中，本发明对双目相机的姿态参数进行修正包括两个方面，即旋转修正和平移修正（参照图6），修正后的双目相机的姿态参数即为合格。

[0083] 可选地，所述构建误差函数，包括如下步骤：

[0084] S1130，以左相机为基准，则左眼的旋转矩阵为单位矩阵，平移矩阵为0矩阵；设右眼的旋转矩阵为R，平移矩阵为T，将R分解为两个旋转矩阵  和 ；

[0085] S1131，根据Bouguet算法求解得出左校正矩阵、右校正矩阵，分别为：， ，其中， 仅和T有关；

[0086] 则对于一个3D点来说 ，其在左右成像平面上的成像点分别为：和 ；

[0087] 其中， 代表左相机3*3内参矩阵， 表示右相机的3*3内参矩阵， 是世界坐标系下的某点三维坐标， 和 分别为同一个世界点在左相机坐标系和右相机坐标系的三维
坐标， 表示右眼相机相对于左眼相机的平移矩阵；

[0088] S1132，误差函数构建为两所述成像点连线与图像坐标系X轴正方向的夹角：，其中，表示世界坐标系下一3D点在左右相机成像平面
上的成像点的连线与图像坐标系X轴正方向的夹角；

[0089] 针对旋转矩阵R进行优化使误差最小，即可优化出R的最优解。

[0090] 在本发明实施例中，通过上述一系列处理，本实施例能够得出准确的误差函数，进而有利于实现前述的旋转修正。

[0091] 可选地，步骤S20中，所述获取所述多传感器的实时检测数据，根据所述实时检测数据对所述双目相机在载具坐标系下的姿态进行第二自标定，包括：

[0092] S200，定义载具坐标系和地面坐标系；

[0093] S201，获取所述载具的里程信息，根据所述里程信息求解出所述双目相机相对所述载具坐标系的偏移值，根据所述偏移值对所述双目相机进行在线标定。

[0094] 在本发明实施例中，参照图7，由于载具坐标系与地面坐标系的转换关系固定，双目相机在载具坐标系中的姿态固定，则双目相机“看到”的地面应是固定的。有鉴于此，在载具工作过程中进行第二自标定时，本发明进一步基于了载具所携带的多传感器的实时检测
数据，即引入载具的里程信息（可根据轮速计、IMU(惯性测量单元)等的实时检测数据得
出），通过融合里程信息解出双目相机相对载具坐标系的偏移，完成双目相机的在线标定。

[0095] 可选地，参照图8，步骤S201中，所述根据所述里程信息求解出所述双目相机相对所述载具坐标系的偏移值，包括：

[0096] S2010，通过视差图生成V视差图，在V视差图中进行地面像素提取，得到地面点在左相机坐标系中的坐标，进而重建地面；

[0097] S2011，根据所述标定参数，求解出所述载具坐标系下的地面方程；

[0098] S2012，对左相机输入的前后帧图像进行特征匹配，获得前后帧图像的第二匹配特征点；

[0099] S2013，根据所述地面方程分别对前后帧的第二匹配特征点进行三维重建，获得其在不同时刻的3D坐标；

[0100] S2014，通过求解超定方程 P' = R*P+T获得所述前后帧图像之间的第一运动参数，其中，所述第一运动参数 包括旋转矩阵R和平移矩阵T；

[0101] S2015，对IMU的检测数据进行分段积分，以获得载具在所述前后帧图像之间的第二运动参数 ；

[0102] S2016，根据所述双目相机的第一运动参数 和所述载具的所述第二运动参数，通过方程 求解得出所述双目相机在所述载具坐标系中的
第二姿态参数，其中， 代表相机坐标系转到载具坐标系的变换矩阵；

[0103] S2017，根据所述第二姿态参数和所述标定参数确定出所述双目相机相对所述载具坐标系的偏移值。

[0104] 在本发明实施例中，先对地面进行重建以得出载具坐标系下的地面方程，然后就可以得出图像帧中的第二匹配特征点的3D坐标，据此可以从双目相机拍摄的图像中识别出
载具的第一运动参数Hc，然后，再对惯性测量单元IMU的数据进行分段积分，据此可以确定
出载具在两帧图像间实际第二运动参数Hv，于是也就可以计算得出所述双目相机在所述载
具坐标系中的姿态参数的偏移值。

[0105] 实施例二

[0106] 请参阅图9，图9是本发明实施例公开的一种基于多传感器融合的双目相机在线标定系统的结构示意图。如图9所示，本发明实施例的一种基于多传感器融合的双目相机在线
标定系统100，包括处理模块101、存储模块102、通信模块103，所述处理模块101与所述存储模块102和所述通信模块103连接；其中，

[0107] 所述存储模块102，用于存储可执行的计算机程序代码；

[0108] 所述通信模块103，用于获取所述双目相机和所述多传感器的检测数据并传输给所述处理模块101；

[0109] 所述处理模块101，用于通过调用所述存储模块102中的所述可执行的计算机程序代码，执行如实施例一所述的方法。

[0110] 该实施例中的一种基于多传感器融合的双目相机在线标定系统的具体功能参照上述实施例一，由于本实施例中的系统采用了上述实施例的全部技术方案，因此至少具有
上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

[0111] 实施例三

[0112] 请参阅图10，图10是本发明实施例公开的一种电子设备，包括：

[0113] 存储有可执行程序代码的存储器；

[0114] 与所述存储器耦合的处理器；

[0115] 所述处理器调用所述存储器中存储的所述可执行程序代码，执行如实施例一所述的方法。

[0116] 实施例四

[0117] 本发明实施例还公开了一种计算机存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如实施例一所述的方法。

[0118] 本发明中涉及的电子设备包括计算单元，其可以根据存储在只读存储器（ROM）中的计算机程序或者从存储单元加载到随机访问存储器（RAM）中的计算机程序，来执行各种
适当的动作和处理。在RAM中，还可存储设备操作所需的各种程序和数据。计算单元、ROM以
及RAM 通过总线彼此相连。输入/输出（I/O）接口也连接至总线。

[0119] 电子设备中的多个部件连接至I/O接口，包括：输入单元、输出单元、存储单元以及通信单元。输入单元可以是能向电子设备输入信息的任何类型的设备，输入单元可以接收
输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输
入。输出单元可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声
器、视频/音频输出终端、振动器和/或打印机。存储单元可以包括但不限于磁盘、光盘。通信单元允许电子设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信
息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或
芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。

[0120] 计算单元可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元执行上文所描述的各个方法和处理。例如，在一些实施例中，题目类型识别方法可被实现为计算机软件程序，其被有形地包含于机器可
读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通
信单元而被载入和/或安装到电子设备上。在一些实施例中，计算单元可以通过其他任何适
当的方式（例如，借助于固件）而被配置为执行题目类型识别方法。

[0121] 用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处
理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的
功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件
包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

[0122] 在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可
读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电
子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD‑ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

[0123] 如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何
信号。

[0124] 为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的
反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

[0125] 可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界
面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部
件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数
字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网
（LAN）、广域网（WAN）和互联网。

[0126] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计
算机程序来产生客户端和服务器的关系。