车载相机外参姿态动态估计方法、装置、计算机设备转让专利
申请号 : CN202110095818.6
文献号 : CN112907678B
文献日 : 2022-05-13
发明人 : 包国宁 , 刘国清 , 敖争光 , 杨广 , 王启程
申请人 : 深圳佑驾创新科技有限公司
摘要 :
权利要求 :
1.一种车载相机外参姿态动态估计方法,所述方法包括:从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集;
对所述检测点集进行分区间 ,并分别对每个所述区间内的检测点进行直线拟合,得到拟合后的直线,并对所述拟合后的直线进行质量评估得到质量评分;
获取所述区间内的交点和所述交点对应的交点评分;所述交点是所述区间内的拟合后的任意两条直线的交点;所述交点评分是根据相交于该点的两直线的质量评分得到的;
在所述交点中搜索目标交点,并根据所述目标交点的像素坐标和所述交点评分进行计算,得到当前时刻视频帧图像的灭点;
获取当前时刻车辆行驶时的角速度;
根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息,对所述角速度进行积分计算,得到两帧图像之间所述车辆的角度变化;
对所述灭点和所述角度变化进行卡尔曼滤波计算,得到当前车载相机的外参姿态角的估计值。
2.根据权利要求1所述的方法,其特征在于,所述对所述检测点集进行分区,并分别对每个所述区间内的检测点进行直线拟合,得到拟合后的直线,并对所述拟合后的直线进行质量评估得到质量评分包括:
对所述检测点集进行分区,统计分区后的每个区间内的检测点的数量;
当所述检测点的数量大于预设阈值时,则对所述区间内的检测点进行直线拟合,得到拟合后的直线,并对所述拟合后的直线进行质量评估得到质量评分。
3.根据权利要求2所述的方法,其特征在于,所述对所述区间内的检测点进行直线拟合,得到拟合后的直线,并对所述拟合后的直线进行质量评估得到质量评分包括:对所述区间内的检测点进行最小二乘一阶拟合,得到拟合后的直线;
根据所述检测点的数量和所述检测点的分布长度,对所述拟合后的直线进行质量评估,得到所述拟合后的直线对应的质量评分。
4.根据权利要求1所述的方法,其特征在于,所述获取所述区间内的交点和所述交点对应的交点评分包括:
分别计算每个所述区间内的不同拟合直线之间的交点和交点评分;其中,所述交点评分是根据相交于该点的两直线的质量评分的乘积得到的。
5.根据权利要求1所述的方法,其特征在于,所述在所述交点中搜索目标交点包括:在所述交点中任意选取三个交点,计算所述三个交点形成的三角形外接圆的半径;
遍历所述交点进行搜索,将所述三角形外接圆的半径为最小值时对应的三个交点作为目标交点。
6.根据权利要求5所述的方法,其特征在于,所述根据所述目标交点的像素坐标和所述交点评分进行计算,得到当前时刻视频帧图像的灭点包括:计算所述三角形外接圆的半径为最小值时对应的三个交点对应的交点评分的加权平均值,得到当前时刻视频帧图像的灭点;其中,所述灭点的量测误差为所述三角形外接圆的半径的最小值。
7.根据权利要求1所述的方法,其特征在于,所述当前时刻车辆行驶时的角速度包括俯仰角速度和偏航角速度;
所述根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息,对所述角速度进行积分计算,得到两帧图像之间所述车辆的角度变化包括:根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息,对所述俯仰角速度和偏航角速度进行积分计算,得到两帧图像之间所述车辆的俯仰角变化和偏航角变化;
所述对所述灭点和所述角度变化进行卡尔曼滤波计算,得到当前车载相机的外参姿态角的估计值,包括:
对所述灭点、所述俯仰角变化和偏航角变化进行卡尔曼滤波计算,得到当前车载相机的外参俯仰角和偏航角的估计值。
8.一种车载相机外参姿态动态估计装置,其特征在于,所述装置包括:提取模块,用于从当前时刻车辆行驶时的视频帧图像中提取每条车道线对应的检测点集;
分区模块,用于对所述检测点集进行分区间 ,并分别对每个所述区间内的检测点进行直线拟合,得到拟合后的直线,并对所述拟合后的直线进行质量评估得到质量评分;
获取模块,用于获取所述区间内的交点和所述交点对应的交点评分;所述交点是所述区间内的拟合后的任意两条直线的交点;所述交点评分是根据相交于该点的两直线的质量评分得到的;
搜索模块,用于在所述交点中搜索目标交点,并根据所述目标交点的像素坐标和所述交点评分进行计算,得到当前时刻视频帧图像的灭点;
所述获取模块还用于获取当前时刻车辆行驶时的角速度;
计算模块,用于根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息,对所述角速度进行积分计算,得到两帧图像之间所述车辆的角度变化;对所述灭点和所述角度变化进行卡尔曼滤波计算,得到当前车载相机的外参姿态角的估计值。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
说明书 :
车载相机外参姿态动态估计方法、装置、计算机设备
技术领域
背景技术
标物理信息的关键参数,很大程度上决定了视觉感知结果的准确性,与自动驾驶技术的安
全可靠性息息相关。
大误差,容易导致相机外参姿态估计结果的准确性较低。
发明内容
的;
量评分包括:
圆的半径的最小值。
质量评分得到的;
度变化进行卡尔曼滤波计算,得到当前车载相机的外参姿态角的估计值。
的;
的;
并分别对每个区间内的检测点进行直线拟合,得到拟合后的直线,并对拟合后的直线进行
质量评估得到质量评分。获取区间内的交点和交点对应的交点评分,交点是区间内的拟合
后的任意两条直线的交点,交点评分是根据相交于该点的两直线的质量评分得到的。在交
点中搜索目标交点,并根据目标交点的像素坐标和交点评分进行计算,得到当前时刻视频
帧图像的灭点。获取当前时刻车辆行驶时的角速度,根据当前时刻图像的时间戳信息和前
一帧图像的时间戳信息,对角速度进行积分计算,得到两帧图像之间车辆的角度变化,对灭
点和角度变化进行卡尔曼滤波计算,得到当前车载相机的外参姿态角的估计值。通过将IMU
检测的角速度和车道线特征结合,即对灭点和角度变化进行卡尔曼滤波计算,能够得到更
加准确的实时估计的外参姿态角的估计值,有效减少因车辆颠簸或道路坡度导致的投影变
换误差,从而提高相机外参姿态估计结果的准确性,同时也适用更多的场景,且计算量较
小,对硬件平台要求低,容易实现工业应用。
附图说明
意图;
具体实施方式
用于限定本申请。
106可以与车载相机102、传感器104之间建立的连接,与车载相机102、传感器104进行通信。
传感器104与计算机设备106之间可以建立有线连接,也可以建立无线连接。车载相机102可
以实时采集车辆行驶时的视频流数据,计算机设备106可以获取车载相机102采集到的车辆
行驶时的视频流数据,计算机设备106从当前时刻车辆行驶时的视频帧图像中提取每条车
道线对应的检测点集,对检测点集进行分区,并分别对每个区间内的检测点进行直线拟合,
得到拟合后的直线,并对拟合后的直线进行质量评估得到质量评分。计算机设备106获取区
间内的交点和交点对应的交点评分,交点是区间内的拟合后的任意两条直线的交点,交点
评分是根据相交于该点的两直线的质量评分得到的。计算机设备106在交点中搜索目标交
点,并根据目标交点的像素坐标和交点评分进行计算,得到当前时刻视频帧图像的灭点。计
算机设备106可以获取传感器104采集到的当前时刻车辆行驶时的角速度,计算机设备106
根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息,对角速度进行积分计算,得
到两帧图像之间车辆的角度变化。计算机设备106对灭点和角度变化进行卡尔曼滤波计算,
得到当前车载相机的外参姿态角的估计值。
置,由三个单轴的加速度计和三个单轴的陀螺仪组成。即IMU装置可以实时测量出车辆行驶
时的角速度。在实际工业应用中,关心的是检测车辆在真实世界中的表达,需要将图像坐标
中的表达逆投影变换到世界坐标中,这个逆投影变换由相机外参(包括旋转和平移)决定。
即相机外参是指相机坐标相对世界坐标的旋转和平移,其中,旋转可以通过滚转角roll、俯
仰角pitch和偏航角yaw三个姿态角表示。
对应的检测点集。其中,视频帧图像是指具有统一图片格式的多帧图像。视频流数据包括按
序排列的多帧图像,视频流数据的传输是指将多帧图像按顺序通过视频流进行传输。车道
线是指引导方向的车道标线,用来管制和引导交通,它可以和标志配合使用,也可以单独使
用。在车流大的交通路口一般画有导向车道线,目的就是明确行车方向,各行其道,减缓交
通压力。检测点集是指车道线投影在图像平面的信息,检测点集可以包括多组有序的二维
坐标点集。即已知多条车道线在图像坐标中(图像坐标是指透视投影到的平面)的表达,每
条车道线在像素坐标中可以用一组有序二维坐标点(即车道线检测点)表示。车道线对应的
检测点集是指在图像上经过一系列图像处理提取出来的表示车道线的二维坐标点集。此
外,车道线特征可以包括道路上大多数车道线是平行的,以及车道线投影在图像平面的信
息为多组有序的二维坐标点集。
到拟合后的直线,并对拟合后的直线进行质量评估得到质量评分。其中,分区是指根据图像
大小和预设规则,将每条车道线检测点沿像素坐标预设方向划分为不同的区间。质量评分
用于描述拟合直线的质量。例如,为了增强算法的鲁棒性,避免道路中非平行线和弯道的干
扰,终端可以根据图像大小和标定的内外参,将每条车道线检测点沿像素坐标v轴方向划分
为三个区间,并分别统计每个区间内的检测点数量,当检测点数量满足阈值条件时,比如当
检测点数量大于或者等于2时,则终端可以对每个区间内的检测点进行直线拟合,得到拟合
后的直线。进一步的,终端可以根据检测点的相关参数计算拟合后的直线对应的质量评分,
该评分描述了拟合后直线的质量,质量评分的数值越大,则表明拟合后的直线质量越好。
点评分,交点是区间内的拟合后的任意两条直线的交点,交点评分是根据相交于该点的两
直线的质量评分得到的。例如,终端将每条车道线对应的检测点集沿像素坐标v轴方向划分
为三个区间,则终端可以分别对这三个区间内的检测点进行直线拟合,得到拟合后的直线,
并对拟合后的直线进行质量评估得到质量评分之后,终端可以分别计算每个区间内不同的
拟合直线之间的交点和交点评分,即终端需要计算每个区间内两两直线的交点和交点评
分。其中,每个区间内的直线交点可以根据拟合直线对应的方程求解得到。
灭点。其中,灭点(Vanishing Point)是指三维空间中一组不平行于投影面的平行线的投影
会交于一点,这个点称为灭点,也称为消失点。即在透视投影中,一束平行于投影面的平行
线的投影可以保持平行,而不平行于投影面的平行线的投影会聚集到一个点,这个点成为
灭点。灭点可以看作是无限远处的一点在投影面上的投影。平行的车道线经过相机投影到
图像,终端对图像进行处理提取出车道线对应的检测点集,再对检测点集拟合出多条线求
交点,理论上这些线都相交于同一个交点(即灭点),但由于相机成像并非是一个理想的透
视投影模型,同时图像处理提取车道线点集时也会存在误差,且真实的车道线是有宽度的,
细化成点集的过程也会造成误差,所以在实际应用中这些线并没有相交于一点,而是落到
一定的范围内表现出聚集特性。即理论上线束相交于同一个点,但实际上线束存在一定范
围内的多个交点,这个范围描述了交点(即灭点)的不确定度,即误差。
获取到的交点中遍历搜索目标交点。假设终端获取到n个交点,则终端可以根据搜索算法在
n个交点中任意选取三个交点,使得这三个交点组成的三角形外接圆半径最小。为了保证交
点的质量,剔除真实环境不平行或者弯曲的车道线的影响,在多个交点中选择三个使得外
接圆半径最小的交点(也可以是若干个交点,选择三个是因为三角形的外接圆计算比较简
单)来计算灭点。其中,不确定度是指灭点坐标的标准差,即灭点可以是在以某点为圆心某
个值为半径的圆的区域内的任意一点,这个圆的半径描述了灭点的不确定度。这里计算出
灭点的不确定度,即外接圆的半径是为了在后续结合IMU估计车载相机的外参提供车道线
计算出的车载相机外参的误差。
使用卡尔曼滤波器对相机外参的姿态角进行预测跟踪。具体的,终端可以通过IMU的陀螺仪
获取当前时刻车辆行驶时的角速度。其中,角速度是指车辆行驶时的角速度,可以包括俯仰
角速度和偏航角速度。IMU三轴角速度是IMU装置(传感器)提供的三个数值,描述了车辆相
对惯性坐标的角度变化速度。
图像之间车辆的角度变化。即终端可以根据前后两帧图像的时间间隔,对获取到的角速度
进行积分计算,得到两帧图像之间车辆的角度变化。
(Kalman filtering)是一种利用线性系统状态方程,通过系统输入输出观测数据,对系统
状态进行最优估计的算法。由于观测数据中包括系统中的噪声和干扰的影响,所以最优估
计也可看作是滤波过程。即卡尔曼滤波是一种递归的估计,只要获知上一时刻状态的估计
值以及当前状态的观测值就可以计算出当前状态的估计值,因此不需要记录观测或者估计
的历史信息。
度(相机外参姿态)发生了变化,离线标定的外参失真,如果继续使用固定的外参将会导致
较大的逆投影变换误差。而本实施例中,通过从当前时刻车辆行驶时的视频帧图像中提取
每条车道线对应的检测点集,对检测点集进行分区,并分别对每个区间内的检测点进行直
线拟合,得到拟合后的直线,并对拟合后的直线进行质量评估得到质量评分。获取区间内的
交点和交点对应的交点评分,交点是区间内的拟合后的任意两条直线的交点,交点评分是
根据相交于该点的两直线的质量评分得到的。在交点中搜索目标交点,并根据目标交点的
像素坐标和交点评分进行计算,得到当前时刻视频帧图像的灭点。获取当前时刻车辆行驶
时的角速度,根据当前时刻图像的时间戳信息和前一帧图像的时间戳信息,对角速度进行
积分计算,得到两帧图像之间车辆的角度变化,对灭点和角度变化进行卡尔曼滤波计算,得
到当前车载相机的外参姿态角的估计值。由此使得,通过对灭点和角度变化进行卡尔曼滤
波计算,可以得到更加准确的实时估计的外参姿态角的估计值,有效减少了因车辆颠簸或
道路坡度导致的投影变换误差,具有更高的鲁棒性和准确性,可以适用更多的场景,且计算
量较小,对硬件平台要求低,容易实现工业应用。
骤,包括:
后的直线,并对拟合后的直线进行质量评估得到质量评分。具体的,终端可以对检测点集进
行分区,并统计分区后的每个区间内的检测点的数量。当检测点的数量大于预设阈值时,则
终端可以对区间内的检测点进行直线拟合,得到拟合后的直线,并对拟合后的直线进行质
量评估得到质量评分。
内的检测点数量。比如预设阈值为2,当某个区间内的检测点的数量大于2时,则终端可以对
该区间内的检测点进行直线拟合,得到拟合后的直线,并对拟合后的直线进行质量评估得
到质量评分。其中,终端对检测点集进行分区时,将检测点集划分为多少个区间可以根据预
先配置的规则进行划分。例如,终端根据相机标定的内外参计算出车辆正前方一定距离处
(例如一处为正前方20m,一处为正前方40m)的像素坐标为(u1,v1)和(u2,v2)。以这两处像
素坐标的纵轴坐标v1和v2(v1>v2)为界限,将当前时刻对应的整个图像划分为三个区间。如
图3B所示,为一个1280*960像素大小的图像,以v1=700、v2=600将整个图像划分为1、2、3
三个区间,像素坐标v在区间(700,960)即小于960且大于v1=700的区域为区间1,像素坐标
v小于等于700且大于600的区域为区间2,剩余部分即像素坐标v小于等于600的区域为区间
3。终端对检测点集进行分区之后,可以统计分区后的每个区间内的检测点的数量。
的像素坐标v在区间1内的检测点数量,即像素坐标v大于v1(700)且小于图像高度(960)范
围内的车道线检测点数量,即为该车道线在区间1的检测点数量,像素坐标v小于等于v1
(700)且大于v2(600)的车道线检测点数量,即为该车道线在区间2的检测点数量,像素坐标
v小于等于v2(600)的车道线检测点数量,即为该车道线在区间3的检测点数量。终端可以根
据计算出的区间1、区间2和区间3的检测点数量,判断是否满足预设阈值条件。由于两个点
才能确定一条直线,本申请中采用的最小二乘一阶拟合是指用最小二乘法进行直线拟合,
至少需要两个点才能拟合出直线来,在一些区间内某些车道线检测点的数量可能是小于预
设阈值2。比如,图3B所示的L3在区间1中的检测点数量为0,则无法进行直线拟合,因而需要
终端根据计算出的区间1、区间2和区间3的检测点数量,首先判断是否满足预设阈值条件。
若满足预设阈值条件,则终端可以分别对区间1、区间2和区间3内的检测点进行直线拟合,
得到拟合后的直线,并对拟合后的直线进行质量评估得到质量评分。由此使得,通过对检测
点集进行分区,并对分区后的每个区间内的检测点进行直线拟合和质量评估,可以有效提
高度量估计值的准确率。
直线拟合,得到拟合后的直线,并对拟合后的直线进行质量评估得到质量评分。具体的,终
端可以对区间内的检测点进行最小二乘一阶拟合,得到拟合后的直线。进一步的,终端可以
根据检测点的数量和检测点的分布长度,对拟合后的直线进行质量评估,得到拟合后的直
线对应的质量评分。评分是对最小二乘一阶拟合(直线拟合)的线进行评估,终端可以根据
用于拟合的车道线检测点的数量、分布长度进行计算,得到一个对应的评分数值,这个评分
数值为一个大于等于0且小于等于1的数值,该评分数值描述了拟合直线的质量,即该评分
数值越大,表明拟合直线的质量越好。其中,拟合直线的质量评分规则如下所示:
权因子,Tdist表示检测距离阈值,Tnum表示检测点数量阈值。终端对区间内的检测点进行最
小二乘一阶拟合,得到拟合后的直线之后,终端可以根据上述公式(1)对拟合后的直线进行
质量评估,得到拟合后的直线对应的质量评分,Score即为拟合后的直线对应的质量评分。
由此使得,通过计算每个分区内的拟合后的直线的质量评分,能够更加准确的筛选出评分
较高的线,从而有效提高度量估计值的准确率。
分。其中,交点评分是根据相交于该点的两直线的质量评分的乘积得到的。具体的,以图3B
为例,如图3B所示,存在三条车道线L1、L2、L3以及划分好的三个区间1、2、3。L1在1、2、3区间
的直线分别表示为L11、L12、L13;L2在1、2、3区间的直线分别表示为L21、L22、L23;L3在2、3
区间的直线分别表示为L32、L33。下面以3区间为例进行说明。终端需要获取3区间内的交点
和交点对应的交点评分,即终端需要计算L13、L23、L33两两直线的交点和交点评分,共三个
交点。其中,直线交点可以根据拟合直线方程解二元一次方程组得到,直线的质量分数可以
按照上述公式(1)计算得到,交点的分数为形成该交点的两条直线的质量分数的乘积。在图
3B中,终端在2区间也可以计算得出3个交点,1区间计算得出1个交点。由此使得,通过两两
直线的质量评分可以计算得到对应交点的交点评分,从而可以更加准确的计算出候选灭
点,有效提高度量估计值的准确率。
角形外接圆的半径。终端采用搜索算法遍历交点进行搜索,将三角形外接圆的半径为最小
值时对应的三个交点作为目标交点。由于一般道路上车道线数量较少,最后形成的交点数
量也有限,对搜索算法要求不高,因而可以直接遍历搜索。设最小外接圆半径为rvp,假设有n
个交点,在n个交点中任意选取3个交点,计算这3个交点形成三角形的外接圆半径R,如果R
小于rvp,则将rvp赋值为R,遍历所有选取情况(总共n*(n‑1)*(n‑2)/6种选取情况),可以搜
索出使得三角形外接圆半径最小的三个交点。设搜索出的三个交点像素坐标为(u1,v1)、
(u2,v2)、(u3,v3),则三角形外接圆半径计算方法如下:
径。即终端可以根据上述公式(2)进行计算,在计算出的所有交点中遍历搜索三个交点,使
得这三个交点组成的三角形外接圆半径最小。此外,本申请中的目标交点的计算方式不限
于利用搜索算法在计算出的所有交点中遍历搜索三个交点,使得这三个交点组成的三角形
外接圆半径最小,还可以是4个交点、5个交点等。由此使得,通过搜索最小三角形外接圆的
灭点计算方法,可以保证结果的唯一性,有效提高相机外参姿态估计结果的准确性,且计算
量较小,对硬件平台要求低,容易实现工业应用。
小值。
接圆的半径为最小值时对应的三个交点对应的交点评分的加权平均值,得到当前时刻视频
帧图像的灭点。其中,灭点的量测误差为三角形外接圆的半径的最小值。
响,落在一定的范围内,这个范围如果用圆来表示,圆的半径描述了灭点的不确定度即误
差。灭点是在像素坐标系中计算的,像素坐标的单位是像素点。量测误差可以理解为计算误
差,灭点的量测误差即灭点的计算误差,假设计算出的灭点坐标为(uvp,vvp),rvp个像素点误
差是指灭点的真实坐标可以是以(uvp,vvp)为圆心,rvp为半径的圆内的任意一点。
yaw存在一一对应关系,如下:
参偏航角yaw。由于检测点误差以及标定误差等因素,实际应用中多条平行车道线的透视投
影并非刚好相交于一点,而是存在多个聚集的交点。因而根据灭点的聚集特性,本申请中提
出采用搜索最小三角形外接圆的灭点投选方法,同时三角形的外接圆的半径可以映射为灭
点的不确定度。终端可以根据上述公式(4)计算当前时刻视频帧图像的相机外参俯仰角
(pitch)和偏航角(yaw)的量测值。
线用一组有序二维坐标点表示,这些二维坐标点经过直线拟合后形成多条相交的直线,计
算出所有直线的交点,在所有的交点中选择三个交点使得这三个交点形成的三角形外接圆
半径最小,对搜索出的三个交点加权计算出灭点的坐标。相较于传统的RANSAC(Random
Sample Consensus,随机抽样一致性)的灭点计算方法,通过RANSAC方法计算出的灭点不能
保证结果的唯一性,即对同一组数据的多次运行结果可能不一样,而本实施例中提出的搜
索最小三角形外接圆灭点计算方法可以保证结果的唯一性,从而有效提高相机外参姿态估
计结果的准确性,且计算量较小,对硬件平台要求低,容易实现工业应用。
当前时刻车辆行驶时的角速度可以包括俯仰角速度和偏航角速度。具体的,终端可以根据
当前时刻图像的时间戳信息和前一帧图像的时间戳信息,对俯仰角速度和偏航角速度进行
积分计算,得到两帧图像之间车辆的俯仰角变化和偏航角变化。进一步的,终端可以对灭
点、俯仰角变化和偏航角变化进行卡尔曼滤波计算,得到当前车载相机的外参俯仰角和偏
T
航角的估计值。具体的计算过程如下:状态量X(t)=[θ(t),ψ(t)] ,输入量u(t)=[q(t),r
T
(t)]*dt,状态方程为:
两次滤波器工作的时间间隔,可以简单理解为前后两帧图像的时间间隔。
和协方差。状态传递噪声Q根据陀螺仪角速度的随机游走误差设定,状态传递噪声Q描述了
状态预测模型的误差。考虑到车载相机外参旋转角度一般不大,可以进行小角度近似,则量
测方程近似为:
15度)x,tan(x)可以近似为x,这个近似带来的误差不大,从公式(6)到公式(7)采用了小角
度近似的方法,即公式(7)中的z(t)是由公式(6)采用了小角度近似后得到的,在卡尔曼滤
波器中为观测值。
的状态量X,P(t)表示t时刻的后验估计误差协方差矩阵,度量估计值的精确程度。卡尔曼滤
波器的操作包括两个阶段:预测与更新。在预测阶段,滤波器使用上一状态的估计,对当前
状态进行估计。在更新阶段,滤波器利用对当前状态的观测值优化在预测阶段获得的预测
值,以获得一个更精确的新的估计值。其中,预测阶段和更新阶段的计算公式如下:
示状态传递矩阵,F表示F的转置矩阵,Q为状态传递噪声矩阵,H为量测矩阵,H为H的转置矩
阵,R表示t时刻的量测噪声矩阵,K(t)表示t时刻的卡尔曼增益矩阵,z(t)表示t时刻的观测
值,I表示单位矩阵。由此使得,IMU可以检测出车辆颠簸和道路的坡度,通过车道线特征也
可以计算出车载相机相对路面的角度,将两者关联到一起进行卡尔曼滤波,使得实时估计
的相机外参更为准确,适用范围更广,即具有更高的准确性和鲁棒性。
车辆的车载相机的外参姿态角。具体的,终端可以从当前时刻车辆行驶时的视频帧图像中
提取每条车道线对应的检测点集。终端对每条车道线的检测点集进行分区,并统计分区后
的每个区间内的检测点的数量。当检测点的数量大于预设阈值2时,则终端可以对区间内的
每条车道线的检测点集进行最小二乘一阶拟合,得到拟合后的直线。例如,终端可以在像素
坐标系下,将每条车道线检测点集分为三个区间,分别对三个区间的检测点进行直线拟合
并打分。即终端可以根据上述公式(1),对拟合后的直线进行质量评估,得到拟合后的直线
对应的质量评分。
计算出的所有交点(候选灭点)中搜索3个交点,使得这3个点组成的三角形外接圆半径最
小。终端可以遍历所有交点进行搜索,将使得三角形外接圆的半径为最小值时对应的三个
交点作为目标交点,并对搜索出的三个目标交点的交点评分计算加权平均值,得到单帧图
像的灭点,该三角形外接圆的半径映射为灭点的量测误差。即终端可以根据上述公式(2)
(3)计算出当前时刻视频帧图像的灭点以及灭点的量测误差。进一步的,终端可以获取当前
时刻车辆行驶时的角速度,即终端获取当前时刻车辆行驶时的IMU角速度,并根据当前时刻
图像的时间戳信息和前一帧图像的时间戳信息,对IMU角速度(包括俯仰角速度和偏航角速
度)进行积分计算,得到两帧图像之间车辆的俯仰角变化和偏航角变化。即终端可以根据上
述公式(5)进行积分计算。进一步的,终端可以根据IMU计算出的角度变化和车道线灭点进
行卡尔曼滤波,输出当前车载相机的外参姿态角(pitch和yaw)的估计值。终端以静态标定
的pitch和yaw初始化滤波器,利用卡尔曼滤波器预测和更新状态量,即终端可以根据上述
公式(4)(5)(6)(7)(8)(9)(10)(11)进行卡尔曼滤波计算,得到当前车载相机的外参俯仰角
和偏航角的估计值。经过卡尔曼滤波器更新后的状态量即为当前时刻车载相机外参pitch
和yaw的最终输出。
更广,即具有更高的准确性和鲁棒性。传统的实时外参估计方法或者对道路和相机安装有
较高要求,或者计算量大,难以以较低成本实现工业应用。而本实施例中,基于车道线搜索
最小三角形外接圆的灭点投票方法,并结合IMU和车道线特征实时估计相机外参姿态,有效
减少了因车辆颠簸或道路坡度导致的投影变换误差,具有更高的鲁棒性和准确性,且计算
量较小,对硬件平台要求低,容易实现工业应用。
的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图1‑6中的至少一
部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行
完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而
是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
曼滤波计算,得到当前车载相机的外参姿态角的估计值。
点进行直线拟合,得到拟合后的直线,并对拟合后的直线进行质量评估得到质量评分。
得到拟合后的直线对应的质量评分。
最小值时对应的三个交点作为目标交点。
误差为三角形外接圆的半径的最小值。
角变化和偏航角变化;对灭点、俯仰角变化和偏航角变化进行卡尔曼滤波计算,得到当前车
载相机的外参俯仰角和偏航角的估计值。
各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于
或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,
以便于处理器调用执行以上各个模块对应的操作。
屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存
储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程
序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算
机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、
运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种车
载相机外参姿态动态估计方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显
示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳
上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
步骤。
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可
包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑
Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器
(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种
形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存
储器(Dynamic Random Access Memory,DRAM)等。
盾,都应当认为是本说明书记载的范围。
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。