基于图像配准的激光雷达与相机标定参数校正方法及装置转让专利
申请号 : CN202010936777.4
文献号 : CN112233184B
文献日 : 2021-06-22
发明人 : 殷国栋 , 彭湃 , 徐利伟 , 庄伟超 , 耿可可 , 王金湘 , 张宁 , 陈建松 , 祝小元
申请人 : 东南大学
摘要 :
权利要求 :
1.一种基于图像配准的激光雷达与相机标定参数校正方法,其特征在于,所述方法包括:
在完成相机和激光雷达之间的标定参数的标定后,根据预定场景获取基准相机图像和基准点云投影图,所述基准点云投影图是根据所述基准相机图像和所述标定参数得到的,所述标定参数包括内参矩阵和外参矩阵;
检测所述相机和所述激光雷达之间的相对姿态是否发生了变化;
若所述相对姿态发生了变化,则根据所述基准相机图像和所述基准点云投影图配准得到的单应性矩阵校正所述标定参数;
所述根据预定场景获取基准相机图像和基准点云投影图,包括:通过所述相机对所述预定场景进行拍摄,得到所述基准相机图像;通过所述激光雷达针对所述预定场景生成基准点云数据;根据所述基准相机图像、所述基准点云数据和所述标定参数生成所述基准点云投影图;
所述根据所述基准相机图像和所述基准点云投影图配准得到的单应性矩阵校正所述标定参数,包括:通过所述相机对所述预定场景进行拍摄,得到待校正图像;根据所述基准相机图像、所述待校正图像和所述基准点云投影图生成变换后的点云投影图;根据待校正点云投影图和所述变换后的点云投影图校正所述标定参数;
所述根据所述基准相机图像、所述待校正图像和所述基准点云投影图生成变换后的点云投影图,包括:对所述基准相机图像和所述待校正图像进行配准,得到所述基准相机图像到所述待校正图像的第一单应性矩阵;根据所述第一单应性矩阵对所述基准点云投影图进行透视变换,得到所述变换后的点云投影图;
所述根据待校正点云投影图和所述变换后的点云投影图校正所述标定参数,包括:对所述待校正点云投影图和所述变换后的点云投影图进行配准,得到所述待校正点云投影图到所述变换后的点云投影图的第二单应性矩阵;将所述第二单应性矩阵、所述内参矩阵和所述外参矩阵相乘,得到校正后的标定参数。
2.根据权利要求1所述的方法,其特征在于,所述根据所述基准相机图像、所述基准点云数据和所述标定参数生成所述基准点云投影图,包括:将所述基准相机图像、所述基准点云数据和所述标定参数输入第一公式和第二公式,得到所述基准点云投影图;
所述第一公式为 所述第二公式为
其中,(X Y Z)是所述基准点云数据中一个数据点的坐标,I是所述数据点的反射率,(x y z)是(X Y Z)在相机坐标系下对应的数据点的坐标,(u v)是(X Y Z)在像素坐标系下对应像素点的像素坐标, 是所述内参矩阵, 是所述外参矩阵,z是相机坐标系下所述数据点的深度。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:根据每个数据点的深度对所述数据点对应的像素点的像素值进行填充,利用颜色空间对填充的所述像素值进行映射,得到所述基准点云投影图;或者,将每个数据点在相机坐标系下的坐标输入第三公式,根据得到的计算结果对所述数据点对应的像素点的像素值进行填充,利用颜色空间对填充的所述像素值进行映射,得到所述基准点云投影图,所述第三公式为 或者,获取每个数据点的反射率值,根据每个数据点的反射率值对所述数据点对应的像素点的像素值进行填充,利用颜色空间对填充的所述像素值进行映射,得到所述基准点云投影图。
4.根据权利要求1所述的方法,其特征在于,所述预定场景中包含预定数量的对象。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:对所述相机的位置进行调整,调整后的所述相机拍摄所述预定场景得到的所述待校正图像与所述基准相机图像的相似度超过预定阈值。
6.一种基于图像配准的激光雷达与相机标定参数校正装置,其特征在于,所述装置包括:
获取模块,用于在完成相机和激光雷达之间的标定参数的标定后,根据预定场景获取基准相机图像和基准点云投影图,所述基准点云投影图是根据所述基准相机图像计算得到的,所述标定参数包括内参矩阵和外参矩阵;
检测模块,用于检测所述相机和所述激光雷达之间的相对姿态是否变化;
校正模块,用于若所述相对姿态发生变化,则根据所述基准相机图像和所述基准点云投影图配准得到的单应性矩阵校正所述标定参数;
所述获取模块,还用于:通过所述相机对所述预定场景进行拍摄,得到所述基准相机图像;通过所述激光雷达针对所述预定场景生成基准点云数据;根据所述基准相机图像、所述基准点云数据和所述标定参数生成所述基准点云投影图;
所述校正模块,还用于:通过所述相机对所述预定场景进行拍摄,得到待校正图像;根据所述基准相机图像、所述待校正图像和所述基准点云投影图生成变换后的点云投影图;
根据待校正点云投影图和所述变换后的点云投影图校正所述标定参数;
所述校正模块,还用于:对所述基准相机图像和所述待校正图像进行配准,得到所述基准相机图像到所述待校正图像的第一单应性矩阵;根据所述第一单应性矩阵对所述基准点云投影图进行透视变换,得到所述变换后的点云投影图;
所述校正模块,还用于:对所述待校正点云投影图和所述变换后的点云投影图进行配准,得到所述待校正点云投影图到所述变换后的点云投影图的第二单应性矩阵;将所述第二单应性矩阵、所述内参矩阵和所述外参矩阵相乘,得到校正后的标定参数。
说明书 :
基于图像配准的激光雷达与相机标定参数校正方法及装置
技术领域
背景技术
器之间的精确标定参数是实现多传感器融合的前提。对于相机和激光雷达的标定,通常采
用相机内参和激光雷达到相机坐标系外参分别标定的方式。当前相机内参的标定方法多基
于张正友单平面棋盘格标定法,而激光雷达到相机坐标系外参的标定方法主要分为两类。
疏性,往往无法精确地扫描到标定板的角点,所以,需要人工调整标定板使激光束扫描到角
点位置,使得标定的精度和效率很低。为降低激光雷达坐标系下特征点提取难度并提高提
取精度,研究人员利用激光雷达坐标系下标定板的边缘点来拟合边线,然后计算各边线的
交点作为特征点同相机坐标系下的角点匹配。为了获取多组特征点,这种方法通常需要变
换标定板位置或使用多个标定板;并且需要手动选择边缘点,标定时有一定的工作量。
反复移动标定板,获取不同角度下的标定板位置,以得到较为准确的标定参数,比较繁琐。
矩阵,则需要布置标定板、选取特征点、多角度的变换标定板的位置,这个过程十分的繁琐。
发明内容
定的过程繁琐的问题。所述技术方案如下:
的;
一个数据点的坐标,I是所述数据点的反射率,(x y z)是(X Y Z)在相机坐标系下对应的数
据点的坐标,(u v)是(X Y Z)在像素坐标系下对应像素点的像素坐标, 是所
述内参矩阵, 是所述外参矩阵,z是相机坐标系下所述数据点的深度。
到所述基准点云投影图,所述第三公式为 或者,
投影图。
得到的;
再检测相机和激光雷达之间的相对姿态是否发生了变化;若相对姿态发生了变化,则根据
基准相机图像和基准点云投影图配准得到的单应性矩阵校正标定参数。即,可以结合图像
配准和原始的标定参数来得到单应性矩阵,再根据该单应性矩阵来对校正标定参数,从而
可以充分利用原始的标定参数,而无需重新标定,也就无需布置标定试验环境,能够自动寻
找特征点来完成标定参数的校正,简化了标定参数的校正流程,提高了校正效率。另外,通
过对基准相机图像和基准点云投影图的配准相结合,使得校正后的标定参数误差小,从而
提高了校正的精度。
附图说明
本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他
的附图。
具体实施方式
以应用于智能驾驶系统与机器人系统中。该基于图像配准的激光雷达与相机标定参数校正
方法,可以包括:
的。
征点,激光雷达可以为32线以上雷达。
校正。
场景,比如停车场、路途中的一个固定地点等等,或者,预定场景也可以是布置的标定板场
景,本实施例不作限定。需要说明的是,预定场景中需要包含预定数量的对象,这样,可以保
证在图像配准时,可以使用特征描述字检测到一定数量的关键点,从而提高图像配准的准
确性。
生成基准点云数据;根据基准相机图像、基准点云数据和标定参数生成点云投影图。
相机图像、基准点云数据和标定参数输入第一公式和第二公式,得到基准点云投影图;
数据点的坐标,I是数据点的反射率,(xy z)是(X Y Z)在相机坐标系下对应的数据点的坐
标,(u v)是(X Y Z)在像素坐标系下对应像素点的像素坐标, 是内参矩阵,
是外参矩阵,z是相机坐标系下数据点的深度。
映射,得到基准点云投影图,第三公式为
投影图。其中,每个数据点的反射率值是可以获取到的,本实施例不对获取方式作限定。
机拍摄预定场景得到的待校正图像与基准相机图像的相似度超过预定阈值。
第一单应性矩阵H1;根据第一单应性矩阵H1对基准点云投影图进行透视变换,得到变换后的
点云投影图。
云投影图的第二单应性矩阵H2;将第二单应性矩阵、内参矩阵和外参矩阵相乘,得到校正后
的标定参数。
应该满足第四公式
图进行透视变换,得到变换后的点云投影图,最后计算待校正点云投影图到变换后的点云
投影图的第二单应性矩阵,即可得到校正后的标定参数。
的叠加效果。
图像和基准点云投影图,该基准点云投影图是根据基准相机图像和标定参数得到的;再检
测相机和激光雷达之间的相对姿态是否发生了变化;若相对姿态发生了变化,则根据基准
相机图像和基准点云投影图配准得到的单应性矩阵校正标定参数。即,可以结合图像配准
和原始的标定参数来得到单应性矩阵,再根据该单应性矩阵来对校正标定参数,从而可以
充分利用原始的标定参数,而无需重新标定,也就无需布置标定试验环境,能够自动寻找特
征点来完成标定参数的校正,简化了标定参数的校正流程,提高了校正效率。另外,通过对
相机图像和点云投影图的配准相结合,使得校正后的标定参数误差小,从而提高了校正的
精度。
应用于智能驾驶系统与机器人系统中。该基于图像配准的激光雷达与相机标定参数校正装
置,可以包括:
的;
数据点的坐标,I是数据点的反射率,(xy z)是(X Y Z)在相机坐标系下对应的数据点的坐
标,(u v)是(X Y Z)在像素坐标系下对应像素点的像素坐标, 是内参矩阵,
是外参矩阵,z是相机坐标系下数据点的深度。
行映射,得到基准点云投影图,第三公式为 或者,
准点云投影图。
图像和基准点云投影图,该基准点云投影图是根据基准相机图像和标定参数得到的;再检
测相机和激光雷达之间的相对姿态是否发生了变化;若相对姿态发生了变化,则根据基准
相机图像和基准点云投影图配准得到的单应性矩阵校正标定参数。即,可以结合图像配准
和原始的标定参数来得到单应性矩阵,再根据该单应性矩阵来对校正标定参数,从而可以
充分利用原始的标定参数,而无需重新标定,也就无需布置标定试验环境,能够自动寻找特
征点来完成标定参数的校正,简化了标定参数的校正流程,提高了校正效率。另外,通过对
相机图像和点云投影图的配准相结合,使得校正后的标定参数误差小,从而提高了校正的
精度。
码集或指令集由处理器加载并执行以实现如上所述的基于图像配准的激光雷达与相机标
定参数校正方法。
述处理器加载并执行以实现如上所述的基于图像配准的激光雷达与相机标定参数校正方
法。
根据需要而将上述功能分配由不同的功能模块完成,即将基于图像配准的激光雷达与相机
标定参数校正装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功
能。另外,上述实施例提供的基于图像配准的激光雷达与相机标定参数校正装置与基于图
像配准的激光雷达与相机标定参数校正方法实施例属于同一构思,其具体实现过程详见方
法实施例,这里不再赘述。
存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。