一种基于双目标定的相机标定方法和系统转让专利
申请号 : CN202110612070.2
文献号 : CN113256735B
文献日 : 2021-10-08
发明人 : 王灿 , 丁丁
申请人 : 杭州灵西机器人智能科技有限公司
摘要 :
权利要求 :
1.一种基于双目标定的相机标定方法,其特征在于,所述方法包括:对图像集中第一相机和第二相机获取的图像进行标定板的特征提取,得到所述标定板的亚像素级特征集合,定义所述亚像素级特征集合为 ,其中,i表示在所述图像集中所述图像的序号,j表示在所述图像中所述特征的序号;
根据所述标定板的物理尺寸,对所述图像集中的图像进行所述标定板的特征计算,得到所述标定板的理想物理特征集合,定义所述理想物理特征集合为 ,其中,所述 为三维坐标点,所述 都位于同一平面上;
重复执行预设步骤,直到完成预设条件,最后一次迭代得到的所述第一相机的单目标定结果为所述第一相机的最终标定结果;
所述预设步骤包括:
根据所述 和所述 ,对所述第一相机和所述第二相机分别进行单目标定,得到所述第一相机和所述第二相机的单目标定结果;
基于所述第一相机和所述第二相机的单目标定结果,根据所述 和所述 ,对所述第一相机和所述第二相机进行双目标定,得到双目标定结果;
根据所述 和所述双目标定结果,得到所述 坐标系下的标定物理特征集合,定义所述标定物理特征集合为 ;
根据所述 通过预设拟合算法进行拟合得到预设拟合平面,计算所述 到所述预设拟合平面的距离,得到计算距离为 ,将对应的所述 的z分量设为所述 。
2.根据权利要求1所述的方法,其特征在于,重复执行预设步骤,直到完成预设条件,最后一次迭代得到的所述第一相机的单目标定结果为所述第一相机的最终标定结果包括:重复执行预设步骤,直到完成规定的预设迭代次数,最后一次迭代得到的所述第一相机的单目标定结果为所述第一相机的最终标定结果。
3.根据权利要求1所述的方法,其特征在于,重复执行预设步骤,直到完成预设条件,最后一次迭代得到的所述第一相机的单目标定结果为所述第一相机的最终标定结果包括:重复执行预设步骤,直到前后两次的 之差的累加平均值小于规定的预设阈值,最后一次迭代得到的所述第一相机的单目标定结果为所述第一相机的最终标定结果。
4.根据权利要求1所述的方法,其特征在于,根据所述 和所述 ,对所述第一相机和所述第二相机分别进行单目标定,得到所述第一相机和所述第二相机的单目标定结果,所述方法还包括:
根据所述 和所述 ,对所述第一相机进行单目标定,得到所述第一相机的单目标定结果,所述第二相机为经过精确标定的相机,即已知所述第二相机的单目标定结果。
5.根据权利要求1所述的方法,其特征在于,根据所述 通过预设拟合算法进行拟合得到预设拟合平面包括:
根据所述 通过最小二乘法来进行拟合得到预设拟合平面。
6.根据权利要求1所述的方法,其特征在于,根据所述 通过预设拟合算法进行拟合,得到预设拟合平面还包括:
根据所述 通过RANSAC算法进行拟合,得到预设拟合平面。
7.根据权利要求1所述的方法,其特征在于,在对图像集中第一相机和第二相机获取的图像进行标定板的特征提取,得到所述标定板的亚像素级特征集合之前,所述方法还包括:通过第一相机获取包含完整的标定板的若干第一图像,通过第二相机获取包含完整的所述标定板的若干第二图像,其中,所述第一图像和所述第二图像包含在图像集中。
8.根据权利要求7所述的方法,其特征在于,在通过第一相机获取包含完整的标定板的若干第一图像,通过第二相机获取包含完整的所述标定板的若干第二图像之前,所述方法包括:
将所述第一相机和所述第二相机固定在刚性支架上,确保所述第一相机与所述第二相机的位置关系固定;
在不同位姿下触发所述第一相机和所述第二相机对标定板进行取像。
9.一种基于双目标定的相机标定方法,其特征在于,所述方法包括:对图像集中第一相机和第二相机获取的图像进行标定板的特征提取,得到所述标定板的亚像素级特征集合,定义所述亚像素级特征集合为 ,其中,i表示在所述图像集中所述图像的序号,j表示在所述图像中所述特征的序号;
根据所述标定板的物理尺寸,对所述图像集中的图像进行所述标定板的特征计算,得到所述标定板的理想物理特征集合,定义所述理想物理特征集合为 ,其中,所述 为三维坐标点,所述 都位于同一平面上;
重复执行预设步骤,直到完成预设迭代条件,最后一次迭代得到的所述第一相机的单目标定结果为最终标定结果;
所述预设步骤包括:
根据所述 和所述 ,对所述第一相机和所述第二相机进行双目标定,得到双目标定结果,同时对所述第一相机和所述第二相机分别进行单目标定,得到所述第一相机和所述第二相机的单目标定结果;
根据所述 和所述双目标定结果,得到所述 坐标系下的标定物理特征集合,定义所述标定物理特征集合为 ;
根据所述 通过预设拟合算法进行拟合得到预设拟合平面,计算所述 到所述预设拟合平面的距离,得到计算距离 ,将对应的所述 的z分量设为 。
10.一种基于双目标定的相机标定系统,其特征在于,所述系统包括第一相机、第二相机和处理单元;
所述处理单元对图像集中所述第一相机和所述第二相机获取的图像进行标定板的特征提取,得到所述标定板的亚像素级特征集合,定义所述亚像素级特征集合为 ,其中,i表示在所述图像集中所述图像的序号,j表示在所述图像中所述特征的序号;
所述处理单元根据所述标定板的物理尺寸,对所述图像集中的图像进行所述标定板的特征计算,得到所述标定板的理想物理特征集合,定义所述理想物理特征集合为 ,其中,所述 为三维坐标点,所述 都位于同一平面上;
所述处理单元重复执行预设步骤,直到完成预设条件,最后一次迭代得到的所述第一相机的单目标定结果为所述第一相机的最终标定结果;
所述预设步骤包括:
所述处理单元根据所述 和所述 ,对所述第一相机和所述第二相机分别进行单目标定,得到所述第一相机和所述第二相机的单目标定结果;
所述处理单元基于所述第一相机和所述第二相机的单目标定结果,根据所述 和所述 ,对所述第一相机和所述第二相机进行双目标定,得到双目标定结果;
所述处理单元根据所述 和所述双目标定结果,得到所述 坐标系下的标定物理特征集合,定义所述标定物理特征集合为 ;
所述处理单元根据所述 通过预设拟合算法进行拟合得到预设拟合平面,所述处理单元计算所述 到所述预设拟合平面的距离,得到计算距离 ,将对应的所述 的z分量设为 。
说明书 :
一种基于双目标定的相机标定方法和系统
技术领域
背景技术
点与实际在图像上找到的特征位置尽量接近,并认为收敛后的结果为最终相机标定结果。
但标定板本身的加工误差会让一开始认为是理想尺寸(位置)的图案特征变得不理想,进而
在最终标定结果中引入偏差。
发明内容
所述图像的序号,j表示在所述图像中所述特征的序号;
为三维坐标点,所述 都位于同一平面上;
所述图像的序号,j表示在所述图像中所述特征的序号;
为三维坐标点,所述 都位于同一平面上;
所述第二相机的单目标定结果;
中,i表示在所述图像集中所述图像的序号,j表示在所述图像中所述特征的序号;
其中,所述 为三维坐标点,所述 都位于同一平面上;
z分量设为 。
合 ,根据标定板的物理尺寸对图像集中的图像进行标定板的特征计算,得到标定板的理
想物理特征集合 ,重复执行预设步骤,直到完成预设条件,最后一次迭代得到的第一相
机的单目标定结果为第一相机的最终标定结果;所述预设步骤包括:根据 和 对第一
相机和第二相机分别进行单目标定,得到第一相机和第二相机的单目标定结果,基于单目
标定结果,根据 和 对第一相机和第二相机进行双目标定,得到双目标定结果,根据
和双目标定结果,得到 坐标系下的标定物理特征集合 ,根据 通过预设拟合算
法进行拟合得到预设拟合平面,计算 到预设拟合平面的距离,得到计算距离为 ,将对
应的 的z分量设为 ,解决了相关技术中标定板本身存在加工误差导致相机标定结果不
准确的问题,实现了基于双目标定迭代优化标定板特征的位置,解除标定板本身已知的特
征位置为理想特征位置的这一假定,进一步提高相机标定精度。
附图说明
具体实施方式
于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的
前提下所获得的所有其他实施例,都属于本申请保护的范围。
于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并
且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭
露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应
当理解为本申请公开的内容不充分。
同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显
式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相
结合。
等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、
“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单
元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有
列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单
元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连
接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个
或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”
可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对
象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对
象,不代表针对对象的特定排序。
理想情况存在一定的偏差,该偏差包括其在标定板平面内的位置偏差,以及因标定板的不
平整导致其在垂直于理想平面方向的偏差。
情况下仅标定两台相机的相对位置关系,也可以是同时标定两台相机的单目参数及两者的
相对位置关系。
入相机标定的过程中,使得最终标定结果产生较大偏差。
相机12和处理单元13;
集中图像的序号,j表示在图像中特征的序号;
都位于同一平面上;
的特征计算,得到标定板的理想物理特征集合 ,重复执行预设步骤,直到完成预设条件,
最后一次迭代得到的第一相机的单目标定结果为第一相机的最终标定结果;预设步骤包
括:根据 和 对第一相机和第二相机分别进行单目标定,得到第一相机和第二相机的
单目标定结果;基于单目标定结果,根据 和 对第一相机和第二相机进行双目标定,得
到双目标定结果,根据 和双目标定结果,得到 坐标系下的标定物理特征集合 ,根
据 通过预设拟合算法进行拟合得到预设拟合平面,计算 到预设拟合平面的距离,得
到计算距离为 ,将对应的 的z分量设为 ,解决了相关技术中标定板本身存在加工误
差导致相机标定结果不准确的问题,实现了基于双目标定迭代优化标定板特征的位置,解
除标定板本身已知的特征位置为理想特征位置的这一假定,进一步提高相机标定精度。
序号,j表示在图像中特征的序号;
同一平面上;
定板的尺寸计算得到的,所以图像集中的每一幅图像所对应的 都是一样的,即 ;
在步骤S214中,第二相机未进行过精确标定,最后一次迭代得到的第二相机的单目标定结
果也可以作为第二相机的最终标定结果。
解除标定板本身已知的特征位置为理想特征位置的这一假定,进一步提高相机标定精度。
内部预先设定,也可以作为标定过程整体的输入参数。
该预设阈值可以在程序内部预先设定,也可以作为标定过程的输入参数。
台精确标定的相机;
序号,j表示在图像中特征的序号;
同一平面上;
定板的尺寸计算得到的,所以图像集中的每一幅图像所对应的 都是一样的,即 ;
在步骤S312中,第二相机未进行过精确标定,最后一次迭代得到的第二相机的单目标定结
果也可以作为第二相机的最终标定结果。
解除标定板本身已知的特征位置为理想特征位置的这一假定,进一步提高相机标定精度,
且第一相机和第二相机的双目标定不依赖于单独的单目标定结果。
内部预先设定,也可以作为标定过程整体的输入参数。
该预设阈值可以在程序内部预先设定,也可以作为标定过程的输入参数。
台精确标定的相机;
设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、
内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存
储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部
的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于双目标定的相机
标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备
的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹
球或触控板,还可以是外接的键盘、触控板或鼠标等。
子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器,其中,该
非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力,
网络接口用于与外部的终端通过网络连接通信,内存储器用于为操作系统和计算机程序的
运行提供环境,计算机程序被处理器执行时以实现一种基于双目标定的相机标定方法,数
据库用于存储数据。
包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申
请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括
非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM
(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括
随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,
诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强
型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM
(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护
范围。因此,本申请专利的保护范围应以所附权利要求为准。