双目摄像头标定方法、装置、计算机设备和存储介质转让专利
申请号 : CN202111577026.9
文献号 : CN113963072B
文献日 : 2022-03-25
发明人 : 朱烙盛 , 蒋念娟 , 陈杰 , 沈小勇 , 吕江波
申请人 : 深圳思谋信息科技有限公司 , 上海思谋科技有限公司
摘要 :
权利要求 :
1.一种双目摄像头标定方法,其特征在于,所述方法包括:获取第一标定图像;
根据双目摄像头的裁切系数,对所述第一标定图像的仿射变换图像的长度和宽度进行裁切处理,得到所述仿射变换图像的目标长度和目标宽度;
根据所述目标长度和所述目标宽度,生成所述仿射变换图像的顶点坐标;
对所述仿射变换图像的顶点坐标进行逆仿射变换处理,得到所述仿射变换图像的顶点坐标在所述第一标定图像上的投影坐标;
当所述投影坐标在所述第一标定图像的分辨率范围内时,确认所述目标长度和所述目标宽度的验证通过;
当所述目标长度和所述目标宽度验证通过时,确认所述裁切系数为所述双目摄像头的目标裁切系数;
将所述目标裁切系数输入至标定模型中,得到所述标定模型输出的目标变焦倍数。
2.根据权利要求1所述的方法,其特征在于,所述根据双目摄像头的裁切系数,对所述第一标定图像的仿射变换图像的长度和宽度进行裁切处理,得到所述仿射变换图像的目标长度和目标宽度,包括:
根据所述裁切系数的预设步长,对所述裁切系数进行递减处理,得到递减后裁切系数;
分别将所述递减后裁切系数、所述第一标定图像的仿射变换图像的长度和宽度,输入至所述仿射变换图像关联的长度统计模型和宽度统计模型中,得到所述长度统计模型输出的所述目标长度,以及所述宽度统计模型输出的所述目标宽度。
3.根据权利要求1所述的方法,其特征在于,在根据双目摄像头的裁切系数,对所述第一标定图像的仿射变换图像的长度和宽度进行裁切处理,得到所述仿射变换图像的目标长度和目标宽度之前,还包括:
根据单应矩阵,对所述第一标定图像进行仿射变换处理,得到所述第一标定图像的仿射变换图像;
根据所述仿射变换图像的中心点坐标,计算得到所述仿射变换图像的长度和宽度。
4.根据权利要求3所述的方法,其特征在于,在根据单应矩阵,对所述第一标定图像进行仿射变换处理,得到所述第一标定图像的仿射变换图像之前,还包括:获取第二标定图像;所述第一标定图像和所述第二标定图像均通过拍摄目标标定对象得到,所述第二标定图像的拍摄焦距大于所述第一标定图像;
对所述第一标定图像的第一角点坐标和所述第二标定图像的第二角点坐标进行映射处理,得到所述单应矩阵;
所述根据单应矩阵,对所述第一标定图像进行仿射变换处理,得到所述第一标定图像的仿射变换图像,包括:
当所述单应矩阵的验证通过时,根据所述单应矩阵,对所述第一标定图像进行仿射变换处理,得到所述第一标定图像的仿射变换图像。
5.根据权利要求4所述的方法,其特征在于,在对所述第一标定图像的第一角点坐标和所述第二标定图像的第二角点坐标进行映射处理,得到所述单应矩阵之前,还包括:分别对所述第一标定图像和所述第二标定图像进行角点检测处理,得到所述第一标定图像的第一角点坐标和所述第二标定图像的第二角点坐标。
6.根据权利要求4所述的方法,其特征在于,在对所述第一标定图像的第一角点坐标和所述第二标定图像的第二角点坐标进行映射处理,得到所述单应矩阵之后,还包括:根据所述单应矩阵,生成所述第一角点坐标的映射角点坐标;
当所述第一角点坐标的映射角点坐标与所述第二角点坐标之间的差值小于预设误差阈值时,确认所述单应矩阵的验证通过。
7.根据权利要求4至6任意一项所述的方法,其特征在于,所述双目摄像头包括一个长焦摄像头和一个短焦摄像头;
在将所述目标裁切系数输入至标定模型中,得到所述标定模型输出的目标变焦倍数之后,还包括:
在对所述短焦摄像头进行数码变焦时,若所述短焦摄像头的当前变焦倍数与所述目标变焦倍数相等,则对所述第一标定图像进行仿射变换处理,得到与所述第二标定图像粗对齐的图像。
8.一种双目摄像头标定装置,其特征在于,所述装置包括:数据模块,用于获取第一标定图像;
裁切模块,用于根据双目摄像头的裁切系数,对所述第一标定图像的仿射变换图像的长度和宽度进行裁切处理,得到所述仿射变换图像的目标长度和目标宽度;
目标验证模块,用于根据所述目标长度和所述目标宽度,生成所述仿射变换图像的顶点坐标;对所述仿射变换图像的顶点坐标进行逆仿射变换处理,得到所述仿射变换图像的顶点坐标在所述第一标定图像上的投影坐标;当所述投影坐标在所述第一标定图像的分辨率范围内时,确认所述目标长度和所述目标宽度的验证通过;
验证模块,用于当所述目标长度和所述目标宽度验证通过时,确认所述裁切系数为所述双目摄像头的目标裁切系数;
标定模块,用于将所述目标裁切系数输入至标定模型中,得到所述标定模型输出的目标变焦倍数。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
说明书 :
双目摄像头标定方法、装置、计算机设备和存储介质
技术领域
背景技术
应用于移动终端上。然而各摄像头的焦距不同,当移动终端上的多摄像头进行切换时,焦距
的改变容易导致图像内容的剧烈变化。
坐标关系等,计算复杂度。由此,存在双目摄像头标定过程效率较低的问题。
发明内容
括:
输出的所述目标长度,以及所述宽度统计模型输出的所述目标宽度。
前,还包括:
长度和宽度进行裁切处理,得到仿射变换图像的目标长度和目标宽度,当目标长度和目标
宽度验证通过时,确认裁切系数为双目摄像头的目标裁切系数,进而将目标裁切系数输入
至标定模型中,得到标定模型输出的目标变焦倍数。采用本方法,无需拍摄多组标定图像,
仅需对拍摄的第一标定图像进行处理,减少了双目摄像头的标定时间,提高了双目摄像头
的标定效率;还无需计算多个坐标系之间的参数变化,通过标定模型能够得到目标变焦倍
数,大大减少了参数的计算复杂度,进一步提高了提高双目摄像头的标定效率。
附图说明
具体实施方式
用于限定本申请。
括终端和服务器的系统,并通过终端和服务器的交互实现。其中,终端可以但不限于是各种
携带双目摄像头的设备,该设备包括但不限于是智能手机、个人计算机、笔记本电脑、平板
电脑和便携式可穿戴设备。本实施例中,该方法包括以下步骤:
标定对象的第一标定图像。
标定模板能够完整出现在终端的第一摄像头和第二摄像头的拍摄范围内,然后终端通过第
一摄像头拍摄一张亮度正常、对焦正常、成像清晰的第一标定图像。
图像的仿射变换图像的长度进行裁切处理,并通过宽度统计模型对第一标定图像的仿射变
换图像的宽度进行裁切处理,进而得到长度统计模型输出的仿射变换图像的目标长度,以
及宽度统计模型输出的仿射变换图像的目标宽度。
像头的目标裁切系数,即在当前裁切系数下,对仿射变换图像进行裁切处理,得到对应的裁
切图像,该裁切图像与终端通过第二摄像头对目标标定对象进行拍摄得到的第二标定图像
对齐。
– l×k)。
减后裁切系数。
的目标长度和目标宽度,当目标长度和目标宽度验证通过时,确认裁切系数为双目摄像头
的目标裁切系数,进而将目标裁切系数输入至标定模型中,得到标定模型输出的目标变焦
倍数。采用本方法,无需拍摄多组标定图像,仅需对拍摄的第一标定图像进行处理,减少了
双目摄像头的标定时间,提高了双目摄像头的标定效率;还无需计算多个坐标系之间的参
数变化,通过标定模型能够得到目标变焦倍数,大大减少了参数的计算复杂度,进一步提高
了提高双目摄像头的标定效率。
体包括如下内容:根据裁切系数的预设步长,对裁切系数进行递减处理,得到递减后裁切系
数;分别将递减后裁切系数、第一标定图像的仿射变换图像的长度和宽度,输入至仿射变换
图像关联的长度统计模型和宽度统计模型中,得到长度统计模型输出的目标长度,以及宽
度统计模型输出的目标宽度。
换图像的长度和宽度,输入至仿射变换图像关联的长度统计模型和宽度统计模型中,通过
长度统计模型对第一标定图像的仿射变换图像的长度进行裁切处理,进而得到长度统计模
型输出的仿射变换图像的目标长度,并通过宽度统计模型对第一标定图像的仿射变换图像
的宽度进行裁切处理,得到宽度统计模型输出的仿射变换图像的目标宽度。
pv表示仿射变换图像在垂直平方向上的像素。
射变换图像同样为4K分辨率,则长度统计模型可表示为maxW=3840×min(W/3840,U/2160)
×(crop – 0.1×k),同理,宽度统计模型可表示为maxU = 2160×min(W/3840,U/2160)×
(crop – 0.1×k),进而得到仿射变换图像经过裁切处理后的图像长度maxW和图像宽度
maxU。
模型和宽度统计模型中,得到长度统计模型输出的目标长度,以及宽度统计模型输出的目
标宽度。采用本方法,通过目标长度和目标宽度能够得到目标变焦倍数,实现了第一标定图
像到第二标定图像的粗对齐,提高了提高双目摄像头的标定效率。
如下内容:
逆仿射变换处理,得到顶点坐标在第一标定图像上对应的投影坐标,进而判断投影坐标是
否全部分布在第一标定图像的分辨率范围内;当投影坐标全部分布在第一标定图像的分辨
率范围内时,确认目标长度和目标宽度验证通过;当投影坐标没有全部分布在第一标定图
像的分辨率范围内时,确认目标长度和目标宽度验证未通过,则递减步数加一,根据预设步
长继续对裁切系数进行递减处理,得到递减后裁切系数,重复上述对裁切系数的递减过程
并根据递减后裁切系数,重新计算得到仿射变换图像的目标长度和目标宽度,直至目标长
度和目标宽度验证通过为止。
标(Xtl,Ytl)、(Xtr,Ytr)、(Xbl,Ybl)、(Xbr,Ybr);根据单应矩阵H的逆矩阵,对顶点坐标(Xtl,Ytl)、
(Xtr,Ytr)、(Xbl,Ybl)、(Xbr,Ybr)进行逆仿射变换处理,得到顶点坐标在第一标定图像上对应
’ ’ ’ ’ ’ ’ ’ ’
的投影坐标(Xtl ,Ytl)、(Xtr,Ytr)、(Xbl ,Ybl)、(Xbr,Ybr),当第一标定图像为4K分辨率时,
判断上述四个投影坐标是否在4K分辨率(3840×2160)的范围内,若上述四个投影坐标是否
在4K分辨率(3840×2160)的范围内,则确认目标长度和目标宽度验证通过,若不在范围内,
则继续增加步长k,重新计算得到递减后裁切系数,并对递减后裁切系数对应的目标长度和
目标宽度继续验证,直至目标长度和目标宽度验证通过为止。
是否验证通过,进而根据验证通过的目标长度和目标宽度获取对应的目标变焦倍数,实现
第一标定图像到第二标定图像的粗对齐。采用本方法,无需计算多个坐标系之间的参数变
化,大大减少了参数的计算复杂度,从而提升了提高双目摄像头的标定效率。
据单应矩阵,对第一标定图像进行仿射变换处理,得到第一标定图像的仿射变换图像;根据
仿射变换图像的中心点坐标,计算得到仿射变换图像的长度和宽度。
Y0),根据仿射变换图像的分辨率,得到仿射变换图像的长宽比,根据长宽比和中心点坐标,
计算得到仿射变换图像的顶点坐标,进而根据顶点坐标,计算得到仿射变换图像的长度和
宽度。
第一标定图像到第二标定图像的粗对齐。采用本方法,无需计算多个坐标系之间的参数变
化,大大减少了参数的计算复杂度,从而提升了提高双目摄像头的标定效率。
均通过拍摄目标标定对象得到,第二标定图像的拍摄焦距大于第一标定图像;对第一标定
图像的第一角点坐标和第二标定图像的第二角点坐标进行映射处理,得到单应矩阵;根据
单应矩阵,对第一标定图像进行仿射变换处理,得到第一标定图像的仿射变换图像,包括:
当单应矩阵的验证通过时,根据单应矩阵,对第一标定图像进行仿射变换处理,得到第一标
定图像的仿射变换图像。
(Random Sample Consensus,RANSAC),对第一标定图像的第一角点坐标和第二标定图像的
第二角点坐标进行单应矩阵的映射处理,得到单应矩阵。在得到单应矩阵之后,还需验证单
应矩阵的平均误差是否小于预设误差阈值,当单应矩阵的平均误差小于预设误差阈值,确
认单应矩阵的验证通过,则根据单应矩阵,对第一标定图像进行仿射变换处理,进而得到第
一标定图像的仿射变换图像。
续的标定步骤。采用本方法,无需计算多个坐标系之间的参数变化,大大减少了参数的计算
复杂度,通过单应矩阵对第一标定图像进行一次仿射变换,实现了第一标定图像到第二标
定图像的粗对齐,从而提升了提高双目摄像头的标定效率。
角点检测处理,得到第一标定图像的第一角点坐标和第二标定图像的第二角点坐标。
多个第二角点坐标。
间的参数变化,大大减少了参数的计算复杂度,从而提升了提高双目摄像头的标定效率。
角点坐标;当第一角点坐标的映射角点坐标与第二角点坐标之间的差值小于预设误差阈值
时,确认单应矩阵的验证通过。
时,确认单应矩阵的验证通过,即该单应矩阵的误差较小;当该差值大于预设误差阈值时,
重新获取单应矩阵,以减少标定过程的误差值。
的准确性。
射变换图像的长度和宽度。
标长度,以及宽度统计模型输出的目标宽度。
投影坐标。
粗对齐,大大减少了参数的计算复杂度,进而降低了对终端硬件计算能力的要求,并减少了
对镜头模组的性能依赖,从而进一步提高了提高双目摄像头的标定效率。
了一种双目摄像头标定方法,具体包括以下内容:
亮度正常、对焦正常、成像清晰棋盘格图像;其中,该组棋盘格图像中包含第一标定图像和
第二标定图像;分别对第一标定图像和第二标定图像进行角点检测处理,得到第一标定图
像和第二标定图像中针对棋盘格标定板的第一角点坐标和第二角点坐标;对第一角点坐标
和第二角点坐标进行映射处理,得到单应矩阵,通过单应矩阵获取第一角点坐标的映射角
点坐标,当映射角点坐标与第二角点坐标之间的差值小于预设误差阈值时,根据单应矩阵
对第一标定图像进行仿射变换处理,得到第一标定图像的仿射变换图像,根据仿射变换图
像,生成目标变焦倍数;当短焦镜头进行数码变焦时,若当前变焦倍数与目标变焦倍数相
等,则通过单应矩阵对第一标定图像进行仿射变换处理,得到于第二标定图像粗对齐的图
像;将单应矩阵和目标变焦倍数作为标定结果进行输出。
的参数变化,通过标定模型能够得到目标变焦倍数,大大减少了参数的计算复杂度,进一步
提高了提高双目摄像头的标定效率。
明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而
且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个
阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这
些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的
步骤或者阶段的至少一部分轮流或者交替地执行。
所记载的实现方案相似,故下面所提供的一个或多个双目摄像头标定装置实施例中的具体
限定可以参见上文中对于双目摄像头标定方法的限定,在此不再赘述。
的长度和宽度,输入至仿射变换图像关联的长度统计模型和宽度统计模型中,得到长度统
计模型输出的目标长度,以及宽度统计模型输出的目标宽度。
换处理,得到仿射变换图像的顶点坐标在第一标定图像上的投影坐标;当投影坐标在第一
标定图像的分辨率范围内时,确认目标长度和目标宽度的验证通过。
图像的中心点坐标,计算得到仿射变换图像的长度和宽度。
摄焦距大于第一标定图像;对第一标定图像的第一角点坐标和第二标定图像的第二角点坐
标进行映射处理,得到单应矩阵;仿射变换模块,还用于当单应矩阵的验证通过时,根据单
应矩阵,对第一标定图像进行仿射变换处理,得到第一标定图像的仿射变换图像。
定图像的第二角点坐标。
之间的差值小于预设误差阈值时,确认单应矩阵的验证通过。
形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
屏、输入装置和双摄像头。其中,该计算机设备的处理器用于提供计算和控制能力。该计算
机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统
和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环
境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可
通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时
以实现一种双目摄像头标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水
显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外
壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
授权或者经过各方充分授权的信息和数据。
可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,
本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括
非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑Only
Memory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器
(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器
(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,
PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,
RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存
取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random
Access Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据
库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,
不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形
处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
盾,都应当认为是本说明书记载的范围。
来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保
护范围。因此,本申请的保护范围应以所附权利要求为准。