线阵相机和面阵相机的联合标定方法、装置和介质

摘要

本发明涉及一种线阵相机和面阵相机的联合标定方法、装置和介质，其中，所述方法包括以下步骤：线阵相机和面阵相机固连，共同设置于移动机构做匀速直线运动，标定板和不规则图案的平板设置于拍摄区；面阵相机和线阵相机在不同时刻扫描标定板和带有不规则图案的平板，根据特征点反算得到标定板的坐标系，以及面阵相机和线阵相机的单目结果，可计算得到不同时刻下标定坐标系、面阵相机坐标系、线阵相机坐标系之间的旋转平移关系，最后可求得面阵相机和线阵相机的旋转平移关系，得到了面阵相机和线阵相机的位姿关系，有利于面阵相机和线阵相机的联合应用，如在面阵相机和线阵相机匀速运动的过程中，可根据运动距离，等间隔地触发拍照。

权利要求

1.一种线阵相机和面阵相机的联合标定方法，其特征在于，所述方法包括以下步骤：线阵相机和面阵相机固连，共同设置于移动机构做匀速直线运动，标定板和不规则图案的平板设置于拍摄区；

步骤一、所述面阵相机和所述线阵相机单目标定，确定所述标定板和所述平板位置；

步骤二、所述线阵相机和所述面阵相机分别提取所述标定板的特征点，根据所述特征点反算得到所述标定板的坐标系的方向向量，分别得到第一时刻标定坐标系与线阵相机坐标系的旋转平移关系，以及第二时刻标定坐标系与面阵相机坐标系的旋转平移关系；

第二时刻，所述线阵相机扫描带有不规则图案的所述平板获得单行图像，确定所述单行图像在所述线阵相机扫描得到的平板图像中的对应位置，记该位置的行标为 ；

步骤三、根据标定坐标系与第一时刻线阵坐标系的旋转平移关系 、标定坐标系与第二时刻面阵相机坐标系的旋转平移关系 以及移动机构匀速直线运动的假设，得到面阵相机与线阵相机间的旋转平移关系为 ；

步骤四、根据相机运动速度向量 ，以及 可知，在第二时刻线阵相机与第 一时 刻的线阵 相 机间存 在旋 转平 移关 系为 ，其中，

步骤五、最终求得面阵相机与线阵相机间的旋转平移关系，即同一时刻两者的位姿关系： 。

2.根据权利要求1所述的线阵相机和面阵相机的联合标定方法，其特征在于，根据所述步骤一，根据小孔成像模型得到所述面阵相机单目结果，具体包括：相机内参 ，；畸变参数 ， ；

得到所述线阵相机单目结果，具体包括： ，其中， 为

镜头焦长， 为畸变系数， 为比例系数， 为相机中心， 为相机运动速度向量；

其中，各参数满足：

对于任意空间点 ，存在一比例系数 ，使得其与运动机构的运行时间存在如下关系：

其中， ， 为所述空间点 投

影在线阵相机成像面上的对应点的纵坐标；

则根据上述方程组，所述空间点 在线阵相机扫描得到的图像中的像素点为。

3.根据权利要求2所述的线阵相机和面阵相机的联合标定方法，其特征在于，所述面阵相机和线阵相机设置于呈匀速直线运动的移动机构，根据所述面阵相机单目结果和所述线阵相机单目结果，将所述标定板和所述平板设置于扫描区；其中，所述面阵相机完整拍摄到所述标定板时，所述线阵相机完整扫描到所述标定板且拍摄到所述平板。

4.根据权利要求1所述的线阵相机和面阵相机的联合标定方法，其特征在于，所述步骤二具体为：所述线阵相机完整扫描所述标定板提取所有特征点，记为 ，其中 为特征点数量，根据所述标定板特征点的物理信息以及所述线阵相机的单目标定结果，获得所述标定板坐标系到第一时刻所述线阵相机的坐标系的旋转平移矩阵 。

5.根据权利要求4所述的线阵相机和面阵相机的联合标定方法，其特征在于，所述步骤二还包括：所述面阵相机完整拍摄所述标定板提取所有特征点，通过所述特征点和所述面阵相机外参得到标定坐标系与第二时刻所述面阵相机坐标系的旋转平移关系 ，其中表示面阵相机在第二时刻的坐标系；

第二时刻时，所述线阵相机获取一帧高度为1的平板单行图像，与所述线阵相机扫描得到的平板图像取每一行的每个像素求差，定义得分 ，其中 表示每行的第 个像素， 表示扫描图中的第 行；则该单行图像所对应的扫描图中的位置得分最低，在最低分 附近取一小段数据进行二次函数拟合，得到极值点即该单行图像对应位置，记该位置的行标为 。

6.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的线阵相机和面阵相机的联合标定方法。

7.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的线阵相机和面阵相机的联合标定方法。

说明书

线阵相机和面阵相机的联合标定方法、装置和介质

技术领域

[0001] 本发明涉及计算机视觉领域，特别是涉及一种线阵相机和面阵相机的联合标定方法、装置和介质。

背景技术

[0002] 在一些线阵相机与面阵相机配合的工况下，两者相互固连，共同在一个移动机构上进行匀速移动，并采集图像。这类工况往往需要获取线阵相机与面阵相机之间的位姿关系。

发明内容

[0003] 本发明的目的在于提供一种线阵相机和面阵相机的联合标定方法、装置和介质，以至少解决相关技术中线阵相机与面阵相机配合的问题。

[0004] 为实现上述目的，本发明采用了如下技术方案：

[0005] 线阵相机和面阵相机固连，共同设置于移动机构做匀速直线运动，标定板和不规则图案的平板设置于拍摄区；

[0006] 步骤一、所述面阵相机和所述线阵相机单目标定，确定所述标定板和所述平板位置；

[0007] 步骤二、所述线阵相机和所述面阵相机分别提取所述标定板的特征点，根据所述特征点反算得到所述标定板的坐标系的方向向量，分别得到第一时刻标定坐标系与线阵相机坐标系的旋转平移关系，以及第二时刻标定坐标系与面阵相机坐标系的旋转平移关系；

[0008] 同时，所述线阵相机扫描所述不规则图案的平板获得单行图像，确定所述单行图像与所述线阵相机扫面所述标定板图像中的对应位置；

[0009] 步骤三、根据所述步骤二计算得到第一时刻所述线阵相机和第二时刻所述面阵相机的旋转平移关系；

[0010] 步骤四、根据所述线阵相机的单目结果，得到第一时刻所述线阵相机与第二时刻所述线阵相机的旋转平移关系；

[0011] 步骤五、求得同一时刻所述面阵相机和所述线阵相机的旋转平移关系。

[0012] 优选地，根据所述步骤一，根据小孔成像模型得到所述面阵相机单目结果，具体包括：相机内参 ， ；畸变参数 ， ；

[0013] 得到所述线阵相机单目结果，具体包括： ，其中， 为镜头焦长， 为畸变系数， 为比例系数， 为相机中心， 为相机运动速度
向量；

[0014] 其中，各参数满足：

[0015] 对于任意空间点 ，存在一比例系数 ，使得其与运动机构的运行时间t存在如下关系：

[0016] 其中， ， 为所述空间点 投影在线阵相机成像面上的对应点的纵坐标；

[0017] 则根据上述方程组，所述空间点 在线阵相机扫描得到的图像中的像素点为。

[0018] 优选地，所述面阵相机和线阵相机设置于呈匀速直线运动的移动机构，根据所述面阵相机单目结果和所述线阵相机单目结果，将所述标定板和所述平板设置于扫描区；其中，所述面阵相机完整拍摄到所述标定板时，所述线阵相机完整扫描到所述标定板且拍摄到所述平板。

[0019] 优选地，所述步骤二具体为：所述线阵相机完整扫描所述标定板提取所有特征点，记为 ，其中 为特征点数量，反算得到第一时刻所述线阵相机坐标系的系列三维点，记为 ；根据所述标定板特征点的物理信息以及所述线阵相机的单目标定结果，获得所述标定板坐标系到第一时刻所述线阵相机的坐标系的旋转平移矩阵 。

[0020] 优选地，所述步骤二还包括：所述面阵相机完整拍摄所述标定板提取所有特征点，通过所述特征点和所述面阵相机外参得到标定坐标系与第二时刻所述面阵相机坐标系的旋转平移关系 ，其中 表示面阵相机在第二时刻的坐标系；

[0021] 第二时刻时，所述线阵相机获取一帧高度为1的平板单行图像，与所述线阵相机扫描得到的标定板图像取每一行的每个像素求差，定义得分 ，其中 表示每行的第 个像素， 表示扫描图中的第 行；则该单行图像所对应的扫描图中的位置得分最低，在最低分 附近取一小段数据进行二次函数拟合，得到极值点即该单行图像对应位置，记该位置的行标为 。

[0022] 优选地，根据标定坐标系与第一时刻所述线阵相机坐标系的旋转平移关系 ，以及标定坐标系与第二时刻所述面阵相机坐标系的旋转平移关系 ，得到第二时刻所述面阵相机与第一时刻所述线阵相机间的旋转平移关系为 。

[0023] 优选地，根据 ， ，以及 可知，在第二时刻所述线阵相机与第一时刻所述线阵相机间存在旋转平移关系为，其中 。

[0024] 优选地，求得所述面阵相机与所述线阵相机间的旋转平移关系为。

[0025] 一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述的线阵相机和面阵相机的联合标定方法。

[0026] 一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述的线阵相机和面阵相机的联合标定方法。

[0027] 相比现有技术，本发明的有益效果在于：

[0028] 上述技术方案中所提供了一种线阵相机和面阵相机的联合标定方法，该方法通过线阵相机和面阵相机固连做匀速直线运动，在不同时刻扫描标定板和带有不规则图案的平板，根据特征点反算得到标定板的坐标系以及面阵相机和线阵相机的单目结果，可计算得到不同时刻下标定坐标系、面阵相机坐标系、线阵相机坐标系之间的旋转平移关系，最后可求得面阵相机和线阵相机的旋转平移关系，得到了面阵相机和线阵相机的位姿关系，有利于面阵相机和线阵相机的联合应用，如在面阵相机和线阵相机匀速运动的过程中，可根据运动距离，等间隔地触发拍照。

附图说明

[0029] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0030] 图1为本发明实施例提供面阵相机和线阵相机扫描的示意图。

[0031] 图2为本发明实施例提供的不规则图案的平板的示意图。

[0032] 图3为本发明实施例提供的电子装置的内部结构示意图。

具体实施方式

[0033] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0034] 显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

[0035] 在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

[0036] 除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

[0037] 标定板是指一类具有特定图案，且其图案上特征点的物理位置的相对关系已知的平板，用于在相机标定过程中建立图像像素与实际物理尺寸间的关系。通常有特定的特征点提取算法与之相对应。

[0038] 本发明实施例提供了一种线阵相机和面阵相机的联合标定方法，该方法包括以下步骤：

[0039] 步骤一、对面阵相机和线阵相机进行单目标定；

[0040] 其中，面阵相机的单目标定采用小孔成像模型，如传统的张氏标定法或Tsai栅格法等，得到的面阵相机单目标定结果包括：相机内参 ， ；畸变参数 ，；

[0041] 线阵相机的单目标定能够通过扫描得到的标定板图像反算3D点，可采用一维的小孔成像模型沿移动轴的平移，此处假设移动机构在扫描过程中做理想的匀速直线运动，且每次扫描的运动轨迹和速度相同，运动速度已经过调整使得线阵相机得到图像的长宽比基本符合实际比例；得到的线阵相机单目标定结果包括： ，其中， 为镜头焦长， 为畸变系数， 为比例系数， 为相机中心，
为相机运动速度向量；

[0042] 其中，各参数满足：

[0043] 对于任意空间点 ，存在一比例系数 ，使得其与运动机构的运行时间t存在如下关系：

[0044] 其中， ， 为空间点投影在线阵相机成像面上的对应点的纵坐标；

[0045] 则根据上述方程组，空间点 在线阵相机扫描得到的图像中的像素点为

[0046]

[0047] 根据上述面阵相机的单目结果以及线阵相机的单目结果确定标定板和平板的位置，其中，平板的厚度与标定板相近，且带有不规则图案，如附图2所示；

[0048] 如附图1所示，面阵相机和线阵相机相间隔设置于移动机构上，可沿直线做匀速直线运动，标定板和平板设置于扫描区，将标定板固定设置，使得面阵相机在某个位置可拍摄到完整标定板，且线阵相机可完整扫描标定板；将平板固定设置，使得面阵相机拍摄到完整标定板时，线阵相机了拍摄到平板。

[0049] 步骤二、线阵相机扫描标定板得到完整的标定板图像，提取所有特征点，记为，其中 为特征点数量，其中，第一时刻为 时刻；根据所述标定板特征点的物理信息以及所述线阵相机的单目标定结果，获得所述标定板坐标系到第一时刻所述线阵相机的坐标系的旋转平移矩阵 ；

[0050] 面阵相机拍摄标定板得到完整的标定板图像，提取所有特征点，通过所述特征点和面阵相机外参得到标定坐标系与第二时刻面阵相机坐标系的旋转平移关系 ，其中表示面阵相机在第二时刻的坐标系，其中，第二时刻可为 ；

[0051] 时，线阵相机扫描带有不对称图案的平板，线阵相机位于待不对称图案的平板的正上方，获得一帧高度为1的图像，该图像包含了该平板某处的一条狭窄图案，再取上述线阵相机扫描标定板得到的图像中的每一行，与1像素高的图像的每个像素求差，定义得分 ，其中 表示每行的第 个像素， 表示扫描图中的第 行；则该单行图像所对应的扫描图中的位置（可能非整形像素）得分最低。在最低分 附近取一小段数据进行二次函数拟合，得到极值点即该单行图像对应位置，记该位置的行标为 。其中，还可用DIC算法确定该位置。

[0052] 步骤三、根据标定坐标系与第一时刻线阵坐标系的旋转平移关系 、标定坐标系与第二时刻面阵相机坐标系的旋转平移关系 以及移动机构匀速直线运动的假设，得到面阵相机与线阵相机间的旋转平移关系为 。

[0053] 步骤四、根据 ，以及 可知，在第二时刻线阵相机与第一时刻的线阵相机间存在旋转平移关系为 ，其中 。

[0054] 步骤五、最终求得面阵相机与线阵相机间的旋转平移关系，即同一时刻两者的位姿关系： 。

[0055] 本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

[0056] 可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

[0057] 需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

[0058] 另外，结合上述实施例中的线阵相机和面阵相机的联合标定方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种线阵相机和面阵相机的联合标定方法。

[0059] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种线阵相机和面阵相机的联合标定方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

[0060] 在一个实施例中，图3是根据本申请实施例的电子装置的内部结构示意图，如图3所示，提供了一种电子装置，该电子装置可以是服务器，其内部结构图可以如图3所示。该电子装置包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种优化特征提取的系统标定方法，数据库用于存储数据。

[0061] 本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子装置的限定，具体的电子装置可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0062] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

[0063] 上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。