侧向图像的拼接方法、装置和系统

摘要

本发明了提供一种侧向图像的拼接方法、装置和系统，该方法应用于侧向图像的拼接系统，该系统包括侧前相机和侧后相机；该方法包括：根据预先采集的侧前样本图像、侧后样本图像以及侧前相机和侧后相机之间的预设的初始位置关系参数，确定离线位置关系；基于离线位置关系、在线采集的侧前目标图像和侧后目标图像，标定侧前相机和侧后相机之间的位置关系参数，得到在线拼接查找表；根据在线拼接查找表，对侧前目标图像和侧后目标图像进行拼接，得到拼接图像。本发明的技术方案能够优化拼接图像的图像质量，能够得到完整的、不被截断的、不扭曲、不变形的拼接图像。

权利要求

1.一种侧向图像的拼接方法，其特征在于，所述方法应用于侧向图像的拼接系统，所述系统包括侧前相机和侧后相机；所述方法包括：根据预先采集的侧前样本图像、侧后样本图像以及所述侧前相机和所述侧后相机之间的预设的初始位置关系参数，确定离线位置关系；其中，所述侧前样本图像由所述侧前相机拍摄，所述侧后样本图像由所述侧后相机拍摄；

基于所述离线位置关系、在线采集的侧前目标图像和侧后目标图像，标定所述侧前相机和所述侧后相机之间的位置关系参数，得到在线拼接查找表；其中，所述侧前目标图像由所述侧前相机拍摄，所述侧后目标图像由所述侧后相机拍摄；

根据所述在线拼接查找表，对所述侧前目标图像和所述侧后目标图像进行拼接，得到拼接图像；

根据预先采集的侧前样本图像、侧后样本图像以及所述侧前相机和所述侧后相机之间的预设的初始的位置关系参数，确定离线位置关系的步骤，包括：提取所述侧前样本图像和所述侧后样本图像重合的部分，得到样本共视区域；

确定所述样本共视区域中的至少一组样本匹配点对，其中，所述样本匹配点对包括侧前匹配特征点和侧后匹配特征点；

根据所述样本匹配点对优化所述初始位置关系参数，得到所述侧前相机和所述侧后相机之间的离线位置关系参数；

根据所述离线位置关系参数，确定所述离线位置关系；

根据所述样本匹配点对优化所述初始位置关系参数，得到所述侧前相机和所述侧后相机之间的离线位置关系参数的步骤，包括：根据所述初始位置关系参数、所述标定侧前相机内部参数和所述标定侧后相机内部参数，确定所述侧前样本图像的侧前匹配特征点在所述侧后样本图像中所对应的离线标定特征点；

根据所述离线标定特征点和所述侧后匹配特征点，构建代价函数：

；

其中，Loss为所述代价函数； 为所述侧后匹配特征点； 为所述离线标定特征点；

优化所述初始位置关系参数，使所述代价函数为最小值，计算得到所述离线位置关系参数。

2.根据权利要求1所述的方法，其特征在于，确定所述样本共视区域中的至少一组样本匹配点对的步骤，包括：分别提取所述侧前样本图像和所述侧后样本图像的样本共视区域的特征点，得到侧前样本图像特征点和侧后样本图像特征点；

分别计算所述侧前样本图像特征点和所述侧后样本图像特征点的向量，得到侧前样本图像向量和侧后样本图像向量；

将所述侧前样本图像向量与所述侧后样本图像向量之间的距离最近的至少一对特征点作为至少一组所述样本匹配点对。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

分别获取所述侧前相机和所述侧后相机的内部参数，得到侧前相机内部参数和侧后相机内部参数，其中，所述内部参数包括焦距、中点坐标和畸变参数；

标定所述侧前相机内部参数和所述侧后相机内部参数，得到标定侧前相机内部参数和标定侧后相机内部参数。

4.根据权利要求1所述的方法，其特征在于，基于所述离线位置关系、所述侧前目标图像和所述侧后目标图像，标定所述侧前相机和所述侧后相机之间的位置关系参数，得到在线拼接查找表的步骤，包括：在距离离线标定特征点的预设的范围内，获取所述侧前目标图像和所述侧后目标图像之间目标匹配点对，其中，离线标定特征点是基于离线位置关系得到的；

基于所述目标匹配点对，在线非线性优化所述侧前相机和所述侧后相机之间的相对位姿关系，得到所述在线拼接查找表。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据侧前相机内部参数中的畸变函数，畸变校正在线采集的初始侧前图像，得到所述侧前目标图像；

根据侧后相机内部参数中的畸变函数，畸变校正在线采集的初始侧后图像，得到所述侧后目标图像。

6.根据权利要求1所述的方法，其特征在于，根据所述在线拼接查找表，对所述侧前目标图像和所述侧后目标图像进行拼接，得到拼接图像的步骤，包括：基于预设的权重和所述在线拼接查找表，融合所述侧前目标图像和所述侧后目标图像的重叠的部分，得到重叠区域；

根据所述重叠区域、所述侧前目标图像以及所述侧后目标图像，确定所述拼接图像。

7.一种侧向图像的拼接装置，其特征在于，所述装置包括：

离线标定模块，用于根据预先采集的侧前样本图像、侧后样本图像以及侧前相机和侧后相机之间的预设的初始的位置关系参数，确定离线位置关系；其中，所述侧前样本图像由所述侧前相机拍摄，所述侧后样本图像由所述侧后相机拍摄；

在线标定模块，用于基于所述离线位置关系、在线采集的侧前目标图像和侧后目标图像，标定所述侧前相机和所述侧后相机之间的位置关系参数，得到在线拼接查找表；其中，所述侧前目标图像由所述侧前相机拍摄，所述侧后目标图像由所述侧后相机拍摄；

拼接模块，用于根据所述在线拼接查找表，对所述侧前目标图像和所述侧后目标图像进行拼接，得到拼接图像；

离线标定模块，用于提取所述侧前样本图像和所述侧后样本图像重合的部分，得到样本共视区域；确定所述样本共视区域中的至少一组样本匹配点对，其中，所述样本匹配点对包括侧前匹配特征点和侧后匹配特征点；根据所述样本匹配点对优化所述初始位置关系参数，得到所述侧前相机和所述侧后相机之间的离线位置关系参数；根据所述离线位置关系参数，确定所述离线位置关系；

离线标定模块，用于根据所述初始位置关系参数、标定侧前相机内部参数和标定侧后相机内部参数，确定所述侧前样本图像的侧前匹配特征点在所述侧后样本图像中所对应的离线标定特征点；根据所述离线标定特征点和所述侧后匹配特征点，构建代价函数：；其中，Loss为所述代价函数； 为所述侧后匹配特征点； 为所述离线标定特征点；优化所述初始位置关系参数，使所述代价函数为最小值，计算得到所述离线位置关系参数。

8.一种侧向图像的拼接系统，其特征在于，所述系统应用于权利要求1‑6任一项所述的侧向图像的拼接方法；

所述系统包括：侧前相机、侧后相机、相机支架和服务器，其中，所述侧前相机和所述侧后相机的光心位置相同。

说明书

侧向图像的拼接方法、装置和系统

技术领域

[0001] 本发明涉及图像处理技术领域，尤其是涉及一种侧向图像的拼接方法、装置和系统。

背景技术

[0002] 随着智能驾驶、无人驾驶等技术的不断发展，对自动驾驶车辆的感知能力的要求逐步提升，侧向感知逐渐成为自动驾驶感知系统中的重要部分。采用侧向图像拼接能大幅提升侧向感知的精度，对保证安全驾驶有至关重要的意义。

发明内容

[0003] 本发明的目的在于提供一种侧向图像的拼接方法、装置和系统，以提高拼接图像的图像质量。

[0004] 第一方面，本发明提供一种侧向图像的拼接方法，该方法应用于侧向图像的拼接系统，该系统包括侧前相机和侧后相机；该方法包括：根据预先采集的侧前样本图像、侧后样本图像以及侧前相机和侧后相机之间的预设的初始位置关系参数，确定离线位置关系；其中，侧前样本图像由侧前相机拍摄，侧后样本图像由侧后相机拍摄；基于离线位置关系、在线采集的侧前目标图像和侧后目标图像，标定侧前相机和侧后相机之间的位置关系参数，得到在线拼接查找表；其中，侧前目标图像由侧前相机拍摄，侧后目标图像由侧后相机拍摄；根据在线拼接查找表，对侧前目标图像和侧后目标图像进行拼接，得到拼接图像。

[0005] 在可选的实施方式中，根据预先采集的侧前样本图像、侧后样本图像以及侧前相机和侧后相机之间的预设的初始的位置关系参数，确定离线位置关系的步骤，包括：提取侧前样本图像和侧后样本图像重合的部分，得到样本共视区域；确定样本共视区域中的至少一组样本匹配点对，其中，样本匹配点对包括侧前匹配特征点和侧后匹配特征点；根据样本匹配点对优化初始位置关系参数，得到侧前相机和侧后相机之间的离线位置关系参数；根据离线位置关系参数，确定离线位置关系。

[0006] 在可选的实施方式中，确定样本共视区域中的至少一组样本匹配点对的步骤，包括：分别提取侧前样本图像和侧后样本图像的样本共视区域的特征点，得到侧前样本图像特征点和侧后样本图像特征点；分别计算侧前样本图像特征点和侧后样本图像特征点的向量，得到侧前样本图像向量和侧后样本图像向量；将侧前样本图像向量与侧后样本图像向量之间的距离最近的至少一对特征点作为至少一组样本匹配点对。

[0007] 在可选的实施方式中，上述方法还包括：分别获取侧前相机和侧后相机的内部参数，得到侧前相机内部参数和侧后相机内部参数，其中，内部参数包括焦距、中点坐标和畸变参数；标定侧前相机内部参数和侧后相机内部参数，得到标定侧前相机内部参数和标定侧后相机内部参数。

[0008] 在可选的实施方式中，根据样本匹配点对优化初始位置关系参数，得到侧前相机和侧后相机之间的离线位置关系参数的步骤，包括：根据初始位置关系参数、标定侧前相机内部参数和标定侧后相机内部参数，确定侧前样本图像的侧前匹配特征点在侧后样本图像中所对应的离线标定特征点；根据离线标定特征点和侧后匹配特征点，构建代价函数：；其中，Loss为代价函数； 为侧后匹配特征点； 为离线标定特征点；优
化初始位置关系参数，使代价函数为最小值，计算得到离线位置关系参数。

[0009] 在可选的实施方式中，基于离线位置关系、侧前目标图像和侧后目标图像，标定侧前相机和侧后相机之间的位置关系参数，得到在线拼接查找表的步骤，包括：在距离离线标定特征点的预设的范围内，获取侧前目标图像和侧后目标图像之间目标匹配点对，其中，离线标定特征点是基于离线位置关系得到的；基于目标匹配点对，在线非线性优化侧前相机和侧后相机之间的相对位姿关系，得到在线拼接查找表。

[0010] 在可选的实施方式中，上述方法还包括：根据侧前相机内部参数中的畸变函数，畸变校正在线采集的初始侧前图像，得到侧前目标图像；根据侧后相机内部参数中的畸变函数，畸变校正在线采集的初始侧后图像，得到侧后目标图像。

[0011] 在可选的实施方式中，根据在线拼接查找表，对侧前目标图像和侧后目标图像进行拼接，得到拼接图像的步骤，包括：基于预设的权重和在线拼接查找表，融合侧前目标图像和侧后目标图像的重叠的部分，得到重叠区域；根据重叠区域、侧前目标图像以及侧后目标图像，确定拼接图像。

[0012] 第二方面，本发明提供一种侧向图像的拼接装置，上述装置包括：离线标定模块，用于根据预先采集的侧前样本图像、侧后样本图像以及侧前相机和侧后相机之间的预设的初始的位置关系参数，确定离线位置关系；其中，侧前样本图像由侧前相机拍摄，侧后样本图像由侧后相机拍摄；在线标定模块，用于基于离线位置关系、在线采集的侧前目标图像和侧后目标图像，标定侧前相机和侧后相机之间的位置关系参数，得到在线拼接查找表；其中，侧前目标图像由侧前相机拍摄，侧后目标图像由侧后相机拍摄；拼接模块，用于根据在线拼接查找表，对侧前目标图像和侧后目标图像进行拼接，得到拼接图像。

[0013] 第三方面，本发明提供一种侧向图像的拼接系统，上述系统应用于前述实施方式任一项的侧向图像的拼接方法；上述系统包括：侧前相机、侧后相机、相机支架和服务器，其中，侧前相机和侧后相机的光心位置相同。

[0014] 本发明实施例的有益效果如下：

[0015] 本发明提供一种侧向图像的拼接方法、装置和系统，该方法应用于侧向图像的拼接系统，系统包括侧前相机和侧后相机；该方法包括：根据预先采集的侧前样本图像、侧后样本图像以及侧前相机和侧后相机之间的预设的初始位置关系参数，确定离线位置关系；其中，侧前样本图像由侧前相机拍摄，侧后样本图像由侧后相机拍摄；基于离线位置关系、在线采集的侧前目标图像和侧后目标图像，标定侧前相机和侧后相机之间的位置关系参数，得到在线拼接查找表；其中，侧前目标图像由侧前相机拍摄，侧后目标图像由侧后相机拍摄；根据在线拼接查找表，对侧前目标图像和侧后目标图像进行拼接，得到拼接图像。本发明的技术方案能够优化拼接图像的图像质量，能够得到完整的、不被截断的、不扭曲、不变形的拼接图像。

[0016] 本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

[0017] 为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

[0018] 为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

[0019] 图1为本发明实施例提供的一种侧向图像的拼接方法的流程图；

[0020] 图2为本发明实施例提供的另一种侧向图像的拼接方法的流程图；

[0021] 图3为本发明实施例提供的一种侧向图像的拼接装置的示意图；

[0022] 图4为本发明实施例提供的一种侧向图像的拼接系统的示意图；

[0023] 图5为本发明实施例提供的侧前相机、侧后相机、相机支架的安装示意图；

[0024] 图6为本发明实施例提供的相机支架在车辆上的安装示意图。

具体实施方式

[0025] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

[0026] 因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0027] 随着智能驾驶、无人驾驶等车辆技术的不断发展，对自动驾驶车辆的感知能力的要求逐步提升，侧向感知逐渐成为自动驾驶感知系统中的重要部分。采用侧向图像拼接能大幅提升侧向感知的精度，对保证安全驾驶有至关重要的意义。

[0028] 目前的侧向视觉感知装置主要有两类：1）由一个侧前向针孔相机和一个侧后向针孔相机构成，两个相机分别进行感知，然后对两部分感知结果进行融合。此类系统的主要缺点是侧面目标（如车辆）会被截断，会导致感知精度下降。2）使用一个广角相机进行感知。广角相机虽然也可得到宽视角的图像，但镜头边缘会产生难以避免的扭曲变形，且感知距离远小于针孔相机。

[0029] 基于此，本发明提供一种侧向图像的拼接方法、装置和系统，以得到精度高、不扭曲变形、完整的侧向拼接图像。本技术应用于自动驾驶中，处理车辆采集的图像的场景中。

[0030] 实施例1：

[0031] 本发明提供一种侧向图像的拼接方法，该方法应用于侧向图像的拼接系统，该系统包括侧前相机和侧后相机；如图1所示，该方法包括：

[0032] 步骤S102，根据预先采集的侧前样本图像、侧后样本图像以及侧前相机和侧后相机之间的预设的初始位置关系参数，确定离线位置关系。

[0033] 具体地，侧前样本图像由侧前相机拍摄，侧后样本图像由侧后相机拍摄。

[0034] 具体地，上述位置关系参数又称为外部参数，指的是侧前相机和侧后相机在相机支架中的安装位置的旋转或平移关系，在本申请中一般指的是侧前相机和侧后相机之间的旋转关系，用R表示。上述初始位置关系参数是一开始的默认参数，可以是[[1,0,0],[0,1,0],[0,0,1]]。上述离线位置关系包括离线标定后的侧前相机和侧后相机之间的旋转关系。

[0035] 具体地，上述步骤相当于建立模型的步骤，即利用多对样本图像，生成离线模型（相当于一种离线拼接查找表），再以离线拼接查找表为参考，实时在线确认目标图像之间的对应关系，从而得到拼接图像。通过建立离线拼接查找表，能够提高在线拼接图像的效率及准确率。上述离线拼接查找表中记录的是拼接图像上每个像素点来自哪个相机（侧前相机或侧后相机）和其在原相机上的像素位置（x0，y0）。

[0036] 步骤S104，基于离线位置关系、在线采集的侧前目标图像和侧后目标图像，标定侧前相机和侧后相机之间的位置关系参数，得到在线拼接查找表。

[0037] 具体地，侧前目标图像由侧前相机拍摄，侧后目标图像由侧后相机拍摄。

[0038] 具体地，上述侧前目标图像和侧后目标图像指的是车辆在行驶过程中相机所采集的实时图像，上述过程是一个在线优化的过程。由于在车辆实际行驶过程中会产生震动，所以侧前目标图像和侧后目标图像的相对位置（即位置关系参数R）会实时改变，在此，可以基于离线位置关系，实时标定侧前相机和侧后相机之间的位置关系参数，即通过在线标定将离线位置关系中的外部参数与实时的外部参数之间的变化量计算并标识出来，从而得到在线拼接查找表。

[0039] 步骤S106，根据在线拼接查找表，对侧前目标图像和侧后目标图像进行拼接，得到拼接图像。

[0040] 具体地，上述拼接图像为两张图像（侧前目标图像和侧后目标图像）拼接而成的图像，该拼接图像完整、不被截断、不扭曲、不变形，兼顾视角和检测距离的功能。

[0041] 本发明实施例提供一种侧向图像的拼接方法，该方法应用于侧向图像的拼接系统，系统包括侧前相机和侧后相机；该方法包括：根据预先采集的侧前样本图像、侧后样本图像以及侧前相机和侧后相机之间的预设的初始位置关系参数，确定离线位置关系；其中，侧前样本图像由侧前相机拍摄，侧后样本图像由侧后相机拍摄；基于离线位置关系、在线采集的侧前目标图像和侧后目标图像，标定侧前相机和侧后相机之间的位置关系参数，得到在线拼接查找表；其中，侧前目标图像由侧前相机拍摄，侧后目标图像由侧后相机拍摄；根据在线拼接查找表，对侧前目标图像和侧后目标图像进行拼接，得到拼接图像。本发明的技术方案能够优化拼接图像的图像质量，能够得到完整的、不被截断的、不扭曲、不变形的拼接图像。

[0042] 实施例2：

[0043] 本实施例提供另一种侧向图像的拼接方法，如图2所示，该方法包括：

[0044] 步骤S202，分别获取侧前相机和侧后相机的内部参数，得到侧前相机内部参数和侧后相机内部参数，其中，内部参数包括焦距、中点坐标和畸变参数。

[0045] 具体地，上述内部参数指相机的固有参数，与相机的安装位置无关。通常认为一个在相机厂装配好的相机其内部参数就是固定的。

[0046] 步骤S204，标定侧前相机内部参数和侧后相机内部参数，得到标定侧前相机内部参数和标定侧后相机内部参数。

[0047] 具体地，上述内部参数不随位置改变而变化，所以一个相机的内参标定只需要进行一次。且标定内参的过程是离线的。

[0048] 具体地，通常可以利用棋盘格来对内参进行标定，使用张正友标定法计算得到各个内部参数。

[0049] 步骤S206，提取侧前样本图像和侧后样本图像重合的部分，得到样本共视区域；确定样本共视区域中的至少一组样本匹配点对。

[0050] 具体地，样本匹配点对包括侧前匹配特征点和侧后匹配特征点。一般，取3组样本匹配点对进行离线标定。在此，也可以根据畸变函数（即内部参数中的畸变参数），对侧前样本图像和侧后样本图像进行畸变校正，以提高样本图像的图像质量，进而提高离线标定的准确率。

[0051] 在具体实施时，通过离线标定，可以确定一个大致的共视区域和非共视区域的图像坐标，理论上只有共视区域的点才会匹配上。寻找两个相机间匹配的特征点对可以分为以下步骤：

[0052] S206‑1：分别提取侧前样本图像和侧后样本图像的样本共视区域的特征点，得到侧前样本图像特征点和侧后样本图像特征点。

[0053] 具体地，分别在两个相机同时刻采集到的样本图像上提取特征点，得到两组特征点（的图素坐标）。

[0054] 具体地，在实际应用中，提取特征点可采用sift特征点检测方法。

[0055] S206‑2：分别计算侧前样本图像特征点和侧后样本图像特征点的向量，得到侧前样本图像向量和侧后样本图像向量。

[0056] 具体地，计算特征点的特征（每个点的特征通常用一向量表示），得到两组特征向量。

[0057] S206‑3：将侧前样本图像向量与侧后样本图像向量之间的距离最近的至少一对特征点作为至少一组样本匹配点对。

[0058] 具体地，通过特征找出两组特征点之间相互匹配的点，通常两个点特征向量间距离越近，匹配度越高，将匹配度最高的一组特征点作为一组样本匹配点对。一般，取3组样本匹配点对进行离线标定。

[0059] 步骤S208，根据样本匹配点对优化初始位置关系参数，得到侧前相机和侧后相机之间的离线位置关系参数；根据离线位置关系参数，确定离线位置关系。

[0060] 在具体实施时，确定离线位置关系参数的步骤如下：

[0061] S208‑1：根据初始位置关系参数、标定侧前相机内部参数和标定侧后相机内部参数，确定侧前样本图像的侧前匹配特征点在侧后样本图像中所对应的离线标定特征点。

[0062] 具体地，由于光是直线传播的，在对相机采集的样本图像畸变进行补偿后，光从空间上的点沿着直线到达光心，按照小孔成像原理，就能计算出空间上的点投影到图像上的像素坐标。又因为两个相机是共光心安装的。所以反过来，如果已知像素坐标则可以计算出空间上的点到光心的射线方程。

[0063] 对于一对匹配点，假设已知它们在侧前样本图像、侧后样本图像的坐标分别是P1、P2。由P1和侧前相机的内部参数，可以算出相对侧前相机的一条空间射线Ray1，根据侧前相机和侧后相机之间的旋转关系R0（即预设的初始位置关系参数），可以算出相对侧后相机的一条空间射线Ray2=R0×Ray1，再根据侧后相机的内部参数可以计算出P2’（即离线标定特征点）。

[0064] S208‑2：根据离线标定特征点和侧后匹配特征点，构建代价函数： ；其中，Loss为代价函数； 为侧后匹配特征点； 为离线标定特征点。

[0065] S208‑3：用Levenberg‑Marquardt非线性优化法，优化初始位置关系参数，使代价函数为最小值，计算得到离线位置关系参数。

[0066] 具体地，对于所有匹配点对，都可以计算出P2’，求P2’和P2的差，并求和就能构建出一个代价函数，利用Levenberg‑Marquardt非线性优化法对两个相机之间的位置关系参数进行优化，使得Loss最小，最终计算出侧前相机、侧后相机间的旋转关系R1（即离线位置关系参数）。

[0067] 到此，离线标定过程结束，离线标定过程包括对相机内部参数和外部参数（即位置关系参数、旋转关系参数）的标定。外参标定的主要目的是确定两个相机间的位置关系，由于相机是共光心安装的，相机间没有平移，只需要确定两个相机之间的旋转关系（通常用四元数或者一个3*3的矩阵来描述）。离线标定结束后，进行在线标定过程。

[0068] 步骤S210，根据侧前相机内部参数中的畸变函数，畸变校正在线采集的初始侧前图像，得到侧前目标图像；根据侧后相机内部参数中的畸变函数，畸变校正在线采集的初始侧后图像，得到侧后目标图像。

[0069] 具体地，上述过程指的是根据内部参数中的畸变系数对图像采集装置的图像采集结果进行畸变校正，得到目标图像。

[0070] 步骤S212，在距离离线标定特征点的预设的范围内，获取侧前目标图像和侧后目标图像之间目标匹配点对；其中，离线标定特征点是基于离线位置关系得到的。

[0071] 具体地，离线标定过程可以确定初始的两个相机间的旋转关系R1，对于一个特征点P1可以计算出P2’，P2’可以作为一个初始值，在线确认目标匹配点对的过程只需要在P2’附近（预设的距离范围内）寻找匹配点对（即目标匹配点对），从而减少了在线标定过程的计算量。

[0072] 具体地，详细的确定目标匹配点对的步骤可以参考步骤S206‑1至S206‑3，确认目标匹配点对的过程与确认样本匹配点对的过程基本相同，只是在线过程依赖于离线过程的结果，以减少计算量，加快计算速度。

[0073] 步骤S214，基于目标匹配点对，在线非线性优化侧前相机和侧后相机之间的相对位姿关系，得到在线拼接查找表。

[0074] 具体地，上述相对位姿关系即在线过程中侧前相机和侧后相机之间的旋转关系R2，由于车辆行驶震动会导致相机安装位置发生一定的变化，所以需要通过在线标定将此变化量计算出来，并基于R2、变化量，确定在线拼接查找表。

[0075] 具体地，在线非线性优化侧前相机和侧后相机之间的相对位姿关系的详细步骤如下（类似于S208‑1至S208‑3）：

[0076] S214‑1：根据离线位置关系中的离线位置关系参数R1、标定侧前相机内部参数和标定侧后相机内部参数，确定侧前目标图像的侧前匹配特征点在侧后目标图像中所对应的在线标定特征点。

[0077] 对于一对匹配点，假设已知它们在侧前目标图像、侧后目标图像的坐标分别是P3、P4（即目标匹配点对）（获取目标匹配点对的过程为S212）。由P3和侧前相机的内部参数，可以算出相对侧前相机的一条空间射线Ray3，根据侧前相机和侧后相机之间的旋转关系R1，可以算出相对侧后相机的一条空间射线Ray4=R1×Ray3，再根据侧后相机的内部参数可以计算出P4’（即在线标定特征点）。

[0078] S214‑2：根据在线标定特征点和侧后匹配特征点，构建代价函数：；其中，Loss为代价函数； 为目标图像的侧后匹配特征点； 为在线标定特征点。

[0079] S214‑3：用Levenberg‑Marquardt非线性优化法，在线优化离线位置关系参数，使代价函数为最小值，计算得到相对位姿关系。在线优化过程依赖于离线过程的结果，从而减少计算量，加快计算速度。

[0080] 具体地，对于所有目标匹配点对，都可以计算出P4’，求P4’和P4的差，并求和就能构建出一个代价函数，利用Levenberg‑Marquardt非线性优化法，在R1的基础上，对两个相机之间的位置关系参数进行优化，使得Loss最小，最终计算出侧前相机、侧后相机间的旋转关系R2（即在线位置关系参数）。

[0081] 步骤S216，基于预设的权重和在线拼接查找表，融合侧前目标图像和侧后目标图像的重叠的部分，得到重叠区域；根据重叠区域、侧前目标图像以及侧后目标图像，确定拼接图像。

[0082] 具体地，首先利用在线拼接查找表，将侧前图像和侧后图像的重叠区域以一定的权重进行融合，以得到不扭曲变形、不被截断的重叠区域的图像；再将非重叠区域的图像与重叠区域的图像进行拼接，得到最终的拼接图像。

[0083] 具体地，在线拼接查找表记录的是拼接图上每个像素点来自哪个相机（侧前相机或侧后相机）和其在原相机上的像素位置（x0，y0）。在此，只需要有原图（侧前目标图像、侧后目标图像）和在线拼接查找表，就能计算出最终的拼接图像。

[0084] 利用本申请的拼接技术，能够得到兼顾视角和检测距离的图像，能够有效解决自动驾驶感知系统中侧向目标截断和图像扭曲变形的问题。本申请将在线标定过程与离线标定过程进行配合，能够提高图像拼接的效率。

[0085] 实施例3：

[0086] 本发明提供一种侧向图像的拼接装置，如图3所示，上述装置包括：

[0087] 离线标定模块31，用于根据预先采集的侧前样本图像、侧后样本图像以及侧前相机和侧后相机之间的预设的初始的位置关系参数，确定离线位置关系；其中，侧前样本图像由侧前相机拍摄，侧后样本图像由侧后相机拍摄。

[0088] 在线标定模块32，用于基于离线位置关系、在线采集的侧前目标图像和侧后目标图像，标定侧前相机和侧后相机之间的位置关系参数，得到在线拼接查找表；其中，侧前目标图像由侧前相机拍摄，侧后目标图像由侧后相机拍摄。

[0089] 拼接模块33，用于根据在线拼接查找表，对侧前目标图像和侧后目标图像进行拼接，得到拼接图像。

[0090] 本发明实施例所提供的侧向图像的拼接装置，其实现原理及产生的技术效果和前述的侧向图像的拼接方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

[0091] 实施例4：

[0092] 本发明提供一种侧向图像的拼接系统，上述系统应用于前述实施方式任一项的侧向图像的拼接方法。

[0093] 如图4所示，上述侧向图像的拼接系统40包括：侧前相机41、侧后相机42、相机支架43和服务器44，其中，侧前相机和侧后相机的光心位置相同。

[0094] 上述侧前相机和侧后向相机光心一致，并具有一定的图像重叠范围。

[0095] 如图5所示，为侧前相机、侧后相机、相机支架的安装示意图。相机一般是环状的，上面有凹槽导轨用来固定相机。

[0096] 如图6所示，相机支架在车辆上的安装示意图，车辆的左右对称各安装一个相机支架。

[0097] 本发明实施例所提供的侧向图像的拼接系统，其实现原理及产生的技术效果和前述的侧向图像的拼接方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。

[0098] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。