车辆的全景环视图像生成方法及相关设备转让专利

申请号 : CN201911289818.9

文献号 : CN110719411B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 胡荣东万波彭美华杨凯斌王思娟

申请人 : 长沙智能驾驶研究院有限公司

摘要 :

本申请涉及一种车辆的全景环视图像生成方法及相关设备。该方向的转向角度基于有效特征点对数量最大化的约束条件求得,使相邻车体的有效匹配特征点对数量最大化地,从而使相邻单车体图像拼接效果更好。该方法无需借助硬件设备即可实现转向角度计算,极大地降低了车辆成本。

权利要求 :

1.一种车辆的全景环视图像生成方法,所述方法包括:

将车辆各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像;

检测各所述单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,得到相邻单车体环视图像的特征匹配点对;

获取各单车体环视图像的铰接点坐标;

根据所述铰接点坐标平移各车体部分的前/后单车体环视图像,其中,平移后相邻单车体环视图像中的铰接点重合;

绕所述铰接点旋转各车体部分的前/后单车体环视图像的所述特征匹配点对,获取各旋转角度的所述特征匹配点对的距离满足要求的有效特征点对;其中,所述特征匹配点对的距离满足要求包括:所述特征匹配点对的距离小于距离阈值;

基于所述有效特征点对数量最大化的约束条件,根据对应旋转角度得到相邻车体部分的相对转向角度;

固定相邻单车体环视中的前/后单车体环视图像中的任一个,另一个单车体环视图像绕所述铰接点旋转所述相对转向角度,并拼接旋转后的各所述单车体环视图像,得到车辆的全景环视图像。

2.根据权利要求1所述的方法,其特征在于,绕所述铰接点旋转各车体部分的前/后单车体环视图像的所述特征匹配点对,获取各旋转角度的所述特征匹配点对的距离满足要求的有效特征点对,包括:绕所述铰接点旋转各车体部分的前/后单车体环视图像的特征匹配点对;

计算各旋转角度的特征匹配点对的距离;

将所述特征匹配点对的距离与距离阈值进行比较;

获取各旋转角度的特征匹配点对的距离小于距离阈值的有效特征点对。

3.根据权利要求1所述的方法,其特征在于,基于所述有效特征点对数量最大化的约束条件,根据对应旋转角度得到相邻车体部分的相对转向角度,包括:获取各旋转角度的相邻单车体环视图像的有效特征点对数量;

根据有效特征点对数量最大的相邻单车体环视图像的旋转角度,得到相邻车体部分的相对转向角度。

4.根据权利要求3所述的方法,其特征在于,根据有效特征点对数量最大的相邻单车体环视图像的旋转角度,得到相邻车体部分的相对转向角度,包括:根据有效特征点对数量的最大的相邻单车体环视图像的旋转角度,得到对应的一个或多个粗转向角度;

对各所述粗转向角度对应的相邻单车体环视图像,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度。

5.根据权利要求4所述的方法,其特征在于,对各所述粗转向角度对应的相邻单车体环视图像,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度,包括:根据所述粗转向角度中相邻单车体环视图像的各有效特征点的距离,得到对应的旋转平移矩阵;

根据所述旋转平移矩阵,得到对应的有效特征点对,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度。

6.根据权利要求1所述的方法,其特征在于,确定各单车体环视图像的铰接点坐标的方式,包括:获取车辆各车体部分周界区域在坐标标定时的单车体环视图像;

检测坐标标定时的各所述单车体环视图像的特征点,对坐标标定时的相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对;

对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度;

根据特征匹配点对的坐标,确定坐标标定时的相邻单车体环视图像的平移向量;

根据相邻单车体环图像的所述旋转角度以及所述平移向量,得到铰接点坐标。

7.根据权利要求6所述的方法,其特征在于,根据特征匹配点对的坐标、所述旋转角度以及所述平移向量,得到铰接点坐标,包括:根据坐标标定时多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果;

对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。

8.一种车辆的全景环视图像生成装置,其特征在于,所述装置包括:单车体图像处理模块,用于将车辆各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像;

特征点匹配模块,用于检测各所述单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,得到相邻单车体环视图像的特征匹配点对;

铰接点获取模块,用于获取各单车体环视图像的铰接点坐标;

平移模块,用于根据所述铰接点坐标平移各车体部分的前/后单车体环视图像,其中,平移后相邻单车体环视图像中的铰接点重合;

旋转模块,用于绕所述铰接点旋转各车体部分的前/后单车体环视图像的所述特征匹配点对,获取各旋转角度的所述特征匹配点对的距离满足要求的有效特征点对;其中,所述特征匹配点对的距离满足要求包括:所述特征匹配点对的距离小于距离阈值;

转向角度获取模块,用于基于所述有效特征点对数量最大化的约束条件,根据对应旋转角度得到相邻车体部分的相对转向角度;

拼接处理模块,用于固定相邻单车体环视中的前/后单车体环视图像中的任一个,另一个单车体环视图像绕所述铰接点旋转所述相对转向角度,并拼接旋转后的各所述单车体环视图像,得到车辆的全景环视图像。

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

说明书 :

车辆的全景环视图像生成方法及相关设备

技术领域

[0001] 本申请涉及汽车技术领域,特别是涉及一种车辆的全景环视图像生成方法及相关设备。

背景技术

[0002] 为提高汽车的驾驶的安全,车辆配置了全景环视系统。全景环视系统通过在汽车周围架设能覆盖车辆周边所有视场范围的4到8个广角摄像头,对同一时刻采集到的多路视频影像处理成一幅车辆周边360度的车身俯视图,最后在中控台的屏幕上显示,让驾驶员清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离。
[0003] 对于有多个车体部分的车俩,如包括车头和车厢部分的半挂车,有多节车厢的多编组列车等,其全景环视图像是拼接全部车体部分的环视图像得到的。而这种车辆在行驶过程中各车体部分的角度实时变化,在拼接时需要根据转向角度调整相应车体部分的环视图像。传统的方法采用角度传感器获得车辆的各车体部分的转向角度,但该方法需要借助传感器实现,成本较高。

发明内容

[0004] 基于此,有必要针对上述技术问题,提供一种能够降低成本的车辆的全景环视图像生成方法及相关设备。
[0005] 一种车辆的全景环视图像生成方法,所述方法包括:
[0006] 将车辆各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像;
[0007] 检测各所述单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,得到相邻单车体环视图像的特征匹配点对;
[0008] 获取各单车体环视图像的铰接点坐标;
[0009] 根据所述铰接点坐标平移各车体部分的前/后单车体环视图像,其中,平移后相邻单车体环视图像中的铰接点重合;
[0010] 绕所述铰接点旋转各车体部分的前/后单车体环视图像的所述特征匹配点对,获取各旋转角度的所述特征匹配点对的距离满足要求的有效特征点对;
[0011] 基于所述有效特征点对数量最大化的约束条件,得到相邻车体部分的相对转向角度;
[0012] 固定相邻单车体环视中的前/后单车体环视图像中的任一个,另一个单车体环视图像绕所述铰接点旋转所述相对转向角度,并拼接旋转后的各所述单车体环视图像,得到车辆的全景环视图像。
[0013] 在一个实施例中,绕所述铰接点旋转各车体部分的前/后单车体环视图像的所述特征匹配点对,获取各旋转角度的所述特征匹配点对的距离满足要求的有效特征点对,包括:
[0014] 绕所述铰接点旋转各车体部分的前/后单车体环视图像的特征匹配点对;
[0015] 计算各旋转角度的特征匹配点对的距离;
[0016] 将所述特征匹配点对的距离与距离阈值进行比较;
[0017] 获取各旋转角度的特征匹配点对的距离小于距离阈值的有效特征点对。
[0018] 在一个实施例中,基于所述有效特征点对数量最大化的约束条件,得到相邻车体部分的相对转向角度,包括:
[0019] 获取各旋转角度的相邻单车体环视图像的有效特征点对数量;
[0020] 根据有效特征点对数量最大的相邻单车体环视图像的旋转角度,得到相邻车体部分的相对转向角度。
[0021] 在一个实施例中,根据有效特征点对数量最大的相邻单车体环视图像的旋转角度,得到相邻车体部分的相对转向角度,包括:根据有效特征点对数量的最大的相邻单车体环视图像的旋转角度,得到对应的一个或多个粗转向角度;
[0022] 对各所述粗转向角度对应的相邻单车体环视图像,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度。
[0023] 在一个实施例中,对各所述粗转向角度对应的相邻单车体环视图像,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度,包括:
[0024] 根据所述粗转向角度中相邻单车体环视图像的各有效特征点的距离,得到对应的旋转平移矩阵;
[0025] 根据所述旋转平移矩阵,得到对应的有效特征点对,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度。
[0026] 在一个实施例中,确定各单车体环视图像的铰接点坐标的方式,包括:
[0027] 获取车辆各车体部分周界区域在坐标标定时的第二单车体环视图像;
[0028] 检测坐标标定时的各所述第二单车体环视图像的特征点,对坐标标定时的相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对;
[0029] 对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度;
[0030] 根据特征匹配点对的坐标,确定坐标标定时的相邻单车体环视图像的平移向量;
[0031] 根据相邻单车体环图像的所述旋转角度以及所述平移向量,得到铰接点坐标。
[0032] 在一个实施例中,根据特征匹配点对的坐标、所述旋转角度以及所述平移向量,得到铰接点坐标,包括:
[0033] 根据坐标标定时多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果;
[0034] 对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
[0035] 一种车辆的全景环视图像生成装置,所述装置包括:
[0036] 单车体图像处理模块,用于将车辆各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像;
[0037] 特征点匹配模块,用于检测各所述单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,得到相邻单车体环视图像的特征匹配点对;
[0038] 铰接点获取模块,用于获取各单车体环视图像的铰接点坐标;
[0039] 平移模块,用于根据所述铰接点坐标平移各车体部分的前/后单车体环视图像,其中,平移后相邻单车体环视图像中的铰接点重合;
[0040] 旋转模块,用于绕所述铰接点旋转各车体部分的前/后单车体环视图像的所述特征匹配点对,获取各旋转角度的所述特征匹配点对的距离满足要求的有效特征点对;
[0041] 转向角度获取模块,用于基于所述有效特征点对数量最大化的约束条件,得到相邻车体部分的相对转向角度;
[0042] 拼接处理模块,用于固定相邻单车体环视中的前/后单车体环视图像中的任一个,另一个单车体环视图像绕所述铰接点旋转所述相对转向角度,并拼接旋转后的各所述单车体环视图像,得到车辆的全景环视图像。
[0043] 一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
[0044] 一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的方法的步骤。
[0045] 上述车辆的全景环视图像生成方法、装置、计算机设备和存储介质,转向角度基于有效特征点对数量最大化的约束条件求得,使相邻车体的有效匹配特征点对数量最大化地,从而使相邻单车体图像拼接效果更好。该方法无需借助硬件设备即可实现转向角度计算,极大地降低了车辆成本。

附图说明

[0046] 图1为一个实施例中车辆的全景环视图像生成方法的应用环境图。
[0047] 图2为一个实施例中车辆的全景环视图像生成方法的流程示意图。
[0048] 图3为一个实施例中拼接单车体的环视图像的步骤的流程示意图。
[0049] 图4为另一个实施例中确定相邻前后车体部分的铰接点坐标的步骤的流程示意图。
[0050] 图5为一个实施例中车辆的全景环视图像生成装置的结构框图。
[0051] 图6为一个实施例中计算机设备的内部结构图。

具体实施方式

[0052] 为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
[0053] 本申请提供的车辆的全景环视图像生成方法,可以应用于如图1所示的应用环境中。如图1所示的车辆,包括车头和车厢两个车体部分,各车体部分通过铰接件连接。车头安装有车辆控制器102,各车体部分的周围架设有广角摄像头,如安装在车头顶部前方的广角摄像头201,车头顶部左右两侧的广角摄像头202和203,安装在车厢顶部后方的广角摄像头301,以及车厢顶部左侧广角摄像头202和右侧广角摄像头203。可以理解的是,对于其它包括多个车体部分的车辆,可根据车辆实际情况设置摄像头的位置,例如多编组车辆,第一节车厢部分的顶部前方以及左右两侧分别设置有广角摄像头,在中间车厢部分的顶部左右两侧分别设置有广角摄像头,在最后一节车厢部分的顶部后方以左右两侧分别设置广角摄像头。各广角摄像头与车辆控制器通过系统总线或网络连接,广角摄像头与车辆控制器进行通信,将采集的视角范围内的图像发送至车辆控制器。
[0054] 车辆控制器将车辆各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像;检测各单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,得到相邻单车体环视图像的特征匹配点对;获取各单车体环视图像的铰接点坐标;根据铰接点坐标平移各车体部分的前/后单车体环视图像,其中,平移后相邻单车体环视图像中的铰接点重合;绕铰接点旋转各车体部分的前/后单车体环视图像的所述特征匹配点对,获取各旋转角度的特征匹配点对的距离满足要求的有效特征点对;基于有效特征点对数量最大化的约束条件,得到相邻车体部分的相对转向角度;固定相邻单车体环视中的前/后单车体环视图像中的任一个,另一个单车体环视图像绕铰接点旋转相对转向角度,并拼接旋转后的各单车体环视图像,得到车辆的全景环视图像。
[0055] 其中,车辆的各部分通过铰接件连接。车辆包括但不限于半挂车和多编组列车。
[0056] 在一个实施例中,如图2所示,提供了一种车辆的全景环视图像生成方法,以该方法应用于图1中的车辆控制器为例进行说明,包括以下步骤:
[0057] 步骤202,将车辆各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像。
[0058] 其中,车辆各车体部分的顶部前方/后方以及左右两侧安装有广角摄像头,采集得到对应视角范围的图像。广角摄像头是指摄像机采用广角镜头。广角镜头的特点是,镜头视角大,视野宽阔。从某一视点观察到的景物范围要比人眼在同一视点所看到的大得多。摄像机照射范围的最下端到最上端以摄像机镜头为圆心点的一个扇形角的角度度数,也就是镜头的角度大小。镜头的角度大小决定了照射范围,镜头角度越广,可视的范围就越大。一个实施例中,车辆安装的180度的广角摄像头,能够采集其安装位置180度范围内的图像。
[0059] 将车辆在行驶过程中的各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像。即,单车体环视图像是指对一个车体部分的所有摄像头的鸟瞰图拼接得到的该车体部分周界区域的环视图像。例如,以图1所示的车头部分为例,拼接摄像头201的车头前方区域的鸟瞰图像,摄像头202的车头左侧区域的鸟瞰图像以及摄像头203的车头右侧区域的鸟瞰图像,得到车头部分周界区域的环视图像。单车体环视图像的数量与车辆车体部分的数量相同。例如,多编组车辆具有8节车厢,每一节车厢即是一个车体部分,则可分别得到8节车厢对应的单车体环视图像。又例如,半挂车具有车头和车厢两个车体部分,则可分别得到车头和车厢对应的单车体环视图像。
[0060] 具体地,如图3所示,拼接单车体的环视图像的步骤,即将车辆各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像,包括以下步骤:
[0061] S302,获取车辆的各摄像头采集的原始图像。
[0062] S304,对原始图像进行畸变矫正,得到各摄像头的原始图像对应的矫正图像。
[0063] 广角摄像头采集的原始图像具有一种透视畸变形式的特征。例如,广角摄像头采集的人像,被摄对象的鼻子与面部的其它器官相比会显得出奇的大。为了消除这种畸变,需要对广角摄像头采集的原始图像进行畸变矫正处理。具体地,利用广角摄像头标定的摄像头参数和畸变矫正参数对原始图像进行矫正处理,得到各原始图像对应的矫正图像。其中,摄像头参数和畸变矫正参数根据广角摄像头的内部结构和建立的畸变模型确定。
[0064] S306,根据各车体部分摄像头之间的外参标定,将不同摄像头的矫正图像投影到大地坐标系下变成鸟瞰图,得到各矫正图对应的鸟瞰图。
[0065] 具体地,预先在在各个摄像头下摆放标定物,分别实现各车体部分之间的外参标定。以半挂车为例,通过在各个摄像头下摆放标定物,分别实现车头摄像头之间和车厢摄像头之间的外参标定。将不同摄像头的图像投影到大地坐标系下变成鸟瞰图,并生成矫正图到鸟瞰图之间的映射关系,得到各矫正图对应的鸟瞰图。
[0066] S308,对相邻摄像头的鸟瞰图中进行特征点匹配,将各车体部分的所有鸟瞰图拼接,并对重叠区域采用加权融合方法消除拼接缝,得到各车体部分的拼接环视图像。
[0067] 具体地,对每个车体部分的相邻摄像头的鸟瞰图的重叠区域进行特征点匹配,其中,特征点检测方法包括但不局限于orb、surf、sift等常用特征点检测算法。特征点搜索匹配算法包括但不局限于暴力匹配算法、最近邻匹配算法。特征点匹配对筛选方法包括但不局限与RANSAC、GMS等算法。根据特征点将相邻摄像头的鸟瞰图进行拼接。在相邻摄像头图像接缝处,划定过渡区域,采用加权融合的方法,消除接拼缝,得到各车体部分的拼接环视图像。
[0068] S310,对各车体部分的拼接环视图像进行裁剪,得到各车体部分周界区域的单车体环视图像。
[0069] 具体地,对于各车体部分的拼接环视图像,根据需求裁剪感兴趣区域,使图像大小符合屏幕显示范围,以在屏幕上显示。本实施例中,根据需求裁剪拼接环视图像的边框,得到车体部分周界区域的单车体环视图像。
[0070] 通过上述步骤,处理得到每个车体部分的环视图像。以图1的车辆为例,分别得到对摄像头201、202和203采集的图像进行处理和接接,得到车头周界区域,包括车头前方、左侧方和右侧方的环视图像。对摄像头301,302和302采集的图像进行处理和接接,得到车厢周界区域,包括车厢后方、左侧方和右侧方的环视图像。以多编组列车为例,采用上述步骤,分别得到第一节车厢周界区域,包括车头前方、左侧方和右侧方的环视图像,中间车厢周界区域,包括车厢左侧方和右侧方的环视图像,最后一节车厢周界区域,包括车厢后方、左侧方和右侧方的环视图像。
[0071] 请继续参阅图2,在获取各车体部分周界区域的单车体环视图像之后,执行:
[0072] 步骤S204,检测各单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,得到相邻单车体环视图像的特征匹配点对。
[0073] 特征点是指是指图像中具有鲜明特性并能够有效反映图像本质特征能够标识图像中目标物体的点。一个图像的特征点由两部分构成:关键点(Keypoint)和描述子(Descriptor)。关键点指的是该特征点在图像中的位置、方向和尺度信息。描述子通常是一个向量,按照人为的设计的方式,描述关键点周围像素的信息。通常描述子是按照外观相似的特征应该有相似的描述子设计的。因此,在匹配的时候,只要两个特征点的描述子在向量空间的距离相近,就可以认为它们是同一个特征点。
[0074] 具体地,提取各单车体环视图像的关键点,根据关键点的位置,计算特征点的描述子,根据特征点的描述子,对相邻单车体环视图像的特征点进行匹配,获取相邻单车体环视图像的特征匹配点对。
[0075] 一个实施例中,使用暴力匹配算法,该算法在向量空间中,将相邻单车体环视图像特征点的描述子一一比较,选择距离较小的一对作为匹配点对。
[0076] S206,获取各单车体环视图像的铰接点坐标。
[0077] 本实施例中,车辆的相邻前后车体部分通过铰接件连接。各单车体环视图像的铰接点坐标通过预先处理得到,并作为车辆的配置参数。本实施例中,从车辆的配置参数中各单车体环视图像的铰接点坐标。具体地,各单车体环视图像的铰接点坐标可利用工具测量得到,还通过软件方法对车辆在理想路面行驶采集的图片进行处理标定得到。
[0078] 具体地,确定各单车体环视图像的铰接点坐标的方式,如图4所示,包括以下步骤:
[0079] S402,获取车辆各车体部分周界区域在坐标标定时的单车体环视图像。
[0080] 坐标标定时的单车体环视图像是指在坐标标定状态时对车辆各车体部分的所有摄像头的鸟瞰图进行拼接处理,得到的各车体部分的环视图像。标定状态是标定车辆铰接点坐标的阶段。在标定状态,车辆行驶在理想路面并转动行驶。在理想地面,地面平坦,图像的特征点明显,有利用特征点匹配。对于每次旋转时的车辆的各车体部分,采用前面所提到方法,对车辆的各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像,此处不再赘述。
[0081] S404,检测坐标标定时的各单车体环视图像的特征点,对坐标标定时的相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对。
[0082] 对于坐标标定时的单车体环视图像的特征点检测以及特征点匹配可采用前面所提到的全景环视图像处理时对实时单车体环视图像相同的方法进行处理,得到各旋转角度的相邻单车体环视图像的特征匹配点对。此处不再赘述。
[0083] S406,对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度。
[0084] 具体地,可采用随机采样一致算法(RANSAC)或最小中值法(LMedS),剔除相邻单车体环视图像的特征匹配点对。以随机采样一致算法为例进行说明。具体地从已求得的配准点对中抽取几对配准点,计算变换旋转平移矩阵,并将这几对点记录为“内点”。继续寻找配准点对中的非内点,若这些配准点对符合矩阵,则将其添加到内点。当内点中的点对数大于设定阈值时,则判定此矩阵为精确的变换矩阵。依照以上方法,随机采样N次,选取内点数最大集合,剔除非内点等误配点对。只有在经过剔除误匹配点后,才能利用内点中正确的匹配对求出正确的变换旋转平移矩阵。根据正确的变换旋转平移矩阵,获得相邻车体部分的旋转角度 … 。
[0085] S408,根据特征匹配点对的坐标,确定坐标标定时的相邻单车体环视图像的平移向量。
[0086] 具体地,设 为前单车体部分铰接点坐标, 为后单车体部分铰接点坐标, 为前单车体环视图像的特征点坐标, 为后单车体环视图像的中与
匹配的特征点坐标,为相邻车体部分的旋转角度,则
[0087] (1)
[0088] 将式(1)拆解得式(2)
[0089] (2)
[0090] 平移向量即相邻单车体环视图像的特征从一个图像平移至另一个图像的平移参数,例如,匹配点对中的特征点从前单车体环视图像平移至后单车体环视图像的平移参数。又例如,前车体部分的铰接点平移至后车体部分的铰接点的平移参数。
[0091] 即,前单车体部分环视图像的特征点 至后单车体部分环视图像匹配的特征点 的平移向量 为 ,取每一对图像中各特征点对进行计算取所有平移向量 的中值 代入式(2)得
[0092] (3)
[0093] S410,根据相邻单车体环视图像的旋转角度以及平移向量,得到铰接点坐标。
[0094] 通常认为相邻单车体环视图像的平移向量是固定的,汽车在行驶过程中,相邻车体部分的转向角度变化导致相邻单车体环视图像的相对转向角度变化。可以利用 个角度和 组平移向量代入,计算得 ,求解公式如下:
[0095] (4)
[0096] 考虑到,若 个角度中存在若干个异常值,则对结果会产生较大的影响,因此考虑其他求解方式。具体如下:
[0097] 假设在 个角度和 个平移向量中随机选取两组角度和两组平移向量,同时为了使得所求的结果更具备鲁棒性,所选角度应该满足  (其中 为固定常数,为预设值),即任意两个旋转角度的角度差大于预设值。因此对任意一组角度 和平移参数有
[0098] (5)
[0099] 求解得到一组解 ,则 组 角度 和 组平移参数,可以求得 组解:
[0100] (6)
[0101] 对这 组解进行排序,排序结果呈高斯分布,取排序结果中的中值作为铰接点坐标的最终解。即根据坐标标定时多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果,对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
[0102] 本实施例中,通过利用标定状态时车辆在理想路面行驶时各摄像头采集的图像处理得单车体环视图像,根据相邻单车体环视图像的特征点匹配结果,计算得到相邻车体的转向角度,进一步基于转向角度,利用两幅图中特征匹配点对的平移向量不变这一特征,以及特征匹配点对在相邻单车体环视图像与平移向量之间的关系,求得铰接点坐标。该方法操作简单可靠,无需借助其它工具即可实现铰接点坐标标定,节省了人力成本以及物力。铰接点是半挂车这类车型的重要动力学参数,准确地测量铰接点坐标有利于车辆主动安全系统的相关应用开发,如全景环视系统、主动转向控制和倒车系统。
[0103] 请继续参阅图2,在步骤S206获取相邻前后车体部分的铰接点坐标之后,执行步骤[0104] S208,根据铰接点坐标平移各车体部分的前/后单车体环视图像,其中,平移后相邻单车体环视图像中的铰接点重合。
[0105] 本实施例中平移的单车体环视图像是指对车辆在实际行驶过程中各摄像头采集图像处理得到的实时单车体环视图像。平移是指将前单车体环视图像或后单车体环视图像整体移动,使相邻单车体环视图像中的铰接点重合。其中,可以平移相邻单车体环视图像的任意一方,而对于多编组列车,平移的对象应当统一,例如,统一平移前单车体环视图像,或统一平移后单车体环视图像。以半挂车为例,可以平移车头环视图像或是车厢环视图像,使车头环视图像和车厢环视图像的铰接点重合。对于多节车厢的列车,可以统一移动相邻单车体环视图像中的前车体部分的环视图像,或是统一移动相邻单车体环视图像中的后车体部分的环视图像。
[0106] S210,绕铰接点旋转各车体部分的前/后单车体环视图像的特征匹配点对,获取各旋转角度的特征匹配点对的距离满足要求的有效特征点对。
[0107] 具体地,绕铰接点旋转各车体部分的前/后单车体环视图像的特征匹配点对到一个角度,如90度。对于旋转过程中每一角度的特征匹配点对进行遍历。假设遍历的步长为1度,则得到1-90度旋转角度的90组相邻单车体环视图像的特征匹配点对。对于每一组相邻单车体环视图像的特征匹配点对,计算特征匹配点对的距离。可以理解的是,旋转角度越接近前后车体实际转向角度,则该旋转角度对应的相邻单车体环视图像的特征匹配点对之间的距离越近,甚至重合。故,可获取旋转后相邻单车体环视图像中的特征匹配点对的距离满足要求的有效特征点对,根据最大有效特征点对数量的对应的相邻单车体环视图像的旋转角度,得到后车体部分相对于前车体部分的转向角度。
[0108] 具体地,设前单车体环视图像检测到的特征点坐标为 ,后单车体环视图像检测到与 对应匹配的特征点坐标为 ,为相邻单车体环视图像检测到有效特征点对的距离。
[0109] (7)
[0110] 其中 为两组2D点集之间的2x3旋转平移矩阵。设 为后车体部分相对于前车体部分的转向角度,即相邻单车体环视图像的旋转角度, 为后单车体环视图像的铰接点相对前单车体环视图像铰接点的平移向量。
[0111] (8)
[0112] 当相邻单车体环视图像检测到有效特征点对的距离 小于设定阈值 时,则认为特征点匹配成功,得到有效特征点对,如下所示:
[0113] (9)
[0114] S212,基于所述有效特征点对数量最大化的约束条件,得到相邻车体部分的相对转向角度。
[0115] 其中 可以表示为:
[0116] (10)
[0117] 则匹配成功的有效特征点对数量
[0118] (11)
[0119] 其中 为相邻单车体环视图像中的特征匹配点对的数量。则最大化有效特征点对数量计算获得转向角 结果为:
[0120] (12)
[0121] 具体地,基于有效特征点对数量最大化的约束条件,得到相邻车体部分的相对转向角度,包括:获取各旋转角度的相邻单车体环视图像的有效特征点对数量;根据有效特征点对数量最大的相邻单车体环视图像的旋转角度,得到相邻车体部分的相对转向角度。其中,根据有效特征点对数量最大的相邻单车体环视图像的旋转角度,得到相邻车体部分的相对转向角度,包括:根据有效特征点对数量的最大的相邻单车体环视图像的旋转角度,得到对应的一个或多个粗转向角度,对各粗转向角度对应的相邻单车体环视图像,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度。
[0122] 具体地,根据有效特征点对数量的最大的相邻单车体环视图像的旋转角度,得到一个或多个粗转向角度。将粗转向角度 代入式(8)中获得每个粗转向角度的旋转平移矩阵H。将各旋转平移矩阵H代入式(10),获得满足式(10)的匹配成功特征点集合K。则最小化有效特征点对距离计算输出转向角 结果为:
[0123] , (13)
[0124] 该计算转向角度的方法,在粗计算得到的转向角度的基础上,进一步基于约束条件精细计算,输出结果的鲁棒性的精度更高。
[0125] 本实施例中,转向角度无需借助硬件设备,利用摄像头采集的图像即可确定,降低了车辆的成本以及后续的维护成本。
[0126] S214,固定相邻单车体环视中的前/后单车体环视图像中的任一个,其中另一个单车体环视图像绕铰接点旋转相对转向角度,并拼接旋转后的各单车体环视图像,得到车辆的全景环视图像。
[0127] 具体地,固定相邻单车体环视中的前/后单车体环视图像中的任一个,另一个单车体环视图像绕铰接点旋转相对转向角度,根据车体部分顺序,拼接调整后的各单车体环视图像,得到车辆的全景环视图像。
[0128] 固定相邻单车体环视中的前/后单车体环视图像中的任一个,其中另一个单车体环视图像绕铰接点旋转相对转向角度,以使相邻单车体环视图像的重叠区域重合。可以旋转相邻单车体环视图像的任意一方,而对于多编组列车,旋转的对象应当统一,例如,统一旋转前单车体环视图像,或统一旋转后单车体环视图像。以半挂车为例,可以旋转多车头环视图像或是车厢环视图像,使车头环视图像和车厢环视图像的重叠区域重合。对于多节车厢的列车,可以统一旋转相邻单车体环视图像中的前车体部分的环视图像,或是统一旋转相邻单车体环视图像中的后车体部分的环视图像。在一个半挂车的应用场景中,车头相对较小,车厢相对较大,车厢环视图像相对较大,为了美观,固定车厢图像,旋转车头环视图像。
[0129] 拼接时,以行车方向为参照,根据车体部分的先后顺序,依次拼接各单车体环视图像,得到车辆的全景环视图像。对于拼接的车辆的全景全环图像,对于重叠区域进行搜索缝合线,再对缝合线附近进行加权融合算法以消除拼接缝,最终获得整车全景拼接图像。
[0130] 上述的车辆的全景环视图像生成方法,转向角度基于有效特征点对数量最大化的约束条件求得,使相邻车体的有效匹配特征点对数量最大化,从而使相邻单车体图像拼接效果更好。该方法无需借助硬件设备即可实现转向角度计算,极大地降低了车辆成本。
[0131] 应该理解的是,虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0132] 在一个实施例中,如图5所示,提供了一种车辆的全景环视图像生成装置,包括:
[0133] 单车体图像处理模块501,用于将车辆各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像。
[0134] 特征点匹配模块502,用于检测各单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,得到相邻单车体环视图像的特征匹配点对。
[0135] 铰接点获取模块503,用于获取各单车体环视图像的铰接点坐标。
[0136] 平移模块504,用于根据铰接点坐标平移各车体部分的前/后单车体环视图像,其中,平移后相邻单车体环视图像中的铰接点重合。
[0137] 旋转模块505,用于绕铰接点旋转各车体部分的前/后单车体环视图像的特征匹配点对,获取各旋转角度的特征匹配点对的距离满足要求的有效特征点对。
[0138] 转向角度获取模块506,用于基于有效特征点对数量最大化的约束条件,得到相邻车体部分的相对转向角度。
[0139] 拼接处理模块507,用于固定相邻单车体环视中的前/后单车体环视图像中的任一个,另一个单车体环视图像绕铰接点旋转相对转向角度,并拼接旋转后的各单车体环视图像,得到车辆的全景环视图像。
[0140] 在一个实施例中,旋转模块,包括:
[0141] 旋转处理模块,用于绕铰接点旋转各车体部分的前/后单车体环视图像的特征匹配点对。
[0142] 距离计算模块,用于计算各旋转角度的特征匹配点对的距离。
[0143] 比较模块,用于将特征匹配点对的距离与距离阈值进行比较。
[0144] 有效特征点对获取模块,用于获取各旋转角度的特征匹配点对的距离小于距离阈值的有效特征点对。
[0145] 在另一个实施例中,转向角度获取模块,包括:
[0146] 有效特征点对数量获取模块,用于获取各旋转角度的相邻单车体环视图像的有效特征点对数量。
[0147] 转向角确定模块,根据有效特征点对数量最大的相邻单车体环视图像的旋转角度,得到相邻车体部分的相对转向角度。
[0148] 在另一个实施例中,转向角度获取模块,还包括粗选模块,根据有效特征点对数量的最大的相邻单车体环视图像的旋转角度,得到对应的一个或多个粗转向角度。
[0149] 转向角确定模块,用于对各粗转向角度对应的相邻单车体环视图像,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度。
[0150] 在另一个实施例中,转向角确定模块,用于根据粗转向角度中相邻单车体环视图像的各有效特征点的距离,得到对应的旋转平移矩阵;根据旋转平移矩阵,得到对应的有效特征点对,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度。
[0151] 在另一个实施例中,还包括:
[0152] 标定环视图像获取模块,用于获取车辆各车体部分周界区域在坐标标定时的单车体环视图像。
[0153] 标定特征检测模块,用于检测坐标标定时的各单车体环视图像的特征点,对坐标标定时的相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对。
[0154] 旋转角度获取模块,用于对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度。
[0155] 平移向量获取模块,用于根据特征匹配点对的坐标,确定坐标标定时的相邻单车体环视图像的平移向量。
[0156] 铰接点坐标获取模块,用于根据相邻单车体环视图像的旋转角度以及平移向量,得到铰接点坐标。
[0157] 在另一个实施例中,铰接点坐标获取模块,用于根据坐标标定时的多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果,对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
[0158] 在另一个实施例中,任意两个旋转角度的角度差大于预设值。
[0159] 上述车辆的全景环视图像生成装置,转向角度基于有效特征点对数量最大化的约束条件求得,使相邻车体的有效匹配特征点对数量最大化地,从而使相邻单车体图像拼接效果更好。该方法无需借助硬件设备即可实现转向角度计算,极大地降低了车辆成本。
[0160] 关于车辆的全景环视图像生成置的具体限定可以参见上文中对于车辆的全景环视图像生成方法的限定,在此不再赘述。上述车辆的全景环视图像生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0161] 在一个实施例中,提供了一种计算机设备,该计算机设备可以是车辆控制器或车辆总控,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种车辆的全景环视图像生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0162] 本领域技术人员可以理解,图6中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0163] 在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
[0164] 将车辆各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像;
[0165] 检测各单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,得到相邻单车体环视图像的特征匹配点对;
[0166] 获取各单车体环视图像的铰接点坐标;
[0167] 根据铰接点坐标平移各车体部分的前/后单车体环视图像,其中,平移后相邻单车体环视图像中的铰接点重合;
[0168] 绕铰接点旋转各车体部分的前/后单车体环视图像的特征匹配点对,获取各旋转角度的特征匹配点对的距离满足要求的有效特征点对;
[0169] 基于有效特征点对数量最大化的约束条件,得到相邻车体部分的相对转向角度;
[0170] 固定相邻单车体环视中的前/后单车体环视图像中的任一个,另一个单车体环视图像绕铰接点旋转相对转向角度,并拼接旋转后的各单车体环视图像,得到车辆的全景环视图像。
[0171] 在一个实施例中,绕铰接点旋转各车体部分的前/后单车体环视图像的特征匹配点对,获取各旋转角度的特征匹配点对的距离满足要求的有效特征点对,包括:
[0172] 绕铰接点旋转各车体部分的前/后单车体环视图像的特征匹配点对;
[0173] 计算各旋转角度的特征匹配点对的距离;
[0174] 将特征匹配点对的距离与距离阈值进行比较;
[0175] 获取各旋转角度的特征匹配点对的距离小于距离阈值的有效特征点对。
[0176] 在一个实施例中,基于有效特征点对数量最大化的约束条件,得到相邻车体部分的相对转向角度,包括:
[0177] 获取各旋转角度的相邻单车体环视图像的有效特征点对数量;
[0178] 根据有效特征点对数量最大的相邻单车体环视图像的旋转角度,得到相邻车体部分的相对转向角度。
[0179] 在一个实施例中,根据有效特征点对数量的最大的相邻单车体环视图像的旋转角度,得到对应的一个或多个粗转向角度;
[0180] 对各粗转向角度对应的相邻单车体环视图像,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度。
[0181] 在一个实施例中,对各粗转向角度对应的相邻单车体环视图像,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度,包括:
[0182] 根据粗转向角度中相邻单车体环视图像的各有效特征点的距离,得到对应的旋转平移矩阵;
[0183] 根据旋转平移矩阵,得到对应的有效特征点对,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度。
[0184] 在一个实施例中,该处理器执行计算机程序时还实现以下步骤:
[0185] 获取车辆各车体部分周界区域在坐标标定时的单车体环视图像;
[0186] 检测在坐标标定时的各单车体环视图像的特征点,对坐标标定时的相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对;
[0187] 对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度;
[0188] 根据特征匹配点对的坐标,确定坐标标定时的相邻单车体环视图像的平移向量;
[0189] 根据相邻单车体环图像的旋转角度以及平移向量,得到铰接点坐标。
[0190] 在一个实施例中,根据特征匹配点对的坐标、旋转角度以及平移向量,得到铰接点坐标,包括:
[0191] 根据坐标标定时的多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果;
[0192] 对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
[0193] 在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
[0194] 将车辆各摄像头采集的图像进行处理得到鸟瞰图,拼接各车体部分所有摄像头的鸟瞰图得到对应车体部分周界区域的单车体环视图像;
[0195] 检测各单车体环视图像的特征点,对相邻单车体环视图像进行特征点匹配,得到相邻单车体环视图像的特征匹配点对;
[0196] 获取各单车体环视图像的铰接点坐标;
[0197] 根据铰接点坐标平移各车体部分的前/后单车体环视图像,其中,平移后相邻单车体环视图像中的铰接点重合;
[0198] 绕铰接点旋转各车体部分的前/后单车体环视图像的特征匹配点对,获取各旋转角度的特征匹配点对的距离满足要求的有效特征点对;
[0199] 基于有效特征点对数量最大化的约束条件,得到相邻车体部分的相对转向角度;
[0200] 固定相邻单车体环视中的前/后单车体环视图像中的任一个,另一个单车体环视图像绕铰接点旋转相对转向角度,并拼接旋转后的各单车体环视图像,得到车辆的全景环视图像。
[0201] 在一个实施例中,绕铰接点旋转各车体部分的前/后单车体环视图像的特征匹配点对,获取各旋转角度的特征匹配点对的距离满足要求的有效特征点对,包括:
[0202] 绕铰接点旋转各车体部分的前/后单车体环视图像的特征匹配点对;
[0203] 计算各旋转角度的特征匹配点对的距离;
[0204] 将特征匹配点对的距离与距离阈值进行比较;
[0205] 获取各旋转角度的特征匹配点对的距离小于距离阈值的有效特征点对。
[0206] 在一个实施例中,基于有效特征点对数量最大化的约束条件,得到相邻车体部分的相对转向角度,包括:
[0207] 获取各旋转角度的相邻单车体环视图像的有效特征点对数量;
[0208] 根据有效特征点对数量最大的相邻单车体环视图像的旋转角度,得到相邻车体部分的相对转向角度。
[0209] 在一个实施例中,根据有效特征点对数量的最大的相邻单车体环视图像的旋转角度,得到对应的一个或多个粗转向角度;
[0210] 对各粗转向角度对应的相邻单车体环视图像,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度。
[0211] 在一个实施例中,对各粗转向角度对应的相邻单车体环视图像,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度,包括:
[0212] 根据粗转向角度中相邻单车体环视图像的各有效特征点的距离,得到对应的旋转平移矩阵;
[0213] 根据旋转平移矩阵,得到对应的有效特征点对,基于有效特征点对距离最小化的约束条件,得到相邻车体部分的相对转向角度。
[0214] 在一个实施例中,该处理器执行计算机程序时还实现以下步骤:
[0215] 获取车辆各车体部分周界区域在坐标标定时的单车体环视图像;
[0216] 检测在坐标标定时的各单车体环视图像的特征点,对坐标标定时的相邻单车体环视图像进行特征点匹配,获取不同旋转角度的相邻单车体环视图像的特征匹配点对;
[0217] 对各旋转角度的相邻单车体环视图像的特征匹配点对,剔除误匹配点对,得到相邻车体部分特征匹配点对之间的变换旋转平移矩阵,获得相邻车体部分的旋转角度;
[0218] 根据特征匹配点对的坐标,确定坐标标定时的相邻单车体环视图像的平移向量;
[0219] 根据相邻单车体环图像的旋转角度以及平移向量,得到铰接点坐标。
[0220] 在一个实施例中,根据特征匹配点对的坐标、旋转角度以及平移向量,得到铰接点坐标,包括:
[0221] 根据坐标标定时的多个旋转角度对应的相邻单车体环视图像的特征匹配点对的坐标、旋转角度以及平移向量,得到对应的铰接点坐标计算结果;
[0222] 对各铰接点坐标计算结果进行排序,将排序结果中的中值作为铰接点坐标。
[0223] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
[0224] 以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0225] 以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。