车辆的控制方法、装置及车辆转让专利

申请号 : CN202010605325.8

文献号 : CN111959495B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 张连川

申请人 : 阿波罗智能技术(北京)有限公司

摘要 :

本申请公开了车辆的控制方法、装置及车辆,涉及自动驾驶和深度学习技术领域。具体实现方案为:获取车辆前方的当前图像,并获取车辆的泊车轨迹路径;获取与泊车轨迹路径对应的深度卷积神经网络模型;将当前图像输入到深度卷积神经网络模型,以获取车辆前方路段的坡度信息;根据坡度信息,确定车辆的纵向加速度;以及根据纵向加速度对车辆进行控制。本方案降低了车辆获取坡度的成本。

权利要求 :

1.一种车辆的控制方法,包括:获取车辆前方的当前图像,并获取所述车辆的泊车轨迹路径;

获取与所述泊车轨迹路径对应的深度卷积神经网络模型;

将所述当前图像输入到所述深度卷积神经网络模型,以获取所述车辆前方路段的坡度信息;

根据所述坡度信息,确定所述车辆的纵向加速度;以及根据所述纵向加速度对所述车辆进行控制;

在所述获取与所述泊车轨迹路径对应的深度卷积神经网络模型之前,包括:获取所述泊车轨迹路径中多个样本轨迹点各自对应的图像帧;

根据每个所述样本轨迹点,获取每个所述图像帧各自对应的坡度信息;

根据每个所述图像帧和对应的坡度信息,对初始的深度卷积神经网络模型进行训练,以得到所述深度卷积神经网络模型;

其中,所述根据每个所述样本轨迹点,获取每个所述图像帧各自对应的坡度信息,包括:

获取每个所述图像帧对应的相机参数;

根据每个所述图像帧以及每个所述图像帧对应的相机参数进行三维建模,以得到三维模型;

根据每个所述图像帧对应的相机参数,分别确定每个所述样本轨迹点在所述三维模型的空间位置;

根据每个所述样本轨迹点在所述三维模型的空间位置,确定每个所述样本轨迹点的坡度信息;

将每个所述样本轨迹点的坡度信息作为对应图像帧对应的坡度信息。

2.根据权利要求1所述的方法,其中,所述获取所述车辆的泊车轨迹路径,包括:获取所述车辆的当前位置;以及根据所述当前位置,确定所述车辆的泊车轨迹路径。

3.根据权利要求1所述的方法,在所述根据所述坡度信息,确定所述车辆的纵向加速度之前,所述方法还包括:

获取为所述车辆设置的目标速度,并获取所述车辆的当前速度;

根据所述目标速度和所述当前速度,确定所述车辆的初始纵向加速度;

所述根据所述坡度信息,确定所述车辆的纵向加速度,包括:根据所述坡度信息,对所述初始纵向加速度进行修正,以得到所述车辆的纵向加速度。

4.一种车辆的控制装置,包括:第一获取模块,用于获取车辆前方的当前图像,并获取所述车辆的泊车轨迹路径;

第二获取模块,用于获取与所述泊车轨迹路径对应的深度卷积神经网络模型;

第三获取模块,用于将所述当前图像输入到所述深度卷积神经网络模型,以获取所述车辆前方路段的坡度信息;

第一确定模块,用于根据所述坡度信息,确定所述车辆的纵向加速度;以及控制模块,用于根据所述纵向加速度对所述车辆进行控制;

在第二获取模块之前,所述装置 包括:第五获取模块,用于获取所述泊车轨迹路径中多个样本轨迹点各自对应的图像帧;

第六获取模块,用于根据每个所述样本轨迹点,获取每个所述图像帧各自对应的坡度信息;

第七获取模块,用于根据每个所述图像帧和对应的坡度信息,对初始的深度卷积神经网络模型进行训练,以得到所述深度卷积神经网络模型;

其中,第六获取模块,包括:第二获取单元,用于获取每个所述图像帧对应的相机参数;

第三获取单元,用于根据每个所述图像帧以及每个所述图像帧对应的相机参数进行三维建模,以得到三维模型;

第二确定单元,用于根据每个所述图像帧对应的相机参数,分别确定每个所述样本轨迹点在所述三维模型的空间位置;

第三确定单元,用于根据每个所述样本轨迹点在所述三维模型的空间位置,确定每个所述样本轨迹点的坡度信息;

第四确定单元,用于将每个所述样本轨迹点的坡度信息作为对应图像帧对应的坡度信息。

5.根据权利要求4所述的装置,其中,第一获取模块,包括:第一获取单元,用于获取所述车辆的当前位置;以及第一确定单元,用于根据所述当前位置,确定所述车辆的泊车轨迹路径。

6.根据权利要求4所述的装置,在第一确定模块之前,所述装置还包括:第四获取模块,用于获取为所述车辆设置的目标速度,并获取所述车辆的当前速度;

第二确定模块,用于根据所述目标速度和所述当前速度,确定所述车辆的初始纵向加速度;

所述第一确定模块,用于根据所述坡度信息,对所述初始纵向加速度进行修正,以得到所述车辆的纵向加速度。

7.一种车辆,包括:

至少一个处理器;以及

与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1‑3中任一项所述的车辆的控制方法。

8.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1‑3中任一项所述的车辆的控制方法。

说明书 :

车辆的控制方法、装置及车辆

技术领域

[0001] 本申请涉及车辆控制技术领域,具体涉及自动驾驶和深度学习技术领域,尤其涉及一种车辆的控制方法、装置及车辆。

背景技术

[0002] 伴随着汽车辅助驾驶技术的发展,汽车智能化发展趋势迅猛。为了实现智能化停车,帮助驾驶员自动停车,自主泊车系统便随之出现。
[0003] 自主泊车系统(AutomaticParkingSystem,APS)主要由感知单元、中央控制器、转向执行机构和人机交互模块组成,并可根据用户的指令将车辆自动停到指定停车位。在车
辆进行控制的过程中,车辆前方路段的坡度信息对自主控制车辆而言是十分重要的。

发明内容

[0004] 本申请提供了一种车辆的控制方法、车辆的控制装置、车辆以及存储介质。
[0005] 根据第一方面,提供了一种车辆的控制方法,包括:获取车辆前方的当前图像,并获取车辆的泊车轨迹路径;
[0006] 获取与泊车轨迹路径对应的深度卷积神经网络模型;将当前图像输入到深度卷积神经网络模型,以获取车辆前方路段的坡度信息;根据坡度信息,确定车辆的纵向加速度;
以及
[0007] 根据纵向加速度对车辆进行控制。
[0008] 根据第二方面,提供了一种车辆的控制装置,包括:
[0009] 第一获取模块,用于获取车辆前方的当前图像,并获取车辆的泊车轨迹路径;
[0010] 第二获取模块,用于获取与泊车轨迹路径对应的深度卷积神经网络模型;第三获取模块,用于将当前图像输入到深度卷积神经网络模型,以获取车辆前方路段的坡度信息;
[0011] 第一确定模块,用于根据坡度信息,确定车辆的纵向加速度;控制模块,用于根据纵向加速度对车辆进行控制。
[0012] 根据第三方面,提供了一种车辆,包括:
[0013] 至少一个处理器;
[0014] 以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本申请第一
方面的车辆的控制方法。
[0015] 根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行本申请第一方面的车辆的控制方法。
[0016] 根据第五方面,提供了一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现本申请第一方面所述的车辆的控制方法。
[0017] 应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

[0018] 附图用于更好地理解本方案,不构成对本申请的限定。其中:
[0019] 图1是根据本申请第一实施例的示意图;
[0020] 图2是根据本申请第二实施例的示意图;
[0021] 图3是根据本申请第三实施例的示意图;
[0022] 图4是根据本申请第四实施例的示意图;
[0023] 图5是根据本申请第五实施例的示意图;
[0024] 图6是根据本申请第六实施例的示意图;
[0025] 图7是用来实现本申请实施例的车辆的控制方法的车辆的框图。

具体实施方式

[0026] 以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识
到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同
样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
[0027] 为了解决在相关技术的自主泊车系统中,通常通过车辆加装惯性测量单元(Inertial measurement unit,IMU)或者高精地图来获取坡度,并根据坡度对车辆进行控
制。但是,IMU的成本相对于整个泊车系统而言较高,高精地图针对成本更高且维护成本也
高。
[0028] 下面参考附图描述根据本申请实施例的车辆的控制方法、装置、车辆以及存储介质。
[0029] 图1是根据本申请一个实施例的车辆的控制方法的流程图。需要说明的是,本申请实施例的车辆的控制方法可应用于本申请实施例的车辆的控制装置,该装置可设置在车辆
中,或与车辆进行通信,并对其进行控制的电子设备,电子设备可以包括终端设备或者服务
器。
[0030] S101、获取车辆前方的当前图像,并获取车辆的泊车轨迹路径。
[0031] 在本申请的实施例中,在使用车辆的过程中,在用户自主泊车需求时,用户可通过触发车辆中的与自主泊车功能对应的控件来触发车辆的自主泊车功能,对应地,在车辆中
的自主泊车功能触发后,可通过车辆中的图像采集模块采集车辆前方的当前图像,例如,图
像采集模块为摄像头,车辆中的摄像头可安装在车辆挡风玻璃上,可通过车辆中挡风玻璃
上的摄像头实时采集车辆前方的当前图像,以便获取车辆前方的当前图像。
[0032] 在本申请的另一些实施例中,在用户需要车辆从指定的停车位自动驾驶到指定地点时,用户可通过智能终端对车辆发送对应控制指令,对应地,车辆接收控制指令,并响应
该控制指令,通过车辆中的图像采集模块采集车辆前方的当前图像,并基于所获取的当前
图像进行后续控制。
[0033] 其中,车辆前方的当前图像可以是拍摄的照片图像,也可以是拍摄的视频图像。
[0034] 其中,需要理解的是,本实施例中车辆中除了安装在挡风玻璃上的摄像头外,也可以使用在车辆的其他位置上设置的摄像头,无论车前、车侧,甚至车尾。
[0035] 在本申请的实施例中,泊车轨迹路径是通过采集与当前车辆相匹配的车辆数据,之后依据车辆数据,生成泊车轨迹路径。
[0036] 具体而言,可采集与当前车辆相匹配的车辆数据,通过其内部的轨迹规划算法,生成泊车轨迹路径,从而可获取车辆的泊车轨迹。
[0037] 其中,采集与当前车辆相匹配的车辆数据是指收集车辆上摄像头、超声波雷达等传感器采集到的车辆数据。
[0038] 在本申请一个实施例中,还可通过车辆中图像采集模块实时采集车辆行驶视频,可从行驶视频中获取车辆的泊车轨迹视频,以便从泊车轨迹视频中确定泊车轨迹路径。
[0039] S102、获取与泊车轨迹路径对应的深度卷积神经网络模型。
[0040] 在本实施例中,可根据已保存的各个泊车轨迹路径与深度卷积神经网络模型之间的对应关系,获取与该泊车轨迹路径对应的深度卷积神经网络模型。
[0041] 其中,本实施例中泊车轨迹路径对应的深度卷积神经网络模型是基于泊车轨迹路径中每个样本轨迹点所对应的图像以及每个样本轨迹点的坡度信息对初始的神经网络模
型进行训练而得到的。
[0042] S103、将当前图像输入到深度卷积神经网络模型,以获取车辆前方路段的坡度信息。
[0043] 其中,坡度信息包括但不仅限于坡度类型以及坡度值,坡度类型包括上坡、下坡等。
[0044] 举例而言,在车辆进行自主泊车的过程中,可实时获取到车辆的当前图像,可将车辆的当前图像输入到泊车轨迹路径对应的深度卷积神经网络模型中,以通过深度卷积网络
模型基于轨迹路径对应的坡度信息,可获取车辆前方路段的坡度信息。
[0045] S104、根据坡度信息,确定车辆的纵向加速度。
[0046] 具体地,在获取车辆前方路段的坡度信息后,可使用车辆对应的初始纵向加速度,其中,车辆对应的初始纵向加速度可实时获取,也可周期性获取,并基于坡度信息对车辆的
初始纵向加速度进行调整,以得到车辆的纵向加速度。
[0047] 其中,初始纵向加速度是指车辆即将进入带坡度路段前的纵向加速度,即,车辆在进入带坡路段上对应的加速度取值。
[0048] 可以理解地是,可以基于坡度信息中的坡度类型以及坡度值对车辆的初始加速进行调整。其中,对于上坡路段,其对应的坡度越大,车辆的纵向加速度较大。对于下坡路段,
下坡路段对应的坡度越大,车辆的纵向加速度较小。
[0049] S105、根据纵向加速度对车辆进行控制。
[0050] 具体地,在基于前方路段的坡度信息确定出车辆的纵向加速度后,可基于所确定出的纵向加速度对车辆进行驾驶控制,从而使得车辆基于所确定出的纵向加速度通过车辆
前方路段。
[0051] 根据本申请实施例的车辆的控制方法,在车辆进行控制的过程中,实时获取车辆前方的当前图像,并获取车辆的泊车轨迹路径,之后获取与泊车轨迹路径对应的深度卷积
神经网络模型,然后将当前图像输入到深度卷积神经网络模型,以获取车辆前方路段的坡
度信息,根据坡度信息,确定车辆的纵向加速度,最后根据纵向加速度对车辆进行控制。通
过将当前图像输入至泊车轨迹路径对应的深度卷积神经网络模型,以得到坡度信息,以便
根据坡度信息确定纵向加速度,从而根据纵向加速度实现对车辆的控制。避免了通过惯性
测量单元或高精地图获取坡度信息,导致获取坡度成本高且维护成本高的问题,从而降低
了车辆获取坡度的成本。
[0052] 为了使本领域的技术人员更容易理解本申请,图2是根据本申请一个具体实施例的车辆的控制方法的流程图。如2所示,该车辆的控制方法可以包括:
[0053] S201、获取车辆前方的当前图像,并获取车辆的泊车轨迹路径。
[0054] 举例而言,车辆中的图像采集模块可安装在车辆挡风玻璃中的摄像头中。在接收到自主泊车请求时,可通过车辆中挡风玻璃上的摄像头实时采集车辆前方的当前图像,以
便车辆获取车辆前方的当前图像。
[0055] 举例而言,可通过点击自主泊车按钮,也可通过输入“请自主泊车”语音指令,以便接收自主泊车请求。
[0056] 在本申请的实施例中,可获取车辆的当前位置,以及根据当前位置,确定车辆的泊车轨迹路径。
[0057] 其中,可通过车辆中的定位系统定位车辆的当前位置,以便获取车辆的当前位置。
[0058] 具体而言,在获取到车辆的当前位置,可确定车辆的当前位置所属于的泊车轨迹路径,并将车辆的当前位置所属于的泊车轨迹路径作为车辆当前的泊车轨迹路径。其中,泊
车轨迹路径可理解为车辆的当前位置到泊车车位位置的路径。
[0059] 其中,在本申请的实施例中,泊车车位可预先设置。
[0060] 作为一种可能实现的方式,可通过车辆中的采集模块采集车辆的行车轨迹视频,并从行车轨迹视频中,基于泊车轨迹的特征,获取泊车轨迹视频,从而可获取泊车轨迹视频
中的泊车轨迹路径。
[0061] 作为另一种可能实现的方式,可通过车载GPS(Global Positioning System,全球定位系统)系统实时采集车辆的行车轨迹,并进行保存,将保存的行车轨迹导成kml或是gpx
格式数据加载到虚拟地图仪软件,从而可获取车辆的泊车轨迹路径。
[0062] 其中,虚拟地图软件是由把卫星照片、航空照相和GIS(Geographic Information System,地理信息系统)布置在一个地球的三维模型上,例如,虚拟地图软件可为Google 
Earth(谷歌地球)。
[0063] S202、获取泊车轨迹路径中多个样本轨迹点各自对应的图像帧。
[0064] 其中,泊车轨迹路径中可包括多条路径,每条路径有对应路段,例如,上坡路段、下车路段等,每个路段包括多个轨迹点。
[0065] 也就是说,获取到车辆的泊车轨迹路径,其中,泊车轨迹路径中包括多个轨迹点,可获取车轨迹路径中多个样本轨迹点各自对应的图像帧。其中,图像帧指示的是车辆的行
驶场景信息。
[0066] S203、根据每个样本轨迹点,获取每个图像帧各自对应的坡度信息。
[0067] 在本申请的实施例中,获取到多个样本轨迹点各自对应的图像帧后,可获取每个图像帧对应的相机参数,之后根据每个图像帧以及每个图像帧对应的相机参数进行三维建
模,以得到三维模型,然后根据每个图像帧对应的相机参数,分别确定每个样本轨迹点在三
维模型的空间位置,根据每个样本轨迹点在三维模型的空间位置,确定每个样本轨迹点的
坡度信息,然后将每个样本轨迹点的坡度信息作为对应图像帧对应的坡度信息。具体地实
现过程可参考后续实施例。
[0068] S204、根据每个图像帧和对应的坡度信息,对初始的深度卷积神经网络模型进行训练,以得到深度卷积神经网络模型。
[0069] 举例而言,可将图像帧对应的坡度信息作为标签,根据每个图像帧和坡度信息标签,对初始的深度卷积神经网络模型进行训练,以便得到训练后的深度卷积神经网络模型。
[0070] 本实施例中,为了使得与泊车轨迹路径对应的深度卷积神经网络模型,可基于采集的当前图像,准确确定出车辆前方路段的坡度信息,在使用该深度卷积神经网络模型之
前,结合该泊车轨迹路径上多个样本轨迹点的图像帧以及图像帧对应的坡度信息,对初始
的深度卷积神经网络模型进行训练,从而使得训练后的深度卷积神经网络模型,后续可基
于图像准确确定出车辆前方路段的坡度信息。
[0071] S205、获取与泊车轨迹路径对应的深度卷积神经网络模型。
[0072] S206、将当前图像输入到深度卷积神经网络模型,以获取车辆前方路段的坡度信息。
[0073] 具体地,可将车辆的当前图像输入至训练好的深度卷积神经网络模型,其中,车辆的当前图像中可包括多个路段,每个路段包括多个图像帧,深度卷积神经网络模型可基于
图像帧对应的坡度信息,输出多个图像帧对应的坡度信息,从而可获取车辆前方路段的坡
度信息。
[0074] S207、获取为车辆设置的目标速度,并获取车辆的当前速度。
[0075] 其中,可预先设置车辆的目标速度,也可将车辆行驶中的历史速度中出现次数较多的速度作为车辆的目标速度。
[0076] 举例而言,可在检测到车辆进入泊车模式时,获取车辆的当前速度。
[0077] 其中,在检测到泊车按钮被按下的信息时,通过CAN指令将该信息发送至泊车控制器,以使车辆的泊车控制器控制车辆进入泊车模式,在检测到车辆进入泊车模式时,获取车
辆的当前车速。
[0078] 其中,可通过车速传感器直接地实时获取车辆的当前速度,也可以通过CAN(Controller Area Network,控制器局域网络)总线读取车辆发动机数据从而获取车辆当
前速度;还可以通过读取仪表盘数据,如获取仪表盘图像数据,再从该仪表盘图像数据中提
取车辆的当前速度。
[0079] S208、根据目标速度和当前速度,确定车辆的初始纵向加速度。
[0080] 举例而言,可以根据公式ax=Δv/Δt=(vn‑vn‑1)/Δt,获取车辆的纵向加速度ax。其中,Δt为从当前速度行驶至目标速度所需的时间,vn为预行驶路径目标的速度,vn‑1为预
行驶路径当前的速度。
[0081] S209、根据坡度信息,对初始纵向加速度进行修正,以得到车辆的纵向加速度。
[0082] 举例而言,坡度类型为上坡路段时,需要的加速度较大,即对初始纵向加速度进行修正,已得到修正后的纵向加速度;坡度类型为下坡路段时,需要的加速度较小,即对初始
纵向加速进行修正,以得到修正后的纵向加速度。
[0083] S210、根据纵向加速度对车辆进行控制。
[0084] 具体地,在基于前方路段的坡度信息确定出车辆的纵向加速度后,可基于所确定出的纵向加速度对车辆进行驾驶控制,从而使得车辆基于所确定出的纵向加速度通过车辆
前方路段。
[0085] 根据本申请实施例的车辆的控制方法,在车辆进行自主泊车的过程中,获取车辆前方的当前图像,并获取车辆的泊车轨迹路径,之后获取泊车轨迹路径中多个样本轨迹点
各自对应的图像帧,根据每个样本轨迹点,获取每个图像帧各自对应的坡度信息,根据每个
图像帧和对应的坡度信息,对初始的深度卷积神经网络模型进行训练,以得到深度卷积神
经网络模型,然后将当前图像输入到深度卷积神经网络模型,以获取车辆前方路段的坡度
信息,之后通过确定车辆的纵向加速度,实现对车辆的控制。该方法基于三维建模实现对深
度卷积神经网络模型进行训练,通过将当前图像输入至训练好的的深度卷积神经网络模
型,以得到坡度信息,并根据目标速度和当前速度,确定车辆的初始纵向加速度,且对初始
纵向加速度进行修正,从而根据纵向加速度实现对车辆的控制。避免了通过惯性测量单元
或高精地图获取坡度信息,导致获取坡度成本高且维护成本高的问题,使得获取到的坡度
信息更精准,且降低了车辆获取坡度的成本。
[0086] 其中,在本申请的实施例中,如图3所示,根据每个样本轨迹点,获取每个图像帧各自对应的坡度信息的具体实现方式可如下:
[0087] S301、获取每个图像帧对应的相机参数。
[0088] 其中,相机参数信息包括下述中至少一种:外参、内参、畸变参数。
[0089] 在本申请的实施例中,可获取每个图像帧的至少一个特征点,对各图像帧的特征点进行匹配,得到与每个图像帧匹配的至少一个其他图像帧,形成图像对,之后根据特征点
在图像对中的各图像帧中的位置信息,求解基础矩阵,可获取各图像帧对应的相机参数。
[0090] 具体地,特征点是图像帧中的一些特殊点,具有一些特殊的属性,通过利用特征点来描述图像中的关键信息。图像特征主要包括线条特征,角点特征等,不同的特征可以用不
同的特征描述符来进行描述。可以采用不同的特征提取算法来检测图像帧中的特征点,例
如:采用SIFT算法获取图像帧中的SIFT(英文全称:Scale‑invariant feature transform,
中文全称:尺度不变特征变换)特征点。SIFT特征点鲁棒性较好,具有尺度和旋转不变性。
[0091] 之后,每个图像帧的特征点提取出来后,可以根据各图像帧中的特征点进行匹配,找到一个图像帧中的特征点在另一个图像帧中的对应特征点,将这些图像帧形成图像对。
[0092] 然后,在进行上述特征点匹配之后,针对形成的图像对,根据特征点在图像对中各图像帧的位置信息进行矩阵计算,例如:进行内参矩阵、外参矩阵的计算,可以得到各图像
帧对应的外参和内参。
[0093] S302、根据每个图像帧以及每个图像帧对应的相机参数进行三维建模,以得到三维模型。
[0094] 可以理解的,根据每个图像帧,对行驶场景进行三维重建的过程,可以采用现有的三维重建的方法,例如:基于SFM(英文全称:Struct From Motion,中文全称:运动恢复结
构)算法的三维重建。当然,还可以采用其他的三维重建算法,本实施例对比并不作具体限
定。本实施例仅以基于SFM的三维重建过程为例进行描述。
[0095] 其中,SFM算法包括:特征提取、特征匹配、矩阵计算、三维重建等步骤。
[0096] 对于每个图像帧中每个特征点,根据该特征点在图像对中的各图像帧中的位置信息,以及各图像帧的外参、内参,计算得到该特征点对应的三维点的位置,多个三维点就构
成了三维模型。
[0097] S303、根据每个图像帧对应的相机参数,分别确定每个样本轨迹点在三维模型的空间位置。
[0098] 具体地,可根据三维模型,以及每个图像帧对应的相机参数,可以确定每个样本轨迹点在三维模型的空间位置。
[0099] 另一种可选的实施方式中,为了简化计算过程,可以将三维模型中相机位置垂直投影到路面的位置,作为车辆在三维模型中的位置。具体的,根据三维模型以及每个图像帧
的相机参数,获取到该图像帧的拍摄时刻相机在三维模型中的位置后,在三维模型中找到
路面的位置,并将三维模型中的相机位置垂直移动到路面,得到车辆在三维模型中的位置。
[0100] S304、根据每个样本轨迹点在三维模型的空间位置,确定每个样本轨迹点的坡度信息。
[0101] 在本实施例中,在确定每个样本轨迹点在三维模型的空间位置后,可根据每个样本轨迹点在三维模型的空间位置,确定每个样本轨迹点的坡度信息。
[0102] S305、将每个样本轨迹点的坡度信息作为对应图像帧对应的坡度信息。
[0103] 由此可知,本实施例通过三维建模,可实现获取每个图像帧各自对应的坡度信息,使得获取到的坡度信息更精准,进而可提高基于该坡度信息所训练出的深度卷积神经网络
模型的准确性,方便后续可基于该深度卷积神经网络模型准确确定出对应图像所对应的坡
度信息。
[0104] 与上述几种实施例提供的车辆的控制方法相对应,本申请的一种实施例还提供一种车辆的控制装置,由于本申请实施例提供的车辆的控制装置与上述几种实施例提供的车
辆的控制方法相对应,因此在车辆的控制方法的实施方式也适用于本实施例提供的车辆的
控制装置,在本实施例中不再详细描述。图4~图6是根据本申请一个实施例的车辆的控制
装置的结构示意图。
[0105] 如图4所示,该车辆的控制装置400包括:第一获取模块401、第二获取模块402、第三获取模块403、第一确定模块404和控制模块405。其中:
[0106] 第一获取模块401用于获取车辆前方的当前图像,并获取车辆的泊车轨迹路径;作为一种示例,第一获取模块401包括:第一获取单元,用于获取车辆的当前位置;以及第一确
定单元,用于根据当前位置,确定车辆的泊车轨迹路径。
[0107] 第二获取模块402用于获取与泊车轨迹路径对应的深度卷积神经网络模型。
[0108] 第三获取模块403用于将当前图像输入到深度卷积神经网络模型,以获取车辆前方路段的坡度信息。
[0109] 第一确定模块404用于根据坡度信息,确定车辆的纵向加速度;作为一种示例,第一确定模块404用于根据坡度信息,对初始纵向加速度进行修正,以得到车辆的纵向加速
度。
[0110] 控制模块405用于根据纵向加速度对车辆进行控制。
[0111] 根据本申请实施例的车辆的控制装置,获取车辆前方的当前图像,并获取车辆的泊车轨迹路径,之后获取与泊车轨迹路径对应的深度卷积神经网络模型,然后将当前图像
输入到深度卷积神经网络模型,以获取车辆前方路段的坡度信息,根据坡度信息,确定车辆
的纵向加速度,最后根据纵向加速度对车辆进行控制。通过将当前图像输入至泊车轨迹路
径对应的深度卷积神经网络模型,以得到坡度信息,以便根据坡度信息确定纵向加速度,从
而根据纵向加速度实现对车辆的控制。避免了通过惯性测量单元或高精地图获取坡度信
息,导致获取坡度成本高且维护成本高的问题,降低了车辆获取坡度的成本。
[0112] 根据本申请的一个实施例,图5中501至505与图4中401至405具有相同功能和结构,如图5所示,在第二获取模块502之前,装置还包括:第五获取模块506,用于获取泊车轨
迹路径中多个样本轨迹点各自对应的图像帧;第六获取模块507,用于根据每个样本轨迹
点,获取每个图像帧各自对应的坡度信息;第七获取模块508,用于根据每个图像帧和对应
的坡度信息,对初始的深度卷积神经网络模型进行训练,以得到深度卷积神经网络模型。
[0113] 在本申请的实施例中,第六获取模块507包括:第二获取单元,用于获取每个图像帧对应的相机参数;第三获取单元,用于根据每个图像帧以及每个图像帧对应的相机参数
进行三维建模,以得到三维模型;第二确定单元,用于根据每个图像帧对应的相机参数,分
别确定每个样本轨迹点在三维模型的空间位置;第三确定单元,用于根据每个样本轨迹点
在三维模型的空间位置,确定每个样本轨迹点的坡度信息;第四确定单元,用于将每个样本
轨迹点的坡度信息作为对应图像帧对应的坡度信息。
[0114] 根据本申请的一个实施例,图6中601至608与图5中501至508具有相同功能和结构,如图6所示,在第一确定模块604之前,装置还包括:第四获取模块609,用于获取为车辆
设置的目标速度,并获取车辆的当前速度;第二确定模块610,用于根据目标速度和当前速
度,确定车辆的初始纵向加速度。
[0115] 根据本申请的实施例,本申请还提供了一种车辆和一种可读存储介质。
[0116] 如图7所示,是根据本申请实施例的用以实现车辆的控制方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人
数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示
各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的
计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意
在限制本文中描述的和/或者要求的本申请的实现。
[0117] 如图7所示,该车辆包括:一个或多个处理器701、存储器702,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在
公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处
理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示
设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或
多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提
供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中
以一个处理器701为例。
[0118] 存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本申请所提供的车辆的控制方
法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执
行本申请所提供的车辆的控制方法。
[0119] 存储器702作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的车辆的控制方法对应的程序指令/
模块(例如,附图4所示的第一获取模块401、第二获取模块402、第三获取模块403、第一确定
模块404和控制模块405)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令
以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的车
辆的控制方法。
[0120] 存储器702可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据车辆的控制的车辆的使用所
创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非瞬时存储器,
例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存
储器702可选包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接
至车辆的控制的车辆。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通
信网及其组合。
[0121] 用以实现车辆的控制方法的车俩还可以包括:输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接,图7中以
通过总线连接为例。
[0122] 输入装置703可接收输入的数字或字符信息,以及产生与车辆的控制的车辆的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示
杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、
辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不
限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,
显示设备可以是触摸屏。
[0123] 此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种
实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在
包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用
或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数
据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出
装置。
[0124] 这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些
计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指
令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光
盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读
介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何
信号。
[0125] 为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视
器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来
将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的
反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用
任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0126] 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算
系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界
面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部
件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数
字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网
(LAN)、广域网(WAN)和互联网。
[0127] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计
算机程序来产生客户端和服务器的关系。
[0128] 根据本申请实施例的技术方案,获取车辆前方的当前图像,并获取车辆的泊车轨迹路径,之后获取与泊车轨迹路径对应的深度卷积神经网络模型,然后将当前图像输入到
深度卷积神经网络模型,以获取车辆前方路段的坡度信息,根据坡度信息,确定车辆的纵向
加速度,最后根据纵向加速度对车辆进行控制。通过将当前图像输入至泊车轨迹路径对应
的深度卷积神经网络模型,以得到坡度信息,以便根据坡度信息确定纵向加速度,从而根据
纵向加速度实现对车辆的控制。避免了通过惯性测量单元或高精地图获取坡度信息,导致
获取坡度成本高且维护成本高的问题,降低了车辆获取坡度的成本。
[0129] 应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,
只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
[0130] 上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请
的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。