一种基于云端机器学习的车辆环境感知和控制方法

摘要

本发明涉及一种基于云端机器学习的车辆环境感知和控制方法，包括：A1.采集车辆前部、后部以及左右两侧后方盲区的图像数据、车辆前部区域的障碍物毫米波雷达数据；A2.提取图像数据的特征向量集；处理障碍物毫米波雷达数据得到车前障碍物的距离；A3.分别对各特征向量集进行机器学习，识别出前、后及两侧方障碍物；A4.进行目标跟踪，获取目标的环境感知数据、车辆当前状态数据；A5.计算出安全间距并相应执行车辆主动安全控制；A6.将目标的环境感知数据上传至云端服务系统进行学习，最终更新目标识别参数集和算法控制参数集。本发明有效提高了环境感知的准确性、车辆控制精度以及测距距离，整体上提高了车辆主动安全系统的性能。

权利要求

1.一种基于云端机器学习的车辆环境感知和控制方法，通过设置于车辆的车载环境感知系统和控制系统以及设置于云端的云端服务系统实现；其特征在于，所述控制系统预置图像处理算法、毫米波雷达数据处理算法、目标识别和跟踪算法以及目标识别参数集T1和算法控制参数集T2；所述云端服务系统预置有云端机器学习算法；

所述车辆环境感知和控制方法包括以下步骤：

A1.车载环境感知系统采集车辆前部、后部以及左右两侧后方盲区的图像数据，分别为IA、IB、IC；并采集车辆前部区域的障碍物毫米波雷达数据R；

A2.控制系统通过所述图像处理算法提取所述图像数据IA、IB、IC的特征向量集，分别为TA、TB、TC；并通过所述毫米波雷达数据处理算法处理所述障碍物毫米波雷达数据R得到车前障碍物的距离S；所述特征向量集TA与所述车前障碍物的距离S组成特征向量集(TA，S)；

A3.控制系统利用所述目标识别和跟踪算法及目标识别参数集T1和算法控制参数集T2，分别对特征向量集(TA，S)、TB、TC进行机器学习，识别出前方障碍物WA、后视盲区障碍物WB、左右两侧后方盲区障碍物WC；

A4.车载环境感知系统和控制系统利用所述目标识别和跟踪算法对WA、WB以及WC进行目标跟踪，获取目标的环境感知数据；控制系统获取车辆当前状态数据；

A5.根据所述目标的环境感知数据和车辆状态数据，计算出安全间距，并判断车辆是否处于非安全间距，若是则执行车辆主动安全控制；

A6.控制系统将所述目标的环境感知数据上传至所述云端服务系统，利用云端机器学习算法进行学习，并返回相应的目标识别参数和算法控制参数至所述控制系统，以更新所述目标识别参数集T1和算法控制参数集T2。

2.根据权利要求1所述的基于云端机器学习的车辆环境感知和控制方法，其特征在于，步骤A4中获取目标的环境感知数据包括车辆与目标的距离、目标的大小、车辆与目标的相对速度；步骤A4中获取车辆当前状态数据包括当前车速、加速度以及方向盘转角。

3.根据权利要求1所述的基于云端机器学习的车辆环境感知和控制方法，其特征在于，步骤A6中控制系统通过定期或警报触发的方式，将所述目标的环境感知数据上传至所述云端服务系统。

4.根据权利要求1所述的基于云端机器学习的车辆环境感知和控制方法，其特征在于，所述目标识别和跟踪算法包括目标识别算法和目标跟踪算法，其中目标识别算法采用级联的AdaBoost算法，目标跟踪算法采用卡尔曼滤波算法；所述云端机器学习算法采用CNN神经网络算法。

5.根据权利要求1至4任一项所述的基于云端机器学习的车辆环境感知和控制方法，其特征在于，所述车载环境感知系统包括前摄像头、毫米波雷达传感器、后摄像头、左侧摄像头以及右侧摄像头；前摄像头安装在车辆前挡风玻璃中央位置；所述毫米波雷达传感器安装在车前防撞杆中央位置；后摄像头安装在车辆后挡风玻璃中央位置；左侧摄像头以及右侧摄像头分别安装在车辆左右两侧后视镜上。

6.根据权利要求5所述的基于云端机器学习的车辆环境感知和控制方法，其特征在于，所述控制系统包括数据处理单元，以及与数据处理单元通信连接的通信单元、信息安全单元、报警单元和车辆控制单元；所述云端服务系统包括云端通信服务器和云端机器学习服务器，二者通信连接；所述通信单元与云端通信服务器无线通信连接；

所述数据处理单元预置所述图像处理算法、毫米波雷达数据处理算法、目标识别和跟踪算法以及目标识别参数集T1和算法控制参数集T2；所述云端机器学习服务器预置所述云端机器学习算法；数据处理单元接收车载环境感知系统输入的环境感知数据，结合车辆当前状态数据相应执行控制报警单元和车辆控制单元动作；所述信息安全单元对环境感知数据加密后通过所述通信单元发送至所述云端通信服务器，由所述云端通信服务器输入所述云端机器学习服务器中学习，所述云端机器学习服务器学习后通过所述云端通信服务器向通信单元、数据处理单元返回对应的目标识别参数和算法控制参数供数据处理单元更新目标识别参数集T1和算法控制参数集T2。

说明书

一种基于云端机器学习的车辆环境感知和控制方法

技术领域

[0001] 本发明涉及车辆主动安全技术领域，尤其涉及一种使用云端大数据学习的车辆环境感知和控制方法。

背景技术

[0002] 随着汽车工业的发展，车辆行驶的安全性得到越来越多的重视。由于车辆存在速度快、侧视盲区、后部追尾等众多类型的安全隐患，经常会出现碰撞事故，因此为了尽量避免车辆碰撞事故的发生，车辆环境感知和主动安全已经成为亟待解决的问题。

[0003] 车辆环境感知和控制系统的目的是通过各类传感器如视觉传感器、雷达传感器、超声波传感器等感知车辆周边环境数据，例如：车辆前方静态和动态障碍物，车辆两侧盲区运动物体，车辆后部逐渐靠近的物体等，然后依据设定的参数判断车辆行驶的安全性，由控制系统自行执行车辆智能控制行为，包括减速、刹车、变道避让等操作，达到车辆主动安全控制的目标。

[0004] 目前，车辆环境感知和控制系统主要采用如下方式：在车辆前挡风玻璃、车辆两侧后视镜、车辆尾部安装视觉摄像头或雷达，通过摄像头或雷达，根据一定物体识别和测距算法检测当前车辆的前方、侧视盲区、后视盲区的一定范围内是否存在动态或静止物体，然后由控制系统自行执行车辆智能控制行为。

[0005] 在实践研究过程中，现有技术至少存在以下问题：

[0006] 1)由于视觉摄像头和雷达探测距离有限，导致车辆环境感知的探测距离较短，特别是用于检测车辆前视一定范围内物体的雷达探测距离不超过10米，在车速较快的时候，车辆控制系统根本无法完成及时的控制行为。

[0007] 2)当前车载车辆环境感知和控制系统为孤立系统，其上运行的目标识别和跟踪算法由预置的目标识别参数集(包括：车辆在不同光照下在路面的阴影的矩形度、纹理、对称性和雷达测距距离等)和算法控制参数集(包括：识别率、误识别率、分类器层数等)决定算法精度，预置的参数一般无法更新，这会导致车辆无法对新状况做出正确乃至精确的识别及响应。例如，对车辆周边环境中出现的新型车或其他新型障碍物(所谓“新型”是指车辆环境感知和控制系统中预置的目标识别参数集和算法控制参数集未涉及的对象)，车辆环境感知和控制系统有可能无法识别；又如，对于不同的光照条件或不同的阴影或不同的数目人群等周边环境中，车辆不可能预先针对这些状况一一预置好目标识别参数集和算法控制参数集，因而无法针对这些状况做出精确的识别及响应。

[0008] 3)目标识别和跟踪算法多为机器学习算法，涉及的数据特征提取、聚类、分类运算量巨大，同时，视觉摄像头和雷达采集的图像和雷达目标数据量大，而车载数据处理单元的运算性能较低，无力承担机器学习所需的高性能计算，导致车载车辆环境感知和控制系统的环境感知参数和控制参数不能及时更新，进一步导致环境感知准确性和车辆控制精度的不足，降低车辆主动安全系统的性能。

发明内容

[0009] 本发明的目的在于，提出一种基于云端机器学习的车辆环境感知和控制方法，以解决现有汽车主动安全技术中车辆环境感知探测距离较短和环境感知参数和控制参数不能及时更新而导致的环境感知准确性和车辆控制精度的不足的问题。

[0010] 为了实现以上目的，本发明提出的一种基于云端机器学习的车辆环境感知和控制方法，通过设置于车辆的车载环境感知系统和控制系统以及设置于云端的云端服务系统实现；所述控制系统预置图像处理算法、毫米波雷达数据处理算法、目标识别和跟踪算法以及目标识别参数集T1和算法控制参数集T2；所述云端服务系统预置有云端机器学习算法；

[0011] 所述车辆环境感知和控制方法包括以下步骤：

[0012] A1.车载环境感知系统采集车辆前部、后部以及左右两侧后方盲区的图像数据，分别为IA、IB、IC；并采集车辆前部区域的障碍物毫米波雷达数据R；

[0013] A2.控制系统通过所述图像处理算法提取所述图像数据IA、IB、IC的特征向量集，分别为TA、TB、TC；并通过所述毫米波雷达数据处理算法处理所述障碍物毫米波雷达数据R得到车前障碍物的距离S；所述特征向量集TA与所述车前障碍物的距离S组成特征向量集(TA，S)；

[0014] A3.控制系统利用所述目标识别和跟踪算法及目标识别参数集T1和算法控制参数集T2，分别对特征向量集(TA，S)、TB、TC进行机器学习，识别出前方障碍物WA、后视盲区障碍物WB、左右两侧后方盲区障碍物WC；

[0015] A4.车载环境感知系统和控制系统利用所述目标识别和跟踪算法对WA、WB以及WC进行目标跟踪，获取目标的环境感知数据；控制系统获取车辆当前状态数据；

[0016] A5.根据所述目标的环境感知数据和车辆状态数据，计算出安全间距，并判断车辆是否处于非安全间距，若是则执行车辆主动安全控制；

[0017] A6.控制系统将所述目标的环境感知数据上传至所述云端服务系统，利用云端机器学习算法进行学习，并返回相应的目标识别参数和算法控制参数至所述控制系统，以更新所述目标识别参数集T1和算法控制参数集T2。

[0018] 本发明的进一步优选方案中，步骤A4中获取目标的环境感知数据包括车辆与目标的距离、目标的大小、车辆与目标的相对速度；步骤A4中获取车辆当前状态数据包括当前车速、加速度以及方向盘转角。

[0019] 本发明的进一步优选方案中，步骤A6中控制系统通过定期或警报触发的方式，将所述目标的环境感知数据上传至所述云端服务系统。

[0020] 本发明的进一步优选方案中，所述目标识别和跟踪算法包括目标识别算法和目标跟踪算法，其中目标识别算法采用级联的AdaBoost算法，目标跟踪算法采用卡尔曼滤波算法；所述云端机器学习算法采用CNN神经网络算法。

[0021] 本发明的进一步优选方案中，所述车载环境感知系统包括前摄像头、毫米波雷达传感器、后摄像头、左侧摄像头以及右侧摄像头；前摄像头安装在车辆前挡风玻璃中央位置；所述毫米波雷达传感器安装在车前防撞杆中央位置；后摄像头安装在车辆后挡风玻璃中央位置；左侧摄像头以及右侧摄像头分别安装在车辆左右两侧后视镜上。

[0022] 本发明的进一步优选方案中，所述控制系统包括数据处理单元，以及与数据处理单元通信连接的通信单元、信息安全单元、报警单元和车辆控制单元；所述云端服务系统包括云端通信服务器和云端机器学习服务器，二者通信连接；所述通信单元与云端通信服务器无线通信连接；

[0023] 所述数据处理单元预置所述图像处理算法、毫米波雷达数据处理算法、目标识别和跟踪算法以及目标识别参数集T1和算法控制参数集T2；所述云端机器学习服务器预置所述云端机器学习算法；数据处理单元接收车载环境感知系统输入的环境感知数据，结合车辆当前状态数据相应执行控制报警单元和车辆控制单元动作；所述信息安全单元对环境感知数据加密后通过所述通信单元发送至所述云端通信服务器，由所述云端通信服务器输入所述云端机器学习服务器中学习，所述云端机器学习服务器学习后通过所述云端通信服务器向通信单元、数据处理单元返回对应的目标识别参数和算法控制参数供数据处理单元更新目标识别参数集T1和算法控制参数集T2。

[0024] 本发明提出的基于云端机器学习的车辆环境感知和控制方法至少包括以下有益效果：

[0025] 1、可利用云端大数据机器学习结合目标识别参数集及算法控制参数集更新的方式，使车辆的车载环境感知系统及控制系统可以适应各种新状况并做出精确的识别及响应，有效提高了环境感知的准确性和车辆控制精度，整体上提高了车辆主动安全系统的性能。

[0026] 2、由于毫米波雷达探测距离为100-150米范围，且其测距精度较高，通过毫米波雷达对车辆前向障碍物测距，提高了测距距离和精度，也保障了在车速较快的情况下，车辆控制系统可以做出及时的主动控制行为。

附图说明

[0027] 图1是实施例提出的基于云端机器学习的车辆环境感知和控制方法中采用的系统设备框图；

[0028] 图2是实施例提出的基于云端机器学习的车辆环境感知和控制方法的流程示意图。

具体实施方式

[0029] 基于云端架构的大数据计算作为一种新型的数据计算和存储模式，具有更强的大数据处理能力和更大的存储空间、可弹性伸缩和对用户的透明等特性，成为处理大规模数据问题的重要工具。通过大数据计算服务，大量的用户本地计算操作可以借助于云服务器的计算能力完成。通过这样一种计算服务模式，能有效降低用户端对于大规模计算能力的要求。由此，本发明提出了一种基于云端机器学习的车辆环境感知和控制方法。

[0030] 为了便于本领域技术人员理解，下面将结合附图以及实施例对本发明进行进一步描述。

[0031] 请参阅图1和图2，实施例提出的一种基于云端机器学习的车辆环境感知和控制方法，通过设置于车辆的车载环境感知系统10和控制系统20以及设置于云端的云端服务系统30实现；控制系统20预置图像处理算法、毫米波雷达数据处理算法、目标识别和跟踪算法以及目标识别参数集T1和算法控制参数集T2；云端服务系统30预置有云端机器学习算法。其中，目标识别和跟踪算法包括目标识别算法和目标跟踪算法，目标识别算法具体可采用级联的AdaBoost算法，目标跟踪算法具体可采用卡尔曼滤波算法；云端机器学习算法具体可采用CNN神经网络算法。以下结合各系统设备、各算法对本实施例的车辆环境感知和控制方法进行详细介绍。

[0032] 系统设备

[0033] 请参阅图1，本实施中，车载环境感知系统10具体可包括前摄像头11、毫米波雷达传感器12、后摄像头13、左侧摄像头14以及右侧摄像头15；前摄像头11可安装在车辆前挡风玻璃中央位置，拍摄距离优选为车前方5米至100米；毫米波雷达传感器12可安装在车前防撞杆中央位置，探测距离优选为车前0米至100米；后摄像头13可安装在车辆后挡风玻璃中央位置，拍摄距离优选为车尾0米至50米；左侧摄像头14以及右侧摄像头15可分别安装在车辆左右两侧后视镜上；其中，左侧摄像头14的拍摄距离优选为车辆左侧后方0米至20米，拍摄角度为从车侧开始向左偏移70°；右侧摄像头15的拍摄距离优选为车辆右侧后方0米至20米，拍摄角度为从车侧开始向右偏移70°。其中，前摄像头11、毫米波雷达传感器12、后摄像头13、左侧摄像头14以及右侧摄像头15可检测车辆周边是否有障碍物(包括车辆、行人或其他静态的物体，可具体得到障碍物的图像及位置进行分析)、与障碍物的距离等，得到环境感知数据，并输入控制系统20。

[0034] 控制系统20具体可包括数据处理单元21，以及与数据处理单元21通信连接的通信单元22、信息安全单元23、报警单元24和车辆控制单元25。前摄像头11、毫米波雷达传感器12、后摄像头13、左侧摄像头14以及右侧摄像头15均通过CAN总线与所述数据处理单元21通信连接；通信单元22、信息安全单元23与数据处理单元21可集成于同一设备单元；报警单元
24和车辆控制单元25同样可通过CAN总线与数据处理单元21通信连接。

[0035] 云端服务系统30具体包括云端通信服务器31和云端机器学习服务器32，二者通信连接。通信单元22与云端通信服务器31无线通信连接。

[0036] 数据处理单元21预置所述图像处理算法、毫米波雷达数据处理算法、目标识别和跟踪算法以及目标识别参数集T1和算法控制参数集T2；云端机器学习服务器32预置所述云端机器学习算法；数据处理单元21接收车载环境感知系统10输入的环境感知数据，结合车辆当前状态数据相应执行控制报警单元21和车辆控制单元25动作，包括刹车、减速、变道避让等；信息安全单元23对环境感知数据加密后通过通信单元22发送至云端通信服务器31，由云端通信服务器31输入云端机器学习服务器32中学习，云端机器学习服务器32学习后通过云端通信服务器31向通信单元22、数据处理单元23返回对应的目标识别参数和算法控制参数供数据处理单元更新目标识别参数集T1和算法控制参数集T2。

[0037] 车辆环境感知和控制方法

[0038] 请参阅图2，基于上述系统设备中车载环境感知系统、控制系统以及云端服务系统，实施例提出的基于云端机器学习的车辆环境感知和控制方法主要包括以下步骤L100至L600：

[0039] L100、车载环境感知系统采集车辆前部、后部以及左右两侧后方盲区的图像数据，分别为IA、IB、IC；并采集车辆前部区域的障碍物毫米波雷达数据R。

[0040] L200、控制系统通过所述图像处理算法提取所述图像数据IA、IB、IC的特征向量集，分别为TA、TB、TC；并通过所述毫米波雷达数据处理算法处理所述障碍物毫米波雷达数据R得到车前障碍物的距离S；所述特征向量集TA与所述车前障碍物的距离S组成特征向量集(TA，S)。

[0041] 步骤L200中，特征向量集TA、TB、TC可指采集到的图像中的纹理、颜色、角点等特征，特征向量集(TA，S)则进一步包括与车前障碍物的距离。

[0042] L300、控制系统利用所述目标识别和跟踪算法及目标识别参数集T1和算法控制参数集T2，分别对特征向量集(TA，S)、TB、TC进行机器学习，识别出前方障碍物WA、后视盲区障碍物WB、左右两侧后方盲区障碍物WC。

[0043] 步骤L300中，可将特征向量集(TA，S)、TB、TC分别输入预置的AdaBoost机器学习算法中，AdaBoost机器学习算法分别根据特征向量集(TA，S)、TB、TC结合目标识别参数集T1和算法控制参数集T2进行机器学习，并判断出具体是何种障碍物，譬如是车辆、动物或是行人等。

[0044] L400、车载环境感知系统和控制系统利用所述目标识别和跟踪算法对WA、WB以及WC进行目标跟踪，获取目标的环境感知数据；控制系统获取车辆当前状态数据。

[0045] 步骤L300中可检测出车辆周边的多个障碍物，但在步骤L400可以特定的障碍物(比如正前方的障碍物)作为目标进行跟踪，获取包括车辆与目标的距离、目标的大小、车辆与目标的相对速度等在内的环境感知数据，同时可获取包括当前车速、加速度以及方向盘转角等在内的车辆当前状态数据。

[0046] L500、根据所述目标的环境感知数据和车辆状态数据，计算出安全间距，并判断车辆是否处于非安全间距，若是则执行车辆主动安全控制。

[0047] 步骤L500中，例如：当车辆时速≤30km/h时的安全间距为5m，当车辆时速为≤20km/h时的安全间距3m，当车辆时速≤10km/h时的安全间距为1m，车辆的主动安全控制包括刹车、减速、变道避让等。

[0048] L600、控制系统将所述目标的环境感知数据上传至所述云端服务系统，利用云端机器学习算法进行学习，并返回相应的目标识别参数和算法控制参数至所述控制系统，以更新所述目标识别参数集T1和算法控制参数集T2。

[0049] 步骤L600中控制系统可通过定期(例如每隔1分钟)或警报触发(当判断车辆处于非安全间距即有可能碰撞时)的方式，将所述目标的环境感知数据上传至所述云端服务系统，在云端服务系统学习后并返回相应的目标识别参数和算法控制参数至所述控制系统，以更新所述目标识别参数集T1和算法控制参数集T2，使车辆的车载环境感知系统及控制系统可以适应各种新状况并做出精确的识别及响应，有效提高了环境感知的准确性和车辆控制精度，整体上提高了车辆主动安全系统的性能。

[0050] 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。