本发明涉及一种车载超声波雷达与车载环视系统融合方法，解决了现有技术的不足，技术方案为：包括以下步骤：步骤一，通过系统离线联合标定的方式完成系统标定,步骤二，通过辅助场景显示层级融合的方式完成可视化输出,步骤三，通过可行驶区域层级融合的方式完成可行域输出，步骤四，通过目标探测层级融合的方式完成目标输出。
1.一种车载超声波雷达与车载环视系统融合方法，其特征在于：包括以下步骤：步骤一，通过系统离线联合标定的方式完成系统标定,
步骤二，通过辅助场景显示层级融合的方式完成可视化输出,
步骤三，通过可行驶区域层级融合的方式完成可行域输出，
所述步骤二包括动态环视场景模型更新子步骤以及系统输出图层融合子步骤，动态环视场景模型更新子步骤：环视系统包括场景模型建立以及辅助视觉渲染两部分；
系统输出图层融合子步骤：环视系统最终输出需与超声波雷达输出图层进行融合；
所述步骤二中的动态环视场景模型更新子步骤为，利用超声波雷达系统的距离探测能力动态更新环视系统所使用的碗状环境场景模型，具体实现方法如下：a. 利用低通滤波预处理各超声波雷达传感器的原始距离观测值，根据滤波后的测量值计算车辆坐标系下最近目标距离：其中，Di为滤波后各超声波雷达传感器的距离测量值，n为超声波雷达传感器总数；
b. 将最近目标距离Dmin作为碗状模型参考半径r，更新环境模型：
其中，rmin和rmax为碗状模型参考半径最小以及最大限制，默认值为1和5；Ri为碗状模型各半径参数，ki 为Ri与r的比例系数，默认值为1, 1.8以及1.5；
根据动态更新的环境模型相应更新各相机图像坐标系映射关系，后续接缝融合所选取的ROI也按上述Ri的变化做相应调整。
2.根据权利要求1所述的车载超声波雷达与车载环视系统融合方法，其特征在于：所述步骤一，包括环视系统标定、超声波雷达系统标定以及系统对齐三个子步骤；
环视系统标定子步骤：包括各鱼眼环视相机内外参数标定，采用已知参数的棋盘格作为辅助工具来完成；
超声波雷达系统标定子步骤：包括超声波雷达信号强度以及安装角度标定，其中超声波信号强度通过信号反射强度的增益调节完成；安装角度则通过车载传感器限位支架实现；
系统对齐子步骤：将环视系统与超声波雷达传感器的测量坐标系对齐，以车辆几何中心为坐标原点，车头方向为x轴正向，车身左侧为y轴方向正向，将原坐标系在鸟瞰平面内平移完成相应坐标系变换；对于超声波雷达系统，将各传感器所探测的信号强度按其安装位置与角度进行旋转平移变换，得到车辆坐标系下周围障碍物的探测情况。
3.根据权利要求1所述的车载超声波雷达与车载环视系统融合方法，其特征在于：系统输出图层融合子步骤具体为，环视系统最终输出与超声波雷达输出图层进行融合：a. 超声波雷达系统输出图层：将各超声波雷达传感器的探测距离输出按预设距离阈值划分为远、中以及近，其中远是指2m-5m，中是指0.5m-2m，近是指0-0.5m，并根据各自在车身的安装位置与自身探测范围，可视化其扇形探测区域，以对应的颜色与声音频率表征各区域的目标探测距离；
b. 图层融合：将上述超声波雷达系统输出图层与建立的动态环境模型的路面部分按预设透明通道参数叠加，按相应预设视觉渲染生成融合后的场景辅助显示输出。
4.根据权利要求2所述的车载超声波雷达与车载环视系统融合方法，其特征在于：在所述步骤三中，包括基于超声波雷达的可行驶区域检测、基于视觉的可行驶区域检测以及可行驶区域融合三部分；
基于超声波雷达的可行驶区域检测：根据超声波雷达系统标定结果，将各超声波雷达传感器的距离探测结果，转化成鸟瞰视角车辆坐标系下坐标：其中，f(i, d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数，输入为传感器序号i以及相应探测距离d，输出为步骤一系统对齐子步骤中经变换后的坐标系下所探测的目标位置；
用多段线顺序连接各目标障碍物坐标，生成超声波雷达可行驶区域输出二进制mask，区域内部至车辆边界为1，区域外部为0；
基于视觉的可行驶区域检测：采用深度神经网络模型，对环视系统周围场景进行可行驶区域检测，具体步骤如下：图像预处理：根据环视系统的标定结果，生成与超声波雷达探测区域大小对应的鸟瞰视角，预先设置去除鸟瞰图中心车辆自身部分区域的可行驶区域检测mask，将此区域经缩放后输入深度卷积神经网络模型；
神经网络模型设计与训练：神经网络模型包含图像输入层、由级联conv+relu+BN组合组成的共享特征层以及两个解码输出层，可行驶区域标识由反卷积以及softmax层构成；由相机参数所采集的视觉场景数据，经人工标注生成样本标签，采用随机梯度下降的方式针对像素级softmaxLoss离线训练所得；
神经网络前端应用部署：根据前端平台运算特性，将训练所得网络转化成平台所支持的最优格式，主要包括数据类型转化以及模型稀疏程度设置，在预先设定好的测试集上对转化后模型的精度损失进行估算，视精度损失情况进行模型重训练；
可行驶区域融合：利用低速车辆运动学模型，根据轮速以及方向盘转角信号输入，实时更新车辆坐标系信息，由于超声波雷达系统与视觉系统采集频率不同，在世界坐标系下将生成的鸟瞰可行驶区域视图取交集进行融合。
5.根据权利要求2所述的车载超声波雷达与车载环视系统融合方法，其特征在于：在所述步骤四中，目标探测层级融合包括基于超声波雷达系统的目标建议、基于视觉的目标验证以及目标跟踪；
基于超声波雷达系统的目标建议：包括车位目标建议以及行人目标建议两部分，对于车身侧面的超声波雷达传感器，根据可行驶区域几何尺寸限制进行车位目标建议；对于车身前后面的超声波雷达传感器，根据距离探测结果进行目标建议；
基于视觉的目标验证：包括车位验证以及行人验证两部分，车位目标验证可在鸟瞰视角下进行，行人目标验证则需要透视变换至鱼眼坐标系下进行；
目标跟踪：根据匀速运动模型，利用kalman滤波对行人目标进行跟踪。
6.根据权利要求5所述的车载超声波雷达与车载环视系统融合方法，其特征在于：基于超声波雷达系统的目标建议包括：车位建议条件：
其中，Mask（x,y）为二进制超声波雷达可行驶区域输出，Pmin 为泊车位几何尺寸阈值；
7.根据权利要求6所述的车载超声波雷达与车载环视系统融合方法，其特征在于：车位验证以及行人验证两部分算法均基于相应的特征描述以及模板匹配的方法完成，实现方式如下：目标建议预处理：对于车位目标，将鸟瞰视角的区域建议roi裁剪并缩放至预设大小送入车位验证模块；对于行人目标，标定环视系统参数，按如下方式选取原视图中行人建议roi：其中，f(i, d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数, i为超声波传感器id，d为相应探测距离，输出为步骤一系统对齐子步骤中经变换后的坐标系下所探测的目标位置[x, y]，g(x, y)为离线标定所得车辆坐标系与各图像坐标系映射关系，j为环视相机序号，[u, v] 为目标位置相应图像坐标系下坐标，[w, h]为行人目标图像坐标系下宽高，[fx, fy]为焦距，W，H为默认行人模板宽高，Di为滤波后各超声波雷达传感器的距离测量值；
车位验证：利用可行驶区域分割网络卷积特征部分，在输出层添加车位标识通道，对车位建议roi区域进行场景分割，并利用车位模板对所提取车位标识进行模板匹配，符合车位模板限制的即为可泊车车位；
行人验证：利用深度卷积神经网络进行行人验证，网络结构包含分类以及位置回归两个分支，深度卷积神经网络中分类分支采用softmax Loss，深度卷积神经网络中回归分支采用smoothL1 Loss。
车载超声波雷达与车载环视系统融合方法
技术领域
[0001] 本专利涉及智能驾驶领域，特别涉及车载超声波雷达与车载环视系统融合方法。
背景技术
[0002] 智能化是如今汽车行业发展的重要趋势之一，各类传感器在车辆主/被动安全领域应用越发广泛。低速场景下，泊车辅助以及自动泊车系统已应用于部分近年来量产车型中。此类系统大多基于超声波雷达或视觉系统感知输入，此二类系统各有利弊。本发明旨在将超声波雷达的近距离目标探测能力与视觉系统的辅助显示能力相结合，从而提供更好的低速辅助驾驶系统体验。
[0003] 就视觉系统而言，其视野范围更广，辅助显示效果更直观，但是对一般障碍物以及距离的探测能力较差，若要实现目标以及可行使区域识别，需要借助复杂的图像处理或机器学习技术，开发应用门槛较高；就超声波系统而言，其近距离障碍物探测与测距能力较好，但单一传感器的探测范围有限，并且多传感器之间的回波干扰需要通过滤波或波段加密等方式来规避。
发明内容
[0004] 本发明的目的在于解决上述现有技术中对一般障碍物以及距离的探测能力较差，若要实现目标以及可行使区域识别，需要借助复杂的图像处理或机器学习技术，开发应用门槛较高；就超声波系统而言，其近距离障碍物探测与测距能力较好，但单一传感器的探测范围有限，并且多传感器之间的回波干扰需要通过滤波或波段加密等方式来规避的问题，提供一种车载超声波雷达与车载环视系统融合方法。
[0005] 本发明解决其技术问题所采用的技术方案是：一种车载超声波雷达与车载环视系统融合方法，其特征在于：包括以下步骤：
[0006] 步骤一，通过系统离线联合标定的方式完成系统标定,
[0007] 步骤二，通过辅助场景显示层级融合的方式完成可视化输出,
[0008] 步骤三，通过可行驶区域层级融合的方式完成可行域输出，
[0009] 步骤四，通过目标探测层级融合的方式完成目标输出。
[0010] 本发明提出了一种车载超声波雷达与环视系统融合的方法，以提升基于此二者观测值的低速场景相关系统应用的鲁棒性与丰富性：辅助场景显示层级融合：将超声波雷达系统探测结果与环视系统显示界面融合，自适应更新环视场景模型，并且使相应障碍物距离信息可视化；可行驶区域层级融合：在鸟瞰视角中，利用各系统先验测量误差概率模型，将超声波雷达系统可行驶区域探测结果与环视系统可行驶区域探测结果融合，生成最终可行驶区域；目标探测层级融合：采用视觉重验证的方法，对由超声波探测生成车位以及行人两类目标ROI区域进行视觉验证，并利用卡尔曼滤波根据相应运动学模型进行跟踪，生成最终目标列表。本发明，有机的将两类感知系统探测优势融合能够进一步提升低速辅助驾驶系统，如360度环视系统，泊车辅助系统等的使用体验。
[0011] 作为优选，所述步骤一，包括环视系统标定、超声波雷达系统标定以及系统对齐三个子步骤；
[0012] 环视系统标定子步骤：包括各鱼眼环视相机内外参数标定，采用已知参数的棋盘格作为辅助工具来完成；
[0013] 超声波雷达系统标定子步骤：包括超声波雷达信号强度以及安装角度标定，其中超声波信号强度通过信号反射强度的增益调节完成；安装角度则通过车载传感器限位支架实现；
[0014] 系统对齐子步骤：将环视系统与超声波雷达传感器的测量坐标系对齐，以车辆几何中心为坐标原点，车头方向为x轴正向，车身左侧为y轴方向正向，将原坐标系在鸟瞰平面内平移完成相应坐标系变换；对于超声波雷达系统，将各传感器所探测的信号强度按其安装位置与角度进行旋转平移变换，得到车辆坐标系下周围障碍物的探测情况。
[0015] 所述步骤二包括动态环视场景模型更新子步骤以及系统输出图层融合子步骤，[0016] 动态环视场景模型更新子步骤：环视系统包括场景模型建立以及辅助视觉渲染两部分；
[0017] 系统输出图层融合子步骤：环视系统最终输出需与超声波雷达输出图层进行融合。
[0018] 所述步骤二中的动态环视场景模型更新子步骤为，利用超声波雷达系统的距离探测能力动态更新环视系统所使用的碗状环境场景模型，具体实现方法如下：
[0019] a.利用低通滤波预处理各超声波雷达传感器的原始距离观测值，根据上述滤波后的测量值计算车辆坐标系下最近目标距离：
[0020] Dmin＝minDi，i＝1，2，...，n
[0021] 其中，Di为滤波后各超声波雷达传感器的距离测量值，n为超声波雷达传感器总数；
[0022] b.将最近目标距离Dmin作为动态碗状碗状模型参考半径r，更新环境模型：
[0023] r＝min(max(rmin，Dmin)，rmax)
[0024] Ri＝kir，i＝1，2，3
[0025] 其中，rmin和rmax为碗状模型参考半径最小以及最大限制，默认值为1和5；Ri为碗状模型各半径参数，ki为Ri与r的比例系数，默认值为1，1.8以及1.5；
[0026] c.根据上述动态更新的环境模型相应更新各相机图像坐标系映射关系，后续接缝融合所选取的ROI也按上述Ri的变化做相应调整。
[0027] 系统输出图层融合子步骤具体为，环视系统最终输出与超声波雷达输出图层进行融合：
[0028] a.超声波雷达系统输出图层：将各超声波雷达传感器的探测距离输出按预设距离阈值划分为远(2-5m)、中(0.5-2m)、近(0-0.5m)，并根据各自在车身的安装位置与自身探测范围，可视化其扇形探测区域，以对应的颜色与声音频率表征各区域的目标探测距离；
[0029] b.图层融合：将上述超声波雷达系统输出图层与建立的动态环境模型的路面部分按预设透明通道参数叠加，按相应预设视觉渲染生成融合后的场景辅助显示输出。
[0030] 在所述步骤三中，包括基于超声波雷达的可行驶区域检测、基于视觉的可行驶区域检测以及可行驶区域融合三部分；
[0031] 基于超声波雷达的可行驶区域检测：根据超声波雷达系统标定结果，将各超声波雷达传感器的距离探测结果，转化成鸟瞰视角车辆坐标系下坐标：
[0032] [x，y]＝f(i，d)
[0033] 其中，f(i,d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数，输入为传感器序号i以及相应探测距离d，输出为1中定义车辆坐标系下所探测的目标位置；
[0034] 用多段线顺序连接上述各目标障碍物坐标，生成超声波雷达可行驶区域输出二进制mask，区域内部至车辆边界为1，区域外部为0；
[0035] 基于视觉的可行驶区域检测：采用深度神经网络模型，对环视系统周围场景进行可行驶区域检测，具体步骤如下：
[0036] 图像预处理：根据环视系统的标定结果，生成与超声波雷达探测区域大小对应的鸟瞰视角，预先设置去除鸟瞰图中心车辆自身部分区域的可行驶区域检测mask，将此区域经缩放后输入深度卷积神经网络模型；
[0037] 神经网络模型设计与训练：神经网络模型包含图像输入层、由级联conv+relu+BN组合组成的共享特征层以及两个解码输出层，可行域及区域标识由反卷积以及softmax层构成；由类似相机参数所采集的视觉场景数据，经人工标注生成样本标签，采用随机梯度下降的方式针对像素级softmaxLoss离线训练所得；
[0038] 神经网络前端应用部署：根据前端平台运算特性，将训练所得网络转化成平台所支持的最优格式，主要包括数据类型转化以及模型稀疏程度设置，在预先设定好的测试集上对转化后模型的精度损失进行估算，视精度损失情况进行模型重训练；
[0039] 可行驶区域融合：利用低速车辆运动学模型，根据轮速以及方向盘转角信号输入，实时更新车辆坐标系信息，由于超声波雷达系统与视觉系统采集频率不同，在世界坐标系下将生成的鸟瞰可行驶区域视图取交集进行融合。在所述步骤四中，目标探测层级融合包括基于超声波雷达系统的目标建议、基于视觉的目标验证以及目标跟踪；
[0040] 基于超声波雷达系统的目标建议：包括车位目标建议以及行人目标建议两部分，对于车身侧面的超声波雷达传感器，根据可行驶区域几何尺寸限制进行车位目标建议；对于车身前后面的超声波雷达传感器，根据距离探测结果进行目标建议；
[0041] 基于视觉的目标验证：包括车位验证以及行人验证两部分，车位目标验证可在鸟瞰视角下进行，行人目标验证则需要透视变换至鱼眼坐标系下进行；目标跟踪：根据匀速运动模型，利用kalman滤波对上述目标进行跟踪。基于超声波雷达系统的目标建议包括：
[0042] 车位建议条件：∑(x，y)∈ROIMask(x，y)＞Pmin，i＝4，5，6，7，8，9[0043] 目标建议条件：Di＜Dmax，i＝1，2，3，10，11，12
[0044] 其中，Mask(x,y)为二进制超声波雷达可行驶区域输出，Pmin为泊车位几何尺寸阈值；Dmax为超声波雷达目标探测最大距离。
[0045] 车位验证以及行人验证两部分算法均基于相应的特征描述以及模板匹配的方法完成，实现方式如下：
[0046] 目标建议预处理：对于车位目标，将鸟瞰视角的区域建议roi裁剪并缩放至预设大小送入车位验证模块；对于行人目标，标定环视系统参数，按如下方式选取原视图中行人建议roi：
[0047] [x，y]＝f（i，d)
[0048] [j，u，v]＝g(x，y)
[0049]
[0050] 其中,其中，f(i,d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数,i为超声波传感器id，d为相应探测距离，输出为1中定义车辆坐标系下所探测的目标位置[x,y]，g(x,y)为离线标定所得车辆坐标系与各图像坐标系映射关系，j为环视相机序号，[u,v]为目标位置相应图像坐标系下坐标，[w,h]为行人目标图像坐标系下宽高，[fx,fy]为焦距，W，H为默认行人模板宽高；
[0051] 车位验证：利用可行驶区域分割网络卷积特征部分，在输出层添加车位标识通道，对车位建议roi区域进行场景分割，并利用车位模板对所提取车位标识进行模板匹配，符合车位模板限制的即为可泊车车位；
[0052] 行人验证：利用深度卷积神经网络进行行人验证，网络结构包含分类以及位置回归两个分支，深度卷积神经网络中分类分支采用softmax Loss，深度卷积神经网络中回归分支采用smoothL1Loss。
[0053] 本发明的实质性效果是：1.在不同应用层级融合了两系统的感知输出，丰富了系统应用的可行性同时增强了系统输出的鲁棒性；2.显示层级的融合将超声波雷达系统的距离探测能力与视觉系统的场景显示能力结合，增强了辅助显示交互的信息量与可靠性；3.可行驶区域层级的融合提升了单一系统单独进行可行驶区域检测时的鲁棒性，为自动泊车系统提供底层感知输出；iv).目标层级融合，增强了低速应用场景下车位检测与行人保护功能的可行性，相较于纯视觉检测搜索算法，超声波雷达目标建议能够大大降低图像搜索范围，从而节约算法耗时，提升系统的实时性，相较于纯超声波雷达系统，引入了目标区分能力。
附图说明
[0054] 图1为本发明的算法流程图；
[0055] 图2为本发明中3D环境模型以及映射关系示意图；
[0056] 图3为本发明中深度神经网络模型的示意图。
具体实施方式
[0057] 下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。
[0058] 实施例：
[0059] 一种车载超声波雷达与车载环视系统融合方法，其特征在于：包括以下步骤：
[0060] 步骤一，通过系统离线联合标定的方式完成系统标定,
[0061] 步骤二，通过辅助场景显示层级融合的方式完成可视化输出,
[0062] 步骤三，通过可行驶区域层级融合的方式完成可行域输出，
[0063] 步骤四，通过目标探测层级融合的方式完成目标输出。
[0064] 本实施例提出了一种车载超声波雷达与环视系统融合的方法，以提升基于此二者观测值的低速场景相关系统应用的鲁棒性与丰富性：辅助场景显示层级融合：将超声波雷达系统探测结果与环视系统显示界面融合，自适应更新环视场景模型，并且使相应障碍物距离信息可视化；可行驶区域层级融合：在鸟瞰视角中，利用各系统先验测量误差概率模型，将超声波雷达系统可行驶区域探测结果与环视系统可行驶区域探测结果融合，生成最终可行驶区域；目标探测层级融合：采用视觉重验证的方法，对由超声波探测生成车位以及行人两类目标ROI区域进行视觉验证，并利用卡尔曼滤波根据相应运动学模型进行跟踪，生成最终目标列表。本发明，有机的将两类感知系统探测优势融合能够进一步提升低速辅助驾驶系统，如360度环视系统，泊车辅助系统等的使用体验。
[0065] 更具体的为：
[0066] 所述步骤一，包括环视系统标定、超声波雷达系统标定以及系统对齐三个子步骤；
[0067] 环视系统标定子步骤：包括各鱼眼环视相机内外参数标定，采用已知参数的棋盘格作为辅助工具来完成；
[0068] 超声波雷达系统标定子步骤：包括超声波雷达信号强度以及安装角度标定，其中超声波信号强度通过信号反射强度的增益调节完成；安装角度则通过车载传感器限位支架实现；
[0069] 系统对齐子步骤：将环视系统与超声波雷达传感器的测量坐标系对齐，以车辆几何中心为坐标原点，车头方向为x轴正向，车身左侧为y轴方向正向，将原坐标系在鸟瞰平面内平移完成相应坐标系变换；对于超声波雷达系统，将各传感器所探测的信号强度按其安装位置与角度进行旋转平移变换，得到车辆坐标系下周围障碍物的探测情况。
[0070] 所述步骤二包括动态环视场景模型更新子步骤以及系统输出图层融合子步骤，[0071] 动态环视场景模型更新子步骤：环视系统包括场景模型建立以及辅助视觉渲染两部分；
[0072] 系统输出图层融合子步骤：环视系统最终输出需与超声波雷达输出图层进行融合。
[0073] 所述步骤二中的动态环视场景模型更新子步骤为，利用超声波雷达系统的距离探测能力动态更新环视系统所使用的碗状环境场景模型，具体实现方法如下：
[0074] d.利用低通滤波预处理各超声波雷达传感器的原始距离观测值，根据上述滤波后的测量值计算车辆坐标系下最近目标距离：
[0075] Dmin＝min Di，i＝1，2，...，n
[0076] 其中，Di为滤波后各超声波雷达传感器的距离测量值，n为超声波雷达传感器总数；
[0077] e.将最近目标距离Dmin作为动态碗状碗状模型参考半径r，更新环境模型：
[0078] r＝min(max(rmin，Dmin)，rmax)
[0079] Ri＝kir，i＝1，2，3
[0080] 其中，rmin和rmax为碗状模型参考半径最小以及最大限制，默认值为1和5；Ri为碗状模型各半径参数，ki为Ri与r的比例系数，默认值为1，1.8以及1.5；
[0081] f.根据上述动态更新的环境模型相应更新各相机图像坐标系映射关系，后续接缝融合所选取的ROI也按上述Ri的变化做相应调整。
[0082] 系统输出图层融合子步骤具体为，环视系统最终输出与超声波雷达输出图层进行融合：
[0083] c.超声波雷达系统输出图层：将各超声波雷达传感器的探测距离输出按预设距离阈值划分为远(2-5m)、中(0.5-2m)、近(0-0.5m)，并根据各自在车身的安装位置与自身探测范围，可视化其扇形探测区域，以对应的颜色与声音频率表征各区域的目标探测距离；
[0084] d.图层融合：将上述超声波雷达系统输出图层与建立的动态环境模型的路面部分按预设透明通道参数叠加，按相应预设视觉渲染生成融合后的场景辅助显示输出。
[0085] 在所述步骤三中，包括基于超声波雷达的可行驶区域检测、基于视觉的可行驶区域检测以及可行驶区域融合三部分；
[0086] 基于超声波雷达的可行驶区域检测：根据超声波雷达系统标定结果，将各超声波雷达传感器的距离探测结果，转化成鸟瞰视角车辆坐标系下坐标：
[0087] [x，y]＝f(i，d)
[0088] 其中，f(i,d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数，输入为传感器序号i以及相应探测距离d，输出为1中定义车辆坐标系下所探测的目标位置；
[0089] 用多段线顺序连接上述各目标障碍物坐标，生成超声波雷达可行驶区域输出二进制mask，区域内部至车辆边界为1，区域外部为0；
[0090] 基于视觉的可行驶区域检测：采用深度神经网络模型，对环视系统周围场景进行可行驶区域检测，具体步骤如下：
[0091] 图像预处理：根据环视系统的标定结果，生成与超声波雷达探测区域大小对应的鸟瞰视角，预先设置去除鸟瞰图中心车辆自身部分区域的可行驶区域检测mask，将此区域经缩放后输入深度卷积神经网络模型；
[0092] 神经网络模型设计与训练：神经网络模型包含图像输入层、由级联conv+relu+BN组合组成的共享特征层以及两个解码输出层，可行域及区域标识由反卷积以及softmax层构成；由类似相机参数所采集的视觉场景数据，经人工标注生成样本标签，采用随机梯度下降的方式针对像素级softmaxLoss离线训练所得；
[0093] 神经网络前端应用部署：根据前端平台运算特性，将训练所得网络转化成平台所支持的最优格式，主要包括数据类型转化以及模型稀疏程度设置，在预先设定好的测试集上对转化后模型的精度损失进行估算，视精度损失情况进行模型重训练；
[0094] 可行驶区域融合：利用低速车辆运动学模型，根据轮速以及方向盘转角信号输入，实时更新车辆坐标系信息，由于超声波雷达系统与视觉系统采集频率不同，在世界坐标系下将生成的鸟瞰可行驶区域视图取交集进行融合。在所述步骤四中，目标探测层级融合包括基于超声波雷达系统的目标建议、基于视觉的目标验证以及目标跟踪；
[0095] 基于超声波雷达系统的目标建议：包括车位目标建议以及行人目标建议两部分，对于车身侧面的超声波雷达传感器，根据可行驶区域几何尺寸限制进行车位目标建议；对于车身前后面的超声波雷达传感器，根据距离探测结果进行目标建议；
[0096] 基于视觉的目标验证：包括车位验证以及行人验证两部分，车位目标验证可在鸟瞰视角下进行，行人目标验证则需要透视变换至鱼眼坐标系下进行；目标跟踪：根据匀速运动模型，利用kalman滤波对上述目标进行跟踪。基于超声波雷达系统的目标建议包括：
[0097] 车位建议条件：∑(x，y)∈ROIMask(x，y)＞Pmin，i＝4，5，6，7，8，9[0098] 目标建议条件：Di＜Dmax，i＝1，2，3，10，11，12
[0099] 其中，Mask(x,y)为二进制超声波雷达可行驶区域输出，Pmin为泊车位几何尺寸阈值；Dmax为超声波雷达目标探测最大距离。
[0100] 车位验证以及行人验证两部分算法均基于相应的特征描述以及模板匹配的方法完成，实现方式如下：
[0101] 目标建议预处理：对于车位目标，将鸟瞰视角的区域建议roi裁剪并缩放至预设大小送入车位验证模块；对于行人目标，标定环视系统参数，按如下方式选取原视图中行人建议roi：
[0102] [x，y]＝f（i，d)
[0103] [j，u，v]＝g(x，y)
[0104]
[0105] 其中,其中，f(i,d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数,i为超声波传感器id，d为相应探测距离，输出为1中定义车辆坐标系下所探测的目标位置[x,y]，g(x,y)为离线标定所得车辆坐标系与各图像坐标系映射关系，j为环视相机序号，[u,v]为目标位置相应图像坐标系下坐标，[w,h]为行人目标图像坐标系下宽高，[fx,fy]为焦距，W，H为默认行人模板宽高；
[0106] 车位验证：利用可行驶区域分割网络卷积特征部分，在输出层添加车位标识通道，对车位建议roi区域进行场景分割，并利用车位模板对所提取车位标识进行模板匹配，符合车位模板限制的即为可泊车车位；
[0107] 行人验证：利用深度卷积神经网络进行行人验证，网络结构包含分类以及位置回归两个分支，深度卷积神经网络中分类分支采用softmax Loss，深度卷积神经网络中回归分支采用smoothL1Loss。
[0108] 本实施例的有益效果为1.在不同应用层级融合了两系统的感知输出，丰富了系统应用的可行性同时增强了系统输出的鲁棒性；2.显示层级的融合将超声波雷达系统的距离探测能力与视觉系统的场景显示能力结合，增强了辅助显示交互的信息量与可靠性；3.可行驶区域层级的融合提升了单一系统单独进行可行驶区域检测时的鲁棒性，为自动泊车系统提供底层感知输出；iv).目标层级融合，增强了低速应用场景下车位检测与行人保护功能的可行性，相较于纯视觉检测搜索算法，超声波雷达目标建议能够大大降低图像搜索范围，从而节约算法耗时，提升系统的实时性，相较于纯超声波雷达系统，引入了目标区分能力。
[0109] 以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。
