车辆检测方法和装置

摘要

提供了一种车辆检测方法和装置。该车辆检测方法包括：获取包括车辆区域的视差图像；从视差图像获取车辆候选区域；确定车辆候选区域的对称程度；以及基于所确定的车辆候选区域的对称程度，检测车辆。本发明的车辆检测方法较少依赖于光照条件，可以按照距离分层次检测；以及基于视差图中车辆对称性的特征来检测车辆，可以更鲁棒、准确地、高效地进行车辆检测。

权利要求

1.一种车辆检测方法，包括：

获取包括车辆区域的视差图像；

从视差图像获取车辆候选区域；

确定车辆候选区域的对称程度；以及

基于所确定的车辆候选区域的对称程度，检测车辆，其中，基于车辆候选区域的外边缘上的点的梯度，计算车辆候选区域的对称程度，所述计算车辆候选区域的对称程度包括：确定该车辆候选区域的对称轴；

相对于对称轴，对称地在预定位置、布置预定数目个预定形状的子区域；

根据车辆候选区域是否和对应子区域重叠以及根据车辆候选区域分别落入两侧对应子区域内的外边缘的部分，进行对应点采样和梯度计算；

基于所计算的分别落入两侧对应子区域内的外边缘的采样点的梯度，计算落入两侧对应子区域内的外边缘之间的对称程度；

基于与各个对应子区域对应的候选车辆区域的对称程度，计算车辆候选区域的对称程度。

2.如权利要求1所述的车辆检测方法，其中，通过在视差图像中查找在预定的视差范围内的连通区域，来从视差图像获取车辆候选区域。

3.如权利要求1所述的车辆检测方法，其中获取车辆候选区域包括根据车辆候选区域的对称程度的确定结果，分割车辆候选区域或者合并车辆候选区域。

4.一种车辆检测方法，包括：

获取包括车辆区域的视差图像；

从视差图像获取车辆候选区域；

确定车辆候选区域的对称程度；以及

基于所确定的车辆候选区域的对称程度，检测车辆，其中，基于车辆候选区域的外边缘上的点的梯度，计算车辆候选区域的对称程度，所述计算车辆候选区域的对称程度包括：确定该车辆候选区域的对称轴；

将车辆候选区域的选取的外边缘相对于对称轴两侧对应地划分为多个子片段；

对于对称轴两侧的对应子片段，分别进行对应点采样和梯度计算；

基于所计算的对应子片段的采样点的梯度，计算该对称轴两侧的对应子片段的对称程度；以及基于所有对应子片段的对称程度，计算车辆候选区域的对称程度。

5.如权利要求4所述的车辆检测方法，其中基于所计算的对应子片段的采样点的梯度，计算该对称轴两侧的对应子片段的对称程度包括：基于所计算的对应子片段的采样点的梯度，得到对应子片段的梯度方向的直方图；以及基于对应子片段的梯度方向的直方图，计算该对称轴两侧的对应子片段的对称程度。

6.如权利要求5所述的车辆检测方法，其中基于对应子片段的梯度方向的直方图，计算该对称轴两侧的对应子片段的对称程度包括：将对称轴一侧的子片段的梯度方向的直方图镜像转换到对称轴的另一侧；

将子片段的镜像转换后的梯度方向的直方图与对称轴另一侧的对应子片段的梯度方向的直方图进行匹配，根据匹配程度来评估该对称轴两侧的对应子片段的对称程度。

7.一种车辆检测方法，包括：

获取包括车辆区域的视差图像；

从视差图像获取车辆候选区域；

确定车辆候选区域的对称程度；以及

基于所确定的车辆候选区域的对称程度，检测车辆，其中，基于车辆候选区域的外边缘上的点的梯度，计算车辆候选区域的对称程度，所述计算车辆候选区域的对称程度包括：a、初始地指定对称轴位于预定位置；

b、计算相对于对称轴车辆候选区域的对称程度；

c、以预定步长向左或向右移动对称轴，对应地调整车辆候选区域；

d、相对于移动后的对称轴，计算调整后的车辆候选区域的对称程度；

e、重复步骤c、d，直到满足预定的终止条件，在上述重复结束后，以具有最高对称程度的对称轴或具有满足预定阈值的对称程度的对称轴作为最终对称轴，以与最终对称轴对应的车辆候选区域作为最终车辆候选区域，以最终对称轴对应算得的对称程度为计算的车辆候选区域对称程度。

8.一种车辆检测装置，包括：

视差图像获取部件，用于获取包括车辆区域的视差图像；

车辆候选区域获取部件，用于从视差图像获取车辆候选区域；

对称程度确定部件，用于确定车辆候选区域的对称程度；以及车辆检测部件，用于基于所确定的车辆候选区域的对称程度，检测车辆，其中，所述对称程度确定部件基于车辆候选区域的外边缘上的点的梯度，计算车辆候选区域的对称程度，所述对称程度确定部件计算车辆候选区域的对称程度包括：确定该车辆候选区域的对称轴；

相对于对称轴，对称地在预定位置、布置预定数目个预定形状的子区域；

根据车辆候选区域是否和对应子区域重叠以及根据车辆候选区域分别落入两侧对应子区域内的外边缘的部分，进行对应点采样和梯度计算；

基于所计算的分别落入两侧对应子区域内的外边缘的采样点的梯度，计算落入两侧对应子区域内的外边缘之间的对称程度；

基于与各个对应子区域对应的候选车辆区域的对称程度，计算车辆候选区域的对称程度。

9.一种车辆检测装置，包括：

视差图像获取部件，用于获取包括车辆区域的视差图像；

车辆候选区域获取部件，用于从视差图像获取车辆候选区域；

对称程度确定部件，用于确定车辆候选区域的对称程度；以及车辆检测部件，用于基于所确定的车辆候选区域的对称程度，检测车辆，其中，所述对称程度确定部件基于车辆候选区域的外边缘上的点的梯度，计算车辆候选区域的对称程度，所述对称程度确定部件计算车辆候选区域的对称程度包括：确定该车辆候选区域的对称轴；

将车辆候选区域的选取的外边缘相对于对称轴两侧对应地划分为多个子片段；

对于对称轴两侧的对应子片段，分别进行对应点采样和梯度计算；

基于所计算的对应子片段的采样点的梯度，计算该对称轴两侧的对应子片段的对称程度；以及基于所有对应子片段的对称程度，计算车辆候选区域的对称程度。

10.一种车辆检测装置，包括：

视差图像获取部件，用于获取包括车辆区域的视差图像；

车辆候选区域获取部件，用于从视差图像获取车辆候选区域；

对称程度确定部件，用于确定车辆候选区域的对称程度；以及车辆检测部件，用于基于所确定的车辆候选区域的对称程度，检测车辆，其中，所述对称程度确定部件基于车辆候选区域的外边缘上的点的梯度，计算车辆候选区域的对称程度，所述对称程度确定部件计算车辆候选区域的对称程度包括：a、初始地指定对称轴位于预定位置；

b、计算相对于对称轴车辆候选区域的对称程度；

c、以预定步长向左或向右移动对称轴，对应地调整车辆候选区域；

d、相对于移动后的对称轴，计算调整后的车辆候选区域的对称程度；

e、重复步骤c、d，直到满足预定的终止条件，在上述重复结束后，以具有最高对称程度的对称轴或具有满足预定阈值的对称程度的对称轴作为最终对称轴，以与最终对称轴对应的车辆候选区域作为最终车辆候选区域，以最终对称轴对应算得的对称程度为计算的车辆候选区域对称程度。

说明书

车辆检测方法和装置

技术领域

[0001] 本发明总体地涉及车辆检测，更具体地涉及使用视差图像进行车辆检测的方法和装置。

背景技术

[0002] 驾驶辅助系统的应用日渐普及。而路上车辆检测系统是驾驶辅助系统的子系统，可以帮助检测或识别车辆的有无、距离、速度等等，避免交通事故。

[0003] 概括而言，一般有两类检测车辆的方法：基于特征的方法和基于建模的方法。

[0004] 基于特征的方法通过组合一些车辆特征来定位灰度图像中的车辆，车辆特征例如车辆边缘、颜色、纹理、对称性、阴影等等。基于特征的方法受光照条件影响大，以及对于车辆和背景混合程度较高的情况、或者车辆前后存在图像部分重叠的情况等难于进行准确车辆检测。

[0005] 基于建模的方法确定一个立体视觉模型，其中涉及三维重构或三维建模。建模方法很占用计算资源，相对耗时。

[0006] 在作者为Broggi，A.，Cerri，P.等的题为“Multi-Resolution Vehicle Detection using Artificial Vision”，Intelligent Vehicles Symposium，2004 IEEE，第310-314页，2004年6月14-17日的文献中，提出了一种在灰度图上利用对称性检测车辆的方法，涉及在灰度图上进行物体边界的对称性的判别，进行遍历图片搜索对称中心。该方法因为对整个图像进行遍历或扫描，效率相对较低，而且对于灰度图复杂背景较难处理。

[0007] 在作者为Zhencheng Hu和Keiichi Uchimur，题为U-V-Disparity：An efficient algorithm for Stereovision Based Scene Analysis，Proceedings of the IEEE Intelligent Vehicles Symposium 2005的文献中，提出一种车辆检测方法，使用uv视差图来进行线的检测，从而确定原图中的面，来分割和确定车辆。该方法难于处理存在对车辆的遮挡和例如两个车辆相连接的情况。

发明内容

[0008] 本发明的一个目的在于提出一种可以相对可靠、快速检测车辆的方法和装置。

[0009] 根据本发明的一个方面，提供了一种车辆检测方法，可以包括：获取包括车辆区域的视差图像；从视差图像获取车辆候选区域；确定车辆候选区域的对称程度；以及基于所确定的车辆候选区域的对称程度，检测车辆。

[0010] 根据本发明的一个方面，提供了一种车辆检测装置，可以包括：视差图像获取部件，用于获取包括车辆区域的视差图像；车辆候选区域获取部件，用于从视差图像获取车辆候选区域；对称程度确定部件，用于确定车辆候选区域的对称程度；以及车辆检测部件，用于基于所确定的车辆候选区域的对称程度，检测车辆。

[0011] 车辆候选区域获取部件可以通过在视差图像中查找在预定的视差范围内的连通区域，来从视差图像获取车辆候选区域。

[0012] 车辆候选区域获取部件可以根据车辆候选区域的对称程度的确定结果，分割车辆候选区域或者合并车辆候选区域。

[0013] 对称程度确定部件可以基于车辆候选区域的外边缘上的点的梯度，计算车辆候选区域的对称程度。

[0014] 对称程度确定部件计算车辆候选区域的对称程度可以包括：确定该车辆候选区域的对称轴；相对于对称轴，对称地在预定位置、布置预定数目个预定形状的子区域；根据车辆候选区域是否和对应子区域重叠以及根据车辆候选区域分别落入两侧对应子区域内的外边缘的部分，进行对应点采样和梯度计算；基于所计算的分别落入两侧对应子区域内的外边缘的采样点的梯度，计算落入两侧对应子区域内的外边缘之间的对称程度；基于与各个对应子区域对应的候选车辆区域的对称程度，计算车辆候选区域的对称程度。

[0015] 替代地，对称程度确定部件计算车辆候选区域的对称程度计算车辆候选区域的对称程度可以包括：确定该车辆候选区域的对称轴；将车辆候选区域的选取的外边缘相对于对称轴两侧对应地划分为多个子片段；对于对称轴两侧的对应子片段，分别进行对应点采样和梯度计算；基于所计算的对应子片段的采样点的梯度，计算该对称轴两侧的对应子片段的对称程度；以及基于所有对应子片段的对称程度，计算车辆候选区域的对称程度。

[0016] 基于所计算的对应子片段的采样点的梯度，计算该对称轴两侧的对应子片段的对称程度可以包括：基于所计算的对应子片段的采样点的梯度，得到对应子片段的梯度方向的直方图；以及基于对应子片段的梯度方向的直方图，计算该对称轴两侧的对应子片段的对称程度。

[0017] 基于对应子片段的梯度方向的直方图，计算该对称轴两侧的对应子片段的对称程度可以包括：将对称轴一侧的子片段的梯度方向的直方图镜像转换到对称轴的另一侧；将子片段的镜像转换后的梯度方向的直方图与对称轴另一侧的对应子片段的梯度方向的直方图进行匹配，根据匹配程度来评估该对称轴两侧的对应子片段的对称程度。

[0018] 根据本发明实施例的车辆检测方法，利用视差图具有均一深度信息、突出的边缘的特点，首先获取或分割出车辆候选区域，然后确定车辆候选区域的对称程度，基于所确定的车辆候选区域的对称程度来检测车辆。相比于传统的基于灰度图像检测车辆的方法，本发明实施例的车辆检测方法不那么依赖于光照条件，可以按照距离分层次检测；而且，通过首先选取或划分出粗略车辆候选区域，再计算车辆候选区域的对称程度，相比于不加区分地处理整幅图像的方法，具有更高的处理效率；基于视差图中车辆对称性的特征来检测车辆，可以更鲁棒、准确地进行车辆检测。

附图说明

[0019] 图1示出了根据本发明一个实施例的车辆检测方法的整体流程图；

[0020] 图2示出了车辆候选区域包含多个车辆的示意图；

[0021] 图3示出了根据本发明优选实施例的确定车辆候选区域的对称程度的第一示例性计算方法的流程图；

[0022] 图4示出了车辆候选区域外边缘的初始情况的示意图；

[0023] 图5示出了对图4示出的车辆候选区域外边缘细化选取的示意图；

[0024] 图6示出了对图5示出的车辆候选区域外边缘细化选取的示意图；

[0025] 图7示出了根据本发明优选实施例的确定车辆候选区域的对称程度的第二示例性计算方法的流程图；

[0026] 图8示出了根据本发明实施例的子区域布置示意图；

[0027] 图9示出了根据本发明优选实施例的确定车辆候选区域的对称程度的第三示例性计算方法的流程图；

[0028] 图10示例性示出了对称轴移动以优化对称轴和调整车辆候选区域的示意图；

[0029] 图11、12、13分别示意图示出了作为示例的车辆候选区域左侧的梯度方向直方图、车辆候选区域右侧的梯度方向直方图、镜像转换后的车辆候选区域左侧的梯度方向直方图；

[0030] 图14示出了合并车辆候选区域得到新的车辆候选区域的示意图；

[0031] 图15示出了根据本发明实施例的车辆检测装置的总体配置的框图；以及[0032] 图16示出了照本发明实施例的车辆检测系统的总体硬件框图。

具体实施方式

[0033] 为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

[0034] 下面首先介绍一下基本概念，以便于理解。

[0035] 视差，实际指从某一基线两端各引一直线到同一较远物体时，其间所成的夹角。一般指从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的距离称作基线。只要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。

[0036] 视差图(disparity map)是以任一幅图像为基准，其大小为该基准图像的大小，元素值为视差值的图像。视差图包含了场景的距离信息。视差图可以例如从双目相机拍摄的左图像和右图像中计算得到，或者通过立体视图中的深度图计算得到。

[0037] 普通二维视差图中的某点坐标以(u，v)表示，其中u为横坐标，v为纵坐标；点(u，v)处的像素的像素值用d(u，v)表示，表示该点(u，v)处的视差。本文中，有些情况下，将视差也称为深度。

[0038] 下面将按照如下顺序描述优选实施例：

[0039] <1.第一实施例>

[0040] <1.1示例性车辆检测方法的整体流程>

[0041] <1.2、车辆候选区域的对称程度的第一示例性计算方法>

[0042] <1.3、车辆候选区域的对称程度的第二示例性计算方法>

[0043] <1.4、车辆候选区域的对称程度计算的第三示例性计算方法>

[0044] <1.5、基于梯度方向直方图的对称程度计算示例>

[0045] <2、其它变形实施例>

[0046] <3、车辆检测装置的总体配置>

[0047] <4、车辆检测系统的硬件配置>

[0048] <5、总结>

[0049] <1.第一实施例>

[0050] <1.1示例性车辆检测方法的整体流程>

[0051] 图1示出了根据本发明一个实施例的车辆检测方法100的整体流程图。

[0052] 在步骤S110中，获取包括车辆区域的视差图像。

[0053] 任何现有的获取视差图的方法均可以用于本发明。例如，可以通过车载双目相机、多目相机、立体相机拍摄并计算得到包括车辆区域的视差图，具体地，例如，可以通过车载双目相机来拍得左图像和右图像，基于左图像和右图像计算得到视差图。或者，可以从立体视图中获得深度图，根据深度图得到视差图。

[0054] 在步骤S120中，从视差图像获取车辆候选区域。

[0055] 此步骤旨在进行粗略车辆区域提取，以供后续步骤进一步详细检测车辆。这样可以圈定感兴趣区域，避免了如背景技术中介绍的文献1中那样逐步扫描整幅图像，从而可以显著提高后续处理效率。

[0056] 具体地，例如，可以通过在视差图像中查找在预定的视差范围内的连通区域，来从视差图像获取车辆候选区域。这里的视差值范围，例如，从为司机提供警示的角度考虑，可以是距离本车(司机)较近的范围，例如800-650，该范围可以大概为例如一个车身的长度。这样，可以逐步按照距离本车从近到远的顺序遍历图像，来分层次、按照需要检测车辆。例如，如果认为，只需要检测距离本车20米距离内的车辆，则就不必检测超出20米范围的远处车辆了。关于连通区域，并不一定指连通的封闭区域，而是可以为例如三边连通的情况，或者粗略检测的连通区域的高度和宽度大于预定阈值的情况。关于连通区域的范围和大小可以根据需要任意设定。

[0057] 另外，在此步骤中，可以进行适当的尺寸过滤。例如，可以过滤掉面积过小的连通区域，这样的连通区域更可能是噪声。

[0058] 此外，在此步骤中，还可以进行位置过滤。例如，车辆不可能出现在天空中，因此，可以采用预定高度阈值rh(例如，rh为大于普通车辆高度的数值)来将自路面起高度大于rh的所有点移除。因为，高度大于rh的点可能代表高楼等建筑物、电线杆等。

[0059] 此外，如果一个连通区域的宽高比符合适当的比例范围，例如，0.8～1.2，则这样的连通区域可以作为其中含有多个车辆候选区域的区域。例如，如图2所示的方框内的连通区域中含有两辆车区域。如在后文将结合图9更详细介绍的，可以通过例如图10所示的对称轴移动扫描来进行连接在一起的车辆或过大车辆候选区域的进一步划分。

[0060] 此外，可以例如结合分道线检测方法检测出的分道线来框定用于查找车辆候选区域的范围。

[0061] 另外，如在后文将更详细介绍的，获取车辆候选区域可以包括根据车辆候选区域的对称程度的确定结果，分割车辆候选区域或者合并车辆候选区域。

[0062] 在步骤S130中，确定车辆候选区域的对称程度。

[0063] 任何计算一个区域对称性的方法均可以用于本发明。例如，公知的以居中对称轴，进行左右镜像匹配，如计算左右匹配对应像素点之间的像素值之差，对所有像素点求得绝对差值和，根据此绝对差值和(可选地，可进行规范化)来评估区域的对称性，其中所计算的特征可以是灰度值、边界值或梯度值。

[0064] 优选地，可以基于车辆候选区域的外边缘上的点的梯度，计算车辆候选区域的对称程度，这是因为在视差图中，车辆外边缘的点最突出，不容易模糊或丢失，而车辆外边缘因为是边棱处，故梯度特征也很突出，梯度的方向变化较剧烈，梯度的大小的绝对值也较大。因此基于车辆候选区域的外边缘上的点的梯度，计算车辆候选区域的对称程度，不容易受噪声影响，具有较高的鲁棒性和准确性。

[0065] 后文中将参考图3、7、9来具体描述根据本发明优选实施例的确定车辆候选区域对称程度的方法示例。

[0066] 在步骤S140中，基于所确定的车辆候选区域的对称程度，检测车辆。

[0067] 例如，可以将所确定的车辆候选区域的对称程度的数值与预定对称程度阈值相比较，如果车辆候选区域的对称程度大于或等于预定对称程度阈值，则认为该车辆候选区域为车辆。这里的预定对称程度阈值可以通过学习算法学习得到，或者根据经验人工设置。

[0068] 另外，可以结合确定的车辆候选区域的对称程度和其他车辆检测方法来检测车辆。例如，如果已经通过灰度图得到了基于灰度图的车辆检测结果，那么可以例如利用在步骤S140中确定的车辆候选区域的对称程度来进一步验证基于灰度图的车辆检测结果。例如，如果基于灰度图的车辆检测结果中检测到的车辆的区域对应的对称程度很低，则可以否定或者丢弃该基于灰度图检测到的车辆，或者可以降低该检测到的车辆的结果正确的可能性，例如将该车辆的视差图对称程度作为一种加权手段，如果灰度图中检测到的一个车辆在视差图中的对应区域对称程度很低，则将此对称程度作为惩罚因子来降低该检测结果正确的可能性。

[0069] 当然，例如也可以基于所确定的车辆候选区域的对称程度，进一步考虑车辆的其它特征来验证根据对称程度检测的结果，或者进一步对于基于本发明实施例的对称程度检测方法检测出得车辆，检查该车辆区域的形状特征是否符合一般车辆的形状，该车辆区域是否存在车牌区域，该车辆区域对应的灰度图区域的颜色是否符合车辆的一般性颜色特征，等等。

[0070] 根据本发明实施例的车辆检测方法，利用视差图具有均一深度信息、突出的边缘的特点，首先获取或分割出车辆候选区域，然后确定车辆候选区域的对称程度，基于所确定的车辆候选区域的对称程度来检测车辆。相比于传统的基于灰度图像检测车辆的方法，本发明实施例的车辆检测方法不那么依赖于光照条件，可以按照距离分层次检测；而且，通过首先选取或划分出粗略车辆候选区域，再计算车辆候选区域的对称程度，相比于不加区分地处理整幅图像的方法，具有更高的处理效率；基于视差图中车辆对称性的特征来检测车辆，可以更鲁棒、准确地进行车辆检测。

[0071] <1.2、车辆候选区域的对称程度的第一示例性计算方法>

[0072] 图3示出了根据本发明优选实施例的确定车辆候选区域的对称程度的第一示例性计算方法130的流程图。该方法可用于图1中所示车辆检测方法的步骤S130。

[0073] 在步骤S131中，确定该车辆候选区域的对称轴。

[0074] 一般地，将对称轴垂直布置于车辆候选区域的水平居中位置。当然，如果图像的方向与图2所示的垂直，则应该水平布置于车辆候选区域的垂直居中位置。关于水平居中位置xc的计算，一个计算例子是设车辆候选区域的水平最左侧点的横轴坐标为x1，水平最右侧点的横轴坐标为x2，则水平居中位置xc可以计算为xc＝(x1+x2)/2。作为替代，例如，更复杂的计算例子是，计算连通区域的最左侧外边缘和最右侧外边缘上的若干对应点对的平均值，设取得n个对应点对分别为，[点PL1(xl1，y1)，点PR1(xr1，y1)]，[点PL2(xl2，y2)，点PR2xr2，y2)]，...[点PLn(xln，yn)，点PRn(xrn，yn)]，其中n为大于2的整数；则水平居中位置xc可以计算为xc＝(xl1+xr1+xl2+xr2...+xln+xrn)/2n。

[0075] 不过，上述确定对称轴位置的方法仅为示例，任何确定一个区域对称轴的方法均可以用于本发明。

[0076] 在步骤S132中，将车辆候选区域的选取的外边缘相对于对称轴两侧对应地划分为多个子片段。

[0077] 这里的措辞“选取的外边缘”意思是在有些情况下，车辆候选区域的外边缘比较模糊，或者存在可能的多个外边缘。例如，在图4示出的方框内的示例性连通区域中，如果简单选取该连通区域的最外边缘，则将会导致分别将本来为车头处的边缘作为左侧外边缘，来和作为车尾处的边缘的右侧外边缘相比较，这样该车辆候选区域的对称性就会比较差。

[0078] 对这种情况，一个简单的解决办法可以是，限定左侧外边缘和右侧外边缘在视差图中的深度应近似相同，也就是说在视差图中的视差应很接近，这里的措辞“近似相同”或者“很接近”可以理解为左侧外边缘和右侧外边缘之间的视差值的差值应该小于预定阈值，该预定阈值可以根据需要来设置。如此，可以以例如预定阈值a选取例如图5中所示的内侧框中的边缘作为外边缘，或者可以进一步地以更小的预定阈值b选取例如图6中所示的内侧框中的边缘作为外边缘。这样，可以相对准确地得到较好的车辆区域对称性。

[0079] 这里，将车辆区域的外边缘分割为多个子片段，然后对于对称轴两侧的左右对应子片段考察对称性是基于如下考虑：对于车辆外边缘，不同部分可能对于对称性的考量贡献不同，例如，车辆外边缘一般可以分为车顶水平外边缘部分，车窗外边缘部分，以及车窗下的外边缘部分，可以根据各部分以例如不同的长度区间划分，例如，可以将车顶水平边缘划分得细致一些，也就是子片段致密一些，而对于车窗下的外边缘部分划分得粗糙一些，也就是子片段稀疏一些。

[0080] 在步骤S133中，对于对称轴两侧的对应子片段，分别进行对应点采样和梯度计算。

[0081] 这里的对应点可以指垂直坐标相同而水平坐标不同的对称轴两侧的对应子片段上的点。这里的梯度计算，根据后续对称程度计算中所利用的数值形式，可以仅仅是梯度方向，仅仅是梯度的幅值，也可以是梯度方向和幅值两者。

[0082] 在步骤S134中，基于所计算的对应子片段的采样点的梯度，计算该对称轴两侧的对应子片段的对称程度。

[0083] 这里的对应程度计算，可以直接对于对称轴两侧的对应子片段上的各个对应采样点的梯度计算平方差值和。当然也可以采用其他差值计算方法，例如绝对差值和。

[0084] 例如，假设左右外边缘被分割为n个子片段s1，s2，...，sn。对于第i个子片段，采样了mi个采样点，对称轴左右两侧的第j个采样点对应的梯度分别表示为Gleft(i，j)和Gright(i，j)，其中j∈(1，mi)，n和m分别为大于2的整数，该采样点对应的权值表示为W(i，j)。

[0085] 例如，子片段i的对称程度Symi可以根据下述公式(1)计算：

[0086]

[0087] 在步骤S135中，基于所有对应子片段的对称程度，计算车辆候选区域的对称程度。

[0088] 例如，整个车辆候选区域的对称程度Sym可以根据公式(2)计算如下：

[0089]

[0090] 其中wi表示第i个子片段的对称程度占整个车辆候选区域对称程度计算的权重。

[0091] 由此得到了整个车辆候选区域的对称程度。

[0092] 不过上述公式(1)、(2)仅为示例性的，可以根据需要选择其它的对称程度计算公式，只要该公式表征出对称轴两侧越匹配，对称程度越高的特性即可。

[0093] 另外，需要说明的是，在该方法中，可以省略掉子片段划分步骤，而直接对外边缘进行等间距或者不等间距采样和梯度计算，进而计算对称程度。

[0094] <1.3、车辆候选区域的对称程度的第二示例性计算方法>

[0095] 图7示出了根据本发明优选实施例的确定车辆候选区域的对称程度的第二示例性计算方法130’的流程图。该方法可用于图1中所示车辆检测方法的步骤S130。

[0096] 图7所示的第二示例性对称程度计算方法与图3所示的第一示例性对称程度计算方法的不同主要在于步骤S132’和步骤S133’。故这里详细介绍步骤S132’和步骤S133’。省略对步骤S131，关于它可参考图4和结合图4的描述。

[0097] 首先为了便于理解，解释一下该第二示例性对称程度计算方法的发明动机。在图4所示的对称程度计算方法中，只要是对称程度较高的区域，就可以得到较高的输出结果。而在有些情况下，这可能不符合实际情况。例如，如果由图1中步骤S120得到的车辆候选区域实际上是一棵树，则该树在视差图中可能表现为连通区域，且近似为三角形状，因而得到较高的对称程度输出值。再比如，如果分割得到的车辆候选区域是一个路中央交通岗亭，则也可能得到较高的对称程度输出值。

[0098] 为了避免上述诸如树或者交通岗亭等非车辆但在视差图中表现出良好对称性的物体的干扰，发明人想到，可以根据车辆的形状，布置一个车辆边缘可收缩模板，如果该车辆候选区域的边缘未落入该模板中，则可以将该车辆候选区域丢弃或者给出该车辆候选区域较差的对称程度度量。该车辆边缘可伸缩模板可以用总体组成近似为车辆轮廓的预定数目个预定形状的子区域来近似。

[0099] 在步骤S132’中，相对于对称轴，对称地在预定位置、布置预定数目个预定形状的子区域。

[0100] 所述子区域布置的一个示例如图8所示。图中的椭圆形表示各个子区域。在该例子中，对于左右两侧，车顶部布置了一个子区域，车顶部的拐角处布置了一个子区域，车窗处边缘布置了一个子区域，以及车窗下的边缘布置了一个子区域。这样的子区域总体模拟了普通车辆的形状轮廓，但是具有一定的伸缩性。当实际放置区域时，可以根据待计算对称程度的车辆候选区域的宽度或高度，而对应地伸缩该轮廓。

[0101] 另外，区域的数目和形状根据需要可以任意设置，例如不限于左右两侧各3三个，而可以为4个、5个、6个等，形状例如可以为正方形，圆形等。

[0102] 另外图8中的箭头表示各采样点的梯度向量。

[0103] 在步骤S133’中，根据车辆候选区域是否和对应子区域重叠以及根据车辆候选区域分别落入两侧对应子区域内的外边缘的部分，进行对应点采样和梯度计算。

[0104] 例如，如果车辆候选区域与某个或某些模板子区域没有重叠，这表明该车辆候选区域的形状不那么像模板代表的车辆，此时可以直接终止计算，丢弃该车辆候选区域。或者，可以将该区域的对称程度设置为负值，即担任最后整体对称程度计算中的惩罚因子的角色。

[0105] 对于车辆候选区域分别落入两侧对应子区域内的外边缘的部分，可以如在参考图4描述的步骤S133中描述的那样，类似地进行对应点采样和梯度计算

[0106] 在步骤S134’中，基于所计算的分别落入两侧对应子区域内的外边缘的采样点的梯度，计算落入两侧对应子区域内的外边缘之间的对称程度。该步骤的操作与参考图4描述的步骤S134的操作类似。

[0107] 在步骤S135’中，基于与各个对应子区域对应的候选车辆区域的对称程度，计算车辆候选区域的对称程度。该步骤的操作与参考图4描述的步骤S135的操作类似。

[0108] 利用图7所示的示例性计算方法，在进行对称程度计算时，考虑了车辆形状的因素，可以避免针对具有很高对称性但是形状与普通车辆形状非常不同的车辆候选区域给出很高对称程度输出的情况。

[0109] <1.4、车辆候选区域的对称程度计算的第三示例性计算方法>

[0110] 图9示出了根据本发明优选实施例的确定车辆候选区域的对称程度的第三示例性计算方法1300的流程图。该方法可用于图1中所示车辆检测方法的步骤S130。

[0111] 在此第三示例性实施例中，结合了对称轴的扰动优化以及车辆候选区域的调整，因此可以例如将一个车辆候选区域拆分为两个车辆候选区域。

[0112] 在步骤S1310中，初始地指定对称轴位于预定位置。

[0113] 例如，如上所述指定初始对称轴位于车辆候选区域的水平居中位置。如图[0114] 在步骤S1320中，计算相对于对称轴车辆候选区域的对称程度。在车辆候选区域和对称轴确定后，车辆候选区域的对称程度的计算可以采用例如结合图4或图7描述的示例性方法。不过，本发明并不局限于此，也可以采用其它具体对称程度计算方法。

[0115] 在步骤S1330中，以预定步长向左或向右移动对称轴，对应地调整车辆候选区域。

[0116] 在图10所示示例中，例如，初始对称轴以短虚线形式示出，位于居中位置。在步骤S1330中，可以以预定步长向左或向右扫描式移动对称轴，并对应地调整车辆候选区域，例如，如果向左移动对称轴，则在与左侧外边缘对称的右侧区域寻找可能的右侧外边缘；而如果向右移动对称轴，则在与右侧外边缘对称的左侧区域寻找可能的左侧外边缘。

[0117] 在步骤S1340中，相对于移动后的对称轴，计算调整后的车辆候选区域的对称程度。

[0118] 在步骤S1350中，判断是否满足预定的终止条件。

[0119] 预定终止条件可以为，例如，对称轴移动次数达到预定次数，对称轴已经移到最外边缘之外，对称程度持续恶化达到预定程度，等等。

[0120] 如果在步骤S1350中，确定不满足预定终止条件，则流程跳转到步骤S1330。

[0121] 如果在步骤S1350中，确定满足预定终止条件，则前进到步骤S1360，其中以具有最高对称程度的对称轴或具有满足预定阈值的对称程度的对称轴作为最终对称轴，以与最终对称轴对应的车辆候选区域作为最终车辆候选区域，以最终对称轴对应算得的对称程度为计算的车辆候选区域对称程度。然后，结束处理。

[0122] 仍以图10为例，最后，得到如长虚线绘制的两个对称轴和两个调整后的车辆候选区域，当然也计算得到了该调整后的车辆候选区域的对称程度。这实际上获得了车辆候选区域进一步分割获得两个车辆候选区域的效果。

[0123] <1.5、基于梯度方向直方图的对称程度计算示例>

[0124] 下面参考图11、12、13描述基于梯度方向直方图的对称程度计算示例。

[0125] 利用直方图，可以从统计意义上考察相对于对称轴车辆候选区域的对称程度。

[0126] 对于各个采样点，在计算得到对应梯度后，在一个示例中，得到了如图11所示的车辆候选区域左侧的梯度方向直方图，以及图12中所示的车辆候选区域右侧的梯度方向直方图。其中的横坐标轴表示梯度方向，以角度表示，纵坐标为梯度方向为确定值的采样点的个数。

[0127] 为了更好地进行匹配，可以根据公式(3)对左侧的梯度方向进行镜像转换，[0128]

[0129] 镜像转换后的车辆候选区域左侧的梯度方向直方图如图13所示。

[0130] 如此可以对图12和图13车辆候选区域右侧的梯度方向直方图和镜像转换后的车辆候选区域左侧的梯度方向直方图进行匹配处理。

[0131] 例如一种计算方式为，如果右侧直方图上的一个条形柱在镜像左侧直方图上存在对应的条形柱，比如，在330度角度处，均存在条形柱，则将此两条形柱高度相减，换句话说，也即，将左右两侧的梯度方向为330度的采样点个数相减并取绝对值，作为在330度角度处的左右候选区域的统计差别。这里的右侧直方图和左侧镜像直方图上存在彼此对应的条形柱，并不一定要求横坐标(梯度方向)绝对相等，而是可以将两者相差在预定阈值范围内的视为相等。另外，如果在一个角度处，右侧区域存在条形柱，而左侧车辆候选区域不存在条形柱，则可以将左侧候选区域在该角度处的采样点个数为零。如此，求得各个对应角度处采样点个数差异的求和，再可选地进行归一化，例如除以左侧的采样点个数，然后再取倒数等进行处理，即得到了表征左右对称程度的数值。

[0132] 另外，上面示例中，对左侧直方图进行镜像转换后和右侧直方图匹配。当然，替代地，也可以对右侧直方图进行镜像转换后和左侧直方图匹配。

[0133] 另外，在上述梯度方向直方图计算中，也可以为不同角度的采样点差异赋予不同的权重。

[0134] 上面举例说明了根据梯度方向直方图进行对称程度计算的方法。不过这仅为示例，替代地，也可以根据梯度强度直方图进行对称程度计算。此外，还可以根据梯度方向和梯度强度两者来进行对称程度计算。

[0135] 利用上述梯度直方图计算，可以直观、鲁棒地考察相对于对称轴车辆候选区域的左右对称程度。

[0136] <2、其它变形实施例>

[0137] 另外，发明人还考虑到了一些可能的变形实施例。

[0138] 根据一个实施例，当两个车辆候选区域对称程度均较差且较靠近时，可以考虑将此两个车辆候选区域合并为一个车辆候选区域来考察合并后的车辆候选区域的对称程度。这可以解决在视差图中一辆车被分为两个连通区域的情况。图14给出了这种情况的示例。
其中在实线框中的两个初始车辆候选区域利用本变形实施例被合并为虚线框中的单个车辆候选区域，并且得到了很好的对称性，由此防止了车辆的漏检。

[0139] 根据另一实施例，当一个车辆候选区域的对称程度较差时，如前所述，可以进一步地缩小分割车辆候选区域的视差值范围，这样有可能找到正确的对称程度较高的车辆候选区域。如前文已经参考图4、5、6所描述的。

[0140] 根据另一实施例，当一个车辆候选区域的对称程度较差且该车辆候选区域面积较大时，可以通过如参考图9和图10中所描述的对称轴移动扫描的方法，来考察是否可以将一个车辆候选区域分割为两个车辆候选区域。或者，可以在检测到一个满足条件的车辆之后，再将其余部分进行一次对称性计算，来确定是否存在其它的车辆。

[0141] <3、车辆检测装置的总体配置>

[0142] 图15是根据本发明一个实施例的车辆检测装置的总体配置8000的总体框图。

[0143] 如图15所示，该车辆检测装置8000可以包括：视差图像获取部件8100，用于获取包括车辆区域的视差图像；车辆候选区域获取部件8200，用于从视差图像获取车辆候选区域；对称程度确定部件8300，用于确定车辆候选区域的对称程度；以及车辆检测部件8400，用于基于所确定的车辆候选区域的对称程度，检测车辆。

[0144] 车辆候选区域获取部件8200可以通过在视差图像中查找在预定的视差范围内的连通区域，来从视差图像获取车辆候选区域。

[0145] 车辆候选区域获取部件8200可以根据车辆候选区域的对称程度的确定结果，分割车辆候选区域或者合并车辆候选区域。

[0146] 对称程度确定部件8300可以基于车辆候选区域的外边缘上的点的梯度，计算车辆候选区域的对称程度。

[0147] 对称程度确定部件8300计算车辆候选区域的对称程度可以包括：确定该车辆候选区域的对称轴；相对于对称轴，对称地在预定位置、布置预定数目个预定形状的子区域；根据车辆候选区域是否和对应子区域重叠以及根据车辆候选区域分别落入两侧对应子区域内的外边缘的部分，进行对应点采样和梯度计算；基于所计算的分别落入两侧对应子区域内的外边缘的采样点的梯度，计算落入两侧对应子区域内的外边缘之间的对称程度；基于与各个对应子区域对应的候选车辆区域的对称程度，计算车辆候选区域的对称程度。

[0148] 替代地，对称程度确定部件8300计算车辆候选区域的对称程度计算车辆候选区域的对称程度可以包括：确定该车辆候选区域的对称轴；将车辆候选区域的选取的外边缘相对于对称轴两侧对应地划分为多个子片段；对于对称轴两侧的对应子片段，分别进行对应点采样和梯度计算；基于所计算的对应子片段的采样点的梯度，计算该对称轴两侧的对应子片段的对称程度；以及基于所有对应子片段的对称程度，计算车辆候选区域的对称程度。

[0149] 基于所计算的对应子片段的采样点的梯度，计算该对称轴两侧的对应子片段的对称程度可以包括：基于所计算的对应子片段的采样点的梯度，得到对应子片段的梯度方向的直方图；以及基于对应子片段的梯度方向的直方图，计算该对称轴两侧的对应子片段的对称程度。

[0150] 基于对应子片段的梯度方向的直方图，计算该对称轴两侧的对应子片段的对称程度可以包括：将对称轴一侧的子片段的梯度方向的直方图镜像转换到对称轴的另一侧；将子片段的镜像转换后的梯度方向的直方图与对称轴另一侧的对应子片段的梯度方向的直方图进行匹配，根据匹配程度来评估该对称轴两侧的对应子片段的对称程度。

[0151] 根据本发明实施例的车辆检测装置，利用视差图具有均一深度信息、突出的边缘的特点，首先获取或分割出车辆候选区域，然后确定车辆候选区域的对称程度，基于所确定的车辆候选区域的对称程度来检测车辆。相比于传统的基于灰度图像检测车辆的方法，本发明实施例的车辆检测方法不那么依赖于光照条件，可以按照距离分层次检测；而且，通过首先选取或划分出粗略车辆候选区域，再计算车辆候选区域的对称程度，相比于不加区分地处理整幅图像的方法，具有更高的处理效率；基于视差图中车辆对称性的特征来检测车辆，可以更鲁棒、准确地进行车辆检测。

[0152] <4、车辆检测系统的硬件配置>

[0153] 本发明还可以通过一种车辆检测硬件系统来实施。图16是示出按照本发明实施例的车辆检测系统9000的总体硬件框图。如图16所示，车辆检测系统9000可以包括：输入设备9100，用于从外部输入有关图像或信息，例如立体相机拍摄的左右图像或深度信息，例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等；处理设备9200，用于实施上述的按照本发明实施例的车辆检测方法，或者实施为上述的车辆检测装置，例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等，可以连接到诸如因特网的网络(未示出)，根据处理过程的需要向远程传送处理后的图像等等；输出设备9300，用于向外部输出实施上述车辆检测过程所得的结果，例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等；以及存储设备9400，用于以易失或非易失的方式存储上述车辆检测过程所涉及的视差图像、对称轴、对称程度、连通区域、车辆边缘等等，例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

[0154] <5、总结>

[0155] 根据本发明的实施例，提供了一种车辆检测方法，可以包括：获取包括车辆区域的视差图像；从视差图像获取车辆候选区域；确定车辆候选区域的对称程度；以及基于所确定的车辆候选区域的对称程度，检测车辆。

[0156] 根据本发明的实施例，还提供了对应的车辆检测装置一种车辆检测装置，包括：视差图像获取部件，用于获取包括车辆区域的视差图像；车辆候选区域获取部件，用于从视差图像获取车辆候选区域；对称程度确定部件，用于确定车辆候选区域的对称程度；以及车辆检测部件，用于基于所确定的车辆候选区域的对称程度，检测车辆。

[0157] 根据本发明实施例的车辆检测方法，利用视差图具有均一深度信息、突出的边缘的特点，首先获取或分割出车辆候选区域，然后确定车辆候选区域的对称程度，基于所确定的车辆候选区域的对称程度来检测车辆。相比于传统的基于灰度图像检测车辆的方法，本发明实施例的车辆检测方法不那么依赖于光照条件，可以按照距离分层次检测，所以不依赖于背景；而且，通过首先选取或划分出粗略车辆候选区域，再计算车辆候选区域的对称程度，相比于不加区分地处理整幅图像的方法，具有更高的处理效率；基于视差图中车辆对称性的特征来检测车辆，可以更鲁棒、准确地进行车辆检测。

[0158] 另外，本发明的车辆候选检测方法和装置通过进一步分割或合并初始车辆候选区域，还可以解决本应为单个车辆候选区域的区域初始被确定为例如两个车辆候选区域的情形、或者本应为两个车辆候选区域的区域初始被确定为单个车辆候选区域的情形。

[0159] 另外，通过进一步按照视差细化选取车辆候选区域，可以解决可能的车辆候选区域图像不对称的情形。

[0160] 前述描述仅为说明性的，可以进行很多修改和/或替换。

[0161] 例如，前文中参考图9和图10描述对称轴进行移动时，提到以预定步长来进行向左或右移动，不过本发明并不局限于此，该步长可以是通过学习获得的，可以是相邻步长不等的，甚至可以随机确定的。

[0162] 另外，前文中参考图9和图10描述对称轴进行移动时，提到现确定对称轴，然后再调整对应的车辆候选区域。这仅为示例，替代地，也可以先寻找可能配对的车辆左右外边缘，然后放置对应的对称轴。

[0163] 另外，前文在参考图1描述车辆检测方法时，提到可以按照从近到远的顺序分层次来检测车辆。这仅为示例，根据需要，也可以按照从远到近的顺序分层次检测车辆。

[0164] 另外，前文多次以梯度方向作为特征来计算对称程度，不过这仅为示例，也可以利用梯度强度作为特征来计算对称程度，或者既利用梯度强度也利用梯度方向作为特征来计算程度。

[0165] 另外，前文曾提到参数可以人工设置，不过这仅为示例，本发明并不局限于此，前述各个参数可以通过各种学习方法或者参数优化方法来得到。

[0166] 以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

[0167] 因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

[0168] 还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

[0169] 上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。