车辆检测方法和装置转让专利

申请号 : CN201310271915.1

文献号 : CN104276111B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 贺娜胡平师忠超鲁耀杰王刚

申请人 : 株式会社理光

摘要 :

提供了一种车辆检测方法和装置,该方法包括:获取灰度图和对应的视差图;从灰度图中检测水平边缘和竖直边缘并进行二值化处理,分别得到二值化的水平边缘图像和竖直边缘图像;结合水平边缘图像、竖直边缘图像和视差图像,对于每列计算对称性,其中,对于每列,针对落入与该列相关联的车辆在图像中的宽度范围内的一个或多个第一宽度,基于水平边缘图像中区域型的对称性、视差图像中的可能的车辆的左右竖直边缘的对称性、以及在竖直边缘图像中体现出车辆的左右竖直边缘的程度来计算该列关于该一个或多个第一宽度的对称性,以及计算该列的对称性;以及基于计算得到的各列的对称性,检测车辆。本发明对噪声更鲁棒,可以更加准确地检测车辆。

权利要求 :

1.一种车辆检测方法,包括:

获取灰度图和对应的视差图;

从灰度图中检测水平边缘和竖直边缘并进行二值化处理,分别得到二值化的水平边缘图像和竖直边缘图像,其中二值中的一个值表示边缘,另一个值表示非边缘;

结合水平边缘图像、竖直边缘图像和视差图像,对于每列计算对称性;以及基于计算得到的各列的对称性,检测车辆,其特征在于,对于每列,针对落入与该列相关联的车辆在图像中的宽度范围内的一个或多个第一宽度,基于水平边缘图像中区域型的对称性、视差图像中的车辆的左右竖直边缘的对称性、以及在竖直边缘图像中体现出车辆的左右竖直边缘的程度来计算该列关于该一个或多个第一宽度的对称性,以及基于该列关于该一个或多个第一宽度的对称性来计算该列的对称性。

2.根据权利要求1的车辆检测方法,其中所述计算该列关于第一宽度的对称性包括:在水平边缘图中,在以该列为中心、以该第一宽度为区域宽度所确定的区域内,统计边缘像素点数N,以及统计关于该列对称的边缘像素点的个数S,以及基于边缘像素点数N和关于该列对称的边缘像素点的个数S来计算水平边缘图像中区域型的对称性;

在竖直边缘图中,在位于该列左右两侧的、以距离该列第一宽度的一半处的列为中心以第二宽度为区域宽度所确定的左右竖条区域内,统计边缘像素点数V,其中在竖直边缘图中体现出车辆的左右垂直边缘的程度基于边缘像素点数V来计算;

在视差图中,在位于该列左右两侧的、以距离该列第一宽度的一半处的列为中心以第二宽度为区域宽度所确定的左右竖条区域内,统计该左右竖条区域中关于该列对称的边缘像素点数D,其中在视差图像中车辆的左右竖直边缘的对称性基于对称的边缘像素点数D来计算;以及基于水平边缘图像中区域型的对称性、竖直边缘图中的边缘像素点数V和视差图中的边缘像素点数D来计算该列关于第一宽度的对称性。

3.根据权利要求2的车辆检测方法,其中,根据下述公式之一来计算列关于第一宽度的对称性:其中F(N,S,V,D)为计算得到的列的对称性,W表示第一宽度,w1,w2,w3表示加权系数,且为(0,1)范围内的实数。

4.根据权利要求1或2的车辆检测方法,其中,所述落入与该列相关联的车辆在图像中的宽度范围内的一个或多个第一宽度通过下述步骤获得:在视差图中,确定该列的代表性视差;

基于车辆在物理世界中的真实宽度范围、用于捕获图像的相机的参数、该代表性视差,计算车辆在图像中的宽度范围(Wmin,Wmax);以及在车辆在图像中的宽度范围(Wmin,Wmax)内,确定该一个或多个第一宽度。

5.根据权利要求1的车辆检测方法,还包括在对于每列计算对称性之前,交互处理二值化的水平边缘图像和竖直边缘图像,使得将通过仅保留在二值化的水平边缘图像中为边缘像素点且在二值化的竖直边缘二值图像中为非边缘像素点的像素点得到的图像作为处理后的水平边缘图像,以及将通过仅保留在二值化的竖直边缘图像中为边缘像素点且在二值化的水平边缘图像中为非边缘像素点的像素点得到的图像为处理后的竖直边缘图像。

6.根据权利要求1的车辆检测方法,所述基于计算得到的各列的对称性,检测车辆包括定位对称轴,定位对称轴包括如下操作:确定连通的对称性区域;以及

计算每个连通的对称性区域的中心作为车辆的对称轴。

7.根据权利要求6的车辆检测方法,所述基于计算得到的各列的对称性,检测车辆还包括定位车辆的左右位置,定位车辆的左右位置包括如下操作:在竖直边缘图中,对于每个定位到的对称轴,向左右预定范围内搜索并计算每一列的边缘像素点的个数;

计算左右预定范围内边缘像素点个数的左侧最大值和右侧最大值;以及以左侧最大值所在的列作为车辆的左位置,以及以右侧最大值所在的列作为车辆的右位置。

8.根据权利要求7的车辆检测方法,所述基于计算得到的各列的对称性,检测车辆还包括定位车辆的底部位置和顶部位置,定位车辆的底部位置和顶部位置包括如下操作:在处理后的水平边缘图中,在定位到的左右位置列内,根据每一行的边缘像素点个数从下至上搜索底部位置;

通过在竖直边缘图中验证搜索到的底部位置与左右位置列交叉处的预定范围内是否存在边缘,以及在视差图中验证搜索到的底部位置与左右位置列交叉处的预定范围内是否存在视差来验证底部位置;以及基于预定的车辆宽高比来得到顶部位置。

9.根据权利要求8的车辆检测方法,所述基于计算得到的各列的对称性,检测车辆包括:对检测到的车辆进行后处理,其中

基于检测到的车辆位置和视差图,除去车辆大小和位置不符合预定规则的车辆,以及验证检测到的车辆区域在视差图中的方差是否小于预定阈值。

10.一种检测车辆的车辆检测装置,包括:

灰度图和视差图获得部件,获取灰度图和对应的视差图;

水平边缘图和竖直边缘图获得部件,从灰度图中检测水平边缘和竖直边缘并进行二值化处理,分别得到二值化的水平边缘图像和竖直边缘图像,其中二值中的一个值表示边缘,另一个值表示非边缘;

列对称性计算部件,结合水平边缘图像、竖直边缘图像和视差图像,对于每列计算对称性;以及车辆检测部件,基于计算得到的各列的对称性,检测车辆,

其特征在于,所述列对称性计算部件对于每列,针对落入与该列相关联的车辆在图像中的宽度范围内的一个或多个第一宽度,基于水平边缘图像中区域型的对称性、视差图像中的车辆的左右竖直边缘的对称性、以及在竖直边缘图像中体现出车辆的左右垂直边缘的程度来计算该列关于该一个或多个第一宽度的对称性,以及基于该列关于该一个或多个第一宽度的对称性来计算该列的对称性。

说明书 :

车辆检测方法和装置

技术领域

[0001] 本发明总体地涉及图像处理,更具体地涉及基于图像处理进行车辆检测的方法和装置。

背景技术

[0002] 驾驶辅助系统的应用日渐普及,这样的驾驶辅助系统通常在车辆上安装有摄像设备和/或其它感测设备,通过例如分析摄像设备拍摄的图像来给出有助于驾驶员驾驶的信息。
[0003] 车辆交通事故的统计表明,驾驶员面临的主要压力来自其它车辆。因此,在自动驾驶辅助系统中,鲁棒可靠的车辆检测是重要的课题。精确的车辆检测有利于后续的车辆识别、车辆跟踪以及防碰撞等。
[0004] 已经开发了基于车辆的对称性特性来利用图像处理检测车辆的技术。
[0005] 在DELPHI TECHNOLOGIES公司的发明名称为“Detection Method”的美国专利公开中US2009/0110286A1,提出了一种已知形状的对称物体的检测方法,其中对称性的大小是通过将梯度向量与一条线进行比较得到。
[0006] 在题为“Vehicle area detecting apparatus and vehicle area determining method”的美国专利US6842531B2中,在具有高车辆存在概率的候选区域中进行车辆检测,其中通过水平对称评估,方差评估,较低区域的平均层次评估以及区域判断单元进行车辆检测。

发明内容

[0007] 根据本发明的一个方面,提供了一种车辆检测方法,包括:获取灰度图和对应的视差图;从灰度图中检测水平边缘和竖直边缘并进行二值化处理,分别得到二值化的水平边缘图像和竖直边缘图像,其中二值中的一个值表示边缘,另一个值表示非边缘;结合水平边缘图像、竖直边缘图像和视差图像,对于每列计算对称性,其中,对于每列,针对落入与该列相关联的车辆在图像中的宽度范围内的一个或多个第一宽度,基于水平边缘图像中区域型的对称性、视差图像中的可能的车辆的左右竖直边缘的对称性、以及在竖直边缘图像中体现出车辆的左右竖直边缘的程度来计算该列关于该一个或多个第一宽度的对称性,以及基于该列关于该一个或多个第一宽度的对称性来计算该列的对称性;以及基于计算得到的各列的对称性,检测车辆。
[0008] 根据本发明的另一方面,还提供了一种检测车辆的车辆检测装置,包括:灰度图和视差图获得部件,获取灰度图和对应的视差图;水平边缘图和竖直边缘图获得部件,从灰度图中检测水平边缘和竖直边缘并进行二值化处理,分别得到二值化的水平边缘图像和竖直边缘图像,其中二值中的一个值表示边缘,另一个值表示非边缘;列对称性计算部件,结合水平边缘图像、竖直边缘图像和视差图像,对于每列计算对称性,其中,对于每列,针对落入与该列相关联的车辆在图像中的宽度范围内的一个或多个第一宽度,基于水平边缘图像中区域型的对称性、视差图像中的可能的车辆的左右竖直边缘的对称性、以及在竖直边缘图像中体现出车辆的左右垂直边缘的程度来计算该列关于该一个或多个第一宽度的对称性,以及基于该列关于该一个或多个第一宽度的对称性来计算该列的对称性;以及车辆检测部件,基于计算得到的各列的对称性,检测车辆。
[0009] 利用上述根据本发明实施例的车辆检测方法和装置,因为针对每列确定了该列相关联的宽度范围,并基于该宽度范围来确定列的对称性,因而能够适合于实际情况而更准确地检测车辆;另外,因为在计算列的对称性时,基于车辆在水平边缘图像、竖直边缘图像和视差图图像中的特性,综合考虑了水平边缘图像中的区域型的对称性和视差图像中的左右垂直边缘的对称性以及在竖直边缘图像中体现出车辆的左右垂直边缘的程度,从而能够更合适地计算列的对称性用于车辆检测,对噪声更鲁棒,从而得到更加准确的检测结果。

附图说明

[0010] 从下面结合附图对本发明实施例的详细描述中,本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解,其中:
[0011] 图1示出了根据本发明实施例的车辆检测系统的系统结构图示例。
[0012] 图2示出了根据本发明实施例的车辆检测装置的框图。
[0013] 图3示出了根据本发明实施例的车辆检测方法的整体流程图。
[0014] 图4中的(a)-(g)给出了边缘检测、二值化处理、交互处理结果的比较性示例,其中(a)示出了原始灰度图像,(b)示出了利用sobel算子获取的水平边缘图像,(c)示出了利用sobel算子获取的垂直边缘图像,(d)示出了二值化的水平边缘图像,(e)示出了二值化的垂直边缘图像,(f)示出了经过交互处理后的二值化的水平边缘图像,(g)示出了经过交互处理后的二值化的垂直边缘图像。
[0015] 图5(a)示出了立体相机设置的示意图,图5(b)示出了在水平投影图中计算车辆宽度的示意图。
[0016] 图6示出了根据一个实施例的计算列关于车辆在图像中的宽度范围内的某宽度的对称性的方法的流程图。
[0017] 图7(a)-(c)分别示意性地示出了水平边缘图、竖直边缘图和视差图中相关数据的统计。
[0018] 图8(a)和8(b)示出了所计算的各列关于各种宽度的对称性在水平边缘图中的显示的示意图。其中在图8(a)中,对于标号1框出的区域,得到了标号2指示的对称性表示。
[0019] 图9示出了对图8(b)的对称性的值进行过滤后的结果示意图。
[0020] 图10示出了根据本发明实施例的基于计算得到的各列的对称性检测车辆的示例性方法的流程图。
[0021] 图11示出了根据本发明实施例的基于计算得到的各列的对称性定位车辆的对称轴的方法的流程图。
[0022] 图12示出了根据一个示例的定位对称轴的结果的示意图。
[0023] 图13描述根据本发明实施例的定位车辆的左右位置的方法的流程图。
[0024] 图14示出了根据一个示例的定位车辆的左右位置的结果的示意图。
[0025] 图15描述根据本发明实施例的定位车辆的底部位置和顶部位置的方法的流程图。
[0026] 图16示出了根据一个示例的定位车辆的底部位置和顶部位置的结果的示意图。
[0027] 图17示出了经过后处理后的检测到的车辆的结果的示意图。
[0028] 图18示出了一种用于检测车辆的系统的结构图。
[0029] 图19是示出按照本发明实施例的车辆检测系统的总体硬件框图。

具体实施方式

[0030] 下面将参照附图更详细地描述本发明的优选实施方式。虽然附图中显示了本发明的优选实施方式,然而应该理解,可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本发明更加透彻和完整,并且能够将本发明的范围完整的传达给本领域的技术人员
[0031] 图1示出了根据本发明实施例的车辆检测系统的系统结构图示例。该系统的输入为灰度图和对应的视差图,例如可以由安装在车辆的双目相机来拍摄得到。该输入经过车辆检测装置后,输出为车辆检测结果,输出形式可以是多样的,例如在显示器上输出指示检测到的车辆的可视形式,或者以麦克风形式进行语音提示,或者以文本形式输出车辆检测结果信息等。图2中的(a)和(b)分别示出了原始路面灰度图像和车辆检测结果输出形式的一个例子,其中检测到的车辆用方框形式框出,这样的原始路面灰度图像和车辆检测结果例如可以显示在车载可视系统的显示屏上。
[0032] 需要说明的是,图1中所示的系统输入为灰度图和对应的视差图,不过当然输入也可以为例如双目相机左图像和右图像,然后在车辆检测系统内部来例如以左图像作为灰度图,而从左图像和右图像来得到对应的视差图。
[0033] 图2示出了根据本发明实施例的车辆检测装置100的框图。
[0034] 如图2所示,车辆检测装置100可以包括:灰度图和视差图获得部件110,获取灰度图和对应的视差图;水平边缘图和竖直边缘图获得部件120,从灰度图中检测水平边缘和竖直边缘并进行二值化处理,分别得到二值化的水平边缘图像和竖直边缘图像,其中二值中的一个值表示边缘,另一个值表示非边缘;列对称性计算部件130,结合水平边缘图像、竖直边缘图像和视差图像,对于每列计算对称性,其中,对于每列,针对落入与该列相关联的车辆在图像中的宽度范围内的一个或多个第一宽度,基于水平边缘图像中区域型的对称性、视差图像中的可能的车辆的左右竖直边缘的对称性、以及在竖直边缘图像中体现出车辆的左右垂直边缘的程度来计算该列关于该一个或多个第一宽度的对称性,以及基于该列关于该一个或多个第一宽度的对称性来计算该列的对称性;以及车辆检测部件140,基于计算得到的各列的对称性,检测车辆。
[0035] 需要说明的是,上述车辆检测装置100的部件可以用软件程序来实现,例如通过通用计算机中的CPU结合RAM和ROM等以及其中运行的软件代码来实现。软件程序可以存储在诸如闪存、软盘、硬盘、光盘等存储介质上,在运行时加载到诸如随机访问存储器RAM上来由CPU执行。另外,除了通用计算机上,还可以通过专用集成电路和软件之间的合作来实现。所述集成电路包括通过例如MPU(微处理单元)、DSP(数字信号处理器)、FPGA(现场可编程门阵列)、ASIC(专用集成电路)等中的至少一个来实现。这样的通用计算机或者专用集成电路等例如可以装载在车辆上,并且与安装在车辆上的用于对道路和道路相关联的对象成像的成像设备例如照相机来通信,以便对照相机拍摄获得的二维图像和/或立体图像进行分析来检测车辆。另外,车辆检测装置100的各个部件可以用专门的硬件来实现,例如特定的现场可编程门阵列、专用集成电路等。另外,车辆检测装置100的各个部件也可以利用软件和硬件的结合来实现。
[0036] 需要说明的是,图2中所示的箭头只表示两个部件的功能之间存在逻辑关系,两个部件之间可以直接或者间接地操作性地连接。另外,即便图3中的某两个部件之间未示出某方向的箭头连接,但是这并不表明两者之间必然不存在该方向的逻辑关系,相反,两者之间可以存在相互协作关系,例如车辆检测部件140与灰度图和视差图获得部件110之间可以存在逻辑关系,其中车辆检测部件140可能需要利用灰度图和视差图获得部件110所获得的视差图来检测车辆。
[0037] 上述各个单元的结构和数量不对本发明的范围构成限制。根据本发明的一个实施例,上述灰度图和视差图获得部件110、水平边缘图和竖直边缘图获得部件120、列对称性计算部件130、以及车辆检测部件140可以合并为一个独立的部件来执行和实现相应的功能和操作,或者可以将上述灰度图和视差图获得部件110、水平边缘图和竖直边缘图获得部件120、列对称性计算部件130、以及车辆检测部件140进一步拆分为更小的单元来实现他们各自的功能和操作。
[0038] 另外,需要说明的是,图2中所示的结构并不是排他式的,相反车辆检测装置100可以包括其他部件,例如显示部件,用于显示车辆检测部件140的检测结果,以及例如通信部件,用于将有关信息传递到外部等。
[0039] 下面参考图3来描述根据本发明实施例的车辆检测方法200例子。根据本发明的一个实施例,车辆检测方法200的各个步骤可以由图2所示的对应部件来实施,即步骤S210由灰度图和视差图获得部件110执行,步骤S220由水平边缘图和竖直边缘图获得部件120执行,步骤S230由列对称性计算部件130,以及步骤S240由车辆检测部件140执行。
[0040] 如图3所示,在步骤S210中,获取灰度图和对应的视差图。
[0041] 任何现有的获取灰度图和对应的视差图的方法均可以用于本发明。例如,可以通过车载双目相机、多目相机、立体相机拍摄灰度图,并计算得到对应的视差图。具体地,例如,可以通过车载双目相机来拍得左图像和右图像,其中以左图像(或右图像)作为这里的灰度图,以及基于左图像和右图像计算得到视差图。
[0042] 这里,在一个实施例中,车辆检测装置或并入了车辆检测装置的设备可以搭载于车辆上,并可以例如通过本地的车载相机来实现灰度图和视差图的获取。或者在另一个实施例中,也可以利用例如有线网络或者无线网络来从远程获得灰度图和对应的视差图。
[0043] 在步骤S210中,从灰度图中检测水平边缘和竖直边缘并进行二值化处理,分别得到二值化的水平边缘图像和竖直边缘图像,其中二值中的一个值表示边缘,另一个值表示非边缘。
[0044] 此步是为了得到水平边缘图像和垂直边缘图像。因为车辆具有明显的水平边棱和垂直边棱,因此利用水平边缘图像和垂直边缘图像可以将车辆的边棱特征体现在水平边缘图像和垂直边缘图像中。
[0045] 在一个示例中,使用Sobel算子获取灰度图的水平边缘和竖直边缘,有关Sobel算子的介绍可以参考ME Sobel于1982年发表于Sociological methodology的题为“Asymptotic confidence intervals for indirect effects in structural equation models”的文章。
[0046] 然后对水平边缘图像和竖直边缘图像进行了二值化处理,该二值化处理可以使用一个固定的阈值如30(灰度值)或者使用自适应阈值方法来进行,有关自适应阈值方法可以例如参考N Otsu于1975年在Automatica上发表的题为“A threshold selection method from gray-level histograms”的文章。
[0047] 在二值化的水平边缘图像和竖直边缘图像中,一般地用白色像素表示边缘像素,用黑色像素表示非边缘像素。不过可以想见,也可以用黑色像素表示边缘像素,用白色像素表示非边缘像素。下文中为描述方便,以白色像素表示边缘像素,黑色像素表示非边缘像素的形式为例进行说明。
[0048] 优选地,在一个示例中,交互处理二值化的水平边缘图像和竖直边缘图像,使得将通过仅保留在二值化的水平边缘图像中为边缘像素点且在二值化的竖直边缘二值图像中为非边缘像素点的像素点得到的图像为处理后的水平边缘图像,以及仅保留在二值化的竖直边缘图像中为边缘像素点且在二值化的水平边缘图像中为非边缘像素点的像素点得到的图像为处理后的竖直边缘图像。换句话说,在水平边缘图像中,将在水平边缘图像和竖直边缘图像中均为白色像素点的像素点转换为黑色像素点。在竖直边缘图像中,也将在水平边缘图像和竖直边缘图像中均为白色像素点的像素点转换为黑色像素点。与交互处理之前比,这样的交互处理之后得到的水平边缘图像和竖直边缘图像中包含更加纯粹的水平边缘或者竖直边缘,可以减少在后续的对称性计算等步骤中的噪声。
[0049] 图4中的(a)-(g)给出了边缘检测、二值化处理、交互处理结果的比较性示例,其中(a)示出了原始灰度图像,(b)示出了利用sobel算子获取的水平边缘图像,(c)示出了利用sobel算子获取的垂直边缘图像,(d)示出了二值化的水平边缘图像,(e)示出了二值化的垂直边缘图像,(f)示出了经过交互处理后的二值化的水平边缘图像,(g)示出了经过交互处理后的二值化的垂直边缘图像。
[0050] 由图4中的经过交互处理后的二值化的水平边缘图像(f)和交互处理前的二值化的水平边缘图像(d)之间的比较可见,交互处理大大减少了水平边缘图像中的因灰度图中倾斜地纵向延伸的车道线、远方树木边缘引起的水平边缘因素,从而能够减小后续的针对车辆检测的对称性计算等步骤中的噪声,提高计算的准确度和效率。
[0051] 在步骤S230中,结合水平边缘图像、竖直边缘图像和视差图像,对于每列计算对称性,其中,对于每列,针对落入与该列相关联的、车辆在图像中的宽度范围内的一个或多个第一宽度,基于水平边缘图像中区域型的对称性、视差图像中的左右垂直边缘的对称性、以及在竖直边缘图像中体现出车辆的左右垂直边缘的程度来计算该列关于该一个或多个第一宽度的对称性,以及基于该列关于该一个或多个第一宽度的对称性来计算该列的对称性。
[0052] 步骤S230的主要思想在于:(1)对于各列不是如常见的那样共用一个固定的车辆区域宽度,而是针对每列确定与该列自身相关联的车辆的宽度范围,从而能够针对各列更准确地检测到车辆。这是因为,由于被摄车辆距离用于捕获图像的相机(例如车载相机)的远近不同,车辆在图像中的大小也不同,即距离相机近的车辆在图像中尺寸较大,距离相机远的车辆在图像中尺寸较小,因此在图像中计算各列的对称性用于车辆检测时应该考虑该列相关联的车辆宽度范围。(2)对于一列,当针对与该列相关联的、车辆在图像中宽度范围内的一个或多个宽度计算对称性时,考虑三个因素,即水平边缘图像中区域型的对称性、视差图像中的左右垂直边缘的对称性、以及在竖直边缘图像中体现出车辆的左右垂直边缘的程度。其背后思想是,车辆在水平边缘图中区域型的对称性明显,因此在列的对称性计算中以水平边缘图中的对称性为主,同时考虑车辆的左右边棱处在视差图中体现出的竖直边缘的对称性,以及车辆的左右边棱处在竖直边缘图中体现出的竖直边缘的存在体现程度;这是因为发明人发现,由于车辆的竖直边缘不像水平边缘那么明显,在二值化的竖直边缘图中,车辆的左右竖直边缘并不完整,车辆的左右边棱处并不确保在图像中体现很好的对称性,但是车辆本身的左右边棱的实体存在可以确保在竖直边缘图中存在对应的竖直边缘,因此发明人认为更合适的是考虑在竖直边缘图中左右竖直边缘的体现程度。
[0053] 在本文中,“区域型的对称性”表示计算一个区域的对称性(关于该区域的中心轴)。“竖直边缘的对称性”,是指关于某竖直对称轴,左右两侧竖直型窄条相互对称的程度。“竖直边缘的体现程度”或“竖直边缘的存在体现程度”可以理解为在图像中某一个或多个竖直窄条中有多大程度体现为存在竖直边缘。另外,在本文中“竖直边缘”和“垂直边缘”可以互换使用。
[0054] 另外,这里的“每列”可以是像素单位的每个列,或者可以是按照预定列间距的沿图像的水平方面扫描的各列,还可以是用户感兴趣的图像区域内按预定列间距的各列,甚至可以是按可变间距选取的沿图像的水平方面扫描的各列。
[0055] 下面举例说明如何针对每列确定与该列自身相关联的车辆的宽度范围。
[0056] 在相机和拍摄对象之间距离已知的情况下,拍摄对象的实际物理大小和在相机的图像中的大小之间存在一定的换算关系。相机和拍摄对象之间距离由视差体现。因此根据对象的视差以及对象的实际物理大小,可以推导出该对象在图像中的大小。
[0057] 下面参考图5中的(a)和(b)来概要描述该推导过程,其中图5(a)示出了立体相机设置的示意图,图5(b)示出了在水平投影图中计算车辆宽度的示意图。
[0058] 本领域公知地,给定相机设置和对象距相机的距离或所谓的深度Z,视差值d可如下式(1)计算,
[0059]
[0060] 上式中,d为视差值,xl和xr分别是左图和右图中对应像素的水平坐标,f是镜头长度,b为基线距离,Z为对象点P(X,Y,Z)的深度,如图5中的(a)所示。
[0061] 从水平投影图,即图5(b)可知,视差图中的宽度可由下式(2)计算得到:
[0062]
[0063] 上式中,d为视差,f是镜头长度,b为基线距离,Z为深度,L为车辆的真实宽度,l为车辆在图像中的像素宽度。
[0064] 由上可见,已知车辆在现实世界中的宽度,可以推导出车辆在图像中的像素宽度。
[0065] 在一个示例中,可以定义车辆的实际宽度最大为2米最小为1米,那么当视差值已知时车辆在视差图中的宽度范围可由上式(2)计算得到。
[0066] 下面参照图6通过举例详细说明如何计算列关于落入车辆在图像中的宽度范围内的某宽度的对称性。
[0067] 图6示出了根据一个实施例的计算列关于落入车辆在图像中的宽度范围内的某宽度的对称性的方法230的流程图,该方法230可以应用于图3所示的步骤S230中。
[0068] 如图6所示,该方法的输入为水平边缘图、竖直边缘图和视差图。
[0069] 在步骤S231中,关于讨论的列在视差图中估算车辆宽度范围,以及确定落入该宽度范围内的某宽度,以便后续计算列关于该宽度的对称性。
[0070] 在一个示例中,可以确定讨论的列(下文为描述方便,将其定位为位于Xc)的代表性视差,例如可以计算列的各个像素点的视差的均值或中值作为该列的代表性视差,或者可以计算列的某段区间内的视差的均值或中值作为该列的代表性视差。
[0071] 然后,基于车辆在物理世界中的真实宽度范围、用于捕获图像的相机的参数、该代表性视差,计算车辆在图像中的宽度范围(wmin,wmax),例如利用上述公式(2)来计算。
[0072] 在确定得到车辆在图像中的宽度范围之后,计算列关于该宽度范围内的某宽度W(对应于权利要求中的第一宽度)例如(wmin+wmax)/2的对称性。
[0073] 在另一个示例中,如果一列的视差值极为稀疏,难以找到有意义或者代表性的视差值,则可以例如简单地取图像整体宽度的十分之一来作为关于其计算列的对称性的宽度。
[0074] 在步骤S232中,关于该宽度,在水平边缘图、竖直边缘图和视差图中统计相关数据。
[0075] 下面参考图7(a)-(c)描述在水平边缘图、竖直边缘图和视差图中相关数据的统计,其中图7(a)-(c)分别示意性地示出了水平边缘图、竖直边缘图和视差图中相关数据的统计。
[0076] 在一个示例中,在水平边缘图中,如图7中的(a)所示,对于列Xc,在从Xc-W/2到Xc+W/2的范围内,统计边缘像素点数,假设边缘像素点为白色像素点,即统计白色像素点的个数N,以及统计关于列Xc对称的白色像素点的个数S。具体地,如果两个像素点(X,Y)和(X+Xc,Y)均为白色,那么这两个像素点关于Xc轴对称。
[0077] 在一个示例中,在水平边缘图中列Xc关于宽度W的区域型的对称性Symhorizontal(Xc,W)可以例如如下式(3)来估计。
[0078]
[0079] 公式(3)仅为示例,可以利用其它的公式例如简单地将对称白色像素点数S和总白色像素点数N相除来计算水平边缘图中列Xc关于宽度W的区域型的对称性。
[0080] 在一个示例中,在竖直边缘图中,为了计算在竖直边缘图像中体现出可能的车辆的左右垂直边缘的程度,统计在位于该列Xc左右两侧的、以距离该列Xc第一宽度一半处的列为中心以第二宽度为区域宽度所确定的左右竖条区域内,统计边缘像素点数V,其中在竖直边缘图中体现出车辆的左右垂直边缘的程度基于边缘像素点数V来体现。
[0081] 具体地,如图7(b)所示,在列Xc的左右两侧,分别以列Xc-W/2和列Xc+W/2为中心,取两个窄竖条区域,例如为5个像素宽度(即第二宽度W2)的竖条区域。统计该第二宽度W2的白色像素点数V。在一个示例中,以该白色像素点数V或者其归一化的值来表示在该竖条区域的位置处存在一个竖直边缘(对应于可能的车辆的竖直边棱)的可能性。
[0082] 例如,在一个示例中,在竖直边缘图中在该竖条区域的位置处存在一个竖直边缘(对应于可能的车辆的竖直边棱)的可能性P(vertical)用下式(4)来表示。
[0083]
[0084] 在一个示例中,在视差图中,为了计算在竖直边缘图像中体现出(或者说存在)可能的车辆的对称的左右垂直边缘的程度,在位于该列Xc左右两侧的、以距离该列Xc第一宽度一半处的列为中心以第二宽度为区域宽度所确定的左右竖条区域内,统计该左右竖条区域中关于该列Xc对称的边缘像素点数D,其中在视差图像中可能的车辆的左右竖直边缘的对称性基于对称的边缘像素点数D来计算。
[0085] 具体地,如图7(c)所示,在列Xc的左右两侧,分别以列Xc-W/2和列Xc+W/2为中心,取两个窄竖条区域,例如为5个像素宽度(即第二宽度)的竖条区域。统计该左右竖条区域中关于该列Xc对称的白色像素点数D。在一个示例中,以该白色像素点数D或者其归一化的值(例如D/W)来表示在该左右竖条区域的位置处存在关于列Xc对称的左右竖直边缘(对应于可能的车辆的对称的左右竖直边棱)的可能性。
[0086] 例如,在一个示例中,在视差图中在该左右竖条区域的位置处存在对称的竖直边缘(对应于可能的车辆的对称的左右竖直边棱)的可能性P(d)可以用下式(5)来表示。
[0087]
[0088] 上面的描述中,第二宽度举例为5个像素宽度,不过这仅为示例,可以根据需要采取不同的像素宽度。另外,在上述描述中,在视差图和在竖直边缘图中的竖条区域的宽度即第二宽度被描述为相同,不过本发明并不局限于此,而是在视差图中的竖条区域的宽度和在竖直边缘图中的竖条区域的宽度可以彼此不同。
[0089] 回到图6,在步骤S233中,计算列Xc关于宽度W的对称性。
[0090] 基于上述步骤S232中的统计的相关数据,即水平边缘图像中的统计得到的位于宽度W关联区域内的白色像素点的个数N以及关于列Xc对称的点的个数S、竖直边缘图中的边缘像素点数V和视差图中的对称边缘像素点数D,可以计算列Xc关于宽度W的对称性Symmetry(Xc,W),如下式(6)所示
[0091] Symmetry(Xc,W)=F(N,S,V,D)          (6)
[0092] 其中,F(N,S,V,D)可以为各种形式,例如下式(7)或(8):
[0093]
[0094]
[0095] 上式(8)中的w1、w2和w3是加权因子,且为(0,1)范围内的实数,其值可以根据经验确定或者通过学习来确定。
[0096] 上面公式(7)和(8)中的W为第一宽度,其在公式(7)、(8)主要起归一化因子的作用,而且可以用其它数值来代替。
[0097] 需要说明的是,上式(7)和(8)仅为计算列关于某宽度的对称性的公式示例,可以根据需要采用其它的关于S、V、D单调递增而关于N单调递减的任何函数形式。
[0098] 另外,需要说明的是,在上面的计算列关于某宽度的对称性的例子中,是直接从统计数据,即水平边缘图像中的统计得到的宽度W关联区域内的白色像素点的个数N,以及关于列Xc对称的点的个数S、竖直边缘图中的边缘像素点数V和视差图中的对称边缘像素点数D来计算对称性。不过这仅为示例,当然也可以分别例如利用上面的公式(3)、(4)、(5),基于水平边缘图像中的统计得到的宽度W关联区域内的白色像素点的个数N以及关于列Xc对称的点的个数S来计算得到水平边缘图像中列Xc关于宽度W的区域型的对称性Symhorizontal(Xc,W),以及基于竖直边缘图像中统计得到的该白色像素点数V计算在该竖条区域的位置处存在竖直边缘(对应于可能的车辆的竖直边棱)的可能性P(vertical),以及基于在视差图中统计得到的关于该列Xc对称的白色像素点数D计算在该左右竖条区域的位置处存在对称的竖直边缘(对应于可能的车辆的对称的左右竖直边棱)的可能性P(d),然后再基于水平边缘图中列Xc关于宽度W的区域型的对称性Symhorizontal(Xc,W)、竖直边缘图中存在竖直边缘的可能性P(vertical)、视差图中存在对称的竖直边缘的可能性P(d)来计算最后的列Xc关于宽度W的对称性。
[0099] 回到图6,在步骤S233中计算得到列关于某宽度的对称性后,可以输出该列关于宽度的对称性。
[0100] 上面描述了如果计算得到某列关于某一个宽度的对称性,其中该宽度落入该列相关联的车辆的宽度范围中。类似地,可以对于落入该列相关联的车辆的宽度范围中的多个宽度来分别计算列关于各个宽度的对称性,例如可以按照预定宽度间距来计算列关于从最小宽度Wmin到最大宽度Wmax的各个宽度的对称性。
[0101] 图8(a)和8(b)示出了所计算的各列关于各种宽度的对称性在水平边缘图中的显示的示意图。其中在图8(a)中,对于标号1框出的区域,得到了标号2指示的对称性表示,其中该对称性表示中的每个点(Xc,W)的Xc坐标表示指示的是列Xc的对称性,该点的垂直坐标W指示相关联的宽度(第一宽度),该点的灰度值表示该列Xc关于该宽度W的对称性的值,其中该点越亮表示对称性越高。图8(b)是图8(a)的对称性结果区域的放大。
[0102] 在一个示例中,可以对列关于各宽度的对称性的值进行过滤处理,例如采用一个固定的阈值,如果列关于各宽度的对称性的值小于该阈值,则将列关于各宽度的对称性的值设置为0。由于车辆的对称性大于其它物体,该过滤处理可以去除一些小的对称性的列而仅留下对称性强的更可能为车的那些列。图9示出了对图8(b)的对称性的值进行过滤后的结果示意图。
[0103] 作为“列的对称性”,可以用该列关于落入车辆宽度范围的某宽度的对称性来代表,或者可以用该列关于落入车辆宽度范围的多个宽度的对称性的均值或中值来表示。从另一视角看,列的对称性可以视为该列为车辆的对称轴的可能性的表示,因此后续例如可以基于计算得到的列的对称性来定位车辆的对称轴并因而检测车辆。
[0104] 可以例如通过对于水平边缘图、竖直边缘图和视差图从左到右进行扫描,例如按照图6所示的列对称性计算方法,计算得到各列的对称性。
[0105] 回到图3,在步骤S230中得到各列的对称性后,前进到步骤S240。
[0106] 在步骤S240中,基于计算得到的各列的对称性,检测车辆。
[0107] 下面参考图10描述根据本发明实施例的基于计算得到的各列的对称性检测车辆的示例性方法。
[0108] 如图10所示,该方法以处理后的边缘图像,视差图和计算的各列的对称性作为输入,并且优选地该计算的各列的对称性的值经过上述过滤处理,以便去除对称性的值较小的列而仅保留对称性较强的更可能为车的对称轴的列。
[0109] 在步骤S241中,基于计算得到的各列的对称性,定位车辆的对称轴。
[0110] 下面参考图11描述根据本发明实施例的基于计算得到的各列的对称性定位车辆的对称轴的方法241的示例。该方法241以计算得到的各列的对称性作为输入。
[0111] 如图11所示,在步骤S2411中基于计算得到的各列的对称性,检测连通的对称性区域,连通对称性区域可以定义为连续的列的对称性值都大于一定阈值的区域。例如,可以通过从左至右搜索连续的对称列来得到连通对称区域。
[0112] 然后,在步骤S2412中,计算每一个连通对称性区域的中心列作为定位到的对称轴输出。
[0113] 图12示出了根据一个示例的定位对称轴的结果的示意图,其中标号1指示的竖线表示定位的对称轴位置。定位的对称轴位置被认为是可能存在的车辆的中心列(中心轴)位置。
[0114] 回到图10,接下来,在步骤S242中,定位车辆的左右位置。
[0115] 下面参考图13描述根据本发明实施例的定位车辆的左右位置的方法242的示例。
[0116] 如图13所示,该方法的输入为竖直边缘图和定位的车辆的对称轴的位置。
[0117] 在步骤S2421中,在竖直边缘图中,对于每个定位到的对称轴,向左右预定范围内搜索并计算每一列的边缘像素点的个数。
[0118] 在步骤S2422中,计算左右预定范围内边缘像素点个数的左侧最大值和右侧最大值。
[0119] 在步骤S2423中,以左侧最大值所在的列作为车辆的左位置,以及以右侧最大值所在的列作为车辆的右位置,由此获得了定位的左右位置作为输出。
[0120] 图14示出了根据一个示例的定位车辆的左右位置的结果的示意图,其中标号1指示定位的车辆的对称轴,标号2指示定位的车辆的左右位置。定位的左右位置被认为是可能存在的车辆的左右边界。
[0121] 回到图10,接下来,在步骤S243中,定位车辆的底部位置和顶部位置。
[0122] 下面参考图15描述根据本发明实施例的定位车辆的底部位置和顶部位置的方法243的示例。
[0123] 如图15所示,该方法的输入为水平边缘图和定位的车辆的左右位置。
[0124] 在步骤S2431中,在处理后的水平边缘图中,在定位到的左右位置列内,从下至上统计每一行的白色像素点个数,如果白色像素点个数大于一定阈值,则该位置初步认为是车辆的底部位置。
[0125] 在步骤S2432中,验证该底部位置。例如,在一个示例中,通过在竖直边缘图中验证搜索到的底部位置与左右位置列交叉处的预定范围内是否存在边缘,以及在视差图中验证搜索到的底部位置与左右位置列交叉处的预定范围内是否存在视差来验证底部位置。如果在竖直边缘图中存在边缘,以及在视差图中存在视差,则验证通过,前进到步骤S2433,否则验证失败以及跳转到步骤S2431。
[0126] 在步骤S2433中,基于预定的车辆宽高比来得到顶部位置。在一个示例中,设置车辆高宽比为1,不过这仅为示例,不作为限制,可以根据不同的车辆来设置一个或多个不同的高宽比。
[0127] 上述车辆的底部位置和顶部位置的定位方法以获得的底部位置和顶部位置作为输出。
[0128] 图16示出了根据一个示例的定位车辆的底部位置和顶部位置的结果的示意图,其中标号1指示定位的车辆的对称轴,标号2指示定位的车辆的左右位置,标号3指示定位的车辆的底部位置和顶部位置。定位的底部位置和顶部位置被认为是可能存在的车辆的底部和顶部边界。
[0129] 回到图10,在步骤S243中定位了车辆的底部位置和顶部位置之后,可以输出检测到的车辆结果,然后结束车辆检测处理。
[0130] 需要说明的是,上面描述的定位车辆对称轴、定位车辆的左右位置、定位车辆的底部和顶部位置的方法仅为示例,可以应用其它方法或者其它方法和本示例方法的结合来进行定位车辆对称轴、定位车辆的左右位置、定位车辆的底部和顶部位置,或者还可以辅助其它手段,诸如借用其它特征例如灰度图中的特征来进一步识别对称轴等。另外,在一个实施例中,对称轴的定位、车辆左右位置的定位、底部和顶部位置的定位还可以互相参考和严重,例如在初步定位对称轴之后,如果对于定位的对称轴发现难以找到适当的车辆的左右位置和/或底部和顶部位置,则可以丢弃这样的对称轴,或者可以在此对称轴的附近寻找更合适的对称轴。另外,在一个示例中,在定位车辆过程中,可以结合车辆的其它特征来进行,例如在定位左右位置时,核实所定位的左右位置是否落入车辆的宽度范围内。
[0131] 需要说明的是,在一个示例中,检测车辆还可以包括对检测到的车辆进行后处理。例如,后处理可以包括基于检测到的车辆位置和视差图,滤除车辆大小和位置不符合预定规则的车辆,例如根据车辆所在位置的视差,可以导出车辆的左右宽度范围和上下高度范围,如果发现检测的车辆的宽度没有落入该宽度范围,或者发现检测到的车辆的高度没有落入该高度范围,则可以将该车辆从检测结果中去除。另外,后处理还可以包括验证检测到的车辆区域在视差图中的方差是否符合预定标准。一般地,视差图中的车辆区域中的视差应该是彼此接近的,即不应该具有很大的方差。
[0132] 图17示出了经过上述后处理后的检测到的车辆的结果的示意图,其中的方框标示出了检测到的车辆。
[0133] 利用上述根据本发明实施例的车辆检测方法,因为针对每列确定了该列相关联的宽度范围,并基于该宽度范围来确定列的对称性,因而能够适合于实际情况而更准确地检测车辆;另外,因为在计算列的对称性时,基于车辆在水平边缘图像、竖直边缘图像和视差图图像中的特性,综合考虑了水平边缘图像中的区域型的对称性和视差图像中的左右垂直边缘的对称性以及在竖直边缘图像中体现出车辆的左右垂直边缘的程度,从而能够更合适地计算列的对称性用于车辆检测,对噪声更鲁棒,从而得到更加准确的检测结果。
[0134] 本发明还可以通过一种用于检测车辆的系统来实施。图18示出了一种用于检测车辆的系统300的结构图。该系统300可以包括:安装在车辆上用于对对象成像的成像设备310,如单目相机、双目相机、多目相机等等;车辆检测装置320,用于对来自成像设备310的图像进行分析以检测车辆,该车辆检测装置320例如可以利用图3所示的车辆检测装置的配置来实现。
[0135] 本发明还可以通过一种用于检测车辆的硬件系统来实施。图19是示出按照本发明实施例的车辆检测系统400的总体硬件框图。如图19所示,车辆检测系统400可以包括:输入设备410,用于从外部输入有关信息,例如灰度图、视差图、相机设置信息等,例如可以包括键盘、鼠标器、以及通信网络及其所连接的远程输入设备等等;处理设备420,用于实施上述的按照本发明实施例的车辆检测方法,或者实施为上述的车辆检测装置,例如可以包括计算机的中央处理器或其它的具有处理能力的芯片等等,可以连接到诸如因特网的网络(未示出),根据处理过程的需要向远程传送处理后的结果等等;输出设备430,用于向外部输出实施上述车辆检测过程所得的结果,例如可以包括显示器、打印机、以及通信网络及其所连接的远程输出设备等等;以及存储设备5400,用于以易失或非易失的方式存储上述车辆检测过程所涉及的数据,诸如水平边缘图像、竖直边缘图像、对称性的值、车辆的左右位置、车辆的顶部和底部位置等数据,例如可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
[0136] <总结>
[0137] 根据本发明的实施例,提供了一种车辆检测方法,包括:获取灰度图和对应的视差图;从灰度图中检测水平边缘和竖直边缘并进行二值化处理,分别得到二值化的水平边缘图像和竖直边缘图像,其中二值中的一个值表示边缘,另一个值表示非边缘;结合水平边缘图像、竖直边缘图像和视差图像,对于每列计算对称性,其中,对于每列,针对落入与该列相关联的车辆在图像中的宽度范围内的一个或多个第一宽度,基于水平边缘图像中区域型的对称性、视差图像中的可能的车辆的左右竖直边缘的对称性、以及在竖直边缘图像中体现出车辆的左右竖直边缘的程度来计算该列关于该一个或多个第一宽度的对称性,以及基于该列关于该一个或多个第一宽度的对称性来计算该列的对称性;以及基于计算得到的各列的对称性,检测车辆。
[0138] 根据本发明的实施例,还提供了一种检测车辆的车辆检测装置,包括:灰度图和视差图获得部件,获取灰度图和对应的视差图;水平边缘图和竖直边缘图获得部件,从灰度图中检测水平边缘和竖直边缘并进行二值化处理,分别得到二值化的水平边缘图像和竖直边缘图像,其中二值中的一个值表示边缘,另一个值表示非边缘;列对称性计算部件,结合水平边缘图像、竖直边缘图像和视差图像,对于每列计算对称性,其中,对于每列,针对落入与该列相关联的车辆在图像中的宽度范围内的一个或多个第一宽度,基于水平边缘图像中区域型的对称性、视差图像中的可能的车辆的左右竖直边缘的对称性、以及在竖直边缘图像中体现出车辆的左右垂直边缘的程度来计算该列关于该一个或多个第一宽度的对称性,以及基于该列关于该一个或多个第一宽度的对称性来计算该列的对称性;以及车辆检测部件,基于计算得到的各列的对称性,检测车辆。
[0139] 利用上述根据本发明实施例的车辆检测方法和装置,因为针对每列确定了该列相关联的宽度范围,并基于该宽度范围来确定列的对称性,因而能够适合于实际情况而更准确地检测车辆;另外,因为在计算列的对称性时,基于车辆在水平边缘图像、竖直边缘图像和视差图图像中的特性,综合考虑了水平边缘图像中的区域型的对称性和视差图像中的左右垂直边缘的对称性以及在竖直边缘图像中体现出车辆的左右垂直边缘的程度,从而能够更合适地计算列的对称性用于车辆检测,对噪声更鲁棒,从而得到更加准确的检测结果。
[0140] 前述描述仅为说明性的,可以进行很多修改和/或替换。
[0141] 例如,在前文的描述中,相机被描述为安装在车辆上,不过这仅为示例,而不是作为本发明的限制,相机可以定位于任何对象或位置处,例如安装在道路两侧的电线杆上等。只要能够得到灰度图和相应的视差图,都可以应用本发明来检测车辆。
[0142] 另外,在前文的描述中,在计算列关于某宽度的对称性时,是针对图像从上到下的所有像素点进行的,不过可以例如首先划定连通区域,然后关于该连通区域来扫描确定各列关于某宽度的对称性。
[0143] 另外,在前文的描述中,在计算列关于某宽度的对称性时,考虑了水平边缘图像中区域型的对称性、视差图像中的可能的车辆的左右竖直边缘的对称性、以及在竖直边缘图像中体现出车辆的左右竖直边缘的程度,不过也可以例如用在视差图像中车辆的左右竖直边缘存在的可能性来替代视差图中的左右竖直边缘的对称性。另外,还可以用在竖直边缘图像中左右竖直边缘的对称性来代替竖直边缘图中左右竖直边缘存在的程度。或者,在计算列关于某宽度的对称性时,除了考虑水平边缘图像中区域型的对称性、视差图像中的可能的车辆的左右竖直边缘的对称性、以及在竖直边缘图像中体现出车辆的左右竖直边缘的程度之外,还可以考虑在视差图像中车辆的左右竖直边缘存在的可能性和/或视差图像中的可能的车辆的左右竖直边缘的对称性。
[0144] 另外,在前文的描述中,以检测车辆为例进行说明,但是本发明实际上可以应用于检测任何体现出关于竖直轴左右对称性的物体。
[0145] 以上结合具体实施例描述了本发明的基本原理,但是,需要指出的是,对本领域的普通技术人员而言,能够理解本发明的方法和装置的全部或者任何步骤或者部件,可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中,以硬件、固件、软件或者它们的组合加以实现,这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
[0146] 因此,本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此,本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说,这样的程序产品也构成本发明,并且存储有这样的程序产品的存储介质也构成本发明。显然,所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
[0147] 还需要指出的是,在本发明的装置和方法中,显然,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。另外,除非步骤之间存在逻辑上的先后依赖关系,否则并不需要一定按照时间顺序执行,而是可能调换执行的先后顺序,或者可以例如根据调用而执行。
[0148] 上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。