物体检测系统和物体检测方法

摘要

一种物体检测系统和物体检测方法。该物体检测系统包括：成像装置，其被布置在车辆上；以及控制器，其从该成像装置接收表示车辆前方景物的二维图像。该控制器包括特征提取单元、运动信息计算器、坐标变换单元、以及物体属性判断单元。该特征提取单元读取图像并在该图像中提取特征的边缘。该运动信息计算器估计该图像中的特征并输出表示该特征的边缘的各图像像素的特征速度信息。该坐标变换单元读取该图像像素的二维位置坐标并输出变换后的三维位置坐标。该物体属性判断单元基于变换后的三维位置坐标和特征速度信息，判断该特征是否是移动物体。

权利要求

1.一种用于在表示车辆前方景物的图像中检测移动物体的物体检测系统，该物体检测系统包括：特征提取单元，用于从所述图像中提取该图像中的物体的边缘；

运动信息计算器，用于计算关于表示所述图像中的物体的边缘的像素的速度信息；

坐标变换单元，用于将所述像素的二维坐标变换成三维坐标；以及

物体属性判断单元，用于基于变换后的三维坐标，判断所述物体是否为三维物体，并且在判断出所述物体为三维物体时，基于所述三维坐标和所述速度信息，判断所述物体是否为移动物体。

2.根据权利要求1所述的物体检测系统，其特征在于，所述图像包括由第一组像素表示的第一物体和由第二组像素表示的第二物体，通过所述物体属性判断单元进行的所述物体是否为移动物体的判断包括：当所述第一组像素的水平坐标与速度信息之间存在第一关系时，检测出所述第一物体为静止物体，所述第一关系通过沿横坐标轴绘制物体像素的水平坐标、沿纵坐标轴绘制物体像素的速度的图上的斜线来表示；

当所述第二组像素的水平坐标和速度信息之间存在第二关系时，检测出所述第二物体为移动物体，所述第二关系通过在所述图上绘制的点的集合来表示，该检测出所述第二物体为移动物体包括以下至少一种：识别出点的集合相对于该斜线布置在横坐标轴的另一侧；以及

识别出点的集合不位于该斜线上。

3.根据权利要求1所述的物体检测系统，其特征在于，所述变换后的三维坐标位于与路面平行的变换平面内，并且网格将该变换平面上的规定范围分割成多个区域。

4.根据权利要求3所述的物体检测系统，其特征在于，还包括：

分组单元，用于将1)在该图像的垂直方向上相邻的且2)具有预定范围内的相对速度信息的图像像素联合成一组，其中，通过所述物体属性判断单元进行的所述物体是否为三维物体的判断基于1)该组图像像素的垂直最上方的像素和2)该组图像像素的垂直最下方的像素的变换后的三维坐标。

5.根据权利要求4所述的物体检测系统，其特征在于，通过所述物体属性判断单元进行的所述物体是否为三维物体的判断包括：1)当所述垂直最上方的像素和所述垂直最下方的像素位于所述变换平面的规定范围的所述多个区域中的同一个区域中时，判断出所述物体为二维物体；以及2)当所述垂直最上方的像素位于所述变换平面的规定范围外而所述垂直最下方的像素位于所述多个区域中的任何一个区域中时，判断出所述物体为三维物体。

6.根据权利要求3所述的物体检测系统，其特征在于，通过所述物体属性判断单元进行的所述物体是否为三维物体的判断包括：1)当第一多组图像像素的变换后的三维坐标位于所述多个区域中的任何一个区域中时，判断出定义了二维物体候选点；2)当第二多组图像像素的变换后的三维坐标位于所述多个区域外时，判断出定义了三维物体候选点；以及3)当在二维物体候选点和三维物体候选点在该图像的垂直方向上连续排列的情况下所述二维物体候选点和所述三维物体候选点的变换后的三维坐标表示一个三维物体时，判断出所述物体为三维物体。

7.根据权利要求4所述的物体检测系统，其特征在于，通过所述物体属性判断单元进行的所述物体是否为移动物体的判断包括判断所述车辆的至少一个车道边界，所述车道边界的判断基于在所述变换平面上沿垂直线布置的垂直最下方的像素的多个变换后的三维坐标；

其中，在通过所述至少一个车道边界划分的所述图像的各分区中进行所述物体是否为移动物体的判断。

8.一种用于在表示车辆前方景物的图像中检测移动物体的物体检测方法，该方法包括：从所述图像中提取该图像中的物体的边缘；

计算关于表示所述图像中的物体的边缘的像素的速度信息；

将所述像素的二维坐标变换成三维坐标；以及

基于变换后的三维坐标，判断所述物体是否为三维物体，并且在判断出所述物体为三维物体时，基于所述三维坐标和所述速度信息，判断所述物体是否为移动物体。

9.根据权利要求8所述的物体检测方法，其特征在于，所述图像包括由第一组像素表示的第一物体和由第二组像素表示的第二物体，所述物体是否为移动物体的判断包括：当所述第一组像素的水平坐标与速度信息之间存在第一关系时，检测出所述第一物体为静止物体，所述第一关系通过沿横坐标轴绘制物体像素的水平坐标、沿纵坐标轴绘制物体像素的速度的图上的斜线来表示；

当所述第二组像素的水平坐标和速度信息之间存在第二关系时，检测出所述第二物体为移动物体，所述第二关系通过在所述图上绘制的点的集合来表示，该检测出所述第二物体为移动物体包括以下至少一种：识别出点的集合相对于该斜线布置在横坐标轴的另一侧；以及

识别出点的集合不位于该斜线上。

10.根据权利要求8所述的物体检测方法，其特征在于，还包括：

将通过所述变换后的三维坐标所定义的变换平面的规定范围分割成多个区域。

11.根据权利要求10所述的物体检测方法，其特征在于，还包括：

将所述像素中在所述图像的垂直方向上相邻的且具有预定范围内的相对速度信息的像素一起分在单独的组中；

其中，所述物体是否为三维物体的判断基于该组的垂直最上方的像素和该组的垂直最下方的像素的变换后的三维坐标。

12.根据权利要求11所述的物体检测方法，其特征在于，所述物体是否为三维物体的判断包括：1)当所述垂直最上方的像素和所述垂直最下方的像素位于所述多个区域中的同一个区域中时，判断出该物体是二维的；以及2)当所述垂直最上方的像素位于所述变换平面的规定范围外而所述垂直最下方的像素位于所述多个区域中的任意一个区域中时，判断出该物体是三维的。

13.根据权利要求10所述的物体检测方法，其特征在于，所述物体是否为三维物体的判断包括：1)当第一多组图像像素的变换后的三维坐标位于所述多个区域中的任意一个区域中时，判断出定义了二维物体候选点；2)当第二多组图像像素的变换后的三维坐标位于所述多个区域外时，判断出定义了三维物体候选点；以及3)当在二维物体候选点和三维物体候选点在该图像的垂直方向上连续排列的情况下所述二维物体候选点和所述三维物体候选点的变换后的三维坐标表示一个三维物体时，判断出所述物体为三维物体。

14.根据权利要求11所述的物体检测方法，其特征在于，所述物体是否为移动物体的判断包括判断所述车辆的至少一个车道边界，所述车道边界的判断基于在所述变换平面上沿垂直线布置的垂直最下方的像素的多个变换后的三维坐标；

其中，在通过所述至少一个车道边界划分的该图像的各分区中进行所述物体是否为移动物体的判断。

说明书

物体检测系统和物体检测方法

技术领域

[0001] 本发明涉及一种物体检测系统和物体检测方法。

[0002] 为了检测移动物体，相关的物体检测系统计算来自所捕获的图像的光流(表示由车载照相机所捕获的图像上的运动的矢量)。此外，根据车轮的转动速度和方向盘的转向角估计车辆的运动。另外，通过计算距存在于车辆前方的物体的距离，生成车辆前方空间的空间模型。基于光流、车辆的运动和空间模型，从所捕获的图像中检测移动物体。

[0003] 在相关的物体检测系统中，生成车辆前方的空间模型，并基于该空间模型和车辆的运动，从所捕获的图像中检测移动物体。然而，估计车辆的运动和计算距该物体的距离所需的处理时间量使得难以高速检测移动物体。问题是开始检测光流所需的时间。为了估计移动物体的光流，相关的物体检测系统需要多于每帧两个像素的物体运动才能检测到该物体。由于在所捕获的图像上具有高碰撞可能性的物体的运动小，因此可能需要两秒或更多时间来检测具有高碰撞可能性的物体的运动。

[0004] 本发明的目的是在车辆前方景物的图像中检测一个或多个物体，并在少于两秒的时间内，优选在约0.5秒的时间内，判断该图像中的任何物体是否为移动物体。

[0005] 在实施例中，本发明提供一种用于在表示车辆前方景物的图像中检测移动物体的物体检测系统。该物体检测系统包括：特征提取单元，用于从所述图像中提取该图像中的物体的边缘；运动信息计算器，用于计算关于表示所述图像中的物体的边缘的像素的速度信息；坐标变换单元，用于将所述像素的二维坐标变换成三维坐标；以及物体属性判断单元，用于基于变换后的三维坐标，判断所述物体是否为三维物体，并且在判断出所述物体为三维物体时，基于所述三维坐标和所述速度信息，判断所述物体是否为移动物体。

[0006] 在实施例中，本发明还提供一种用于沿表面移动的车辆的物体检测系统。该物体检测系统包括：成像装置，用于捕获表示车辆前方景物的图像；以及控制部件，用于在少于两秒的时间内判断该图像中的物体是否是移动物体。

[0007] 在实施例中，本发明还提供一种物体检测系统，该物体检测系统包括：图像捕获部件，用于捕获车辆前方景物的图像；特征提取部件，用于从由图像捕获部件所捕获的图像中提取特征；运动信息计算部件，用于计算关于表示该特征的像素的特征速度信息；坐标变换部件，用于将像素的位置坐标变换成三维坐标系的三维位置坐标；以及物体属性判断部件，用于判断该特征是否是移动物体。通过物体属性判断部件进行的该判断基于像素的三维位置坐标和特征速度信息。

[0008] 在实施例中，本发明还提供一种用于在表示车辆前方景物的图像中检测移动物体的物体检测方法。该方法包括：从所述图像中提取该图像中的物体的边缘；计算关于表示所述图像中的物体的边缘的像素的速度信息；将所述像素的二维坐标变换成三维坐标；以及基于变换后的三维坐标，判断所述物体是否为三维物体，并且在判断出所述物体为三维物体时，基于所述三维坐标和所述速度信息，判断所述物体是否为移动物体。

[0009] 附图说明

[0010] 包括在此并构成本说明书一部分的附图，示出了本发明的优选实施例，并与以上给出的概要说明和以下给出的详细说明一起，用来解释本发明的特征。

[0011] 图1是示出根据本发明第一实施例的物体检测系统的结构的框图；

[0012] 图2A和2B是示出车辆内的照相机的安装位置的例子的说明图；

[0013] 图3是由照相机所捕获的图像的例子的说明图；

[0014] 图4A～4F是示出用于标准化所提取的边缘并获得边缘图像所进行的步骤的说明图；

[0015] 图5是速度图像(velocity image)的例子的说明图；

[0016] 图6是示出以下情形的说明图：在速度图像上设置物体检测区域，将具有与底端点相同速度的像素分组在各物体检测区域中，并检测该组中的顶端点的位置。

[0017] 图7是示出以下情形的说明图：将在速度图像上所检测到的顶端点和底端点的坐标变换成ZX平面上的坐标，并判断物体是二维的还是三维的；

[0018] 图8是示出如何根据坐标变换后的底端点的ZX平面上的位置分布来检测车道边界(lane border)的说明图；

[0019] 图9是示出如何基于在由所检测到的车道边界定义的分区中所检测到的三维物体的水平位置与速度之间的关系来检测移动物体的说明图；

[0020] 图10是示出由第一实施例的物体检测系统进行的过程的流程图；

[0021] 图11是示出以下情形的说明图：在速度图像上设置物体检测区域，并且将具有速度的像素的坐标变换成ZX平面上的坐标，以判断该像素是二维物体候选点还是三维物体候选点；

[0022] 图12是示出如何基于所检测到的二维物体候选点和三维物体候选点的排列来检测三维物体的说明图；以及

[0023] 图13是示出由根据本发明第二实施例的物体检测系统所进行的过程的流程图。

具体实施方式

[0024] 以下将参照附图说明本发明的实施例。

[0025] 第一套优选实施例

[0026] 图1是示出根据本发明第一实施例的物体检测系统的结构的框图。

[0027] 第一实施例的物体检测系统10被安装在车辆内，并包括控制器100和捕获车辆前方景物的图像的照相机101。控制器100包括：临时图像存储单元102，其临时存储由照相机101所捕获的图像；特征提取单元103，其通过处理存储在临时图像存储单元102中的图像来提取特征；以及坐标变换单元104，其将表示所提取特征的像素的位置坐标变换成三维坐标系中的三维位置坐标。控制器100还包括：运动信息计算单元105，其计算图像中的像素的速度和移动方向作为运动信息；分组单元106，其基于所计算出的像素的速度对像素进行分组；以及物体属性判断单元107，其基于通过坐标变换单元104的变换获得的三维坐标、由运动信息计算单元105计算出的关于像素的运动信息和由分组单元106所分组的关于像素的分组信息，来判断特征是二维物体还是三维物体。物体属性判断单元107还判断当像素表示三维物体时它们是否表示移动物体。

[0028] 根据本发明的优选实施例，控制器100提供一种用于在短于两秒的时间内判断图像中的物体是否是移动物体的部件。

[0029] 照相机101可以包括电荷耦合装置(charge-coupled device，CCD)、互补对称金属氧化物半导体(complementary-symmetrymetal-oxide-semiconductor，CMOS)或捕获图像的任何其它装置等的任何成像装置。照相机101顺序捕获车辆前方景物的图像，并将所捕获的图像逐帧输出到临时图像存储单元102。这些图像被临时存储在临时图像存储单元102中。如在图2A和2B中所示，照相机101优选安装在车内的上前方侧，并且照相机101的位置使得光轴LS指向车辆的前方(Z方向)，图像捕获平面的水平轴线X与路面平行，图像捕获平面的垂直轴线Y与路面垂直。根据本发明的优选实施例，照相机101提供一种用于捕获车辆前方景物的图像的部件。

[0030] 图3示出由照相机101捕获的并被存储在临时图像存储单元102中的图像(例如，车辆前方景物的图像)的例子。通过XY坐标系来表示图3中所示的捕获图像，在该XY坐标系中，原点在该图像的左上处，X轴从原点向右延伸，Y轴从原点向下延伸。该图像包括路缘(curb)、白线和位于左边的外部墙壁等车道边界，并且包括从左向右移动的行人。

[0031] 图4A～4F示出用于通过标准化所提取的边缘获得边缘图像的过程的具体例子。

[0032] 首先，使所捕获的图像经过二值化(binarization)。特征提取单元103从临时图像存储单元102中读取所捕获的图像，并通过使用预定的阈值对所读取的图像进行二值化，从而提取存在于该图像中的物体的边缘。二值化指的是如下处理：用数字“1”表示位于检测到边缘的位置处的像素，用数字“0”表示位于未检测到边缘的位置处的像素。图4A是通过二值化产生的图像，示出所提取的垂直边缘的例子。

[0033] 然后，使所产生的二值图像经过细化(thinning)以缩小边缘的宽度和精确设置边缘的中心。细化指的是将所检测到的边缘的宽度缩小到预定的像素宽度的处理。在图4B中，用于细化的预定像素宽度被设置为一个像素的宽度。通过这样将边缘细化成预定的像素宽度来确定边缘的中心。尽管作为例子说明了到一个像素的细化，但是预定的像素宽度可以对应于多于一个像素。

[0034] 随后，将边缘水平扩展。进行扩展以增加细化后的边缘的宽度，使得细化后的边缘的宽度变成常量，例如该宽度对应于三个像素。扩展指的是如下处理：沿边缘移动方向从所确定的中心起增加边缘宽度，而且还沿与边缘移动方向相反的方向从该中心起增加边缘宽度。例如，如图4C中所示，沿边缘移动方向(沿X轴正方向)从边缘中心x0起将边缘宽度增加一个像素，而且还沿与边缘移动方向相反的方向(沿X轴负方向)从边缘中心x0起将边缘宽度增加一个像素，使得将边缘宽度增加到三个像素。

[0035] 通过这样进行细化和扩展，沿边缘移动方向将所提取的边缘的宽度调整到预定宽度以进行标准化。

[0036] 根据本发明的优选实施例，特征提取单元103提供一种用于从所捕获的图像中提取特征的部件。

[0037] 然后，标准化后的边缘经过相加处理。运动信息计算单元105更新与边缘相对应的像素的像素计数器的值。这里，为与边缘相对应的各像素设置像素计数器。当像素对应于边缘时，相应的像素计数器的值增加1。当像素不与边缘对应时，像素计数器的值被复位成0。在由照相机101顺序捕获的各帧中更新计数值。在该操作中，当像素长时间对应于边缘时，该像素的像素计数器的值就大。当像素短时间对应于边缘时，该像素计数器的计数值就小。

[0038] 像素计数器的计数值的改变表示边缘移动的方向和量。因此，可以根据该计数值计算所捕获的图像上的边缘的移动方向和速度。现参照图4C～4F更详细地说明该计算。

[0039] 相加处理指的是如下处理：增加检测到边缘的位置处的存储地址的值，复位未检测到边缘的位置处的存储地址的值。

[0040] 为了简便，仅给出假定边缘沿X轴正方向移动的说明。此外，该说明还适用于边缘沿X轴负方向、Y轴方向或二维移动的情形。

[0041] 如图4C中所示，边缘的中心在帧中的位置x0处，并且边缘宽度沿边缘移动方向从中心位置x0起增加一个像素到位置x0+1，沿与边缘移动方向相反的方向从中心位置x0起增加一个像素到位置x0-1。

[0042] 在这种情况下，在位置x0-1、x0和x0+1即检测到边缘的位置处的计数值增加1，而在未检测到边缘的位置处计数值被复位。

[0043] 例如，在图4D中，在时间t在位置x0-1、x0和x0+1处检测到边缘。在时间t点，位置x0-1、x0和x0+1处的计数值已递增并且分别为5、3和1。仅为了说明根据优选实施例的例子而任意选择了这些计数值。

[0044] 在图4E中，由于边缘在时间t+1没有移动，因而在位置x0-1、x0和x0+1处检测到边缘，并且计数值进一步增加1。也就是说，位置x0-1、x0和x0+1处的计数值分别为6、4和2。

[0045] 在图4F中，在时间t+2将边缘沿X轴正方向移动一个像素，并且在位置x0、x0+1和x0+2处检测到边缘。因此，在检测到边缘的位置x0、x0+1和x0+2处增加计数值，而在未检测到边缘的位置x0-1处计数值被复位。也就是说，位置x0-1、x0、x0+1和x0+2处的计数值分别为0、5、3和1。

[0046] 这样，在检测到边缘的位置处计数值增加，而在未检测到边缘的位置处计数值被复位。

[0047] 尽管最初在图4F中的三个位置，即边缘中心x0、沿边缘移动方向从边缘中心x0起移动一个像素的位置x0+1、和沿与边缘移动方向相反的方向从边缘中心x0起移动一个像素的位置x0-1处检测计数值，但是如下所述，只要可以求出计数值的斜率(inclination)，就可以相对于边缘移动方向在任何两个或多个位置处检测计数值。

[0048] 当与边缘速度相比将帧频设置得足够高时，在连续的帧间多次在同一位置处检测到边缘。

[0049] 例如，在上面的例子中，在时间t和t+1两次在位置x0处检测到边缘。因此，当增加检测到边缘的位置处的计数值时，该计数值变成等于在该位置处检测到边缘的时间(以帧数表示)。参照图4E，计数值的最小值h表示从边缘的移动起通过多少帧使边缘处于同一位置处。

[0050] 当与边缘速度相比帧频足够高时，可以假定待检测的物体以恒定速度移动。在一时间点的计数值中的最小计数值h表示在该位置处检测到边缘的时间段即帧数，通过该帧数使边缘在移动后保持在同一位置处。

[0051] 随后，计算移动边缘的速度和移动方向以及位置。

[0052] 首先，计算在边缘移动方向上的计数值的斜率，并基于该斜率计算移动边缘的速度、移动方向和位置。

[0053] 如在此使用的一样，斜率H表示(从当边缘到达位置x0-1时至当前时间所经过的时间)-(在边缘移动到位置x0+1后所经过的时间)。例如，参照图4E，位置x0-1、x0和x0+1处的计数值分别为6、4和2。因此，计数值的斜率H可以计算为6-2＝4，即，可以通过从x0-1处的计数值6中减去x0+1处的计数值2来计算计数值的斜率H。因此，计算出边缘通过包括位置x0的一个像素所用的时间(以帧数表示)。因此，斜率H示出边缘移动一个像素所需的帧数，并且可以根据计数值的斜率H计算边缘速度1/H。

[0054] 在图4E中，边缘移动一个像素需要四帧。因此，可以计算出边缘速度为1/4(像素/帧)。同样地，在图4F中，斜率H为5-1＝4，计算出边缘速度为1/4(像素/帧)。

[0055] 可以通过计数值的相对大小判断边缘移动方向。当边缘移动以致在新的位置处检测到该边缘时，在该新的位置处的初始计数值为1。该值是所获得的计数值中的最小计数值。同样地，所获得的计数值中的最大计数值恰好在移动边缘使得在确定位置处不再检测到边缘并将计数值复位成0之前，出现在该确定位置处。

[0056] 也就是说，由于所获得的计数值的大小相对于边缘移动方向减小，而相对于边缘移动方向的反方向增大，因此，可以通过在一时间点所获得的计数值的相对大小来判断边缘移动方向。

[0057] 接着，当x0表示边缘中心时，可以计算出边缘位置为x0+h/H。

[0058] 例如，在图4E中，边缘速度为1/4(像素/帧)，并在两个连续的帧即时间t和时间t+1，在同一位置处检测到边缘。因此，在时间t+1，计算出边缘位置与边缘中心x0之间的间距为2(帧)×1/4(像素/帧)＝1/2(像素)。

[0059] 如上所述，检测到边缘的位置处的计数值从0起增加，并且可以根据计数值的斜率计算边缘速度和移动方向。

[0060] 随后，生成速度图像，在速度图像中，将位于所捕获的图像中的边缘的速度分量分类成预定的组值。图5示出速度图像的例子。根据优选实施例，通过圆圈示出速度被检测到的边缘的像素，并且圆圈的大小随着速度的增大而增大。此外，通过黑色圆圈示出向右的速度，通过白色圆圈示出向左的速度，从而指出移动方向。如在此使用的一样，术语“向右”和“向左”是相对于指向车辆前方(Z方向)的光轴LS而言的，术语“速度”是相对于车辆的移动而言的。在图5的例子中，根据车辆的车道右侧的路缘和白线来检测向右的速度，而根据该车道左侧的外部墙壁来检测向左的速度。还根据该车道左侧的从左向右移动的行人来检测向右的速度。

[0061] 根据本发明的优选实施例，运动信息计算单元105提供一种用于计算特征速度信息的部件。在2005年6月7日提交的美国专利申请号11/146,041、2004年9月24日提交的日本专利申请号P2004-278250和2004年9月27日提交的日本专利申请号P2004-279394中，说明了运动信息计算单元的优选实施例，这些专利申请的全部内容通过引用包含在此。

[0062] 为了从所计算出的速度图像中提取三维物体，分组单元106将速度图像分割成区域。图6示出根据优选实施例的例子，其中，分组单元106将速度图像分割成多个垂直取向的条状区域。

[0063] 在各区域内，对具有相同速度且在该图像中连续排列的像素进行分组，以检测三维物体。根据优选实施例，例如，从底端到顶端逐步扫描该图像的各区域。当在扫描过程中检测到具有速度的像素时，将该像素的速度与在下一扫描过程中检测到的相邻像素的速度进行比较。当相邻像素间的速度差小于或等于阈值T1时，假定这些像素具有相对于车辆的相同速度。因此，判断出这些像素表示同一物体，因此将这些像素分组在一起。

[0064] 然后，检测通过相同速度所分组的像素的端点。根据优选实施例的例子，图6示出在各区域内从底端到顶端的扫描检测相应的底端点BP1～BP11和顶端点TP1～TP11。底端点BP1～BP11和顶端点TP1～TP11分别用作底端水平面BL1～BL11和顶端水平面TL1～TL11的中心。

[0065] 接着，坐标变换单元104提取底端点BP1～BP11和顶端点TP1～TP11的三维位置坐标。也就是说，使用底端点BP1～BP11和顶端点TP1～TP11中的每一个的XY平面中的二维坐标来提取在具有规定范围的ZX平面(以下称之为规定ZX平面)上的相应坐标。

[0066] 根据如下表达式(1)和(2)将XY平面上的点TP1～TP11和BP1～BP11的x和y坐标变换成ZX平面上的z和x′坐标：

[0067]

[0068]

[0069] 其中，x和y表示XY平面上各点的坐标，Ch(以米测量)表示照相机101距离路面的高度，Tr(以弧度测量)表示照相机101相对于路面的俯角，Ih(以像素测量)表示图像的垂直大小，Iw(以像素测量)表示图像的水平大小，PYr(以弧度测量)表示垂直方向上一个像素的角分辨率，PXr(以弧度测量)表示水平方向上一个像素的角分辨率。

[0070] 因此，坐标变换单元104将顶端点TP1～TP11和底端点BP1～BP11在XY平面中的坐标分别变换成相应的坐标变换后的顶端点RT1～RT11和坐标变换后的底端点RB1～RB11在ZX平面中的变换后的坐标。根据本发明的优选实施例，坐标变换单元104提供一种用于将像素的位置坐标变换成三维坐标系的三维位置坐标的部件。

[0071] 接着，物体属性判断单元107判断坐标变换后的顶端点RT1～RT11和坐标变换后的底端点RB1～RB11属于规定ZX平面的哪个区域，判断物体是二维的还是三维的，并判断关于被布置于路面上的二维物体的位置信息。

[0072] 另外参照图7，示出了根据优选实施例的例子，其中，规定ZX平面被分割成区域网格。“规定”的这部分ZX平面基于车辆前方希望在其中检测移动物体的感兴趣的范围。例如，已判断出感兴趣的范围可能包括相对于光轴LS沿X轴±5.25米和车辆前方(即，沿Z轴)50米。示出了8×5网格模式的40个区域；然而，可以想象得到网格模式和/或区域的总数可以改变。在根据优选实施例的例子中，将ZX平面在X轴方向上分割成8份，例如，-5.25米＞x′(区域10)、-5.2 5米≤x′＜-3.5米(区域20)、-3.5米≤x′＜-1.75米(区域30)、-1.75米≤x′＜0米(区域40)、0米≤x′＜1.75米(区域50)、1.75米≤x′＜3.5米(区域60)、3.5米≤x′＜5.25米(区域70)、以及5.25米≤x′(区域80)；将ZX平面在Z轴方向上分成5份，例如，0米≤z＜10米、10米≤z＜20米、20米≤z＜30米、30米≤z＜40米、以及40米≤z＜50米。结果，区域11～15被定义在区域10中，区域21～25被定义在区域20中，区域31～35被定义在区域30中，区域41～45被定义在区域40中，区域51～55被定义在区域50中，区域61～65被定义在区域60中，区域71～75被定义在区域70中，区域81～85被定义在区域80中。在图7中，仅示出了区域11～
15，为了清楚省略了区域21～85的示出。

[0073] 与各区域中的像素相对应的距离范围可以与在图7所示的例子中选择的特定数值不同。然而，为了避免垂直移动的影响，优选在米数量级上来设置ZX平面中的距离范围。也就是说，在移动过程中，例如，由于路面的起伏车辆还可能垂直移动。因此，由照相机101所捕获的图像也可能垂直移动，从而可能改变坐标变换后的点所属的规定ZX平面中的区域。将像素分成不小于约1米的距离范围避免了垂直移动的影响。

[0074] 当顶端点TP(n)和底端点BP(n)在XY平面上位于同一条状区域中，并且相应的坐标变换后的顶端点RT(n)和坐标变换后的底端点RB(n)在规定ZX平面上位于同一区域中时，判断出顶端点TP(n)和底端点BP(n)存在于路面上，并且判断出这些点表示被布置于路面上的二维物体。另一方面，当坐标变换后的顶端点RT(n)位于规定ZX平面外而相应的坐标变换后的底端点RB(n)位于规定ZX平面上时，判断出仅相应的底端点BP(n)位于路面上，即相应的顶端点TP(n)不位于路面上，并判断出点TP(n)和BP(n)表示三维物体。为了检测车道边界，仅对坐标变换后的底端点所处的区域中的那些计数器，将计数值设置成数字“1”，并且计算这些底端点的位置信息分布。

[0075] 根据图7中所示的例子，分别对应于顶端点TP1～TP5的坐标变换后的点RT1～RT5被投影到图7中所示的规定ZX平面外。因此，判断出包括顶端点TP1～TP5的组为三维物体，并判断出包括顶端点TP1～TP5的边缘是XY平面上的三维物体OB1～OB5。由于与顶端点TP6～TP11相对应的坐标变换后的顶端点RT6～RT11分别位于与对应于底端点BP6～BP11的坐标变换后的底端点RB6～RB11的区域相同的区域中，因此判断出包括顶端点TP6～TP11的组为位于路面上的物体。

[0076] 为了检测车道边界，将包括与底端点BP1～BP11相对应的坐标变换后的底端点RB1～RB11的区域中的计数器的计数值增加1。根据所获得的坐标变换后的底端点的位置分布来提取存在车道边界的可能性高的区域。也就是说，当计数值存在于所获得位置分布的同一X轴区域中的多个Z轴区域中时，可以假定车道边界沿车辆前方直线延伸。提取存在计数值的区域作为车道边界区域。

[0077] 另外参照图8，示出根据优选实施例的例子，其中，估计所获得的底端点的位置信息分布。根据图8中所示的例子，坐标变换后的底端点RB1、RB4和RB5的计数值存在于X轴区域30中的多个Z轴区域中。同样地，坐标变换后的底端点RB6和RB7的计数值存在于X轴区域50中的多个Z轴区域中，坐标变换后的底端点RB8、RB9、RB10和RB11的计数值存在于X轴区域80中的多个Z轴区域中。因此，由于这些区域是车道边界区域的可能性大，所以提取这些区域。

[0078] 相反，坐标变换后的底端点不存在于X轴区域10、20、60和70中的任何地方，并且坐标变换后的底端点RB1和RB3的计数值仅存在于X轴区域40中的一个Z轴区域中。因此，不提取这些区域作为可能的车道边界区域。

[0079] 使用回归分析来判断表示车道边界的直线是否存在于所提取的区域中。基于相应的坐标变换后的底端点，通过对XY坐标系中的坐标的回归分析，计算通过多个底端点的直线的斜率。例如，在X轴区域30中，利用基于相应的坐标变换后的底端点RB1、RB4和RB5的位置分布进行的底端点BP1、BP4和BP5的选择，通过对XY坐标系中的坐标的回归分析，计算通过底端点BP1、BP4和BP5的直线的斜率A3。同样地，还计算通过底端点BP6和BP7的直线的斜率A5和通过底端点BP8～BP11的直线的斜率A8。

[0080] 当所计算出的斜率A(n)在预定范围内时，判断出表示车道边界的直线L(n)存在于所提取的区域中。也就是说，当对底端点计算出的直线的斜率A(n)在由直线斜率T(n)min和直线斜率T(n)max所定义的斜率范围内时，判断出车道边界L(n)存在于所提取的区域中。

[0081] 再次参照图8所示的例子中的X轴区域30，通过对与规定ZX平面中的点PL1～PL5相对应的XY坐标系中的坐标的回归分析，计算直线斜率T3min。点PL1～PL5的坐标是包括坐标变换后的底端点的X轴区域的左端，并且典型地是各相应Z轴区域的中心。同样地，通过对与规定ZX平面中的点PR1～PR5相对应的XY坐标系中的坐标的回归分析，计算直线斜率T3max。点PR1～PR5的坐标是包括坐标变换后的底端点的X轴区域的右端，并且典型地是各相应Z轴区域的中心。因此，如果连接底端点BP1、BP4和BP5的XY平面上的直线是车道边界，则斜率A3将处于T3min与T3max之间的范围内。通过对与点PL1(具有x′坐标-3.5和z坐标5)、点PL2(-3.5，15)、点PL3(-3.5，25)、点PL4(-3.5，35)以及点PL5(-3.5，45)相对应的XY坐标系中的坐标的回归分析，计算斜率T3min。通过对与点PR1(-1.75，5)、点PR2(-1.75，15)、点PR3(-1.75，25)、点PR4(-1.75，35)、以及点PR5(-1.75，45)相对应的XY坐标系中的坐标的回归分析，计算斜率T3max。另外参照图9，因此判断出XY平面上的底端点BP1、BP4和BP5通过车道边界L3连接。同样地，对于区域50中的坐标变换后的底端点RB6和RB7判断出XY平面上的底端点BP6和BP7通过车道边界L5连接，对于区域80中的坐标变换后的底端点RB8～RB11判断出XY平面上的底端点BP8～BP11通过车道边界L8连接。

[0082] 图9示出根据优选实施例的例子，其中，通过车道边界定义分区，并计算示出图像中所检测到的三维物体的水平位置与速度之间的关系的图。根据该例子，该图像示出了例如存在于该图像中心的左侧的墙壁等背景的三维物体。如在二维图像中所示的一样，由于墙壁向图像中心的投影使得看起来墙壁更靠近在该车辆更前方的车辆，因此在图像的前景中，墙壁看起来与该车辆的间隔更大，即接近该车辆的前方。相应地，该墙壁的速度信息显示表示该墙壁的像素的速度从左到右降低(注意，圆圈大小的减小表示速度的降低，且通过白色圆圈表示相对于车辆的向左的速度)。

[0083] 因此，图9还示出分区“b”(以下将进一步说明)的图，在该图中，水平轴线表示在该图像中示出的物体像素的x坐标(将该图像和该图的原点都设置在左边)，垂直轴线表示像素速度(选择沿向左方向的速度为正并将其显示在水平轴线上方，选择沿向右方向的速度为负并将其显示在水平轴线下方)。在图9中通过具有负斜率的虚线示出墙壁等静止物体的速度与x坐标之间的关系。

[0084] 如果未通过负斜率直线示出速度与x坐标之间的关系，则可能在该分区中存在非静止的物体即移动物体。如图9中的图所示，当第二物体例如行人的像素具有与背景的速度相反的速度时(在该例子中，行人具有与背景向左的速度相反的向右的速度)，则判断出存在正沿与背景的方向相反的方向移动的物体。此外，当第二物体的像素具有高于背景速度的速度时，即使它们沿相同的方向移动，也判断出存在移动物体。

[0085] 在根据优选实施例的例子中，基于分别在X轴区域30、50和80中检测到的车道边界L3、L5和L8，设置分区。更具体地，参考图9的顶部，将分区“a”定义为车道边界L3左侧的范围，其包括X轴区域10和20以及区域30的左边部分；将分区“b”定义为车道边界L3与L5之间的范围，其包括X轴区域30的右边部分、X轴区域40、以及X轴区域50的左边部分；将分区“c”定义为车道边界L5与L8之间的范围，其包括X轴区域50的右边部分、X轴区域60和70、以及X轴区域80的左边部分；将分区“d”定义为车道边界L8右侧的范围，其包括区域80的右边部分。根据存在于分区b中的三维物体OB1～OB5的水平位置与速度之间的关系，判断出物体OB1、OB4和OB5表示三维静止物体，例如背景墙壁，并判断出物体OB2和OB3表示向右移动的物体，例如行人。

[0086] 对于存在于图像右侧的三维物体，可以绘制出类似的图，该图显示图像中的像素的像素速度(再次说明，沿向左方向的速度为正，沿向右方向的速度为负)与x坐标之间的关系(在这种情况下，将图像的原点设置在右边)。在与对该图像的左侧的估计类似的估计中，如果通过具有正斜率的直线示出速度与x坐标之间的关系，则判断出在该分区中存在三维物体的可能性高。当检测到与背景的方向相反的方向上的速度时，可以检测到沿与背景的方向相反的方向移动的物体，例如，在该图像中从右向左移动的物体。

[0087] 通过利用车辆的行为(例如，车辆的行驶方向)，如上所述，可以判断是否应当在所捕获的图像的右侧和左侧分开检测移动物体，或判断是否可以从整个捕获图像中检测移动物体。例如，当车辆向右行驶时，在与车辆前方的背景相对应的范围中仅检测沿向左方向的速度。因此，可以从整个捕获图像中一起检测移动物体，而无需在图像的右侧和左侧分开进行检测。这同样适用于当车辆向左行驶时。

[0088] 因此，通过相对于三维物体的背景比较该三维物体的水平位置和速度，进行该三维物体是否正在移动的判断。当不能提取与该背景相对应的外部墙壁等三维物体时，根据上述方法学不可能检测行人等三维物体的移动。然而，如下所述，当在至少两个检测操作中判断出该物体为三维的时，可以通过基于该物体速度的变化的可选方法学进行移动物体的判断。

[0089] 根据本发明的优选实施例，物体属性判断单元107提供一种用于判断特征是否是移动物体的部件。

[0090] 图10是示出由根据优选实施例的物体检测系统10进行的过程的流程图。作为响应于打开点火开关(未示出)而启动的程序执行该过程。

[0091] 在步骤S101，通过照相机101捕获车辆前方景物的图像，将该图像存储在临时图像存储单元102中，并在预定周期将其输出到特征提取单元103。

[0092] 在步骤S102，特征提取单元103使得该图像经过边缘提取和标准化，其中，提取存在于所捕获图像中的物体的轮廓作为边缘，然后将该边缘标准化。

[0093] 在步骤S103，运动信息计算单元105计算该边缘的速度，并计算以预定数量级表达所计算出的速度的速度图像。

[0094] 在步骤S104，在通过运动信息计算单元105计算出的速度图像上，设置用于物体检测的条状区域。

[0095] 在步骤S105，分组单元106按顺序从底端到顶端检测图像，以判断如果有的话是哪个条状区域具有至少一个具有速度的像素。当存在具有速度的像素时，分组单元106判断表示同一物体的像素并将这些像素分组在一起。

[0096] 在步骤S106，对各条状区域中的各组，将最上方像素的中心坐标设置为顶端点，将最下方像素的中心坐标设置为底端点。

[0097] 在步骤S107，坐标变换单元104通过使用上面的表达式(1)和(2)将所检测到的顶端点和底端点在XY平面上的坐标变换成在规定的ZX平面上的坐标。

[0098] 在步骤S108，物体属性判断单元107判断在规定ZX平面上所定义的多个区域中的哪些区域包括属于相同组的坐标变换后的顶端点和底端点。当坐标变换后的顶端点和底端点都位于规定ZX平面上的同一区域中时，判断出包括顶端点和底端点的物体是二维物体。当仅坐标变换后的底端点位于规定ZX平面上时，判断出包括顶端点和底端点的物体为三维物体。此外，坐标变换后的底端点所处的区域中的计数器的计数值增加到数字“1”。

[0099] 在步骤S109，物体属性判断单元107判断所有所检测到的坐标变换后的顶端点和底端点是否都已经过了如下判断(以下，称之为物体属性判断)，该判断用于判断包括顶端点和底端点的每个物体是二维物体还是三维物体。当已经对所有所检测到的点进行了物体属性判断时，进行步骤S110。相反，当仍未对所有所检测到的点进行该判断时，再次进行步骤S105。

[0100] 在步骤S110，基于ZX平面上的坐标变换后的底端点的位置分布，物体属性判断单元107提取多个Z轴区域，这些Z轴区域处于同一X轴区域中，并且在这些Z轴区域中存在计数值。车道边界存在于所提取的区域中的可能性很大。

[0101] 在步骤S111，物体属性判断单元107对与位于所提取的区域中的坐标变换后的底端点相对应的XY坐标系中的底端点进行回归分析，从而计算连接这些底端点的直线的斜率。

[0102] 在步骤S112，当在步骤S111中计算出的直线的斜率在XY坐标系中的斜率范围内时，物体属性判断单元107判断出表示车道边界的直线存在于所提取的区域中，并将在步骤S111中计算出的直线检测为表示该车道边界的直线。通过基于XY坐标系中的坐标的回归分析来计算对斜率范围的限制，该坐标与包括位于所提取的区域中的坐标变换后的底端点的X轴区域的左侧和右侧处的直线上的点相对应。

[0103] 在步骤S113，物体属性判断单元107判断在所提取的区域中是否已检测了用作车道边界的所有直线。当已检测所有直线时，进行步骤S114。相反，当未检测所有直线时，再次进行步骤S110。

[0104] 在步骤S114，物体属性判断单元107计算存在于由该车道边界所定义的各分区中的三维物体的像素的速度与x坐标之间的关系。当检测到具有沿与背景的速度方向相反的方向的速度的三维物体时，判断出存在正接近车辆的移动物体，并进行步骤S116。当不存在具有与背景的速度相反的速度的物体时，判断出可能存在移动物体候选，并进行步骤S115。

[0105] 在步骤S115，物体属性判断单元107判断该移动物体候选是否是移动物体。如果该移动物体候选也存在于前一检测操作中的同一分区中，则将前一检测操作中该候选的速度与当前检测操作中的速度进行比较。当该移动物体候选是静止物体时，其随着车辆前进接近该车辆。因此，与该移动物体候选相对应的像素的速度增大。因为该原因，当底端点的坐标变换后的点的速度高于前一操作中的速度时，则判断出不存在移动物体。当该坐标变换后的点的速度不高于前一操作中的速度时，则判断出存在移动物体。

[0106] 在步骤S116，判断是否已在由车道边界所定义的所有分区中进行了移动物体的检测。当已检测了所有移动物体时，进行步骤S117。相反，如果未检测所有移动物体，则再次进行步骤S114。

[0107] 在步骤S117，判断是否关闭了车辆的点火开关。当未关闭点火开关时，再次进行步骤S101。相反，当关闭了点火开关时，该过程完成。

[0108] 根据上述第一套优选实施例的物体检测系统提供了许多特征，现就其中一些特征进行说明。

[0109] 物体检测系统包括控制器100和用于捕获车辆前方景物的图像的图像捕获部分例如照相机101。控制器100包括：特征提取单元103，用于从由照相机101所捕获的图像中提取特征；运动信息计算单元105，用于计算关于表示该特征的像素的特征速度信息；坐标变换单元104，用于将这些像素的位置坐标变换成三维坐标系上的三维位置坐标；以及物体属性判断单元107，用于基于这些像素的三维位置坐标和特征速度信息，判断该特征是否为移动物体。

[0110] 根据这种组合，可以基于该图像中的特征的速度和位置坐标，判断从由照相机101所捕获的图像中所提取的特征是否是移动物体。

[0111] 该物体检测系统还包括分组单元106，用于当在该图像的垂直方向上相邻的像素还具有预定范围内的速度差时，对这些像素进行分组。物体属性判断单元107基于通过分组单元106所分组的像素的最上方的像素和最下方的像素的三维位置坐标，进行上述判断。

[0112] 根据这种进一步的组合，在从照相机101所捕获的图像计算出的速度图像上设置物体检测区域，并将在该图像的垂直方向上相邻的且具有预定范围内的速度差的像素一起分组在各区域中。检测分组后的像素的最上方的像素(顶端点)和最下方的像素(底端点)。将最上方的点和最下方的点的坐标变换成规定ZX平面上的坐标。通过使用变换后的位置坐标，可以有效地进行移动物体的判断。

[0113] 当最上方的像素和最下方的像素位于规定ZX平面上的预定数量的区域中的同一个区域中时，物体属性判断单元107判断出该特征为二维物体，当最上方的像素位于规定ZX平面外而最下方像素位于规定ZX平面的任何一个区域中时，判断出该特征为三维物体。

[0114] 因此，通过使用照相机参数将最上方的像素(顶端点)和最下方的像素(底端点)的位置坐标变换成ZX平面上的坐标。对于位于路面上的所画的直线或其它标记等二维物体，通过坐标变换将顶端点和底端点都投影在规定ZX平面上。相反，对于三维物体，通过坐标变换仅将位于路面上的底端点投影在规定ZX平面上；而通过坐标变换对顶端点的投影在规定ZX平面外。因此，即使当照相机101为单目(monocular)时，也可以根据与顶端点和底端点相对应的变换后的坐标在一个或多个区域中的相对布置，来区分二维物体和三维物体。

[0115] 此外，物体属性判断单元107可以基于图像中的物体的速度信息和物体的位置坐标，对每个三维物体进行用于判断该物体是否是移动物体的移动物体判断。

[0116] 因此，基于在图像中所检测到的三维物体的水平位置与速度之间的关系判断所检测到的三维物体是否是移动物体。在图像中提供背景的三维物体沿横向离开车辆，并且图像中该物体的速度下降。因此，图像中的物体的水平位置和速度通常相互成比例。相反，对于存在于背景前面的图像中的三维物体，水平位置和速度不成比例。因此，可以不估计车辆的运动和计算距物体的距离而估计背景的运动，并且可以将以不同于背景的方式移动的物体区别为与背景区分的移动物体。因此，可以高速且容易地检测移动物体。

[0117] 此外，物体属性判断单元107还可以检测用作车辆行使的车道的边界的车道边界。基于在图像的垂直方向上的最下方的像素的三维坐标系中的位置坐标，来判断车道边界。物体属性判断单元107在由车道边界定义的几个分区中的每一个中进行移动物体判断。

[0118] 因此，可以根据坐标变换后的底端点的位置检测车道边界，并在由车道边界所定义的每个分区中进行移动物体判断。因此，即使对于复杂图像也可以有效地进行移动物体判断。

[0119] 此外，假定在所捕获的图像中的各物体都包括物体边缘。因此，特征提取单元103在由照相机101所捕获的图像中检测物体的边缘。可以使用基本的图像处理技术来检测物体边缘。

[0120] 根据上述第一套优选实施例的物体检测方法提供了许多特征，现就其中一些特征进行说明。

[0121] 该物体检测方法包括：捕获车辆前方景物的图像；从所捕获的图像中提取特征；计算关于表示所提取的特征的像素的速度信息；将该图像中的像素的位置坐标变换成三维坐标系中的三维位置坐标；以及基于像素的三维位置坐标和关于像素的速度信息，判断该特征是否是移动物体。

[0122] 根据这种组合，可以基于该图像中的特征的速度信息和位置坐标判断从所捕获的图像中提取的特征是否是移动物体。

[0123] 该物体检测方法还包括将该图像的垂直方向上的且具有预定范围内的速度差的相邻像素分组在一起。基于分组后的像素的最上方的像素和最下方的像素的三维位置坐标进行移动物体的判断。

[0124] 因此，在从所捕获的图像计算出的速度图像上设置物体检测区域。在各区域中，将具有预定范围内的速度差的图像的垂直相邻的像素分组在一起，并且检测分组后的像素的最上方的像素(顶端点)和最下方的像素(底端点)。将最上方的像素和最下方的像素的坐标变换成ZX平面上的坐标，并根据变换后的位置坐标有效地进行移动物体的判断。

[0125] 当最上方的像素和最下方的像素位于规定ZX平面所分割成的预定数量的区域中的同一个区域中时，判断出物体为二维的。当最上方的像素位于规定ZX平面外而最下方的像素位于规定ZX平面上的任一区域中时，判断出物体为三维的。

[0126] 因此，通过使用照相机参数将最上方的像素(顶端点)和最下方的像素(底端点)的位置坐标变换成ZX平面上的坐标。位于路面上的白线或其它道路标记等二维物体的顶端点和底端点都通过坐标变换投影在规定ZX平面上。相反，三维物体仅底端点位于路面上；而其顶端点不位于路面上。因此，仅将底端点投影在规定ZX平面上，而顶端点的投影偏离了规定ZX平面。因此，即使当捕获单目图像(monocular image)时，也可以根据与顶端点和底端点相对应的变换后的坐标在一个或多个区域中的相对布置，来区分二维物体和三维物体。

[0127] 此外，该移动物体判断基于图像中的物体的速度信息和物体的位置坐标，判断多个三维物体中的每一个是否是移动物体。

[0128] 因此，基于图像中所检测到的三维物体的水平位置与速度之间的关系，进行移动物体的判断。当三维背景物体离开车辆时，其在图像中沿横向移动，并且在图像中其速度下降。因此，在图像中水平位置与速度成比例。相反，对于存在于三维背景物体前方的物体来说，图像中的水平位置与速度不成比例。因此，可以不估计车辆的运动和计算距物体的距离而估计背景的运动，并且可以将以不同于背景的方式移动的物体区别为相对于背景移动的物体。因此，可以高速且容易地检测移动物体。

[0129] 此外，可基于图像中的一组的垂直最下方的像素在ZX平面上的位置坐标，检测车辆想要驶入的车道边界。在由该车道边界所定义的每个分区中进行移动物体判断。

[0130] 因此，可以根据坐标变换后的底端点来检测车道边界，并且在由车道边界所定义的每个分区中进行移动物体判断。因此，即使对于复杂背景，也可以有效地进行移动物体判断。

[0131] 此外，假定所捕获的图像中的各物体都包括物体边缘。因此，从所捕获的图像中检测物体边缘。可以使用基本的图像处理技术来检测物体边缘。

[0132] 第二套优选实施例

[0133] 即使当例如由于边缘检测的结果不能基于速度信息对与三维物体或移动物体相对应的像素进行分组时，也可以检测二维物体和三维物体。

[0134] 图11示出根据优选实施例进行分组的例子。在外部墙壁上检测到的点P11～P113、点P41～P412以及点P51～P510中，将点P11～P13、点P14～P113、点P41和P42、点P43～P412、点P51和P52、以及点P53～P510分开进行分组。同样地，在行人上检测到的点P21～P213和点P31～P313中，将点P21～P23、点P24～P213、点P31～P33以及点P34～P313分开进行分组。

[0135] 与第一套优选实施例类似，同样参照用作框图的图1、示出车辆中的照相机101的安装例子的图2、示出由照相机101所捕获的车辆前方景物的图像的图3、解释边缘的标准化的图4、以及示出速度图像的图5，来说明第二套优选实施例。不重复对这些附图的说明。此外，与第一套优选实施例类似，第二套优选实施例采用图8和9中所示的方法，该方法基于底端点来检测车道边界，并根据由所检测到的车道边界所定义的各分区中的三维物体的水平位置与速度之间的关系来检测移动物体。因此，不重复对该方法的说明。

[0136] 图11示出根据优选实施例的例子，其中，在所计算出的速度图像上设置用于物体检测的区域。也就是说，将图11中所示的速度图像分割成多个条状区域。在根据优选实施例的例子中，通过在各区域中从底端到顶端扫描图像来检测具有速度的像素。与参照图7的例子类似，根据上述表达式(1)和(2)将所检测到的像素的坐标变换成ZX平面上的坐标，并判断变换后的坐标是否位于规定ZX平面中。当变换后的坐标位于规定ZX平面中时，判断出这些像素是二维物体候选点。相反，当变换后的坐标不位于规定ZX平面中时，判断出这些像素为三维物体候选点。由于规定ZX平面与根据第一套实施例的例子中的相同，因而不重复其说明。再次参照图11中所示的例子，点P11～P13位于规定ZX平面上的同一区域中，并将其判定为二维物体候选点。由于点P14～P113不位于规定ZX平面中，因而将它们判定为三维物体候选点。同样地，将点P21～P23、P31～P33、P41、P42、P51、P52、P61～P64、P71～P74、P81、P82、P91～P93、P101、P102、以及P111～P113判定为二维物体候选点，而将点P24～P213、P34～P313、P43～P412、以及P53～P510判定为三维物体候选点。

[0137] 随后，基于所检测到的二维物体候选点和三维物体候选点判断是否存在三维物体。也就是说，当判定为二维物体候选点的点和判定为三维物体候选点的点在垂直方向上连续排列时，可以假定与路面相邻的三维物体的一部分被错误地判定为二维物体候选点。因此，如图12中所示，判断出通过二维物体候选点和三维物体候选点两者所表示的物体实际上是三维物体。例如，由于二维物体候选点P11～P13和三维物体候选点P14～P113在垂直方向上连续排列，因而判断出P11～P113表示三维物体OB1。同样地，判断出点P21～P213、点P31～P313、点P41～P412、以及点P51～P510分别表示三维物体OB2、OB3、OB4和OB5。

[0138] 此外，如图12中所示，从判定为二维物体和三维物体的组合的点中提取底端点，并且以与第一套实施例类似的方式，仅对存在坐标变换后的底端点的ZX平面的区域中的那些计数器，将计数器的计数值设置成数字“1”，并且计算底端点的位置分布。例如，将P11、P21、P31、P41、P51、P61、P71、P81、P91、P101以及P111检测为底端点，并将包括相应的坐标变换后的底端点RB1～RB11的区域中的计数器的计数值设置成数字“1”。通过进行与根据第一套优选实施例的例子相关说明的操作类似的随后操作，可以检测车道边界、三维物体和移动三维物体。

[0139] 图13是示出由根据优选实施例的物体检测系统10进行的过程的流程图。作为响应于打开点火开关(未示出)而启动的程序执行该过程。在图13中，以相同的附图标记表示与关于图10所述的步骤相同的步骤，下面将对两者之间的任何差异进行说明。

[0140] 在步骤S118，在步骤S104中所设置的用于物体检测的各条状区域中，从底端到顶端扫描图像，并根据上述表达式(1)和(2)将具有速度的像素的坐标变换成ZX平面上的坐标。

[0141] 在步骤S119，当这些像素的坐标变换后的点位于规定ZX平面中时，将它们判定为二维物体候选点。当坐标变换后的点不位于规定ZX平面中时，将它们判定为三维物体候选点。

[0142] 在步骤S120，判断是否所有具有计算出的速度的像素都已经过了到ZX平面上的坐标变换，并判断是否完成了二维物体候选点和三维物体候选点的检测。当已完成该检测时，进行步骤S121。相反，当未完成该检测时，再次进行步骤S118。

[0143] 在步骤S121，当二维物体候选点和三维物体候选点在各区域中的垂直方向上连续排列时，将包括这些候选点的物体判定为是一个三维物体。

[0144] 在步骤S122，在各区域中将判定为二维和三维二者的物体的最下方的点检测为底端点，并将包括坐标变换后的底端点的ZX平面上的区域中的计数器的计数值设置为数字“1”。

[0145] 在步骤S123，基于该计数值判断是否已经计算了关于各区域中的坐标变换后的底端点的位置分布的信息。当完成该计算时，进行步骤S110。相反，当未完成该计算时，再次进行步骤S121。

[0146] 随后，通过进行与第一套优选实施例中的操作类似的操作，来检测车道边界、三维物体和移动物体。

[0147] 除了第一实施例的操作优点外，上述第二实施例的物体检测系统可以提供以下操作优点。

[0148] 当像素位于多个三维区域中的任意一个中时，物体属性判断单元107判定该像素为二维物体候选点，当像素存在于这些区域外时，判定该像素为三维物体候选点。当二维物体候选点和三维物体候选点在该图像的垂直方向上连续排列时，物体属性判断单元107判断出这些候选点表示一个三维物体。

[0149] 在这种情况下，在从照相机101所捕获的图像计算出的速度图像上设置物体检测区域，具有速度的像素经过到ZX平面上的坐标变换，并且基于ZX平面上的像素的变换后的位置坐标，判断各像素是二维物体候选点还是三维物体候选点。当二维物体候选点和三维物体候选点在图像的垂直方向上连续排列时，将包括这些候选点的物体判定为一个三维物体。即使当构成同一物体的像素因为某些影响而不具有相同的计算出的速度时，该操作也可以精确检测三维物体。

[0150] 根据上述第二套优选实施例的物体检测系统提供了除第一套优选实施例的特征以外的许多特征，现就其中一些特征进行说明。

[0151] 当表示特征的像素的所有坐标变换后的点位于规定ZX平面中时，物体检测系统判断出该特征为二维物体候选，当表示特征的像素的坐标变换后的点中的至少一个位于规定ZX平面外时，判断出该特征为三维物体候选。此外，当二维物体候选点和三维物体候选点在该图像的垂直方向上连续排列时，判断出这些候选点表示同一个三维物体。

[0152] 因此，在根据所捕获的图像计算出的速度图像上设置物体检测区域。在该速度图像中具有速度的那些像素经过到ZX平面上的坐标变换，并基于ZX平面上的坐标变换后的点的位置坐标，来判断这些像素是二维物体候选点还是三维物体候选点。当二维物体候选点和三维物体候选点在该图像的垂直方向上连续排列时，将包括这些候选点的物体判定为单个三维物体。即使当对构成同一物体的像素计算出的速度无论什么原因不相同时，该操作也可以精确检测三维物体。

[0153] 可以想象到在本发明的优选实施例的范围内，可以进行各种设计改变。

[0154] 例如，物体检测系统的结构不局限于图1所示的框图，可以对其进行不同配置，或具有不同的组件，只要其产生基本相同的功能即可。

[0155] 照相机的安装位置不局限于在图2A和2B所示的位置。可以将照相机安装在任何位置，只要照相机的光轴在视线上指向车辆前方(即沿Z方向)即可，并且图像捕获平面的水平轴线(即X轴)和垂直轴线(即Y轴)分别与路面平行和垂直。

[0156] 标准化所检测到的边缘的宽度不局限于三个像素，可以将其设置成合适的任何数量的像素。由于在处理过程中使用中心像素，因此优选地，具有与边缘相对应的奇数个像素。

[0157] 规定ZX平面所分割成的区域的数量不局限于特定数量的区域。网格也不局限于特定模式。也就是说，可以将垂直和水平范围的数量设置成任何合适的数字。因此，可以将规定ZX平面分割成合适的任何数量的区域和任何网格模式。

[0158] 物体检测系统10优选安装在行驶在道路上的车辆中；然而，可以想到将其安装在穿过其它表面的其它类型的移动单元中。

[0159] 将通过墙壁和路面所定义的路缘、白线和直线作为车道边界的例子进行了说明；然而，还可以想到：也可以检测其它类型的车道边界，例如防护栏、通过停泊车辆和路面所定义的边界、以及路面与不同表面(例如，砂砾路肩、土场地等)之间的边界。

[0160] 尽管参照某些优选实施例公开了本发明，但是如在所附权利要求及其等同物中所定义的一样，可以在不脱离本发明的领域和范围的情况下，对所述实施例进行许多变形、修改和改变。因此，希望本发明不局限于所述实施例，而是具有通过以下权利要求的语言所定义的全部范围。

[0161] 本申请要求2005年12月7日提交的日本专利申请号2005-352831和2006年8月22日提交的日本专利申请号2006-225468的优先权，这两个申请的全部内容通过引用包含在此。