用于检测远距离道路上的物体的系统和方法

摘要

一种检测远距离道路上的物体的方法，包括：在行驶方向上捕获道路车道的初始帧；在所述初始帧中检测至少两个车道边缘；捕获所述道路车道的后续帧；基于检测到的所述初始帧的至少两个车道边缘来裁剪所述后续帧；以及在经裁剪的后续帧中检测至少一个车辆。

权利要求

1.一种检测远距离道路上的物体的方法，包括：捕获道路车道在行驶方向上的初始帧；

在所述初始帧中检测至少两个车道边缘；

基于检测到的所述至少两个车道边缘来裁剪所述初始帧；

在经裁剪的所述初始帧中检测至少一个车辆；

捕获所述道路车道的后续帧；

基于检测到的所述初始帧的所述至少两个车道边缘来裁剪所述后续帧；

在经裁剪的后续帧中检测至少一个车辆；

调整所述经裁剪的后续帧的尺寸大小；

将所述初始帧的所述至少两个车道边缘与经调整尺寸大小的所述经裁剪的后续帧进行融合；以及

基于经融合的帧来顺序地检测至少一个车辆。

2. 根据权利要求1所述的方法，其特征在于，所述初始帧是以至少30 fps的帧率进行捕获的。

3.根据权利要求1所述的方法，其特征在于，所述初始帧是以至少1080P的分辨率进行捕获的。

4.根据权利要求1所述的方法，其特征在于，处于所述经裁剪的后续帧以外的图像将被丢弃而不被检测。

5.一种检测远距离道路上的物体的方法，包括：捕获道路车道在行驶方向上的初始帧；

在所述初始帧中检测至少两个车道边缘；

在检测到的至少两个车道边缘中检测至少一个车辆；

基于所述检测到的至少两个车道边缘和检测到的至少一个车辆来裁剪所述初始帧；

捕获所述道路车道的后续帧；

基于检测到的所述初始帧的至少两个车道边缘来裁剪所述后续帧；

调整经裁剪的后续帧的尺寸大小；

在经调整尺寸大小的后续帧中检测至少一个车辆；

将所述初始帧的所述至少两个车道边缘与所述经调整尺寸大小的后续帧进行融合；以及

基于经融合的帧来顺序地检测所述至少一个车辆。

6. 根据权利要求5所述的方法，其特征在于，所述初始帧是以至少30 fps的帧率进行捕获的。

7.根据权利要求5所述的方法，其特征在于，所述初始帧是以至少1080P的分辨率进行捕获的。

8.根据权利要求5所述的方法，其特征在于，处于所述经裁剪的后续帧以外的图像将被丢弃而不被检测。

9.一种检测远距离道路上的物体的系统，包括：前视相机，用于：

捕获道路车道在行驶方向上的初始帧；以及捕获所述道路车道的后续帧； 以及图像分析单元，用于：

在所述初始帧中检测至少两个车道边缘；

基于检测到的所述至少两个车道边缘来裁剪所述初始帧；

在经裁剪的初始帧中检测至少一个车辆；

基于检测到的所述初始帧的所述至少两个车道边缘来裁剪所述后续帧；

在经裁剪的后续帧中检测至少一个车辆；

调整所述经裁剪的后续帧的尺寸大小；

将所述初始帧的所述至少两个车道边缘与经调整尺寸大小的所述经裁剪的后续帧进行融合；以及

基于经融合的帧来顺序地检测至少一个车辆。

10. 根据权利要求9所述的系统，其特征在于，所述前视相机以至少30 fps的帧率以及以至少1080P的分辨率来捕获所述帧。

说明书

用于检测远距离道路上的物体的系统和方法

技术领域

[0001] 本发明涉及先进的驾驶员辅助系统(ADAS)，更具体地，涉及检测远距离的物体。

背景技术

[0002] 在车辆产业中，先进的驾驶员辅助系统(advanced driver assistant system，ADAS)是成长最快的技术之一。ADAS提供了诸如自动紧急制动和道路辅助等被认为是能够
减少交通事故的功能。ADAS功能建立在对周围环境的精确感知的基础上。在大多情况下，对
于许多ADAS功能而言检测附近视野的物体已经足够，但对于其他功能而言，检测远距离物
体也非常关键。其中一个示例是自动紧急制动(automatic emergency braking，AEB)，其提
供了在发生紧急情况时自动进行制动的功能。当车辆以100千米/小时的速度行驶时，为了
给制动系统提供足够的反应时间，这种检测系统需要捕获在车辆的行驶方向上的150米距
离以内的物体。而在150米距离处的物体看上去很小，这就给检测和反应带来了挑战。

[0003] 寻求一种有效地检测远距离道路上物体的方法。

发明内容

[0004] 根据本发明的一个方面，提供了一种检测远距离道路上的物体的第一示例性方法，所述方法包括以下步骤中的至少一个步骤：捕获道路车道在行驶方向上的初始帧；在所
述初始帧中检测至少两个车道边缘；捕获所述道路车道的后续帧；基于检测到的所述初始
帧的至少两个车道边缘来裁剪所述后续帧；以及在经裁剪的后续帧中检测至少一个车辆。

[0005] 在其中一个实施例中，所述第一示例性方法进一步包括：基于检测到的所述至少两个车道边缘来裁剪所述初始帧。

[0006] 在其中一个实施例中，所述第一示例性方法进一步包括：在经裁剪的初始帧中检测至少一个车辆。

[0007] 在其中一个实施例中，所述第一示例性方法进一步包括：调整所述经裁剪的后续帧的尺寸大小。

[0008] 在其中一个实施例中，所述第一示例性方法进一步包括：将所述初始帧的所述至少两个车道边缘与经调整尺寸大小的后续帧进行融合。

[0009] 在其中一个实施例中，所述第一示例性方法进一步包括：基于经融合的帧来顺序地检测至少一个车辆。

[0010] 在其中一个实施例中，所述初始帧是以至少30fps的帧率进行捕获的。

[0011] 在其中一个实施例中，所述初始帧是以至少1080P的分辨率进行捕获的。

[0012] 在其中一个实施例中，处于所述经裁剪的后续帧以外的图像将被丢弃而不被检测。

[0013] 根据本发明的另一方面，提供了一种检测远距离道路上的物体的第二示例性方法，所述方法包括以下步骤中的至少一个步骤：捕获道路车道在行驶方向上的初始帧；在所
述初始帧中检测至少两个车道边缘；在检测到的至少两个车道边缘中检测至少一个车辆；
基于所述检测到的至少两个车道边缘和检测到的至少一个车辆来裁剪所述初始帧；捕获所
述道路车道的后续帧；基于检测到的所述初始帧的至少两个车道边缘来裁剪所述后续帧；
调整经裁剪的后续帧的尺寸大小；在经调整尺寸大小的后续帧中检测所述至少一个车辆；
将所述初始帧的所述至少两个车道边缘与所述经调整尺寸大小的后续帧进行融合；以及基
于经融合的帧来顺序地检测所述至少一个车辆。

[0014] 本发明还提供了一种检测远距离道路上的物体的示例性的系统，所述系统包括：前视相机，其用于：捕获道路车道在行驶方向上的初始帧；以及捕获所述道路车道的后续
帧。该系统还包括图像分析单元，其用于：在所述初始帧中检测至少两个车道边缘；基于检
测到的所述初始帧的至少两个车道边缘来裁剪所述后续帧；以及在经裁剪的后续帧中检测
至少一个车辆。

[0015] 在其中一个实施例中，所述图像分析单元进一步用于：基于检测到的所述至少两个车道边缘来裁剪所述初始帧。

[0016] 在其中一个实施例中，所述图像分析单元进一步用于：在经裁剪的初始帧中检测至少一个车辆。

[0017] 在其中一个实施例中，所述图像分析单元进一步用于：调整所述经裁剪的后续帧的尺寸大小。

[0018] 在其中一个实施例中，所述图像分析单元进一步用于：将所述初始帧的所述至少两个车道边缘与经调整尺寸大小的后续帧进行融合。

[0019] 在其中一个实施例中，所述图像分析单元进一步用于：基于经融合的帧来顺序地检测至少一个车辆。

[0020] 在其中一个实施例中，所述前视相机以至少30fps的帧率以及以至少1080P的分辨率来捕获所述帧。

附图说明

[0021] 在附图中：

[0022] 图1是根据本发明的一个实施例的第一示例性系统的示意图；

[0023] 图2是根据本发明的一个实施例的第二示例性系统的示意图；

[0024] 图3是根据本发明的一个实施例的示例性的捕获的帧的示意图；

[0025] 图4是根据本发明的一个实施例的检测远距离道路上的物体的第一示例性方法的流程图；

[0026] 图5是根据本发明的一个实施例的检测远距离道路上的物体的第二示例性方法的流程图；

[0027] 图6是根据本发明的一个实施例的检测远距离道路上的物体的第三示例性方法的流程图；以及

[0028] 图7是根据本发明的一个实施例的检测远距离道路上的物体的第三示例性系统的示意图。

具体实施方式

[0029] 写出以下列出的实施例仅用于说明本公开的装置和方法的应用，而不是限制本发明的范围。对该装置和方法的等同形式的修改应归入到权利要求的范围内。

[0030] 贯穿以下说明书和权利要求使用的某些术语用于指代特定系统部件。如本领域技术人员将理解的，不同的公司可能会以不同的名称来指代部件和/或方法。本文无意区分名
称不同但功能并非不同的部件和/或方法。

[0031] 在以下讨论和权利要求中，术语“包括”和“包含”以开放式的方式使用，因此可以被解释为“包括，但不限于…”。此外，术语“联接”或“联接(第三人称)”旨在表示间接或直接
的连接。因此，如果第一设备与第二设备联接，则该连接可以通过直接连接或通过经由其他
设备和连接的间接连接来实现。

[0032] 图1描绘了示例性的混合计算系统100，该系统可以用于实施与过程500和600中的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与所述混合系统相关联的
处理器包括现场可编程门阵列(FPGA)122、图形处理单元(GPU)120和中心处理单元(CPU)
118。

[0033] 所述处理单元118、120、122具有提供神经网络的能力。CPU是可以执行许多不同功能的通用处理器，它的通用性使其具有能够执行许多不同的任务的能力，然而，它对于多个
数据流的处理是有限的，并且它对于神经网络的功能是非常有限的。GPU是图形处理器，其
具有能够依次处理并行任务的许多小的处理内核。FPGA是现场可编程设备，其具有被重配
置并且以硬连线电路的方式来执行任何可被编程到CPU或GPU中的功能的能力。由于FPGA的
编程是以电路形式的，因此其速度是CPU的几倍快，并且明显快于GPU。

[0034] 系统可以包含其他类型的处理器，例如：加速处理单元(APU，其包括有CPU并且在芯片上具有GPU元件)以及专门用于执行高速数字数据处理的数字信号处理器(DSP)。专用
集成电路(ASIC)也可以执行FPGA的硬连线功能，然而，设计和生产ASIC的交付周期约为三
个月，其并不是在对FPGA进行编程中可用的快速周转实施方案。

[0035] 所述GPU120、CPU 118和FPGA 122彼此连接并且连接至存储器接口和控制器112。所述FPGA通过可编程逻辑电路(PLC)到存储器互连130连接至存储器接口。由于FPGA的工作
带宽非常大的事实并且为了将FPGA的用来执行存储任务的电路最小化，可以使用附加设
备。存储器接口和控制器112另外连接至永久存储盘110、存储系统114和只读存储器(ROM)
116。

[0036] 图2的系统可以用于对FPGA进行编程和训练。GPU利用非结构化数据良好地运行并且可以被用于进行训练，一旦数据被训练完成，则可以找到确定的参考模型，并且CPU可以
利用由GPU确定的模型数据对FPGA进行编程。

[0037] 存储器接口和控制器可以连接至中心互连124，该中心互连124另外连接至GPU 120、CPU 118和FPGA 122。中心互连124另外连接至输入和输出接口128和网络接口126，该
输入和输出接口128连接至相机132。

[0038] 图2描绘了第二示例性的混合计算系统200，该系统可以用于实施与过程600中的一个或多个部分或步骤的操作相关联的神经网络。在该示例中，与所述混合系统相关联的
处理器包括现场可编程门阵列(FPGA)210和中心处理单元(CPU)220。

[0039] FPGA电连接至FPGA控制器212，该FPGA控制器212与直接存储器访问(DMA)218相接口。DMA 218连接至输入缓冲器214和输出缓冲器216，输入缓冲器214和输出缓冲器216都与
FPGA联接，以分别将数据缓冲到FPGA和将数据从FPGA缓冲出来。DMA 218具有两个先进先出
(FIFO)缓冲器，一个用于主CPU，另一个用于FPGA，DMA 218允许向适当的缓冲器写入数据或
者从适当的缓冲器读取数据。

[0040] 在DMA的CPU侧是主交换机228，其将数据和指令往返传送至DMA。DMA还连接至同步动态随机存取存储器(SDRAM)控制器224，其允许数据在FPGA和CPU220之间往返传送，SDRAM
控制器还连接至外部SDRAM 226和CPU 220。主交换机228连接至外围接口230，该外围接口
230连接至相机232。闪存控制器222控制永久存储器并且连接至CPU 220。

[0041] 虽然有多种传感器可用，由于相机的丰富的信息和可承受性，因此相机是ADAS和自动驾驶系统的最主要的工具。在本发明中，来自相机的图像是主要的焦点区域。利用60度
的视场(field of view，FOV)和1080P的分辨率的相机，在150米距离处的车辆在图像上大
约为10像素×10像素。这大致是检测器所能捕获的最小尺寸。因此，最好在具有1080P或更
高分辨率的图像上运行检测器。为了满足AEB延迟需求，检测器需要以至少30fps(帧每秒)
的速度运行。如果使用网络检测器，那么计算需求会超过许多硬件平台的能力。

[0042] 解决这一问题的一种可行解决方案是可以使用可能包含目标物体的小图像块(image patch)，而不是以其原始分辨率运行检测器。这样就变成了如何选择这些块的问
题。这种选择将显著地影响性能，因为在块以外的物体将不会有机会被检测器发现。常规选
择的块是在图像中心的区域。但是，由于道路的曲度，对于ADAS应用而言是有问题的。在图3
中图示了一个示例，在图像的中心有一虚线框，但其遗漏了相同方向上的前面的车辆，这对
于AEB应用而言是不可接受的。

[0043] 在本发明中，提出了基于块的物体检测方法，在本方法中，提出了图像块裁剪算法，以最大化地保留远距离道路上的物体。所提出的解决方案是并不剪裁图像中心，而是将
图像进行剪裁以提供围绕车道边缘的块，如图3所图示的。这些曲线是检测到的车道。左框
310位于车道左边缘，右框312位于车道右边缘。围绕车道边缘的右虚线框312允许对远距离
车辆进行精确定位。当车道是直车道时，围绕车道边缘裁剪的块大体上与图像中心处的块
重叠。然而，对于以上两种裁剪方法，在弯曲的车道中利用车道边缘会导致很大的不同，两
者对比如图3中的右框和左框。左框310遗漏了关键物体。

[0044] 图4描绘了检测路线。其不是使用在当前帧中检测到的车道(这需要二次穿过图像)，而是使用来自之前帧410的检测到的车道来定位图像块412。设想利用30fps的帧率，车
道边缘在各个帧之间将不会显著地漂移。图4中的上方路径在经裁剪的块的帮助下负责检
测小物体414。下方路径调整416原始图像的尺寸大小并且对该原始图像进行下采样，由此，
中等或大物体有可能被检测到，而远距离的小物体是几乎不可见的。最终或后续的检测424
是将两条分支(branch)418和420进行融合422的结果。

[0045] 由于这种块裁剪方法，所提出的框架可以显著地减少计算量，同时保持相对高的精度。在利用相同的检测网络的情况下，如果原始分辨率是1080×1920，那么经裁剪的块的
分辨率是192×384，并且下采样的图像的分辨率是384×768，总体计算量将减少大约82％。

[0046] 图5描绘了检测远距离道路上的物体的示例性的方法500。该方法包括：捕获510道路车道在行驶方向上的初始帧，在所述初始帧中检测512至少两个车道边缘，捕获514所述
道路车道的后续帧，基于检测到的所述初始帧的至少两个车道边缘来裁剪516所述后续帧，
以及在经裁剪的所述后续帧中检测518至少一个车辆。

[0047] 图6中示出了检测远距离道路上的物体的另一示例性的方法600。该方法600包括：捕获610道路车道在行驶方向上的初始帧，在所述初始帧中检测612至少两个车道边缘，在
检测到的至少两个车道边缘中检测614至少一个车辆，以及基于所述检测到的至少两个车
道边缘以及检测到的至少一个车辆来裁剪616所述初始帧。所述方法还包括：捕获618所述
道路车道的后续帧，基于检测到的所述初始帧的至少两个车道边缘来裁剪620所述后续帧，
调整622经裁剪的所述后续帧的尺寸大小，在经调整大小的所述后续帧中检测624所述至少
一个车辆，将所述初始帧的所述至少两个车道边缘与所述经调整大小的所述后续帧进行融
合626，以及基于经融合的帧来顺序地检测628所述至少一个车辆。

[0048] 一种检测远距离道路上的物体的系统700，包括：前视相机710和图像分析单元712，所述前视相机710用于：捕获道路车道在行驶方向上的初始帧，以及捕获所述道路车道
的后续帧。所述图像分析单元712用于：在所述初始帧中检测至少两个车道边缘，基于检测
到的所述初始帧的至少两个车道边缘来裁剪所述后续帧，以及在经裁剪的所述后续帧中检
测至少一个车辆。

[0049] 本领域的技术人员将了解，本文中所描述的各种说明性的块、模块、元件、部件、方法和算法可实施为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互
换性，上文已经在其功能方面对各种说明性的块、模块、元件、部件、方法和算法进行了总体
描述。将该功能实施为硬件还是软件取决于强加于整个系统的特定应用和设计约束。熟练
的技术人员可以针对每个特定应用以不同方式来实施所描述的功能。在不脱离本主题技术
的范围的情况下，各种部件和块可以被不同地布置(例如以不同的顺序布置，或以不同的方
式划分)。

[0050] 应理解，所公开的过程中的步骤的特定顺序或层级是对示例方法的一种说明。基于设计偏好，可以理解，过程中的步骤的特定顺序或层级可以被重新排列。一些步骤可以同
时进行。所附方法权利要求以样本顺序呈现各个步骤的要素，并不意味着受限于所呈现的
特定顺序或层级。

[0051] 提供前面的描述是为了使本领域技术人员能够实践本文中所描述的各种方面。前面的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对于本领域技
术人员来说，对这些方面的各种修改是明显的，并且本文限定的一般原理可以应用于其他
方面。因此，权利要求并不旨在受限于本文所示的方面，而是旨在使全部范围与权利要求的
语言表述相一致，其中对单数元素的引用并不旨在表示“一个且仅一个”，除非具体如此陈
述，而是表示“一个或多个”。除非另外特别说明，否则术语“一些”是指一个或多个。男性中
的代词(例如，他的)包括女性和中性(例如，她和它的)，反之亦然。标题和副标题(如果有的
话)仅为了方便而使用，并不限制本发明。谓语“被配置以”、“可操作以”和“被编程以”并不
暗示着对主语的任何特定的有形或无形修改，而是旨在可被互换地使用。例如，被配置以监
视和控制操作或部件的处理器，还可以表示，该处理器被编程以监视和控制操作，或者处理
器可操作以监视和控制操作。同样地，被配置以执行代码的处理器，可以被解释为，被编程
以执行代码的处理器或可操作以执行代码的处理器。

[0052] 诸如“方面”之类的短语并不暗示这样的方面对于本技术是必不可少的，或者这样的方面适用于主题技术的所有配置。涉及一方面的公开可适用于所有配置、或一个或多个
配置。一个方面可以提供一个或多个示例。诸如“方面”的短语可以指代一个或多个方面，反
之亦然。诸如“实施例”之类的短语并不暗示这样的实施例对于主题技术是必不可少的，或
者这样的实施例适用于主题技术的所有配置。涉及一个实施例的公开可应用于所有实施
例，或一个或多个实施例。一个实施例可提供一个或多个示例。诸如“实施例”的短语可以指
代一个或多个实施例，反之亦然。诸如“配置”之类的短语并不暗示这样的配置对于主题技
术是必不可少的，或者这样的配置适用于主题技术的所有配置。涉及一种配置的公开可应
用于所有配置、或一个或多个配置。一种配置可提供一个或多个示例。诸如“配置”的短语可
以指一个或多个配置，反之亦然。

[0053] 本文使用词语“示例”来表示“用作示例或说明”。本文描述为“示例”的任何方面或设计不必被解释为比其他方面或设计更优选或更具优势。

[0054] 本领域普通技术人员已知或以后将知道的，贯穿本发明所描述的各个方面的元件的所有结构和功能等同物通过引用被明确地并入本文，并且旨在由权利要求所涵盖。此外，
无论在权利要求中是否明确地叙述了这样的公开，本文的公开都不旨在捐献于公众。任何
权利要求的要素均不得根据35U.S.C.§112第六段的规定进行解释，除非使用短语“用于…
的装置”明确叙述该要素，或者在方法权利要求的情况下，使用短语“用于…的步骤”叙述该
要素。此外，关于在说明书或权利要求书中使用“包括”、“具有”或类似术语的含义，这样的
术语旨在被包括在术语“包含”的方式内，类似于当“包括”在权利要求中被用作连接词时，
对“包括”的解释那样。

[0055] 对“一个实施例”、“实施例”、“一些实施例”、“各种实施例”或类似表述的引用表明特定元件或特性被包括在本发明的至少一个实施例中。虽然短语可能出现在多个地方，但
短语不一定是指同一个实施例。结合本发明，本领域技术人员将能够设计和并入适合于实
现上述功能的各种机制中的任何一种。

[0056] 应理解，本发明仅教导了说明性的实施例的一个示例，并且本领域技术人员在阅读本发明之后可以容易地设计出本发明的许多变型，并且本发明的范围由以下权利要求确
定。