使用传感器融合进行目标跟踪的系统和方法

摘要

一种适应于车辆使用的目标跟踪和传感器融合系统，配置成在一个周期期间现测至少一个对象的条件。该系统包括多个传感器，和通信耦合到该传感器并且配置成基于传感器融合而更准确地估计该条件的新颖控制器。在一个优选实施例中，使用卡尔曼滤波产生该对象位置的融合估计。该优选的控制器还配置成将每个新的传感器观测与轨迹列表中的轨迹相匹配，并且当在随后的周期期间没有确定匹配的观测时，从该轨迹列表中去除该轨迹。

权利要求

1.一种用于由与多个传感器相关联的至少一个电子设备执行的方法，其中每个所述传感器均配置成估计至少一个对象的至少一个条件，并且所述方法包括：从该传感器接收所述至少一个条件的初始估计数据，并且对该初始估计数据应用传感融合算法，从而确定所述至少一个条件的状态估计，其中所述状态估计给出了比该初始估计数据更高的概率和更小的偏差标准；

对于多个条件确定初始和状态估计，并且所述状态估计被存储在轨迹yk(t)中，其中该多个条件包括至少一个变化率条件，并且通过对yk(t)应用假定为恒定变化率条件的向量乘法器F和增加白高斯噪声向量vk，而在时间增量t+1对每个所述轨迹动态建模；和对于多个条件确定初始和状态估计，该多个条件包括对象距离r、距离变化率 方位角θ和方位角变化率 并且根据以下公式确定该建模轨迹yk(t+1)：yk(t+1)＝Fyk(t)+vk，其中

2.如权利要求1所述的方法，其中对于至少一个新对象确定状态估计，并且与yk(t)进行比较以对每个所述条件确定差值参数。

3.如权利要求2所述的方法，所述差值参数中的每个均被代入基于该传感器特性的函数中，进一步乘以基于各个传感器测量健壮性的常数系数，然后被组合以确定指标值Lk，i，其中所述至少一个新对象的所述状态估计被分配到yk(t)，其中Lk，i不小于一个预定阈值。

4.如权利要求3所述的方法，所述函数是模糊逻辑隶属函数。

5.如权利要求3所述的方法，所述函数是对称核函数。

6.如权利要求5所述的方法，所述函数是高斯核函数。

2

K(u)＝exp(-u).

7.如权利要求5所述的方法，所述函数是平方核函数。

8.如权利要求3所述的方法，其中多个观测Oi(t)被分配到yk(t)，并且每个所述观测由以下公式定义：Oi(t)＝Gy(y)+wi.

其中

wi是部分根据该传感器系统的准确性获得的3乘1白高斯噪声向量，并且该观测被组合以确定真实的轨迹状态。

9.如权利要求8所述的方法，其中使用卡尔曼滤波来组合该观测以确定该真实的轨迹状态。

10.如权利要求9所述的方法，其中根据以下公式确定该真实的轨迹状态：其中

11.如权利要求10所述的方法，其中根据以下公式确定用于第i个观测器(Ki)的KF增益：

12.如权利要求1所述的方法，根据对轨迹所分配的观测而对每个所述轨迹yk(t)分配一个轨迹强度qk(t)，其中qk(t)＝1，并且如果在随后的周期内没有观测被分配到该轨迹，那么该轨迹在该周期以一个速率λ衰减，如果qk(t)落在预定最小阈值以下，那么从Y(t)中去除该轨迹yk(t)。

13.如权利要求12所述的方法，其中该轨迹的第一部分以与该轨迹第二部分不同的速率衰减。

说明书

使用传感器融合进行目标跟踪的系统和方法

技术领域

[0001] 本发明涉及对象跟踪系统，更特别地，涉及一种融合来自多个传感器的数据的多传感器系统和方法，以便更精确地估计给定对象的位置。

背景技术

[0002] 对象跟踪和目标描绘(target profiling)系统被作为各种工业中的安全设施的一部分而研制出来，包括航空和汽车工业。 这些系统利用对对象的周期性或连续检测和控制算法来估计对象的各种平面参数，例如相对对象距离(range)，距离变化率(range rate)(即关闭和开启速度)，和方位角位置(即方位)，以及可应用的三维参数例如高度或仰角，从而避开、跟随或者勘查对象。 显然，这些系统提供精确估计的性能对于获得它们的应用的预期效益是至关重要的。

[0003] 不精确的估计或者错误的检测会例如导致错误的前进、碰撞和其他系统错误。然而，除了物理故障，本领域普通技术人员还很重视特定传感器的测量的标准偏差，加上背景干扰(典型地建模为白高斯噪声)也提供所有传感性能系统所固有的不精确度。这些系统确定当前对象的确切位置的不准确度还关系到复杂或关键应用设备的使用。

[0004] 为了提高对象检测的似然度，通常在一个系统内使用多个传感器。 对于汽车应用，例如碰撞检测或横向支撑系统，这些传感器例如可以包括GPS、FM-CW雷达、脉冲和FSK雷达、以及CCD、CMOS或其他照相机/视频图像处理器。然而，与应用无关，这些多观测器配置一般用于检测相同的对象，从而提供备用或多余的检测装置，因此，典型地不会使该系统的整体精度高于最精确的传感器。 被用于增加精度的多观测器系统例如相控阵多波束雷达系统，典型地需要复杂的结构和昂贵的仪器来操作。

[0005] 最后，在使用多观测器结构处，对于每个被检测对象会产生多组数据并静态存储为轨迹。 由于数据的倍增，该轨迹会随着时间的增加而变得庞大，从而需要昂贵和笨重的数据存储和管理设备。 这些系统不能去除该系统中无效和无用的轨迹，还导致浪费资源和该系统、应用和用户可能的混乱。

发明内容

[0006] 针对这些和其他考虑，提出了一种使用多个传感器和数据融合的改进的目标跟踪系统和方法，用于增加系统测量的精度和可靠性以使其高于任何单个的系统传感器。在其他方面，本发明可以用于通过合并视场，减少对象的捕获/重捕获时间，降低产生错误肯定(positive)和错误否定(negative)的似然度，和增加可行应用的范围以便可以使用常规的传感器，从而来扩展本发明的覆盖面。

[0007] 本发明的第一方面涉及一种用于估计至少一个对象的条件的目标跟踪和传感器融合系统。 该系统包括配置成确定对象条件的第一估计的第一传感器，和配置成确定该条件的第二估计的第二传感器。 该系统还包括通信耦合到该传感器的控制器，并且配置成确定该条件的第三估计。 该第三估计部分地基于该第一和第二估计，并且该第一和第二估计中的每个都包括测量值和偏差标准。 最后，该第三估计给出计算值和小于该第一和第二偏差标准中每一个的偏差标准。

[0008] 本发明的第二方面涉及一种用于由与多个传感器相关联的至少一个电子设备执行的计算机程序，其中每个传感器配置成估计至少一个对象的至少一个条件。 该程序配置成从该传感器接收所述至少一个条件的初始估计数据，并且对该初始估计数据应用传感融合算法，从而确定所述至少一个条件的状态估计。 该状态估计给出了比该初始估计数据更高的概率和更小的偏差标准。

[0009] 在本发明的一个实施例中，该传感器融合算法被用于具有多个相似或不同传感器的陆地车辆以增加对象检测的健壮性。 在这种配置中，可以增强例如全速自动巡航控制(ACC)、自动制动和预碰撞(precrash)系统的应用。 通过以下对于优选实施例和附图的详细说明，本发明的其他方面将变得清楚。

附图说明

[0010] 下面参照附图对本发明的优选实施例进行详细描述，其中：

[0011] 图1是根据本发明的一个优选实施例的车辆的平面图，特别示出了优选目标跟踪和传感器融合系统的部件；

[0012] 图1a是根据本发明的一个优选实施例的车辆的平面图，其中该车辆在大道上行驶并且使用多个传感器来跟踪两个行驶的远程车辆；

[0013] 图2是本发明的一个优选实施例的框图，特别示出了在观测、数据关联和聚类、以及跟踪寿命管理模块之间的相互关系；

[0014] 图3是该传感器融合过程的优选实施例的框图，包括雷达和视觉传感器；和[0015] 图4是相对于跟踪寿命管理的控制算法的优选实施例的流程图。

具体实施方式

[0016] 本发明涉及一种改进的目标跟踪和传感器融合系统10。 在这里所述和所示的本发明的优选实施例中，该系统10适用于具有多个配置成检测至少一个对象的位置并跟踪之的传感器的车辆12。概括地，系统10使用一种算法从该传感器接收条件数据并且确定该条件的更精确和准确估计。为了说明性目的，在图1和1a中示出了系统10具有一组两个传感器14、16，并且跟踪两个对象(即目标)18、20。 然而，在希望更精确的目标跟踪的其他环境下使用本发明的该新颖性方面和特征当然也是在本发明的范围之内的。 例如，本发明可以用于空中交通控制、航运导航和武器制导系统。

[0017] 在这里进一步描述的本发明的一个优选实施例中，该算法使用了基于卡尔曼滤波(KF)的融合方法。 为本领域普通技术人员所公知的，KF应用是用于探测每个目标18、20沿时间轴的相关特性。 换句话说，假定该跟踪目标在一个时间周期内平滑运动。
该系统10还配置成获取空间相关(即由多个传感器观测到的每个对象的相对位置)。

[0018] 转到图2，该系统10的一个优选实施例一般包括：观测模块22，包括卡尔曼滤波器24a的数据关联和聚类(DAC)模块24，和记录包括多个对象轨迹的轨迹列表26a的轨迹寿命管理(TLM)模块26。 更特别地，该观测模块包括传感器，该传感器的各个传感器处理器，以及该传感器、传感器处理器和该DAC模块之间的互连。对于陆地车辆，认识到这些传感器可以包括GPS系统，电荷耦合装置(CCD)或互补金属氧化物半导体(CMOS)视频图像传感器，长中距雷达和激光雷达传感器，以及超声波传感器。 这些传感器优选地被设置在车辆内相对没有障碍的位置。

[0019] 本领域普通技术人员还可以认识到，这些传感器没有一个可以完整地执行它们的预期功能，而是仅提供对于实际位置或条件的估计，其中所述估计给出估计值和偏差标准。 因而，这里对于对象位置和条件的传感器检测和测量应当称为“估计”。

[0020] 还可以认识到，这些传感器的特性是互补的，从而其中一些在估计某些参数时比其他的更可靠。 常规的传感器具有不同的工作范围和覆盖角(angular coverage)，并且能够在它们的工作范围内估计不同的参数(见图1a)。 例如，雷达传感器通常可以估计对象的距离、距离变化率和方位位置，但是不能正常健壮地估计被检测对象的大小(extent)。具有视频处理器的照相机在估计对象的形状和方位位置时更健壮，但是不能有效地估计对象的距离和距离变化率。 扫描型激光雷达能够有效和准确地估计距离和方位位置，但是不能估计距离变化率，从而不能准确地进行新对象的捕获/再识别。 超声波传感器能够估计距离，但是一般不能估计或计算距离变化率和方位位置。 进而，可以认识到，每种传感器技术的性能会受到不同环境条件的影响。 从而，常规的传感器给出参数变化，但是更重要地，这些传感器的工作重叠(见图1a)形成了传感器融合的可能。

[0021] 如图3所示，该示例性观测模块22包括雷达传感器14、雷达处理器14a、照相机16和视频处理器16a。该雷达处理器14a变换从雷达14接收的信号以确定对于每个对象18、20的距离(RR)、距离变化率 和方位位置(θR)的估计。 类似地，该视频处理器16a也变换从雷达16接收的信号以确定对于对象18、20的距离(RV)、距离变化率和方位位置(θV)的第二组估计。

[0022] 该优选的DAC模块24包括控制器28，其中存储有计算机程序(未示出)，并且配置成从该多个传感器中的每个接收估计数据，将该数据聚类为相似的观测轨迹(即由多个传感器对同一对象的观测)，并且融合该聚类的观测以确定真实的轨迹状态。 理想地，融合不同技术的传感器的数据会得到更健壮的结果。 再次，可以认识到，在本技术中可以使用任意数量的传感器，并且融合越多的传感器结果就越健壮。 然而，还可以认识到，传感器数量的增加会导致算法复杂性的增加，并且在同一时间帧内需要更多的计算能力来产生结果。 该优选的控制器28被容纳在主车辆12中，但是还可以被设置在远程位置。就这一点来说，该优选的控制器28电耦合到传感器处理器14a、16a，但是也可以通过RF、LAN、红外或其他常规无线技术来无线耦合。

[0023] 最后，该优选的TLM模块26配置成然后接收该相似观测的融合数据，并且将该融合观测存储到轨迹列表26a中。 该TLM模块26还配置成根据轨迹的内在性(immanence)区分该轨迹。更优选地，该TLM模块配置成为每个轨迹指定强度值，并且依赖于在每个周期期间是否作出相似的观测而在每个周期向该初始强度增加预定值或者从该初始强度减去预定值或者在每个周期以预定的速率增加或减去。

[0024] 本发明的优选实施例的控制器28用于完成这些任务的算法和功能更具体地描述如下：

[0025] I.观测模块

[0026] 如前所述，在图3中示出了一个示例性系统的框图，其中两个传感器系统(i)具有雷达处理器的雷达和(ii)具有视频处理器的照相机，捕获和传输观测估计到传感器融合控制器28。 该雷达处理器生成三个参数：距离(RR)、距离变化率 和方位位置(ΘR)。 依赖于在该雷达视场内具有足够“雷达截面积”的对象的数量，在每个周期时间生成多个这些参数。 这些对象以(RRi， ΘRi)的形式表示，其中i＝1，2，...，p，并且p表示该雷达处理器所检测对象的数量。

[0027] 类似地，该视频处理器基于在该图像平面内的“模板匹配”和从该水平线的相对偏离，在每个时间帧内生成观测：距离(RV)、距离变化率 和方位位置(ΘV)，其由(RVj， ΘVj)表示，其中j＝1，2，...，q，并且q表示该视频处理器所检测对象的数量。

[0028] II.DAC模块和传感器融合

[0029] 该优选的控制器28配置成对该观测估计应用传感器融合算法，并且使用这些输入生成更准确的融合轨迹，其中该术语“更准确”定义为更可能的估计位置和减少的偏差标准(即更高和更窄的统计上的正态分布曲线)。 在图3中，控制器28生成四个参数：融合距离(r)，距离变化率 ，方位角(θ)，和方位角变化率 ，表示为(rk，θk， )，其中k＝1，2，...，r，并且r表示融合轨迹的数量。 从而，至少对于方位角变化率，该优选的控制器28还配置成在一个周期内存储数据，并且利用第一条件的多个数据条目来确定第二条件估计。 在一个优选实施例中，该融合算法可以实施为具有适当硬件和接口配置的实时系统。

[0030] 对于多个对象，如图1所示，系统10产生多个轨迹。 状态向量(Y(t))表示该轨迹的状态并且如下所示：

[0031] Y(t)＝[y1(t)T y2(t)T … yr(t)T]T (1)，

[0032] 其中指数t表示离散时间，r表示轨迹数量，第k个分量yk(t)是第k个轨迹在极坐标系中的状态，如下所示：

[0033]

[0034] 为了简化计算，假定该轨迹是互相统计独立的。 该假定允许对每个轨迹分别建模。 轨迹(yk)的演变公式优选地通过假定在一个采样间隔Δt期间内的距离变化率和方位角变化率 均为常数来确定，从而：

[0035] yk(t+1)＝Fyk(t)+vk (3)，

[0036] 其中

[0037] 并且vk是4乘1白高斯噪声向量，其中vk～N(0，Q)，Q是协方差矩阵。 从而可以确定基于先前确定的轨迹状态yk(t)的将来轨迹状态yk(t+1)，其中不进行任何插入观测。

[0038] 然而为了捕获插入、偏离、或机动改变(maneuver-changing)情形的动态行为，该优选的控制器28还配置成将随后的观测与每个轨迹比较以确定轨迹匹配。在KF实施例中，基于一个标准为每个观测分配一个轨迹。 在所示实施例中，在离散时间t，该雷达和视频处理器分别生成 和

[0039] 给定观测ORi或OVj，根据以下的差值参数，可以将该极坐标或距离变化率与给定轨迹的相应成分比较：

[0040] ΔRk，i＝rk-Ri k＝1，...，r，和i＝1，...，p+q，

[0041] k＝1，...，r，和i＝1，...，p+q，以及

[0042] ΔΘk，i＝θk-Θi k＝1，...，r，和i＝1，...，p+q.

[0043] 该差值参数中的每个被代入根据该雷达和视频传感系统的特性凭经验获得的函数中，并且分别被表示为fR(ΔR)、 和fΘ(ΔΘ)。

[0044] 然后组合该参数以确定指标(merit)量Lk，i，其中：

[0045]

[0046] 该数量Lk，i指示了Oi匹配第k个轨迹的指标。 该三个函数fR(ΔR)、 和fΘ(ΔΘ)定义了取决于该雷达和视频传感器14、16估计相应参数的准确性的窗口。常数kR、 和kΘ定义了用于作出判定的参数权重，并且是基于各个传感器参数的健壮性的。

[0047] 观测Oi的指标函数值(Li)等于 然后再与阈值T比较。当Li≥T时，Oi被认定为一个匹配，并且被分配到具有最大指标的第K个轨迹。 也就是说，对于所有k＝1，...，r，都有LK，i≥Lk，i。 函数fR(ΔR)、 和fΘ(ΔΘ)被使用各种技术设计，包括似然函数(例如模糊逻辑)方法。 然而，在所示实施例中优选为对称核函数(K(·))。 例如，可以使用以下公式：

[0048]

[0049] 其中hR指示表示传感器特性的定标因子。 更特别地，可以使用两个典型的核函数：

[0050] i)高斯核：

[0051] K(u)＝exp(-u2)

[0052] ii)平方核：

[0053]

[0054] 所有被确定为在离散时间t匹配给定轨迹y(t)的观测表示为Oi，i＝1，...，s，其中s是与该轨迹相关联的观测数量。 再次，假定每个观测是统计上独立的，从而可以分别考虑。 更优选地，当存在匹配时，通过以下公式对Oi建模：

[0055] Oi(i)＝Gy(t)+wi (6)，

[0056] 其中

[0057] wi是3乘1白高斯观测器噪声向量，其中wi～N(0，Ri)，并且协方差矩阵(Ri)是根据该观测传感器的准确度规格来获得的。

[0058] 因而，可以根据以下KF等式来估计新的轨迹状态：

[0059]

[0060]

[0061] 其中，

[0062]

[0063] 并且用于第i个观测器(Ki)的KF增益为：

[0064]

[0065] 该P(t+1)矩阵是y(t+1)的一阶协方差矩阵，并且表示估计y(t+1)的置信度水平(即偏离均值的水平)。 可以认识到，P(t)是基于公式(8)和(9)递归计算的。 y(0)和P(0)的初始值是使用在时间帧0处的传感器输入确定的。 这也就是说，不论何时引入一个新的轨迹，都对y(0)使用该不匹配的传感器观测，和对P(0)使用试探(heuristically)定义的常数。

[0066] III.TLM模块

[0067] 一旦轨迹列表({y1，y2，...，yr})26a被编制出来，该优选的系统10还配置成监视每个轨迹的寿命。也就是说，系统10配置成基于不与任何已有轨迹相关联的观测来初始化新的轨迹，并且能够确定是否应当将一个已有轨迹从列表26a中去除。 这里可以认识到，在对象频繁出现或消失在视场(FOV)内的活动安全性应用中，该TLM模块26有助于保持准确的状态向量Y(t)。

[0068] 在所示实施例中，数量qk(t)被指定给每个轨迹yk以表示其强度。

[0069] 如图4所示，一种轨迹寿命管理的优选方法，在步骤100开始，其中该值qk(t)以速率(λ)更优选为以指数速率衰减。该值qk(t)和λ可以对每个轨迹是常数，或者可以取决于轨迹特性而变化。 例如，包括相对周边对象观测的轨迹可以被指定一个较小的强度或更快的衰减速率。在一个完整的通信周期之后，在步骤102，将所有观测与轨迹参数相比较(依据第II部分)以确定至少一个匹配观测。

[0070] 在可选步骤104a和b，如果没有确定匹配的观测，则将新的值q(t+1)与最小阈值Tmin进行比较(104a)；或者如果已经确定了匹配观测，则对于每个观测增加一个预定值(104b)。当没有确定任何匹配观测时，并且减少的新值小于Tmin，那么在步骤106a将该轨迹从该列表中去除，否则该方法返回步骤102。如果确定了至少一个匹配观测，则在步骤106b将该增加的新值q(t+1)与确认阈值Tcon比较。 如果q(t+1)大于Tcon，那么在步骤108确认该轨迹，否则该方法返回步骤102。 更优选地，在步骤104b，对q(t+1)的增加被q(t)限制，从而导致同时偏离通知，而不考虑该多个匹配观测。

[0071] 上述本发明的优选形式仅作为解释用，并且不应当被用作对于本发明范围的解释的限制意义。 本领域普通技术人员可以很容易作出对于这里所给出的示例性实施例和操作方法的显而易见的修改，而不脱离本发明的精神。 因而，本发明人声明其意图是，相对于任何实质上没有脱离本发明范围但是在所附权利要求中所给出本发明的文字范围之外的系统或方法，依赖于等效理论来确定和评估本发明的合理公平的范围。