本发明公开了一种目标检测与可能性判别修正的关联方法，首先，以当前帧的目标检测结果为量测集，前一时刻确定的跟踪目标集为状态集，利用目标区域尺寸和中心位置得到关联矩阵，确定每个目标的候选目标；接着，由关联矩阵推理分析出目标发生遮挡的可能性，并由目标与候选目标的面积进一步确定目标是否遮挡；然后，根据目标遮挡与否自适应选择最优粒子或均值漂移对候选目标进行修正；最后计算目标同修正结果的关联度，根据关联度矩阵对目标进行关联。该方法能够较好地处理目标遮挡的情况，自适应目标尺寸变化，有效提高目标信息的准确性，准确地对多目标进行关联。
1.一种目标检测与可能性判别修正的关联方法，其特征在于，包括如下步骤：(1)检测当前帧图像中的运动目标；
(2)以目标的最小外接矩形框表征目标区域，基于前一帧确定的目标区域尺寸和中心位置与当前帧的量测区域尺寸和中心位置的关系，得到目标与量测的关联矩阵，确定每个目标的候选目标；
(3)根据目标与量测的关联矩阵分析出目标发生遮挡的可能性，并由目标与候选目标的面积进一步确定目标是否遮挡以及遮挡程度；其中目标发生遮挡的可能性的判断方法为：若某一目标不与任何量测相关联，则认为目标消失；若某一量测不与任何目标相关联，则认为该量测为新增目标；其余情况目标均存在遮挡的可能性；
若候选目标的面积为目标面积的(1-b) ～(1+b) 倍，则认为目标没有发生遮挡；若候选目标面积在原目标面积的(1+b)2～(1+b)2+c倍，认为目标之间发生严重遮挡；若候选目标面积在原目标面积的(1-b)2-c倍以下，则认为目标被背景严重遮挡；否则认为目标被部分遮挡；其中，b为相邻两帧跟踪框长宽变化的最大倍数，c为调节参数；
(4)根据目标遮挡与否自适应选择均值漂移或最优粒子对候选目标进行修正，以相似度最高的修正结果作为候选目标；在目标发生遮挡时采用均值漂移对候选目标进行修正；
在目标没发生遮挡时采用最优粒子对目标进行修正，其中目标没发生遮挡时对目标修正的最优粒子方法包括：(4.1)以候选目标为中心，以高斯分布播撒M个粒子，粒子的尺寸为该候选目标的尺寸，将这M个粒子分别与该量测关联的某一目标匹配，选择相似度最高的粒子为初级最优粒子，即确定最优粒子的中心；
(4.2)改变初级最优粒子的尺寸，形成多个不同尺寸的初级最优粒子，再与同一目标进行匹配，选择相似度最高的粒子作为最优粒子，即初步确定最优粒子尺寸，最后结合初级最优粒子的尺寸进行修正，最终确定最优粒子尺寸；
(5)计算目标与候选目标基于颜色和纹理特征融合的关联度，根据关联度矩阵对目标进行关联，得到目标运动轨迹。
2.根据权利要求1所述的目标检测与可能性判别修正的关联方法，其特征在于，步骤(1)中利用基于运动显著性概率图的目标检测方法检测当前帧的运动目标，包括：(1.1)将历史图像序列即当前帧(第k帧)之前的图像分割为l个长度为n的时间片，其中k-l×n≥1，并将分割得到的每个序列与当前帧组成时间序列，构建时间序列组；
(1.2)利用TFT方法计算每个时间序列的运动显著性，并根据公式对每个时间序列的运动显著性进行归一化将其转为运动显著性概率以表征像素点属于前景的概率；其中，Ix,y(t)为t时刻图像帧像素点(x,y)的像素值， 为t时刻图像帧与第i个时间片组成的时间序列， 为 的显著值图， 为 中一个像素点的显著值；
对时间序列组中的每个时间序列的运动显著性概率图进行平均融合，得到运动显著性融合概率图；
3.根据权利要求1所述的目标检测与可能性判别修正的关联方法，其特征在于，步骤(5)中关联度计算方法为：若目标与候选目标之间无关联，则目标与候选目标的关联度为0；
目标没有发生遮挡时，计算最优粒子与目标的相似度，若相似度大于设定阈值，则目标与此候选目标的关联度为该相似度，否则为0；
目标发生遮挡时，计算目标与修正后的候选目标之间的相似度作为目标与此候选目标的关联度。
4.根据权利要求1所述的目标检测与可能性判别修正的关联方法，其特征在于，候选目标与目标的相似度的计算公式为：其中， 分别是第i个目标和第j个候选目标的颜色、纹理直方图的巴氏系数；α和β分别为颜色特征和纹理特征的权重。
5.根据权利要求1所述的目标检测与可能性判别修正的关联方法，其特征在于，步骤(5)中根据关联度矩阵对目标进行关联的方法是：选择与每个目标关联度最高的候选目标作为目标在当前帧中的状态；但当某候选目标是目标之间发生严重遮挡后的结果，并与该候选目标有关的两个目标，其中一目标与该候选目标的关联度最高，另一目标与该候选目标的关联度较低但不为0，并且与其他候选目标的关联度较此候选目标低，则将两目标合并跟踪，并不对关联度较低的目标状态的特征进行更新。
一种目标检测与可能性判别修正的关联方法
技术领域
[0001] 本发明属于多目标跟踪领域，具体涉及一种目标检测与可能性判别修正的关联方法。
背景技术
[0002] 由于监控环境的复杂性，目标运动的随机性与任意性，目标运动状态的非线性非高斯性，目标姿态、尺寸的变化，以及目标与目标、背景之间的遮挡等因素常常使量测与目标真实状态之间存在较大差异，增加的目标关联的难度，大大降低了多目标跟踪的准确性。
[0003] 在多目标跟踪算法中，常用的Mean Shift和粒子滤波算法都不能很好地处理多目标间存在的不完整性问题。因此，将数据关联算法引入多目标跟踪系统中，是解决不完整性问题的重要策略。常用的数据关联算法主要有最近邻算法(NN)联合概率数据关联算法(JPDA)和多假设跟踪算法(MHT)三种。NN算法在目标密度较大的情况下，容易关联错误，抗干扰能力差。JPDA算法关联结果较为准确，但关联概率的计算复杂，计算量随着目标的增加呈指数增长。MHT算法过于依赖目标和杂波的检测，其计算量随着目标和杂波数的增加呈指数增长，易出现组合爆炸的现象。
[0004] 近年来，基于矩阵推理的数据关联方法因关联效果好，且计算简单、实时性高等特点引起学者们的注意。例如，利用卡尔曼滤波和基于主颜色的Mean Shift算法确定目标的预测位置，建立预测目标和检测出的前景的关联矩阵，最后通过推理分析更新目标状态，以此解决目标遮挡问题。但由于仅用单一颜色信息实现目标的关联跟踪，当目标尺寸改变或发生遮挡时，其信息描述的准确性降低，跟踪效果大打折扣。
[0005] 本发明针对多目标跟踪中由于目标遮挡和跟踪框不能适应目标尺寸变化导致目标信息不准确的问题，利用基于运动显著性概率图的目标检测算法对运动目标进行检测，以检测结果作为量测，并在未遮挡时，利用基于多特征融合的最优粒子修正量测以应对检测结果不准确的情况，从而使跟踪框更好地自适应目标尺寸的变化；在目标遮挡时利用基于多特征融合的Mean Shift算法确定候选目标，并根据关联度矩阵对目标进行关联，从而处理目标遮挡的情况，实现对多目标的有效跟踪。
发明内容
[0006] 发明目的：针对现有技术中存在的问题，本发明提供目标检测与可能性判别修正的关联方法，该方法能够较好地处理目标遮挡的情况，自适应目标尺寸变化，有效提高目标信息的准确性，准确地对多目标进行关联。
[0007] 技术方案：一种目标检测与可能性判别修正的关联方法，包括如下步骤：
[0008] (1)检测当前帧图像中的运动目标；
[0009] (2)以目标的最小外接矩形框表征目标区域，基于前一帧确定的目标区域尺寸和中心位置与当前帧的量测区域尺寸和中心位置的关系，得到目标与量测的关联矩阵，确定每个目标的候选目标；
[0010] (3)根据目标与量测的关联矩阵分析出目标发生遮挡的可能性，并由目标与候选目标的面积进一步确定目标是否遮挡以及遮挡程度；
[0011] (4)根据目标遮挡与否自适应选择均值漂移或最优粒子对候选目标进行修正，以相似度最高的修正结果作为候选目标；
[0012] (5)计算目标与候选目标基于颜色和纹理特征融合的关联度，根据关联度矩阵对目标进行关联，得到目标运动轨迹。
[0013] 进一步地，步骤(1)中利用基于运动显著性概率图的目标检测方法检测当前帧的运动目标，包括：
[0014] (1.1)将历史图像序列即当前帧(第k帧)之前的图像分割为l个长度为n的时间片，其中k-l×n≥1，并将分割得到的每个序列与当前帧组成时间序列，构建时间序列组；
[0015] (1.2)利用TFT方法计算每个时间序列的运动显著性，并根据公式
[0016]
[0017] 对每个时间序列的运动显著性进行归一化将其转为运动显著性概率以表征像素点属于前景的概率；其中，Ix,y(t)为t时刻图像帧像素点(x,y)的像素值， 为t时刻图像帧与第i个时间片组成的时间序列， 为 的显著值图， 为 中一个像素点的显著值；
[0018] (1.3)根据公式
[0019]
[0020] 对时间序列组中的每个时间序列的运动显著性概率图进行平均融合，得到运动显著性融合概率图；
[0021] (1.4)基于运动显著性融合概率图进行目标检测。
[0022] 进一步地，步骤(3)中目标发生遮挡的可能性的判断方法为：
[0023] 若某一目标不与任何量测相关联，则认为目标消失；若某一量测不与任何目标相关联，则认为该量测为新增目标；其余情况目标均存在遮挡的可能性；
[0024] 目标是否遮挡及遮挡程度的判断方法为：
[0025] 若候选目标的面积为目标面积的(1-b)2～(1+b)2倍，则认为目标没有发生遮挡；若候选目标面积在原目标面积的(1+b)2～(1+b)2+c倍，认为目标之间发生严重遮挡；若候选目2
标面积在原目标面积的(1-b) -c倍以下，则认为目标被背景严重遮挡；否则认为目标被部分遮挡；其中，b为相邻两帧跟踪框长宽变化的最大倍数，c为调节参数。
[0026] 进一步地，步骤(4)中目标没发生遮挡时对目标修正的最优粒子方法包括：
[0027] (4.1)以候选目标为中心，以高斯分布播撒M个粒子，粒子的尺寸为该候选目标的尺寸，将这M个粒子分别与该量测关联的某一目标匹配，选择相似度最高的粒子为初级最优粒子，即确定最优粒子的中心；
[0028] (4.2)改变初级最优粒子的尺寸，形成多个不同尺寸的初级最优粒子，再与同一目标进行匹配，选择相似度最高的粒子作为最优粒子，即初步确定最优粒子尺寸，最后结合初级最优粒子的尺寸进行修正，最终确定最优粒子尺寸。
[0029] 进一步地，步骤(5)中关联度计算方法为：
[0030] 若目标与候选目标之间无关联，则目标与候选目标的关联度为0；
[0031] 目标没有发生遮挡时，计算最优粒子与目标的相似度，若相似度大于设定阈值，则目标与此候选目标的关联度为该相似度，否则为0；
[0032] 目标发生遮挡时，计算目标与修正后的候选目标之间的相似度作为目标与此候选目标的关联度。
[0033] 进一步地，候选目标与目标的相似度的计算公式为：
[0034]
[0035] 其中， 分别是第i个目标和第j个候选目标的颜色、纹理直方图的巴氏系数；α和β分别为颜色特征和纹理特征的权重。
[0036] 进一步地，步骤(5)中根据关联度矩阵对目标进行关联的方法是：选择与每个目标关联度最高的候选目标作为目标在当前帧中的状态；但当某候选目标是目标之间发生严重遮挡后的结果，并与该候选目标有关的两个目标，其中一目标与该候选目标的关联度最高，另一目标与该候选目标的关联度较低但不为0，并且与其他候选目标的关联度较此候选目标低，则将两目标合并跟踪，并不对关联度较低的目标状态的特征进行更新。
[0037] 有益效果：本发明以当前帧的目标检测结果为量测集，前一时刻确定的跟踪目标集为状态集，构建关联矩阵分析出目标发生遮挡的可能性，并在未遮挡时，利用基于多特征融合的最优粒子修正量测以应对检测结果不准确的情况；在目标遮挡时利用基于多特征融合的Mean Shift算法确定候选目标，并根据关联度矩阵对目标进行关联。与现有技术相比，本发明方法能更好地自适应跟踪目标的尺寸变化，有效处理目标遮挡情况，提高了跟踪的准确性。
附图说明
[0038] 图1是本发明实施例的关联方法示意图。
[0039] 图2是本发明实施例的方法流程图。
具体实施方式
[0040] 为了使本发明的内容更容易被清楚的理解，下面根据的具体实施例并结合附图，对本发明作进一步详细的说明。
[0041] 如图1所示，本发明实施公开的一种目标检测与可能性判别修正的关联方法，首先利用基于运动显著性概率图的目标检测方法检测出当前帧的运动目标，并以此为目标量测集，以前一时刻确定的跟踪目标集为状态集，利用目标区域尺寸和中心位置得到关联矩阵，确定每个目标的候选目标；接着，由关联矩阵推理分析出目标发生遮挡的可能性，并由目标与候选目标的面积进一步确定目标是否遮挡；然后，根据目标遮挡与否自适应选择最优粒子或均值漂移对候选目标进行修正，并计算目标同修正结果的关联度；最后根据关联度矩阵对目标进行关联。具体流程如图2所示，包括如下步骤：
[0042] (1)检测当前帧的运动目标。可采用现有的多种运动目标检测方法，本实施例中优选利用基于运动显著性概率图的目标检测方法检测当前帧的运动目标，计算方法如下。
[0043] 首先将历史图像序列即当前帧(第k帧)之前的图像分割为l个长度n的时间片，其中k-l×n≥1。并将分割得到的每个序列与当前帧组成时间序列，构建时间序列组。
[0044] 然后利用TFT方法计算每个时间序列的运动显著性，并根据公式
[0045]
[0046] 对每个时间序列的运动显著性进行归一化将其转为运动显著性概率以表征像素点属于前景的概率。其中，Ix,y(t)为t时刻图像帧像素点(x,y)的像素值， 为t时刻图像帧与第i个时间片组成的时间序列， 为 的显著值图， 为 中一个像素点的显著值。再根据公式
[0047]
[0048] 对时间序列组中的每个时间序列的运动显著性概率图进行平均加权融合，得到运动显著性融合概率图。
[0049] 最后，以运动显著性融合概率图为基础，根据文献《Non-parametric Model for Background Subtraction》中的方法计算出各像素的位移概率进而计算出各像素点的分量位移概率，若分量位移概率PC(x,y)＜th，则该像素点为前景像素，否则为背景像素，其中th为设定的阈值。
[0050] (2)将步骤(1)中检测出的运动目标作为量测集，前一时刻确定的跟踪目标作为状态集，以目标的最小外接矩形框表征目标区域，根据公式：
[0051]
[0052] 判定第j个量测是第i个目标的候选目标，得到关联矩阵。其中Hi和Hj分别为目标和量测区域的尺寸，Xi和Xj分别为目标和量测的中心坐标。得到关联矩阵如下：
[0053]
[0054] 其中，aij(i＝1,2,3,...,nk,j＝1,2,3,...,nk+1)表明第j个量测是否在目标i的关联门限内，只有0，1两个值。nk-1表示第k-1帧确定的目标个数，nk表示第k帧的量测个数，k＞1，第一帧的目标直接以量测结果为准，关联从第二帧开始。aij＝0表示量测j不在目标i的关联门限内，此量测不是目标i的候选目标；aij＝1表示量测j在目标i的关联门限内，此量测可作为目标i的候选目标。
[0055] (3)对步骤(2)得到的关联矩阵进行推理分析，通过目标与量测之间的对应数量判断目标发生遮挡的可能性，若 即目标zi(k)与任何量测都没有关联，说明该目标不在摄像机的视域内或者被背景完全遮挡，此时认为目标消失；若 即量测与任何目标都没有关联，说明该量测为新增目标；其余情况目标均存在遮挡的可能性，此时根据目标与候选目标的面积进一步确定目标是否发生遮挡。根据相邻两帧同一目标的尺寸变化较小的特性，设定相邻两帧跟踪框长宽变化的最大倍数为±b。若候选目标的面积为目标面积的(1-b)2～(1+b)2倍，则认为目标没有发生遮挡；若候选目标面积在原目标面积的(1+b)2～(1+b)2+c倍，认为目标之间发生严重遮挡；若候选目标面积在原目标面积的(1-b)2-c倍以下，则认为目标被背景严重遮挡；否则认为目标被部分遮挡。其中，b为相邻两帧跟踪框长宽变化的最大倍数，可取值0.1，c为调节参数，可取值0.3，具体参数的取值可根据实际情况合理调整。
[0056] (4)根据步骤(3)判定的目标遮挡与否，自适应选择基于多特征融合的mean shift方法或最优粒子对候选目标进行修正。
[0057] 目标没发生遮挡时对目标修正的最优粒子方法为，首先以候选目标为中心，以高斯分布播撒M(M≥1)个粒子，粒子的尺寸为该候选目标的尺寸，将这M个粒子分别与该量测关联的某一目标匹配，选择相似度最高的粒子为初级最优粒子，即确定最优粒子的中心。然后，改变初级最优粒子的尺寸，形成多个不同尺寸的初级最优粒子，再与同一目标匹配，选择相似度最高的粒子作为最优粒子，即初步确定最优粒子尺寸，最后结合初级最优粒子的尺寸进行修正，最终确定最优粒子尺寸。
[0058] 假设Hpre是前一帧图像中的目标跟踪框大小，Hpr是初级最优粒子的尺寸，即候选目标的原始尺寸，Hopt是初级最优粒子的最优框尺寸，ΔH＝bHpre。H1＝Hpre+ΔH，H2＝Hpre-ΔH，H3＝Hpre，H4＝Hpr。分别计算初级最优粒子以H1、H2、H3、H4为尺寸时与目标的综合特征直方图距离，选择距离最小时所对应的尺寸作为粒子的最优尺寸，即：
[0059]
[0060] 最后，通过与初级最优粒子尺寸相联系，避免对框的尺度变化过分敏感：
[0061] Hnew＝(1-γ)Hopt+γHpr(6)
[0062] 其中，Hnew为粒子最终尺寸，γ＝0.1为平滑参数。
[0063] 第i个目标和第j个候选目标的相似度可估算为：
[0064]
[0065] 其中， 分别是第i个目标和第j个候选目标的颜色、纹理直方图的巴氏系数。α和β分别为颜色特征和纹理特征的权重，α+β＝1，可以根据实际计算结果情况进行调整，也可根据如下统计特征进行设定，计算方式如下：
[0066]
[0067] f∈{HSV,LBP}为目标与候选目标各特征的相似程度，qf为目标在特征空间f上的概率分布，pf(Y)为候选目标在特征空间f上的概率分布，Y为候选目标的位置，m为特征的量化等级数。 f∈
{HSV,LBP}，为目标与背景各特征的辨识度，pf(bg)为候选目标附近背景在特征空间f上的概率分布。
[0068] 目标发生遮挡时，用基于多特征融合的均值偏移算法以候选目标的中心为中心，以目标跟踪框的大小为搜索窗大小，找出目标在当前帧中此候选目标附近的最佳状态，即候选目标附近与目标的相似度最高区域，从而对候选目标对候选目标的中心位置进行修正。
[0069] (5)计算目标与量测基于颜色和纹理特征融合的关联度，根据关联度矩阵对目标进行关联，得到目标运动轨迹。根据目标遮挡、消失、新增等不同情况，选取不同的关联度计算方式：
[0070] a.若目标与候选目标之间无关联，目标与候选目标的关联度ωij＝0；
[0071] b.目标没有发生遮挡时，用基于播撒粒子的方法找到该候选目标的最优粒子，计算最优粒子与目标的相似度。由于目标没有发生遮挡，最优粒子若是跟踪目标在当前中的状态，则它们之间的应具有较高的相似度Sij，所以计算关联度时先判定相似度是否大于阈值(可根据实际计算结果分布情况设定阈值)，若相似度大于阈值，目标与此候选目标的关联度ωij＝Sij，否则ωij＝0；
[0072] c.目标发生遮挡时，计算目标与修正后的候选目标之间的相似度Sij，目标与此候选目标的关联度ωij＝Sij；
[0073] 目标关联方法为：得到关联度矩阵后，直接选择与每个目标关联度最高的候选目标作为目标在当前帧中的状态。但当某候选目标是目标之间发生严重遮挡后的结果，并与该候选目标有关的两个目标，其中一目标与该候选目标的关联度最高，另一目标与该候选目标的关联度较低但不为0，并且与其他候选目标的关联度较此候选目标低，则将两目标合并跟踪，并不对关联度较低的目标状态的特征进行更新。
