抵抗强阴影干扰的运动车辆跟踪方法

摘要

本发明公开一种准确性高、鲁棒性好、具备自适应能力、基于非下采样剪切波域零树结构的抵抗强阴影干扰的运动车辆跟踪方法，将视频帧从RGB颜色空间转换到HSV颜色空间后，进行非下采样剪切波变换；假设变换系数服从高斯分布，采用变换系数的均值和标准差计算每个尺度的加权掩码；根据多尺度变换系数的零树分布特性，利用粗尺度的加权掩码校正细尺度的加权掩码，并将各个尺度、各个颜色通道的加权掩码进行线性组合，得到公共掩码；利用基于最小二乘拟合的最大熵方法计算自适应分割阈值，将公共掩码进行二值化；以投票方式确定运动车辆区域，进而采用均值漂移算法跟踪目标车辆。

权利要求

1.一种抵抗强阴影干扰的运动车辆跟踪方法，其特征在于按照如下步骤进行：步骤1. 输入一个含有阴影的交通监控视频VI；

步骤2. 从VI中读入一个尺寸为 像素的、未处理的视频帧F，将其从RGB颜色空间转换到HSV颜色空间；

步骤3. 对视频帧F的H通道及V通道分别进行2级非下采样剪切波变换，各个尺度下的方向子带个数均为4；

步骤4. 计算H通道和V通道的最低频子带系数的均值 ，其中，上标 表示颜色通道且；

步骤5. 计算H通道和V通道的不同尺度、不同方向子带中高频系数的标准差 ，其中，下标 表示尺度且 ，下标 表示方向且 ；

步骤6. 根据公式（1）的定义，计算最低频子带的二值掩码 ：                      （1）所述 表示在颜色通道 的最低频子带中位于坐标 处的变换系数，表示该变换系数所对应的二值掩码， ， ；

步骤7. 根据公式（2）的定义，计算各个高频方向子带的二值掩码 ：                             （2）所述 表示颜色通道 的第 个尺度下、第 个方向子带中，位于坐标 处的变换系数， 表示该变换系数所对应的二值掩码；

步骤8. 根据公式（3）的定义，为尺度1下的所有子带计算一个加权掩码：            （3）

所述 表示颜色通道 在尺度1下、第 个方向子带中，位于坐标 处的加权掩码；

步骤9. 根据公式（4）的定义，为尺度2下的所有子带计算一个加权掩码：     （4）

所述 表示颜色通道 在尺度2下、第 个方向子带中，位于坐标 处的加权掩码；

步骤10. 根据多尺度变换系数的零树分布特性，利用粗尺度的加权掩码 校正较细尺度的加权掩码 ：若粗尺度的加权掩码 在坐标 处的值为0，则将细尺度的加权掩码 在坐标 处的值也设置为0；

步骤11. 根据公式（5）的定义，将尺度1和尺度2下的加权掩码进行线性组合，得到两个尺度下的统一掩码 ：                       （5）步骤12. 根据公式（6）的定义，将H通道和V通道的统一掩码进行线性组合，得到两个颜色通道的公共掩码 ：                       （6）所述 和 分别表示H通道和V通道在坐标 处的统一掩码；

步骤13. 利用最小二乘拟合方法计算H、V两个颜色通道的公共掩码 的自适应分割阈值；

步骤13.1 以0.1为区间长度，将 的值等分成10个区间： 、 、 、、 、 、 、 、 、 ，并统计 的值处于各区间的频率 ，所述 ，从而建立 的直方图；

步骤13.2 令 ；

步骤13.3 根据公式（7）公式（9）的定义，计算以 作为全局阈值将 的各~个像素划分为前景像素或背景像素的信息熵：                                      （7）                                     （8）            （9）

步骤13.4 令 ，若 ，则转入步骤13.5，否则返回步骤13.3；

步骤13.5 根据公式（10）的定义，利用最小二乘法和一元2次方程拟合最佳全局分割阈值 的信息熵曲线，得到该方程的3个系数 、 和 ：                     （10）所述 、 和 分别表示一元2次方程的2次项系数、1次项系数和常数项；

步骤13.6 令 作为全局阈值，并根据公式（11）的定义，将公共掩码进行阈值化，得到二值公共掩码 ：

                            （11）步骤14. 以投票方式确定运动车辆区域的二值掩码 ；

步骤14.1 利用最大类间方差法将视频帧F的H通道及V通道分别进行阈值化，得到两个通道的二值掩码 和 ；

步骤14.2 根据公式（12）的定义，计算二值掩码 ：        （12）

步骤15. 利用结构元素 对 进行形态学膨胀运算，得到二值掩码 ；

步骤16. 根据公式（13），将二值掩码 与视频帧F相乘，提取出运动车辆的候选区域：                      （13）所述 表示输出视频帧O中位于坐标 处的像素值， 表示视频帧F中位于坐标 处的像素值；

步骤17. 将视频帧 输入到均值漂移Meanshift算法，在运动车辆的候选区域中进行车辆跟踪，从而得到目标车辆在视频帧中的位置信息；

步骤18. 若VI的全部视频帧均已处理完毕，则输出目标车辆在各视频帧中的位置信息，算法结束；否则，返回步骤2。

说明书

抵抗强阴影干扰的运动车辆跟踪方法

技术领域

[0001] 本发明涉及智能交通视频处理领域，尤其是一种准确性高、鲁棒性好、具备自适应能力、基于非下采样剪切波域零树结构的抵抗强阴影干扰的运动车辆跟踪方法。

背景技术

[0002] 在智能交通系统对车辆目标进行自动跟踪过程中，由周围静态景物产生的静止阴影会引起运动车辆的特征发生短时变化；而运动车辆所产生的运动阴影会增大车辆在视频图像中的比例，使得目标车辆与阴影连为一体，容易被误检测为运动目标的一部分。故此，人们普遍认为，阴影是对车辆目标跟踪、分割和信息统计的一种干扰因素。无论是静止阴影，抑或是运动阴影，均会破坏目标车辆的特征一致性，影响目标跟踪算法的有效性，导致跟踪目标的丢失。在这种情况下，如何有效地提高跟踪算法对阴影干扰的鲁棒性乃至消除阴影，对于提高运动车辆目标的跟踪精度具有重要意义。

[0003] 尽管阴影的表现有多种情形，可是大部分阴影均具有四方面共同特性： 阴影的亮度低于前景的亮度； 阴影不会过多改变背景的颜色； 阴影不会改变运动前景和静止背景的纹理特点； 阴影往往只出现在真正的运动目标区域之外。根据上述特点，近年来研究人员从算法的决策过程、采用的模型和依据的特征等多方面提出了多种有效的运动目标阴影检测和消除，主要包括基于彩色空间像素点的方法、基于边缘检测的方法、基于灰度空间轮廓线的方法等。

[0004] 首先，基于彩色空间像素点的方法主要利用阴影的亮度和颜色特性，通过分析前景与背景像素的强度比，再在HSV 颜色空间结合多个阈值进行判断，对不同强度的阴影处理能力较强。Cucchiara等人利用多阈值对HSV颜色空间中前景和背景像素的强度比进行判断，所提出的DNM1方法在一定程度上抑制了阴影，但由于涉及到多个阈值，其自适应选取存在一定困难，难以做到对不同环境的自适应性。并且，当目标区域与阴影区域具有相似的颜色和灰度值时，该方法无法区分与阴影具有相似灰度值的运动目标，容易造成误判。Choi等人提出将归一化的RGB与1阶梯度信息相结合来判断阴影，在一定程度上减少了误判率。Xiang等人利用基于光照建模的局部强度比模型来改善跟踪算法对光照条件改变的鲁棒性。Ouivirach等人利用高斯混合模型在HSV颜色空间提取运动前景，然后利用最大似然方法判断提取的运动前景像素属于目标或阴影。该方法有效提升了检测效果，但是依然存在大量的误判且计算量较大。与Ouivirach等人的方法类似，Liu等人也利用高斯混合模型对HSV空间的每个像素进行投影建模，为降低误判率，他们引进了基于马尔可夫随机场(MRF)的预分类器来提取视频帧中阴影的颜色特征，并且对连续多帧阴影的特征进行统计，从而保证预分类器能够有效地适应阴影变化，取得了不错的效果。不过，当训练样本无法匹配阴影的变化速度，即车辆与阴影的相对运动较快时，全局阴影统计特征将不再可信，误判率也随之上升。

[0005] 由于阴影区域较平滑，而车辆目标却往往包含一定纹理和边缘信息，基于边缘检测的方法和基于灰度空间轮廓线的方法从纹理和边缘信息的角度来分析和检测阴影，进而抑制阴影对目标跟踪过程的影响。Tian等人借助典型的基于互相关的纹理分析方法，通过对比当前帧和背景模型处于相同位置的像素与其邻域像素之间的纹理相似度，提出了一种基于纹理信息归一化互相关的方法来判断阴影干扰，取得了一定效果。考虑到小波变换的边缘方向分析能力，Guan等人通过选取各个小波子带的标准差作为阈值，在一定程度上去除了传统背景差分方法产生的阴影；Khare等人则进一步采用相对标准差作为阈值来处理小波子带。王相海等人根据小波系数的尺度间关系，通过构造运动前景的零树小波掩码，并采用细尺度掩码校正粗尺度掩码，获得了较为准确的子带阈值和阴影检测结果，但是该方法要求用户输入一个背景帧，再利用背景差分法获取运动前景区域，且需交互设置多值掩码的二值化阈值，其自适应处理能力仍存在明显局限。与基于灰度或颜色的方法相比，上述方法利用纹理、边缘的特性来抵抗阴影的影响，取得了一定的算法稳定性。然而，这些方法的关键在于有效提取纹理和边缘信息，可小波变换仅能最优表示一维点奇异和沿着水平、竖直、对角线方向的二维直线奇异，对于视频和图像中广泛存在的其它方向的直线奇异和曲线奇异却无能为力。故此，上述基于小波变换的方法对边缘和纹理的刻画尚有不足，进而制约和影响了后续的车辆目标跟踪算法对阴影干扰的鲁棒性。

[0006] 尽管国内外学者已经提出了多种阴影检测和去除算法，并将之应用于运动车辆的目标跟踪，可是目前尚没有一种能够稳定地抵抗静止或运动阴影干扰的、无需人工交互的车辆目标跟踪方法。

发明内容

[0007] 本发明是为了解决现有技术所存在的上述技术问题，提供一种准确性高、鲁棒性好、具备自适应能力、基于非下采样剪切波域零树结构的抵抗强阴影干扰的运动车辆跟踪方法。

[0008] 本发明的技术解决方案是：一种抵抗强阴影干扰的运动车辆跟踪方法，其特征在于按照如下步骤进行：步骤1. 输入一个含有阴影的交通监控视频VI；
步骤2. 从VI中读入一个尺寸为 像素的、未处理的视频帧F，将其从RGB颜色空
间转换到HSV颜色空间；
步骤3. 对视频帧F的H通道及V通道分别进行2级非下采样剪切波变换，各个尺度下的方向子带个数均为4；
步骤4. 计算H通道和V通道的最低频子带系数的均值 ，其中，上标 表示颜色通道且 ；
步骤5. 计算H通道和V通道的不同尺度、不同方向子带中高频系数的标准差 ，其中，下标 表示尺度且 ，下标 表示方向且 ；
步骤6. 根据公式 的定义，计算最低频子带的二值掩码 ：
                     
所述 表示在颜色通道 的最低频子带中位于坐标 处的变换系数，
表示该变换系数所对应的二值掩码， ， ；
步骤7. 根据公式 的定义，计算各个高频方向子带的二值掩码 ：
                            
所述 表示颜色通道 的第 个尺度下、第个方向子带中，位于坐标 处的变换
系数， 表示该变换系数所对应的二值掩码；
步骤8. 根据公式 的定义，为尺度1下的所有子带计算一个加权掩码：
                （3）
所述 表示颜色通道 在尺度1下、第个方向子带中，位于坐标 处的加权掩
码；
步骤9. 根据公式 的定义，为尺度2下的所有子带计算一个加权掩码：
                      
所述 表示颜色通道 在尺度2下、第 个方向子带中，位于坐标 处的加权掩
码；
步骤10. 根据多尺度变换系数的零树分布特性，利用粗尺度的加权掩码 校正
较细尺度的加权掩码 ：若粗尺度的加权掩码 在坐标 处的值为0，则将细
尺度的加权掩码 在坐标 处的值也设置为0；
步骤11. 根据公式 的定义，将尺度1和尺度2下的加权掩码进行线性组合，得到两个尺度下的统一掩码 ：
                      
步骤12. 根据公式 的定义，将H通道和V通道的统一掩码进行线性组合，得到两个颜色通道的公共掩码 ：
                      
所述 和 分别表示H通道和V通道在坐标 处的统一掩码；
步骤13. 利用最小二乘拟合方法计算H、V两个颜色通道的公共掩码 的自适应
分割阈值；
步骤13.1 以0.1为区间长度，将 的值等分成10个区间： 、 、 、
、 、 、 、 、 、 ，并统计 的值处于各区间的
频率 ，所述 ，从而建立 的直方图；
步骤13.2 令 ；
步骤13.3 根据公式 公式 的定义，计算以 作为全局阈值将 的各个像
~
素划分为前景像素或背景像素的信息熵：
                                     
                                    
 
步骤13.4 令 ，若 ，则转入步骤13.5，否则返回步骤13.3；
步骤13.5 根据公式 的定义，利用最小二乘法和一元2次方程拟合最佳全局分割阈值 的信息熵曲线，得到该方程的3个系数 、 和 ：
     
所述 、 和 分别表示一元2次方程的2次项系数、1次项系数和常数项；
步骤13.6  令 作为全局阈值，并根据公式 的定义，将公共掩码
进行阈值化，得到二值公共掩码 ：
                           
步骤14. 以投票方式确定运动车辆区域的二值掩码 ；
步骤14.1 利用最大类间方差法将视频帧F的H通道及V通道分别进行阈值化，得到两个通道的二值掩码 和 ；
步骤14.2 根据公式 的定义，计算二值掩码 ：
          
步骤15.  利用结构元素 对 进行形态学膨胀运算，得到二值掩码
；
步骤16. 根据公式 ，将二值掩码 与视频帧F相乘，提取出运动车辆的候选
区域：
                     
所述 表示输出视频帧O中位于坐标 处的像素值， 表示视频帧F中位于坐
标 处的像素值；
步骤17. 将视频帧 输入到均值漂移Meanshift算法，在运动车辆的候选区域中进
行车辆跟踪，从而得到目标车辆在视频帧中的位置信息；
步骤18. 若VI的全部视频帧均已处理完毕，则输出目标车辆在各视频帧中的位置信息，算法结束；否则，返回步骤2。

[0009] 与现有技术相比，本发明的优点如下：第一，非下采样剪切波变换能够比小波变换更有效地分析视频帧的纹理分布，有利于充分发掘运动车辆区域与阴影区域之间的纹理特性差异，从而更加准确地对两者进行区分；第二，与小波变换相比，非下采样剪切波变换的相邻系数具有更强的相关性，故此，本发明利用非下采样剪切波变换系数的尺度间相关关系和零树分布特性，构造了目标车辆区域的统一掩码和二值掩码，可获得更为准确的阴影区域检测和去除结果，进而有助于实现更高精度的运动车辆跟踪，有效改善在强阴影干扰情况下传统MeanShift方法存在的目标丢失现象；第三，无需人工交互，既无需用户预先输入一个背景帧并通过背景差分法获取运动车辆区域，又设计了基于最小二乘拟合和最大熵的自动分割方法，避免了以交互方式手动设置二值化阈值的不便，具备更好的自适应处理能力。

附图说明

[0010] 图1是本发明与现有技术交通监控视频场景1的阴影去除结果对比图。

[0011] 图2是本发明与现有技术交通监控视频场景2的阴影去除结果对比图。

[0012] 图3是本发明与现有技术交通监控视频场景3的阴影去除结果对比图。

[0013] 图4是本发明与现有技术交通监控视频场景4的车辆跟踪结果对比图。

[0014] 图5是本发明与现有技术交通监控视频场景5的车辆跟踪结果对比图。

具体实施方式

[0015] 本发明的一种抵抗强阴影干扰的运动车辆跟踪方法，按照如下步骤进行；步骤1. 输入一个含有阴影的交通监控视频VI；
步骤2. 从VI中读入一个尺寸为 像素的、未处理的视频帧F，将其从RGB颜色空
间转换到HSV颜色空间；
步骤3. 对视频帧F的H通道及V通道分别进行2级非下采样剪切波变换，各个尺度下的方向子带个数均为4；
步骤4. 计算H通道和V通道的最低频子带系数的均值 ，其中，上标 表示颜色通道且 ；
步骤5. 计算H通道和V通道的不同尺度、不同方向子带中高频系数的标准差 ，其中，下标 表示尺度且 ，下标 表示方向且 ；
步骤6. 根据公式 的定义，计算最低频子带的二值掩码 ：
                     
所述 表示在颜色通道 的最低频子带中位于坐标 处的变换系数，
表示该变换系数所对应的二值掩码， ， ；
步骤7. 根据公式 的定义，计算各个高频方向子带的二值掩码 ：
   
所述 表示颜色通道 的第 个尺度下、第 个方向子带中，位于坐标 处的
变换系数， 表示该变换系数所对应的二值掩码；
步骤8. 根据公式 的定义，为尺度1下的所有子带计算一个加权掩码：
     
所述 表示颜色通道 在尺度1下、第 个方向子带中，位于坐标 处的加权
掩码；
步骤9. 根据公式 的定义，为尺度2下的所有子带计算一个加权掩码：
      
所述 表示颜色通道 在尺度2下、第 个方向子带中，位于坐标 处的加权
掩码；
步骤10. 根据多尺度变换系数的零树分布特性，利用粗尺度的加权掩码 校正
较细尺度的加权掩码 ：若粗尺度的加权掩码 在坐标 处的值为0，则将细
尺度的加权掩码 在坐标 处的值也设置为0；
步骤11. 根据公式 的定义，将尺度1和尺度2下的加权掩码进行线性组合，得到两个尺度下的统一掩码 ：
                      
步骤12. 根据公式 的定义，将H通道和V通道的统一掩码进行线性组合，得到两个颜色通道的公共掩码 ：
       
所述 和 分别表示H通道和V通道在坐标 处的统一掩码；
步骤13. 利用最小二乘拟合方法计算H、V两个颜色通道的公共掩码 的自适
应分割阈值；
步骤13.1 以0.1为区间长度，将 的值等分成10个区间： 、 、 、
、 、 、 、 、 、 ，并统计 的值处于各区间
的频率 ，所述 ，从而建立 的直方图；
步骤13.2 令 ；
步骤13.3 根据公式 公式 的定义，计算以 作为全局阈值将 的各
~
个像素划分为前景像素或背景像素的信息熵：
                                     
                                    
       
步骤13.4 令 ，若 ，则转入步骤13.5，否则返回步骤13.3；
步骤13.5 根据公式 的定义，利用最小二乘法和一元2次方程拟合最佳全局分割阈值 的信息熵曲线，得到该方程的3个系数 、 和 ：
                    
所述 、 和 分别表示一元2次方程的2次项系数、1次项系数和常数项；
步骤13.6 令 作为全局阈值，并根据公式 的定义，将公共掩码
进行阈值化，得到二值公共掩码 ：
                           
步骤14. 以投票方式确定运动车辆区域的二值掩码 ；
步骤14.1 利用最大类间方差法将视频帧F的H通道及V通道分别进行阈值化，得到两个通道的二值掩码 和 ；
步骤14.2 根据公式 的定义，计算二值掩码 ：
      
步骤15.  利用结构元素 对 进行形态学膨胀运算，得到二值掩码
；
步骤16. 根据公式 ，将二值掩码 与视频帧F相乘，提取出运动车辆的候选区
域：
                     
所述 表示输出视频帧O中位于坐标 处的像素值， 表示视频帧F中位
于坐标 处的像素值；
步骤17. 将视频帧 输入到均值漂移Meanshift算法，在运动车辆的候选区域中
进行车辆跟踪，从而得到目标车辆在视频帧中的位置信息；
步骤18. 若VI的全部视频帧均已处理完毕，则输出目标车辆在各视频帧中的位置信息，算法结束；否则，返回步骤2。

[0016] 采用本发明与DNM1方法、零树小波方法对交通监控视频场景1的阴影去除结果对比如图1所示。其中（a）为原始视频；（b）为DNM1方法的结果；（c）零树小波方法的结果；（d）本发明的结果。

[0017] 采用本发明与DNM1方法、零树小波方法对交通监控视频场景2的阴影去除结果对比如图2所示。其中（a）为原始视频；（b）为DNM1方法的结果；（c）零树小波方法的结果；（d）本发明的结果。

[0018] 采用本发明与非全局MRF方法、全局MRFDNM1方法、DNM1方法的结果、零树小波方法及本发明对交通监控视频场景3的阴影去除结果对比如图3所示。其中（a）为原始视频；（b）非全局MRF方法的结果；（c）全局MRF方法的结果；（d）DNM1方法的结果；（e）零树小波方法的结果；（f）本发明的结果。

[0019] 采用本发明和传统均值漂移方法、基于轮廓波的均值漂移方法对交通监控视频场景4、5的运动车辆进行跟踪的结果分别如图4 图5所示，其中黑色线条表示跟踪得到的车辆~运行轨迹。传统均值漂移方法由于路面阴影较重，目标车辆在跟踪开始不久后便已丢失；基于轮廓波的均值漂移方法在强阴影处也丢失了跟踪目标；本发明则有效抵抗了阴影的干扰，可对运动车辆进行准确地跟踪，并且所绘制的跟踪轨迹近似为一条直线，表现出较高的鲁棒性。