自动增益场景下基于相机响应函数的背景建模方法

摘要

自动增益场景下基于相机响应函数的背景建模方法，通过基于自动增益渐进性的分析得到粗分的背景区域，并使用联合直方图的方法得到低噪声的训练数据，由基于最大似然估计和参数约束的方法一次性恢复得到全局最优的相机响应函数；其次利用前背景差值与增益比的相关性，以及灰度差值函数关于增益比的单应性，逐帧在线求取增益比；最后若增益比不为1，则由相机响应函数和增益比更新得到与当前参考帧相同的背景参考帧，否则背景参考帧不变，实时跟随相机增益系数的变化，得到与当前帧增益系数相同的背景参考帧。本发明克服了以往方法难以跟随相机自动增益导致的背景快速变化的不足，从而在保证高效的运动检测。

权利要求

1.自动增益场景下基于相机响应函数的背景建模方法，其特征是在背景差法运动检测中，相机自动增益场景下，背景参考帧实时跟随相机增益系数的变化，得到与当前帧增益系数相同的背景参考帧，包括以下步骤：

1）通过基于自动增益渐进性的分析，构建目标函数，设定自动增益临界误检阈值，所述自动增益临界误检阈值以系统发生自动增益临界误检时的灰度值变化特征为依据设定，逐帧检测是否发生自动增益临界误检，如果发生则得到粗分的背景区域，并使用联合直方图的方法得到训练数据，具体为：

11）利用参数相机响应函数EMoR中权重最大的均值项作为相机响应函数CRF的近似，得到灰度差值函数BDF，进而获得临界误检时的正增益比kpp和负增益比knn：当1

12）当增益比分别为：临界误检时的正增益比kpp、1、临界误检时的负增益比knn，分别得到所对应的灰度差值函数，根据kpp，1，knn对应的BDF曲线，将图像区域分为四部分，以此构造目标函数，当目标函数大于设定的临界误检阈值则临界误检发生，并粗分出当前帧的背景区域；

13）粗分的背景区域像素经由基于联合直方图的降噪处理，并去除含0,255的数据项，得到低维的训练数据；

2）以步骤1）中所得到的训练数据做为输入数据，由基于最大似然估计和参数约束的方法一次性恢复得到全局最优的相机响应函数；

3）灰度差值的最大值是关于增益比的单调增函数，通过前背景差值与增益比的相关性，以及前述的单调增函数，由前背景帧和步骤2）中所恢复的相机响应函数，逐帧求取增益比；前背景差值指当前帧与背景参考帧的差值，前背景帧为当前帧和背景参考帧的统称；

4）如果步骤3）确定的增益比不为1，则由增益比和步骤2）恢复的相机响应函数，得到与当前帧的增益系数相同的背景参考帧，否则背景参考帧不变，由此逐帧更新背景参考帧，获得与当前帧增益系数相同的背景参考帧。

2.根据权利要求1所述的自动增益场景下基于相机响应函数的背景建模方法，其特征是步骤1）具体为：

11）设相机自动增益导致整个图像中发生像素数量为N’的绝对误检，正负增益比kpp，knn为kpp=min{kc/kr|num(BDF(Br(pi),kc/kr)>σ(pi))/N

num(·)表示符合条件的像素个数；

12）根据临界误检时各图像区域的分布特性，由增益比分别为kpp，1，knn时得到相应BDF曲线，构造目标函数T，将图像区域分为四类，当T大于阈值则临界误检发生，并粗分出背景：令x=Ii,y＝BDF(Ii，kj/ki)，其中ki，kj分别为自动增益发生前后的两帧图像i，j所对应的增益系数，kj/ki即为增益比，Ii为i帧图像的灰度值，kj/ki分别为kpp，knn，1时，得到曲线y=Lp(x)，y＝Ln(x)，y＝0，将图像区域分为四个部分，P＝PA∪PB∪PC∪PD，当发生自动正增益并处于临界误检时，PA为当前背景区域，且有Bc(pi)-Br(pi)＞0，Bc(pi)-Br(pi)num(PC)；当发生自动负增益并处于临界误检时，PA为高灰度值的运动物体遮挡住原有背景的灰度值较高区域，有0

PB为低灰度值的运动物体遮挡住原有背景的较暗区域，有Ln(Br(pi))＜Bc(pi)-Br(pi)；

PC为当前背景区域，有Ln(Br(pi))num(PA)，由此建立目标函数：T绝对值越大，则自动增益发生的概率越大，设定临界误检阈值t为0.75，令PBG为粗分的背景区域像素集合，当T＞t时，自动正增益发生但未造成运动误检，PBG＝PA；当T＜-t时，自动负增益发生但未造成运动误检，PBG＝PC；

13）基于联合直方图的降噪处理：

令H(IX，PX，X)表示在图像X中像素集合PX的灰度值从0到IX的元素个数，即H(IX,PX,X)=num(pxi)|(0≦B(pxi,X)≦IX,pxi∈PX) (4) B(pxi，X)为图像X中像素pxi的灰度值，令联合直方图为：

Q_BTF={(m,IC(m))|H(IC(m),PBG,C)=H(m,PBG,R)} (5)其中m∈{0,1,2,....,255},0≤IC(m)≤255，R，C分别是背景参考帧和当前帧，由CRF单调不减的性质，Q_BTF元素个数为256，将Q_BTF中含有0或255的元素去除，以去除饱和与截止的所导致的误差，得到集合P_BTF，元素个数M＜255，P_BTF即为低维的训练数据。

3.根据权利要求2所述的自动增益场景下基于相机响应函数的背景建模方法，其特征是步骤2）具体为：

21）在EMoR框架内，基于对数和反函数的运算，将增益系数与场景照度从CRF中分离，在数学分析上转化成线性回归问题：CRF恢复的输入训练数据集合V＝P_BTF，V满足V={(IVi(m),IVj(m))|m∈(0,1....,M)} (6)IVi是增益系数为ki时的图像灰度值，IVj是增益系数为kj时的图像灰度值，M是训练数据个数，IVi，IVj满足：IVi+ε=BTFij(IVj) (8)

其中BTF为亮度转移函数，ε是高斯噪声，在EMoR框架下基于最大似然估计和参数约束的CRF恢复，得到全局最优解，对EMoR的一般形式取反函数和取对数：l1(I)....lN(I)是对CRF数据库DoRF取反函数和取对数后使用主元分析PCA得到的主成分按由主到次排列，g0(I)是CRF数据库DoRF取反函数和取对数后的均值；在理想无噪声情况下，IVi，IVj对应的照度值q相同，而增益系数k不同，将IVi，IVj代入式(9)并相减，在实际情况下，即IVi，IVj满足式(8)，则式(10)变形为：

由于ε为高斯噪声，具有可加性，所以式(11)有：

其中ε′为ε在式（11）中的线性运算得到的高斯噪声，令d0=-ln(ki/kj)，有： 令：t(m)=g0(IVj(m))-g0(IVi(m))

则式(13)变成

T T

其中d=(d0,d1,d2,.....,dN)，Ф=(φ0,φ1,φ2,.....,φN)，则上式成为标准的线性回归；

22）使用基于最大似然估计与参数约束的CRF求取，最小误差函数为：

其中，M为集合V的元素个数，由EMoR知，当式（14）取不同的n值时，基函数ln(I)权重是不一样的，n越大，则对应的基函数在表达式中的权重越小，相应权重系数越小，使用参数约束下的最小误差函数：E(d)=ED(d)+λEd(d) (16)

λ是约束参数，为对角矩阵，0＜λ1＜λ2<.....＜λN是矩阵λ对角线上的元素，将式(15)，(17)代入式(16)得：由最大似然估计，式(18)对d求导数

令式(19)为0并变形：

得到：

T -1 T

d=(λ+ФФ) Фt (21)

其中 t＝(t(1)，t(2)，....，t(M))

将式(21)代入式(9)，经过求指数和求反函数得到CRF。

4.根据权利要求2或3所述的自动增益场景下基于相机响应函数的背景建模方法，其特征是步骤3)具体为：

31)分析得到BDF最大值是关于增益比的单调增函数，即两者是单应的；

32)基于单应性的自动增益求取：

令BDF最大值为ΔMI(kj/ki))，对应的横坐标为MI(kj/ki)：(MI(kj/ki)＝Ii，ΔMI(kj/ki)＝ΔIji)|max{ΔIji＝BDF(Ii，kj/ki)}，0≤Ii≤ 255 (22)如果当前帧C与背景参考帧的R的灰度差异仅由自动增益造成，那么图像中所有像素点pi对应的坐标(x(i)＝Br(pi)，y(i)＝Bc(pi)-Br(pi))所形成的分布DC落在曲线DL：{(x＝I，y＝ΔI)|ΔI＝BDF(I，kc/kr)}上，且ΔMI(kc/kr)＝max(y(i))，由ΔMI的单应性，即可得到kc/kr，如果有运动前景存在，kc/kr的取值区间sk为[kc-1/kr-1-k_th，kc-1/kr-1+k_th]，kc-1，kr-1是上一帧C与B的增益系数，k_th是增益比渐进变化范围，取0.12，则得到MI对应的区间sm，求DC在区间sm的峰值坐标(MB，ΔMB)：(MB＝x(i)，ΔMB＝y(i))|max{y(i)}，x(i)∈sm (23)令MI(kj/ki)＝MB，由单应性得到kj/ki＝km，考虑到噪声影响，当|MI(km)-MB|＜TM，且km∈sk，则更新增益比，否则是由运动前景导致的峰值，增益比不变，TM在这里取5；

33)按照步骤32)逐帧求取增益比。

5.根据权利要求4所述的自动增益场景下基于相机响应函数的背景建模方法，其特征是在理想情况下，如果是由自动增益导致的峰值，则同时满足km∈sk，MI(km)＝MB，新的增益比为kc/kr＝km。

说明书

自动增益场景下基于相机响应函数的背景建模方法

技术领域

[0001] 本发明涉及图像处理与计算机视觉领域，尤其是指一种在相机自动增益场景中准确跟随增益系数变化以获得精确运动检测的背景建模方法。

背景技术

[0002] 运动检测是计算机视觉的重要研究方向、也是众多计算机视觉应用中关键而基础的模块，如视频语义标注，模式识别、交通视频监控、人体跟踪。运动检测目的是将感兴趣的运动物体从视频中完整的分割。分割准确与否直接影响后续模块的精度。

[0003] 运动检测方法可归为以下几类[1]：光流法、帧差法、背景差法。在固定摄像机的场景中，背景差法由于其在速度和精度上都有很好的效果而被广泛研究，它将当前帧与背景参考帧相减，再通过阈值判决，从而分割出运动前景。背景差法的效果取决于背景建模的精度，即背景参考帧是否能够真实反映当前场景。而现有背景建模方法局限于考虑摄像机内部热噪声、场景的动态变化，如雨雪、水面、草木晃动、光照变化、阴影的干扰。然而实际干扰并不限于上述，如相机自动增益干扰。自动增益是绝大部分相机的固有功能，且多数不能手动取消，当由于遮挡、开关灯等原因导致相机传感器（CCD或CMOS）接收到的平均辐照度突然变高或变低时，自动增益通过调整光圈大小、快门时间等，使图像灰度均值向反方向变化而达到最佳的视觉效果，犹如瞳孔的功能。自动增益导致大范围的运动错检，因为通常的背景建模方法无法判断大范围像素灰度值快速变化是前景还是自动增益后的背景。

[0004] Cucchiara[2]通过一个经验模型来补偿自动增益后的灰度值变化，某些重要的参[3]数以经验值给出，不同型号相机补偿效果差异大。Kim 简单假设自动增益导致灰度值线性变化，推算出变化后的背景参考帧，而这种假设在高灰度值时会有很大误差。然而上述算法都是从经验和假设出发，没有意识到自动增益下的图像灰度值变化由相机响应函数CRF所决定的，CRF是由厂家人为设计的非线性函数，不能简单的用线性函数来近似。故上述算法[4]
缺乏理论支撑和通用性。Soh 用背景参考帧的灰度值均值来控制自动增益变化，但需要改变摄像机内部电路结构，难以通用实现。

[0005] 由于不同的相机CRF不同，且厂家出于对保密的考虑并不愿意公布CRF，另外也很难知道视频是由那一款相机输出。通常CRF恢复算法所存在的共同问题是：运算量大，为获[5]取足够精度的CRF必须增加参数个数并需多次迭代，且对噪声敏感。而由Grossberg 所提出少参数相机响应函数EMoR(Empirical Model of Response)，将CRF的设计约束和事先收集的各型号相机CRF数据库DoRF(Database of Response Functions)相结合，得到一个含N个参数的函数。EMoR的优点是不需迭代，故降低了运算量，且相对于其他算法只需很少参数就能精确恢复CRF，但缺点是仍需事先手动选取训练数据，不利于整个系统的全自动实现，且训练数据含有噪声时，则EMoR的鲁棒性差，容易陷入局部最优。

[0006] 参考文献：

[0007] 1.Hu W M,Tan T N,Wang L,Maybank S.A survey on visual surveillance of object motion and behaviors.Ieee Transactions on Systems Man and Cybernetics Part C-Applications and Reviews,2004,34(3):334-352

[0008] 2.Cucchiara R,Melli R,Prati A.Auto-iris compensation for traffic surveillance systems.In:Proceedings of the IEEE Intelligent Transportation Systems Conference.Italy:IEEE,2005.851-856

[0009] 3.Kim Z.Real time object tracking based on dynamic feature grouping with background subtraction.In:Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Anchorage,USA:IEEE,2008.1626-1633

[0010] 4.Soh Y S,Kwon Y，Wang Y.A new iris control mechanism for traffic monitoring system.In:Proceedings of the 9th Pacific Rim International Conference on Artificial Intelligence.Guilin,China:Springer,2006.1227-1231[0011] 5.Grossberg M D,Nayar S K.Determining the camera response from images:What is knowable?Ieee Transactions on Pattern Analysis and Machine Intelligence,2003,25(11):1455-1467

发明内容

[0012] 本发明要解决的问题是：背景差法运动检测中，现有的背景建模方法无法判断大范围像素灰度值快速变化是前景还是自动增益后的背景，存在误差大、需要预先收集训练数据等缺陷，不利于背景差法运动检测的全自动实现，且易受到噪声等影响。

[0013] 本发明的技术方案为：自动增益场景下基于相机响应函数的背景建模方法，其特征是在背景差法运动检测中，相机自动增益场景下，背景参考帧实时跟随相机增益系数的变化，得到与当前帧增益系数相同的背景参考帧，包括以下步骤：

[0014] 1）通过基于自动增益渐进性的分析，构建目标函数，设定自动增益临界误检阈值，所述自动增益临界误检阈值以系统发生自动增益临界误检时的灰度值变化特征为依据设定，逐帧检测是否发生自动增益临界误检，如果发生则得到粗分的背景区域，并使用联合直方图的方法得到训练数据，具体为：

[0015] 11）利用参数相机响应函数EMoR中权重最大的均值项作为相机响应函数CRF的近似，得到灰度差值函数BDF，进而获得临界误检时的正增益比kpp和负增益比knn：

[0016] 当1

[0017] 12）当增益比分别为：临界误检正增益kpp、1、临界误检负增益时knn，分别得到所对应的灰度差值函数，根据kpp，1，knn对应的BDF曲线，将图像区域分为四部分，以此构造目标函数，当目标函数大于设定的临界误检阈值则临界误检发生，并粗分出当前帧的背景区域；

[0018] 13）粗分的背景区域像素经由基于联合直方图的降噪处理，并去除含0,255的数据项，得到低维的训练数据；

[0019] 2）以步骤1）中所得到的训练数据做为输入数据，由基于最大似然估计和参数约束的方法一次性恢复得到全局最优的相机响应函数；

[0020] 3）灰度差值的最大值是关于增益比的单调增函数，通过前背景差值与增益比的相关性，以及前述的单调增函数，由前背景帧和步骤2）中所恢复的相机响应函数，逐帧求取增益比；前背景差值指当前帧与背景参考帧的差值，前背景帧为当前帧和背景参考帧的统称；

[0021] 4）如果步骤3）确定的增益比不为1，则由增益比和步骤2）恢复的相机响应函数，得到与当前帧的增益系数相同的背景参考帧，否则背景参考帧不变，由此逐帧更新背景参考帧，获得与当前帧增益系数相同的背景参考帧。

[0022] 步骤1）具体为：

[0023] 11）设相机自动增益导致整个图像中发生像素数量为N’的绝对误检，正负增益比kpp，knn为

[0024] kpp=min{kc/kr|num(BDF(Br(pi),kc/kr)>σ(pi))/N

[0027] 12）根据临界误检时各图像区域的分布特性，由增益比分别为kpp，1，knn时得到相应BDF曲线，构造目标函数T，将图像区域分为四类，当T大于阈值则临界误检发生，并粗分出背景：

[0028] 令x=Ii,y＝BDF(Ii，kj/ki)，其中ki，kj分别为自动增益发生前后的两帧图像i，j所对应的增益系数，kj/ki即为增益比，Ii为i帧图像的灰度值，kj/ki分别为kpp，knn，1时，得到曲线y=Lp(x)，y＝Ln(x)，y＝0，将图像区域分为四个部分，P＝PA∪PB∪PC∪PD，当发生自动正增益并处于临界误检时，PA为当前背景区域，且有Bc(pi)-Br(pi)＞0，Bc(pi)-Br(pi)num(PC)；当发生自动负增益并处于临界误检时，PA为高灰度值的运动物体遮挡住原有背景的灰度值较高区域，有0PC为当前背景区域，有Ln(Br(pi))num(PA)，[0029] 由此建立目标函数：

[0030]

[0031] T绝对值越大，则自动增益发生的概率越大，设定临界误检阈值t为0.75，令PBG为粗分的背景区域像素集合，当T＞t时，自动正增益发生但未造成运动误检，PBG＝PA；当T＜-t时，自动负增益发生但未造成运动误检，PBG＝PC；

[0032] 13）基于联合直方图的降噪处理：

[0033] 令H(IX，PX，X)表示在图像X中像素集合PX的灰度值从0到IX的元素个数，即[0034] H(IX,PX,X)=num(pxi)|(0≦B(pxi,X)≦IX,pxi∈PX) (4)

[0035] B(pxi,X)为图像X中像素pxi的灰度值，令联合直方图为：

[0036] Q_BTF={(m,IC(m))|H(IC(m),PBG,C)=H(m,PBG,R)} (5)

[0037] 其中m∈{0,1,2,....,255},0≤IC(m)≤255，R，C分别是背景参考帧和当前帧，由CRF单调不减的性质，Q_BTF元素个数为256，将Q_BTF中含有0或255的元素去除，以去除饱和与截止的所导致的误差，得到集合P_BTF，元素个数M＜255，P_BTF即为低维的训练数据。

[0038] 步骤2）具体为：

[0039] 21）在EMoR框架内，基于对数和反函数的运算，将增益系数与场景照度从CRF中分离，在数学分析上转化成线性回归问题：CRF恢复的输入训练数据集合V＝P_BTF，V满足[0040] V={(IVi(m),IVj(m))|m∈(0,1....,M)} (6)

[0041] IVi是增益系数为ki时的图像灰度值，IVi是增益系数为kj时的图像灰度值，M是训练数据个数，IVi，IVj满足：

[0042] IVi+ε=BTFij(IVj) (8)

[0043] 其中BTF为亮度转移函数，ε是高斯噪声，在EMoR框架下基于最大似然估计和参数约束的CRF恢复，得到全局最优解，对EMoR的一般形式取反函数和取对数：

[0044]

[0045] l1(I)....lN(I)是对CRF数据库DoRF取反函数和取对数后使用主元分析PCA得到的主成分按由主到次排列，g0(I)是CRF数据库DoRF取反函数和取对数后的均值；在理想无噪声情况下，IVi，IVj对应的照度值q相同，而增益系数k不同，将IVi，IVj代入式(9)并相减，

[0046]

[0047] 在实际情况下，即IVi，IVj满足式(8)，则式(10)变形为：

[0048]

[0049] 由于ε为高斯噪声，具有可加性，所以式(11)有：

[0050]

[0051] 其中ε′为ε在式（11）中的线性运算得到的高斯噪声，令d0=-ln(ki/kj)，有：

[0052]

[0053] 令：

[0054] t(m)=g0(IVj(m))-g0(IVi(m))

[0055]

[0056] 则式(13)变成

[0057]

[0058] 其中dT=(d0,d1,d2,.....,dN)，Ф=(φ0,φ1,φ2,.....，φN)T，则上式成为标准的线性回归；

[0059] 22）使用基于最大似然估计与参数约束的CRF求取，最小误差函数为：

[0060]

[0061] 其中，M为集合V的元素个数，由EMoR知，当式(14)取不同的n值时，基函数ln(I)权重是不一样的，n越大，则对应的基函数在表达式中的权重越小，相应权重系数越小，使用参数约束下的最小误差函数：

[0062] E(d)＝ED(d)+λEd(d) (16)

[0063] λ是约束参数，为对角矩阵，0＜λ1＜λ2＜.....＜λN是矩阵λ对角线上的元素，

[0064]

[0065] 将式(15)，(17)代入式(16)得：

[0066]

[0067] 由最大似然估计，式(18)对d求导数

[0068]

[0069] 令式(19)为0并变形：

[0070]

[0071] 得到：

[0072] d＝(λ+ΦTΦ)-1ΦTt (21)

[0073] 其中 t＝(t(1)，t(2)，....，t(M))

[0074] 将式(21)代入式(9)，经过求指数和求反函数得到CRF。

[0075] 步骤3)具体为：

[0076] 31)分析得到BDF最大值是关于增益比的单调增函数，即两者是单应的；

[0077] 32)基于单应性的自动增益求取：

[0078] 令BDF最大值为ΔMI(kj/ki))，对应的横坐标为MI(kj/ki)：

[0079] (MI(kj/ki)＝Ii，ΔMI(kj/ki)＝ΔIji)|max{ΔIji＝BDF(Ii，kj/ki)}，0≤Ii≤255 (22)

[0080] 如果当前帧C与背景参考帧的R的灰度差异仅由自动增益造成，那么图像中所有像素点pi对应的坐标(x(i)＝Br(pi)，y(i)＝Bc(pi)-Br(pi))所形成的分布DC落在曲线DL：{(x＝I，y＝ΔI)|ΔI＝BDF(I，kc/kr)}上，且ΔMI(kc/kr)＝max(y(i))，由ΔMI的单应性，即可得到kc/kr，如果有运动运动前景存在，kc/kr的取值区间sk为[kc-1/kr-1-k_th，kc-1/kr-1+k_th]，kc-1，kr-1是上一帧C与B的增益系数，k_th是增益比渐进变化范围，取0.12，则得到MI对应的区间sm，求DC在区间sm的峰值坐标(MB，ΔMB)：

[0081] (MB＝x(i)，ΔMB＝y(i))|max{y(i)}，x(i)∈sm (23)

[0082] 令MI(kj/ki)＝MB，由单应性得到kj/ki＝km，在理想情况下，如果是由自动增益导致的峰值，则同时满足km∈sk，MI(km)＝MB，新的增益比为kc/kr＝km，考虑到噪声影响，当|MI(km)-MB|＜TM，且km∈sk，则更新增益比，否则是由运动前景导致的峰值，增益比不变，TM在这里取5；

[0083] 33)按照步骤32)逐帧求取增益比。

[0084] 本发明无需事先收集训练数据，使系统自动化，无人化值守实现成为可能，有效提高工作效率，节省财力。本发明与现有的技术相比具有如下优点：

[0085] (1)兼容各类型相机，通用性强：

[0086] 相机型号众多，且相机自动增益特性各有不同，而基于经验拟合方法只能去除有限几种相机的自动增益干扰，限制了其应用范围。而本发明从相机灰度值输出原理出发，从恢复相机响应函数和实时求取增益比着手，得到去自动增益干扰后的背景参考帧，理论完备且通用性强，能够消除各类相机的自动增益对背景建模不利影响，得到正确的运动检测结果，便于大范围实施；

[0087] (2)无需改变硬件结构，功能独立，接口简单：

[0088] 相比于通过改变相机硬件结构以去除自动增益干扰的方法，本发明为软件实现，不需要改变硬件结构，不影响系统其它模块功能，独立检测自动增益是否发生，并输出消除自动增益的图像。且与系统其它模块耦合性低，只需提供当前帧和背景参考帧的输入接口，和消除自动增益后的背景参考帧输出接口即可；

[0089] (3)全自动运行，精度高：

[0090] 以往方法恢复相机响应函数需手动选择输入的训练数据，一方面随意性大，容易人为引入噪声，另一方面需人值守，费时费力。且基于最小二乘的参数求取容易受噪声干扰而得到局部最优解。本发明自动粗分背景区域，并由联合直方图得到低噪声的训练数据，由基于最大似然估计和参数约束的方法恢复得到全局最优的相机响应函数，整个过程全自动实现，无人值守。

[0091] (4)运算量小，实时性好：

[0092] 相机响应函数对于确定相机是不变的，故只需一次恢复，而增益比是随自动增益的变化而动态变化，需要逐帧求取，以往方法求取增益比类似于相机响应函数恢复的方法，运算量巨大，无法实现增益比的实时求取，本发明利用增益比、前后背景帧、亮度灰度转移函数三者之间的关系，在线求取增益比，进而得到消除自动增益干扰后的背景参考帧，且运算量小，实时实现。

附图说明

[0093] 图1为本发明基于自动增益的背景建模方法的流程图。

[0094] 图2(a)为自动增益造成临界错检时的当前帧，图2(b)为自动增益造成临界错检的像素分布。

[0095] 图3(a)和图3(b)是针对典型视频序列，本发明和其他方法正确率统计图，其中：图3(a)为误检率比较；图3(b)为漏检率比较。

[0096] 图4(a)-图4(e)是针对典型视频序列，本发明与其他方法的运动检测比较图，其中：图4(a)是当前帧，图4(b)-图4(e)是本发明与其他方法的运动检测二值图比较。

具体实施方式

[0097] 下面将结合附图对本发明加以详细说明，所描述的实施例旨在便于对本发明的理解。

[0098] 图1是基于相机自动增益背景建模方法的流程图。按照流程顺序，本发明方法各步骤的具体实施过程如下：

[0099] 1、获得图像序列

[0100] 系统首先获取图像序列，并将序列输入给两个并行的模块：背景差法模块和自动增益背景建模法模块，自动增益背景建模法模块实施本发明方法。

[0101] 2、判断相机响应函数是否恢复，若未恢复，则由构造临界误检目标函数T，以及设定的自动增益临界误检阈值t，所述自动增益临界误检阈值以系统发生自动增益临界误检时的灰度值变化特征为依据设定，逐帧检测是否发生自动增益的临界误检，直到|T|>t，即临界误检发生，进而分离出背景区域，自动增益是一个量变的过程，当小于阈值t时，不会导致运动检测的误检，只有大于阈值t时，才会导致运动检测的误检，两者的临界状态即为“自动增益临界误检”。

[0102] [21]利用EMoR中权重最大的均值项作为CRF的近似值，得到灰度差值函数BDF，获得临界误检时的正负增益比kpp，knn：

[0103] 令相机自动增益导致整个图像中发生像素数量为N’的绝对误检，N’取少量即可，如3%的绝对误检，此时的正负增益比为kpp，knn为

[0104] kpp=min{kc/kr|num(BDF(Br(pi),kc/kr)>σ(pi))/N<3%;1≤i≤N} (1)[0105] knn=min{kc/kr|num(BDF(Br(pi),kc/kr)<σ(pi))/N<3%;1≤i≤N} (2)[0106] 其中整幅图像中的像素集合为P＝{p1，p2，....，pN}，N为图像像素总数；Br(pi)，Bc(pi)分别是像素pi对应的背景参考帧R的灰度值和当前帧C的灰度值；kr，kc分别是背景参考帧R与当前帧C的增益系数；σ(pi)为pi点对应的前背景判决阈值，“前背景”为当前帧与背景参考帧的统称；BDF是不同增益比下的灰度变化差值函数，求取BDF需已知CRF，而此阶段CRF待求，由EMoR得知f0(k×q)是CRF最主要的分量，且是DoRF的均值，又因为此阶段只需粗分出背景区域，对CRF的精度要求并不高，所以使用CRF≈f0(k×q)，进而得到BDF；num(·)表示符合条件的像素个数，又因为背景差法都有基于形态学的后处理，可以滤除少量误检的像素点，故kpp，knn视为运动误检临界增益比。则当1

[0107] [22]根据临界误检时各图像区域的分布特性，由增益比分别为kpp，1，knn时得到相应BDF曲线，构造目标函数T，将图像区域分为四类，当T大于阈值则临界误检发生，并在当前帧中粗略的分割出哪一部分是背景所在的区域。任何时刻的当前帧都可分为两大类：背景、前景（或称运动物体），其中背景是在场景中没有发生变化的区域，如果不发生自动增益，这部分的区域所对应的灰度值是不变的，但是由于自动增益的发生，会导致这部分的区域的灰度值也发生变化，因此先粗分出背景区域：

[0108] 令x=Ii,y＝BDF(Ii，kj/ki)，其中ki，kj分别为自动增益发生前后的两帧图像i，j所对应的增益系数，kj/ki即为增益比，Ii为i帧图像的灰度值，kj/ki分别为kpp，knn，1时，得到曲线y＝Lp(x)，y＝Ln(x)，y＝0，将图像区域分为四个部分，P＝PA∪PB∪PC∪PD。

[0109] 发生自动正增益并处于临界误检时，图像区域可分为四个部分，P＝PA∪PB∪PC∪PD。PA为当前背景区域，因为发生正增益，故有Bc(pi)-Br(pi)＞0，又因为尚未造成运动误检，故有Bc(pi)-Br(pi)num(PC)。当发生自动负增益并处于临界误检时，PA为高灰度值的运动物体遮挡住原有背景的灰度值较高区域，有0PB为低灰度值的运动物体遮挡住原有背景的较暗区域，有Ln(Br(pi))＜Bc(pi)-Br(pi)；
PC为当前背景区域，因为发生负增益，故有Bc(pi)-Br(pi)<0，又因为尚未造成运动误检，故有Bc(pi)-Br(pi)>Ln(Br(pi))；发生自动负增益因为是高灰度值的运动物体遮挡住原有背景的低灰度值区域，PD为该区域，因为造成强烈的灰度差值，所以有Bc(pi)-Br(pi)＞Lp(Br(pi))，且满足num(PC)＞＞num(PB)，num(PD)>num(PA)。同理可得当负增益临界时刻，由此建立目标函数：

[0110]

[0111] T绝对值越大，则自动增益发生的概率越大，考虑到噪声和CRF≈f0(kq)的近似误差，t取0.75，令PBG为粗分的背景区域像素集合。当T＞t时，自动正增益发生但未造成运动误检，PBG＝PA。当T＜-t时，自动负增益发生但未造成运动误检，PBG＝PC。

[0112] 3.粗分的背景区域像素经由基于联合直方图的降噪处理，并去除含0,255的数据项，避免相机饱或截止的误差，得到低维的训练数据。

[0113] [31]基于联合直方图的降噪处理：

[0114] 令H(IX，PX，X)表示在图像X中像素集合PX的灰度值从0到IX的元素个数，即[0115] H(IX,PX,X)=num(pxi)|(0≦B(pxi,X)≦IX,pxi∈PX) (4)

[0116] B(pxi，X)为图像X中像素pxi的灰度值。令联合直方图为：

[0117] Q_BTF={(m,IC(m))|H(IC(m),PBG,C)=H(m,PBG,R)} (5)

[0118] 其中m∈{0，1,2,....,255},0≤IC(m)≤255，R，C分别是背景参考帧和当前帧。由CRF单调不减的性质，相比于PBG，Q_BTF是更精确的训练数据，且元素个数降为256。

[0119] [32]为去除饱和与截止的所导致的误差，将Q_BTF中含有0或255的元素去除，得到集合P_BTF，元素个数M＜255。P_BTF即是所需的训练数据。

[0120] 4.将P_BTF作为输入的训练数据，由基于最大似然估计和参数约束的方法恢复得到全局最优的相机响应函数。

[0121] [41]在EMoR框架内，基于对数和反函数的运算，将增益系数与场景照度从CRF中分离，进而转化成线性回归问题。

[0122] CRF恢复的输入训练数据集合V＝P_BTF，V满足

[0123] V={(IVi(m),IVj(m))|u∈(0,1….,M)} (6)

[0124] IVi是增益系数为ki时的图像灰度值，IVj是增益系数为kj时的图像灰度值。M是训练数据个数。在理想情况下有：

[0125] IVi=BTFij(IVj) (7)

[0126] 但由于噪声和误选的存在，实际如下式，其中ε是高斯噪声：

[0127] IVi+ε=BTFij(IVj) (8)

[0128] 噪声干扰使一般CRF恢复算法容易陷入局部最小，为此，提出在EMoR框架下基于最大似然估计和参数约束的CRF恢复，得到全局最优解。为将增益系数k分离出来，对EMoR的一般形式取反函数和取对数：

[0129]

[0130] l1(I)....LM(I)是对DoRF取反函数和取对数后使用PCA得到的主成分按由主到次排列，g0(I)是DoRF取反函数和取对数后的均值。在理想无噪声情况下，IVi,IVj满足式(7)，即IVi，IVj对应的照度值q相同，而增益系数k不同，将IVi，IVj代入式(9)并相减，[0131]

[0132] 在实际情况下，即IVi，IVj满足式(8)，则式(10)变形为：

[0133]

[0134] 由于ε为高斯噪声，具有可加性，所以式(11)有：

[0135]

[0136] 其中ε′为ε在式（11）中的线性运算得到的高斯噪声，为统一格式，令d0=-ln(ki/kj)，有：

[0137]

[0138] 令：

[0139] t(m)=g0(IVj(m))-g0(IVi(m))

[0140]

[0141] 这里的m为式（6）中的第m个样本，式（13）中的（IVi，IVj）即是式（6）中样本的泛指。

[0142] 则式(13)变成

[0143]

[0144] 其中dT=(d0，d1,d2,.....,dN)，Ф=(φ0,φ1,φ2,…..,φN)T，dT、Ф是为了使式（14）形式进一步简化，而写成向量相乘的形式，以方便后续的基于矩阵运算。

[0145] 则式（14）成为标准的线性回归。

[0146] [42]基函数l1(I)....lN(I)是由主元分析PCA得到的主成分按由主到次排列所得，权重依次递减，将不同权重的基函数约束在各自的权重系数范围内，避免因噪声干扰导致小权重基函数获得大权重系数而发生过拟合，使用最大似然估计而不是以往算法中的最小二乘法，以得到全局最优的解，精确恢复CRF。

[0147] 式(14)是求参数dn的线性回归问题，取N＝3，由EMoR知对CRF恢复精度>99%，但这一精度是以不含噪声的精确匹配为前提的。为了有效抵消噪声影响，使用基于最大似然估计与参数约束的CRF求取，最小误差函数为：

[0148]

[0149] 其中，M为匹配点集合V的元素个数，由EMoR知，当式（14）取不同的n值时，基函数ln(I)在表达式中的权重是不一样的，n越大，则对应的基函数在表达式中的权重越小，相应权重系数越小。为了防止小权重的基函数得到大权重系数而发生过拟合陷入局部最优，使用参数约束下的最小误差函数：

[0150] E(d)=ED(d)+λEd(d) (16)

[0151] λ是约束参数，为对角矩阵，0＜λ1＜λ2<.....＜λN是矩阵λ对角线上的元素。

[0152]

[0153] 将式(15)，(17)代入式(16)得：

[0154]

[0155] 由最大似然估计，式(18)对d求导数

[0156]

[0157] 令式(19)为0并变形：

[0158]

[0159] 解得：T -1 T

[0160] d=(λ+ФФ) Фt (21)

[0161] 其中

[0162]

[0163] t=(t(1),t(2),....,t(M))

[0164] 将式(21)代入式(9)，经过求指数和求反函数得到CRF。

[0165] 5．逐帧求取增益比。

[0166] [51]自动增益会导致亮度值发生变化，灰度变化差值Δ(I,k)是关于增益比k和自动增益发生前的灰度值I的函数。当k确定，得到Δ(I,k)最大值为max_Δ(k)，我们通过分析得到maxΔ(k)是关于k的单调增函数，分析得到BDF最大值是关于增益比的单调增函数，即两者是单应的：

[0167] 设两幅图像的灰度值分别为Ii和Ij，增益比为kj/ki，增益比和增益系数的关系是：若图像i的增益系数是ki，图像j的增益系数是kj，则图像i和图像j的增益比为kj/ki，即如果确定两幅图像的增益系数，则可以确定增益比；但如果已知增益比，则有很多的增益系数取值可能。设Ii，Ij增益系数分别为1和kj/ki，则BDF＝Ij-Ii＝f(kj/kiq)-f(q)，q为场景照度值，设当kj/ki＝k1时，q取q1得到BDF最大值max(BDFk1)＝f(k1q1)-f(q1)；如果k2＞k1，由CRF单调递增性有：f(k2q1)＞f(k1q1)，则max(BDFk2)≥f(k2q1)-f(q1)＞f(k1q1)-f(q1)＝max(BDFk1)，所以BDF的最大值是关于增益比的单调递增函数，即BDF最大值与增益比是单应关系。

[0168] [52]基于单应性的自动增益求取：

[0169] 令BDF最大值为ΔMI(kj/ki))，对应的横坐标为MI(kj/ki)：

[0170] (MI(kj/ki)＝Ii，ΔMI(kj/ki)＝ΔIji)|max{ΔIji＝BDF(Ii，kj/ki)}，0≤Ii≤255 (22)

[0171] 如果当前帧C与背景参考帧的R的灰度差异仅由自动增益造成，那么图像中所有像素点pi对应的坐标(x(i)＝Br(pi)，y(i)＝Bc(pi)-Br(pi))所形成的分布DC落在曲线DL：{(x＝I，y＝ΔI)|ΔI＝BDF(I，kc/kr)}上，且ΔMI(kc/kr)＝max(y(i))，由ΔMI的单应性，即可得到kc/kr。其中Br(pi)，Bc(pi)分别是像素pi对应背景参考帧R，当前帧C的灰度值，kr，kc分别是R与C的增益系数。即使有运动运动前景存在，仍然可以得到kc/kr，因为自动增益是一个渐进的过程，故kc/kr的取值区间sk为[kc-1/kr-1-k_th，kc-1/kr-1+k_th]，kc-1，kr-1是上一帧C与B的增益系数，k_th是增益比渐进变化范围，在这里取0.12。则得到MI对应的区间sm，求DC在区间sm的峰值坐标(MB，ΔMB)：

[0172] (MB＝x(i)，ΔMB＝y(j))|max{y(i)}，x(i)∈sm (23)

[0173] 令MI(kj/ki)＝MB，由单应性得到kj/ki＝km。在理想情况下，如果是由自动增益导致的峰值，则同时满足km∈sk，MI(km)＝MB，新的增益比为kc/kr＝km。考虑到噪声影响，当|MI(km)-MB|＜TM，且km∈sk，则更新增益比，否则是由运动前景导致的峰值，增益比不变，TM在这里取5。

[0174] 6.更新背景参考帧

[0175] [61]若增益比等于1，则未发生自动增益，直接进入背景差法模块。

[0176] [62]若增益比不等于1，则发生自动增益，由相机响应函数和增益比更新得到与当前帧增益系数相同的背景参考帧背景参考帧。

[0177] 图2对应的是自动增益造成的临界误检时刻，如图2(a)所示，一辆大型车进入监控区域，发生自动正增益并处于临界误检。如图2(b)所示，此时图像被曲线y＝Lp(x)，y＝Ln(x)，y＝0分割成四个区域P＝PA∪PB∪PC∪PD。

[0178] 图3是针对典型视频序列，本发明和其他方法正确率统计图。如图3(a)所示，本发明的漏检率均值为4.1％，且波动小，Cucchiara算法漏检率均值为18.3％，Kim算法漏检率均值为27％，且波动范围较大，MoG漏检率均值52.4％。如图6(b)所示，本发明的误检率均值为3.2%，且波动轻微，Cucchiara算法误检率约在25.6%，且波动剧烈，Kim算法漏检率约在23.5%，MoG漏检率约48.3%。综上可以得到，本发明的运动检测精度高且稳定，Cucchiara和Kim分别次之，MoG误检率和漏检率都在50%左右，已经失效。

[0179] 图4是针对典型视频序列，本发明与其他方法的前景检测二值图，如图4(a)所示，低灰度的车进入场景，遮挡高亮区域，导致发生自动正增益，如图4(b)所示，由MoG算法的检测结果，可以看出高灰度的背景区域容易发生误检，而低灰度的前景区域容易发生漏检，这是因为高灰度的背景区域在发生自动正增益后灰度更大，且变化剧烈，MoG的判决阈值小于这一变化，从而导致误检。而低灰度前景区域的背景由于自动正增益使灰度值变大，使之趋近所在区域的背景参考帧灰度，当差值小于MoG的判决阈值便发生漏检。如图4(c)所示，Cucchiara能消除一定的误检。如图4(d)所示，Kim相对Cucchiara检测效果更好，但漏检率仍然过高。Cucchiara和Kim很难同时兼顾漏检和误检率，且检测效果不稳定。如图4(e)所示，本文方法在各种场景下均能完整的分割出运动前景。

[0180] 本发明是在已有背景差法基础之上的新模块组，检测是否有自动增益发生，如果没有发生，使用现有成熟算法保证运动检测准确率，只有在发生自动增益时才调用相应的模块，节省了运算资源。测试硬件平台的CPU为Intel Core P8700，内存2G，操作系统为Linux Suse 11.1。其中CRF求取约需1.3s，若检测无自动增益发生，则平均耗时0.3ms，若检测发生自动增益并更新背景参考帧，则平均耗时2.2ms。MoG平均耗时19.8ms。而CRF只需一次恢复，需时约1~2s，相对于长时监控可以忽略，故满足运动检测实时性要求；同时本发明通过大量典型的视频序列的测试，结果表明本发明具有较高的通用性和准确性。

[0181] 以上所述仅是本发明中的具体实施方式，但本发明的范围不应由该描述来限定。本领域的技术人员应该理解，在不脱离本发明的范围的任何修改或局部替换，均属于本发明权利要求来限定的范围。