PTZ摄像机监控入侵检测方法

摘要

一种PTZ摄像机监控入侵检测方法，步骤一，获取背景帧，并建立背景帧的索引：先将摄像机复位，然后控制摄像机从初始角度开始，每采集一帧图像计算一次相邻图像帧之间的运动参数；然后，根据从运动参数中获得的x、y、z方向的平移分量估计摄像机Pan和Tilt旋转的变化量，当摄像机Pan和Tilt旋转的累积变化量超过设定数值时，抓取一幅背景帧，并用当前的运动参数标记该背景帧；步骤二，将摄像机再次复位，同时将所得的背景帧作为当前背景；摄像机工作后开始旋转，每采集一帧图像进行一次当前图像与当前背景之间的Pan和Tilt旋转数据估计，根据得到的Pan和Tilt旋转数据对背景帧和当前帧进行配准，利用图像背景除去法检测闯入对象。

权利要求

1. 一种PTZ 摄像机监控入侵检测方法，其特征在于，它包括如下步骤：

步骤一，获取背景帧，并建立背景帧的索引：先将摄像机复位，然后控制摄像机从初始角度开始，每采集一帧图像计算一次相邻图像帧之间的运动参数，所述的运动参数是指表示摄像机姿态的Pan 和Tilt 值；然后，根据从运动参数中获得的x、y方向的平移分量估计摄像机Pan 和Tilt 旋转的变化量，当摄像机Pan 和Tilt 旋转的累积变化量超过设定数值时，抓取一幅背景帧，并用当前的运动参数标记该背景帧；

步骤二，对闯入摄像机的对象进行检测：将摄像机再次复位，同时将所得的背景帧作为当前背景；摄像机工作后开始旋转，每采集一帧图像进行一次当前图像与当前背景之间的Pan 和Tilt 旋转数据估计，根据得到的Pan 和Tilt 旋转数据对背景帧和当前帧进行配准，利用图像背景除去法检测闯入对象；若没有检测到闯入对象，则更换背景帧。

2. 根据权利要求1 所述的PTZ 摄像机监控入侵检测方法，其特征在于：在所述的步骤二中，以相邻两背景图像重叠区域数不少于总图像大小的三分之二来确定摄像机工作后的旋转角度。

3. 根据权利要求1 所述的PTZ 摄像机监控入侵检测方法，其特征在于：在所述的步骤二中，采用多分辨率分层图像对背景帧和当前帧进行配准；且多分辨率分层图像的生成采用高斯金字塔分解法。

4. 根据权利要求1 所述的PTZ 摄像机监控入侵检测方法，其特征在于：在所述的步骤二中，所述的图像背景除去法是指：建立单个高斯背景模型，并结合邻域相关性检测消除由图像配准和背景运动产生的虚假检测。

说明书

PTZ摄像机监控入侵检测方法

技术领域

[0001] 本发明涉及一种摄像机状态检测方法，可从摄像机采集图像中检测出入侵对象。

背景技术

[0002] 摄像机监控过程中，通常利用背景差分法来判断是否有对象入侵的。选择哪一帧作为当前背景帧需要知道摄像机的当前状态。摄像机状态用一个包含两个分量的矢量表示，分别是水平转动角、垂直倾斜角(Pan，Tilt)。

[0003] 虽然从云台控制器可以获取摄像机的当前状态，但要获得精确的状态值需要停止云台转动，因为当云台运动时由于控制结构机械误差和通信延迟，获得的状态值不是当前最新值。

[0004] 背景模型的建立和维护对基于背景去除法的入侵检测方法十分重要，近些年的研究提出了很多背景模型和维护算法，但这些算法都是针对摄像机固定的情况，本发明中的背景维护问题更加复杂，除要考虑一般背景维护的问题之外，还要考虑图像配准引起的问题。

发明内容

[0005] 本发明的目的是一种简单的摄像机状态计算方法，可用于背景帧选择。

[0006] 为实现上述目的，本发明采用以下技术方案：

[0007] 一种PTZ摄像机监控入侵检测方法，它包括如下步骤：

[0008] 步骤一，获取背景帧，并建立背景帧的索引：先将摄像机复位，然后控制摄像机从初始角度开始，每采集一帧图像计算一次相邻图像帧之间的运动参数，所述的运动参数是指表示摄像机姿态的Pan和Tilt值；然后，根据从运动参数中获得的x、y、z方向的平移分量估计摄像机Pan和Tilt旋转的变化量，当摄像机Pan和Tilt旋转的累积变化量超过设定数值时，抓取一幅背景帧，并用当前的运动参数标记该背景帧；

[0009] 步骤二，对闯入摄像机的对象进行检测：将摄像机再次复位，同时将所得的背景帧作为当前背景；摄像机工作后开始旋转，每采集一帧图像进行一次当前图像与当前背景之间的Pan和Tilt旋转数据估计，根据得到的Pan和Tilt旋转数据对背景帧和当前帧进行配准，利用图像背景除去法检测闯入对象；若没有检测到闯入对象，则更换背景帧。

[0010] 在所述的步骤二中，摄像机工作后的旋转角度为：相邻两背景图像重叠区域数不少于总图像大小的三分之二。

[0011] 在所述的步骤二中，采用多分辨率分层图像对背景帧和当前帧进行配准；且多分辨率分层图像的生成采用高斯金字塔分解法。

[0012] 在所述的步骤二中，所述的图像背景除去法是指：建立单个高斯背景模型，并结合邻域相关性检测消除由图像配准和背景运动产生的虚假检测。

[0013] 采用上述技术方案的本发明，能够在摄像机运动状态下快速准确地检测出入侵对象，而且该算法不需要摄像机标定，大大提高了检测效率。

附图说明

[0014] 图1为本发明的流程图。

[0015] 图2为本发明背景获取算法流程图。

[0016] 图3为本发明背景跟踪算法流程图。

[0017] 图4为摄像机pan路径上抓取的一组背景帧。

[0018] 图5为不同时刻的运动对象检测实例。

[0019] 图6为采用背景去除法和消除配准残差及抑制虚假变化像素后得到的检测结果。其中图6(1)背景帧；图6(2)当前帧；图6(3)当前帧按背景帧配准后的图像；图6(4)直接背景减后的图像；图6(5)是对(4)使用阈值二值化处理；图6(6)利用抑制虚假变化算法后得到的变化象素。

具体实施方式

[0020] PTZ摄像机旋转运动情况下的入侵检测分两个阶段：第一阶段是预处理阶段，完成抓取背景帧和建立索引；第二阶段是正式检测阶段，根据当前摄像机位置选取背景帧，利用背景除去法发现变化像素，如图1所示，具体包括如下步骤：

[0021] 步骤一，获取背景帧，并建立背景帧的索引，这一步主要使用图像配准或跟踪技术计算每一背景帧的摄像机运动参数，摄像机运动参数是指表示摄像机姿态的Pan和Tilt值，但本发明不考虑Zoom和Roll运动，简称PTZ值。先将摄像机复位，然后控制摄像机从初始角度开始，每采集一帧图像计算一次相邻图像帧之间的运动参数，然后，根据从运动参数中获得的x、y、z方向的平移分量估计摄像机Pan和Tilt旋转的变化量，当摄像机Pan和Tilt旋转的累积变化量超过设定数值时，抓取一幅背景帧，并用当前的运动参数标记该背景帧。

[0022] 用(X，Y，Z)表示初始摄像机坐标系中的一个三维坐标点，其在二维图像坐标系的成像点为(u，v)，根据针孔成像原理它们之间的关系满足：

[0023]

[0024] 表示成齐次坐标形式

[0025]

[0026] 其中f为镜头焦距。

[0027] 若摄像机分别绕坐标轴x、y、z旋转α、β、γ角度，点(X，Y，Z)在新摄像机坐标系的新坐标(X′，Y′，Z′)，二者之间的关系为

[0028]

[0029] 当摄像机运动较小，即α、β、γ都很小时，由三角函数近似公式(sinx≈x，cosx≈1)上式简化为

[0030]

[0031] 设新图像坐标为(x′，y′)，则它与(x，y)的关系由(2)(4)可得

[0032]

[0033] 如果采用4参数模型，上式可以写成

[0034]

[0035] 其中

[0036] 显然α、β、γ的变化分别反映在m1、m2、m3中，如果在监控过程中摄像机的焦距保持不变，则 这样能够根据m1、m2、m3的值近似估计出α、β、γ的值，即m1、m2、m3的累加值(Pan，Tilt，Roll)可以作为背景帧的近似索引。因为不考虑摄像机的Roll运动，所以Roll值近似为0。

[0037] 步骤二，对闯入摄像机的对象进行检测：将摄像机再次复位，同时将步骤一所得的背景帧作为当前背景；摄像机工作后开始旋转，每采集一帧图像进行一次当前图像与当前背景之间的Pan和Tilt旋转数据估计，然后根据得到的Pan和Tilt旋转数据对背景帧和当前帧进行配准，利用图像背景除去法检测闯入对象；若没有检测到闯入对象，则更新摄像机的运动参数值，进而确定是否需要更换背景帧。当背景帧不需要更换时，下一次当前帧与背景帧之间运动参数的估计可以利用上一次估计的结果快速计算，因此称为图像跟踪。当新的背景帧更换进来时，第一次计算背景帧与当前帧之间的运动参数称为图像配准，通过配准得到运动参数，作为随后的图像运动参数跟踪的初始化参数，一直到新的背景帧更换进来。

[0038] 具体地说，在摄像机复位后，启动摄像机，摄像机每旋转一定角度生成一背景图，旋转角度的确定以相邻两背景图片重叠区域数不少于总图像大小的三分之二为宜。

[0039] 当Tilt取一固定值时，背景帧的获取算法如下：

[0040] Step1：向云台控制器发送复位命令，等待云台复位完成

[0041] Step2：运动参数初始化：t＝0，ρ(t)＝(m1 m2 m3 m4)＝(0 0 0 0)；pan初值S＝0，pan旧值Sold＝0；捕获一帧图像I(t)，保存运动参数ρ(t)和当前图像I(t)作为第一幅背景帧；

[0042] Step3：捕获下一帧图像I(t+1)；

[0043] Step4：计算运动参数变化

[0044] δρ＝-(HtH)-1 Ht(I(t+1)-I(t))；

[0045] S＝S+δm1；

[0046] Step5：更新运动参数ρ(t+1)＝ρ(t)+δρ；

[0047] Step6：如果 Wsize为图像帧宽度，保存运动参数ρ(t+1)和当前图像I(t+1)作为背景帧；Sold＝S

[0048] Step7：如果sign(δm1)＝sign(S)，sign为符号检测函数，转Step3，否则结束。

[0049] 背景跟踪算法用于计算摄像机当前的旋转和倾斜角度(pan、tilt)，以此选择合适的背景图片做背景去除法。上述Tilt为固定值时，入侵对象检测算法描述如下：

[0050] Step1：向云台控制器发送复位命令，等待云台复位完成，抓取一副图像I(t)；

[0051] Step2：初始化摄像机运动参数ρ(t＝0)＝(m1 m2 m3 m4)＝(0 0 0 0)；读取首幅背景帧Ib；初始pan值S＝0；

[0052] Step3：抓取下一帧图像I(t+1)；

[0053] Step4：计算摄像机运动参数变化

[0054] δρ＝-(HtH)-1Ht(I(t+1)-I(t))；

[0055] Step5：更新运动参数S＝S+δm1；

[0056] Step6：根据S检索最合适背景帧，判断是否需要更换背景，如果需要更换则读取新背景赋于Ib，否则转Step8；

[0057] Step7：使用多分辨率配准技术估计运动参数初始点ρ0

[0058] ρ0＝esitmate(I(t+1)，Ib)

[0059] 转至Step10；

[0060] Step8：估计运动参数

[0061] δρ0＝-(HtH)-1 Ht(I(t+1)-warp(ρ0，Ib))；

[0062] Step9：更新运动参数ρ0(t+1)＝ρ0(t)+δρ0；

[0063] Step10：使用背景去除法检测运动对象

[0064] 转Step3。

[0065] 由于预存的背景帧数目有限，当前帧和背景帧之间的运动可能较大，此时直接求解方程，不仅需要很长的计算时间，而且有可能只得到方程的局部最优解，一般采用多分辨率分层图像配准来解决这一问题。多分辨率分层图像的生成可以使用小波分解，也可以使用高斯金字塔分解，考虑算法的速度和实现复杂性，本发明采用高斯金字塔分解。配准操作从最低分辨率开始，低分辨率得到的运动参数作为下一较高分辨率级的初始参数，求解新的更精确的运动参数，直到最高分辨率层。

[0066] 实际上在同一分辨率级，一次配准操作往往难以得到最优解，一般需要多次配准循环操作才能得到最优解。相邻两次配准类似于连续图像运动问题，可使用与分层配准相同的运动参数模型。本文对同一分辨率层的多次配准操作，利用上一步的运动参数将当前帧变换到背景帧坐标系下，在下一次循环中再次与背景帧配准，更新运动参数，如此下去，直到运动参数不再发生有意义的变化。

[0067] 在步骤二中，图像背景除去法是指：建立单个高斯背景模型，并结合领域相关性检测消除由图像配准和背景运动产生的虚假检测。

[0068] 邻域相关性检测思想是，对初步判定为运动象素的点象素(x，y)，进一步检查(x，y)是否符合邻域象素背景模型，如果(x，y)属于邻域象素背景模型，则认为是由于配准误差或者背景运动造成的，此时不再认为(x，y)是运动对象象素，即

[0069]

[0070] 其中M保存判定为运动象素点的标志， 表示象素(x，y)的邻域象素的集合，I(x，y)为当前帧中(x，y)位置处象素的强度，Ib(x，y)为背景帧中(x，y)位置处象素的强度，T(x，y)为变化判定阈值。一般检测邻域设定为直径为3至5像素的圆形区域。

[0071] 背景模型的更新：如果(x，y)判定为运动象素则背景模型保持不变，否则更新背景模型和判定阈值，即

[0072]

[0073]

[0074] 其中λ∈[0，1]为更新速度。

[0075] 摄像机运动下的入侵检测实验，图4为在摄像机pan路径上抓取的一组背景帧，图5为一组入侵检测实例，图6为采用背景去除法和消除配准残差及抑制虚假变化像素后得到的检测结果。