猪舍监控视频中前景提取方法

摘要

本发明公开一种猪舍监控视频中前景提取方法，先获得一个不含前景的初始背景帧和含有前景的背景帧序列，然后进行相邻对称帧差分和背景帧差分，根据相邻对称帧差分和背景帧差分进行前景运动分析，获得状态编码，以状态编码进行背景更新和前两个帧差分融合获得包含阴影在内的前景，计算局部纹理算子的背景欧式距离和HSV颜色空间的S、H通道背景帧差，联立阴影判别条件，最后，根据像素属性值的结果提取前景帧。本发明适用于规模养猪场的猪舍监控，具有自适应性、鲁棒性和较高的前景目标分割精度，为后继工作猪视频智能分析创造有利条件。

权利要求

1.一种猪舍监控视频中前景提取方法，在猪舍区域设置摄像系统和计算机控制系统，计算机控制系统内部有相邻对称帧差分处理框模块、背景帧差分处理框模块、运动分析处理框模块、前景融合模块、背景更新模块、阴影检测模块和前景提取模块，其特征在于包括以下具体步骤：

1） 通 过 摄 像 系 统 获 得 一 个 不 含 前 景 的 初 始 背 景 帧 和含有前景的背景帧 序列并在计算机控制系统中保留；

2）相邻对称帧差分处理框模块输入背景帧 序列中的连续3个相邻帧，将当前帧 与前、后帧 、 分别进行差分并将差分后的两二值化图像进行“与”运算得到相邻对称帧差分 ；

3）背景帧差分处理框模块输入当前帧 和初始背景帧 ，输出为二值化的背景帧差分 ，选择RGB颜色空间的B通道进行背景帧差分处理，得到背景帧差分 ；

4）运动分析处理框模块输入背景帧差分 和相邻对称帧差分 进行运动状态判别，输出当前帧前景状态编码 ， 是当前帧 进行相邻对称帧差分运算的运动状态，为当前帧 帧进行背景帧差分运算的场景状态；当运动区域面积占总图像面积的比例小于第一阈值时前景运动缓慢或静止或没有前景，当前景面积占总图像面积的比例大于第二阈值时背景光照发生突然变，小于第三阈值时场景中没有前景，其中第一阈值可取值0.04～

0.12，第二阈值可取值0.6～0.8，第三阈值可取值0.03～0.07； 前景正常运动的前景状态编码 是00、前景缓慢运动的前景状态编码 是10，没有前景的前景状态编码是11、背景光照突变的前景状态编码 是02；

5）前景融合模块将背景帧差分 和相邻对称帧差分 进行“或”运算，经滤波、形态学操作和连通标记操作得到含有阴影的前景二值图 ；

6）背景更新模块输入当前帧前景状态编码 、初始背景帧 、前对称帧 和其前景二值图 、当前帧 和其前景二值图 ，输出是背景帧 ；当前景状态编码 是

11时重建全新背景帧 ；当前景状态编码 是00或10时，将当前帧 除去前景二值图后剩余区域像素代替初始背景帧 相应像素，被前景二值图 遮挡的背景区域为初始背景帧 对应像素值，再补偿前景二值图 的当前帧 前景边缘像素和对应的前帧 像素值差的均值；当前景状态编码 是02时，由前帧 除去前景二值图 后剩余区域对应的当前帧 像素代替初始背景帧 对应的背景像素，初始背景帧 中前景二值图 遮挡的背景区域为初始背景帧 对应像素值，再补偿前景二值图 前景边缘对应的前帧 像素和对应当前帧 像素值差的均值；

7）阴影检测模块将含有阴影的前景二值图 对应的当前帧 像素值取RGB 颜色空间的B通道的值，采用8邻域像素构建局部纹理区域，计算前景区域内部各像素的局部纹理结构算子 ，包含阴影的前景二值图 区域在当前帧 像素点 算子设为 ，包含阴影的前景二值图 区域在未更新背景的背景帧 相应位置点 算子设为 ，比较这两个结构算子 值的欧氏距离，若小于0.11，则该像素点为阴影像素点，否则为前景像素点； 再将含有阴影像素点的前景二值图 对应的当前帧 像素值 在HSV颜色空间对阴影进行判别，前景阴影区域的饱和度 和对应未更新的背景区域 的差分小于0.22且阴影区域的色度 和未更新的背景区域 差分小于0.08，则判断为阴影像素点，否则为前景像素点；

8）计算机通过前景提取模块将当前帧 中像素值 为0的区域保留为当前帧 原像素值，其余像素显示为黑色背景，则将不含阴影的前景提取出来。

说明书

猪舍监控视频中前景提取方法

技术领域

[0001] 本发明涉及一种视频监控前景目标提取方法，尤其涉及猪舍固定摄像监控视频猪的提取方法，具体适用于养猪场智能视频监控技术领域，属于智能视频目标检测技术。

背景技术

[0002] 视频监控前景目标提取是将视频帧序列中每一帧里的背景去除，检测前景目标并分割出来的技术。前景提取方法按摄像头装置分为固定和移动两大类，按前景目标特性分刚体和非刚体两大类。猪舍监控视频中前景提取方法属于固定摄像的非刚体前景提取技术。

[0003] 张敏博士（参见：张敏. 基于体态识别的动物行为自动分析研究与应用[D]. 杭州 浙江大学生物医学工程与仪器学院 2005.）采用彩色图像阈值剪影获得完整的前景目标，这种方法简单，计算代价小，属于经典背景帧差法，但这种方法要求背景是静止不变的，且背景愈简单分割效果愈好。而现实的猪舍背景难以满足此条件，由于猪舍一般设计成通风透光建筑，晴天光线强，猪在室内移动，会出现影子；阴天光线也会随时间发生渐变；当投射阳光的窗户突然出现暂时性遮挡时会起室内照度突变。

[0004] Xin教授等人（Shao B ,Xin H. A real-time computer vision assessment and control of thermal comfort for group-housed pigs[J]. Computers and Electronics in Agriculture. 2008, 62 (1):15-21.）利用实验室现场深色背景和白色猪反差大的特点，采用连续3帧的均值作为处理帧，运用灰度阈值分割出初步的前景，再进行形态学和面积阈值处理，得到精确的前景，此法属于图像处理分割方法获得前景目标，适用仅限于特定的实验条件。特别是当前景运动时，连续3帧的平均值导致前景伪目标点增多。直接采用图像处理忽略了帧序列的时域特性，不是视频帧目标检测的常用方法。

[0005] 一般常用的视频帧背景去除方法（参见：Herrero S ,Bescós J. Background Subtraction Techniques: Systematic Evaluation and Comparative Analysis[C] //Proceedings of the 11th International Conference on Advanced Concepts for Intelligent Vision Systems.Springer-Verlag. 2009,5807/2009:33-42.）分为3类，即基本型，如帧差法、中值滤波；参数模型，如单高斯、混合高斯模型；非参数模型，如直方图法、核密度法。而混合高斯模型和非参数模型计算量大，方法复杂，实时性差，因而限制了其在实际应用中的推广。而中值滤波和单高斯模型在前景目标缓慢运动时会产生拖影；相邻帧差法计算简单，但目标内容易产生空洞，且当猪站立不动时，会被误作背景；背景帧差法必须建立背景更新模型，且上述3类算法都无法消除前景的影子。

[0006] 胡园园（参见：胡园园 ,王让定. 基于局部纹理不变性的运动阴影去除算法[J]. 计算机应用. 2008, 28 (012):3141-3143.）提出用增强的LBP算子描述局部纹理结构能很好地区分前景目标和影子。然而，当背景图像和前景物体具有相似的纹理信息时这种方法将会失去作用，因此，这就限制了算法的应用。

发明内容

[0007] 本发明的目的在于克服现有的猪视频前景目标提取方法的不足，提出一种鲁棒性好、效果好和实时性好的猪舍监控视频中前景提取方法，能够保留精确的视频帧前景边缘、且消除常见方法易导致前景内部空洞、拖影和阴影并存现象，并能抑制电子噪声和地面水渍及排泄物痕迹变化对前景的影响。

[0008] 本发明采用的技术方案是：在猪舍区域设置摄像系统和计算机控制系统，计算机控制系统内部有相邻对称帧差分处理框模块、背景帧差分处理框模块、运动分析处理框模块、前景融合模块、背景更新模块、阴影检测模块和前景提取模块。通过摄像系统获得一个不含前景的初始背景帧 和含有前景的背景帧 序列并在计算机中保留。相邻对称帧差分处理框模块输入背景帧 序列中的连续3个相邻帧，将当前帧 与前、后帧 、 分别进行差分并将差分后的两二值化图像进行“与”运算得到相邻对称帧差分 。背景帧差分处理框模块输入当前帧 和初始背景帧 ，输出为二值化的背景帧差分 ，选择RGB颜色空间的B通道进行背景帧差分 。运动分析处理框模块输入背景帧差分 和相邻对称帧差分 进行运动状态判别，输出当前帧前景状态编码 ， 是当前帧 进行相邻对称帧差分运算的运动状态，为当前帧 帧进行背景帧差分运算的场景状态；当运动区域面积占总图像面积的比例小于0.04～0.12时前景运动缓慢或静止或没有前景；当前景面积占总图像面积的比例大于0.6～0.8时背景光照发生突然变、小于0.03～0.07时场景中没有前景； 前景正常运动的前景状态编码 是00、前景缓慢运动的前景状态编码 是10，没有前景的前景状态编码 是11、背景光照突变的前景状态编码 是02。前景融合模块将背景帧差分和相邻对称帧差分 进行“或”运算，经滤波、形态学操作和连通标记操作得到含有阴影的前景二值图 。背景更新模块输入当前帧前景状态编码 、初始背景帧 、前对称帧 和其前景二值图 、当前帧 和其前景二值图 ，输出是背景帧 ；当前景状态编码 是11时重建全新背景帧 ；当前景状态编码 是00或10时，将当前帧 除去前景二值图 后剩余区域像素代替初始背景帧 相应像素，被前景二值图 遮挡的背景区域为初始背景帧 对应像素值，再补偿前景二值图 的当前帧 前景边缘像素和对应的前帧 像素值差的均值；当前景状态编码 是02时，由前帧 除去前景二值图 后剩余区域对应的当前帧 像素代替初始背景帧 对应的背景像素，初始背景帧 中前景二值图 遮挡的背景区域为初始背景帧 对应像素值，再补偿前景二值图 前景边缘对应的前帧 像素和对应当前帧 像素值差的均值。阴影检测模块将含有阴影的前景二值图 对应的当前帧 像素值取RGB颜色模型B通道的值，采用8邻域像素构建局部纹理区域，计算局部纹理结构算子 且比较两个结构算子 值的欧氏距离，若小于0.11，则该像素点为阴影像素点，否则为前景像素点；再将含有阴影像素点的前景二值图 对应的当前帧 像素值 在HSV颜色空间对阴影进行判别，前景阴影区域的饱和度 和对应未更新的背景区域 的差分小于0.22且阴影区域的色度 和未更新的背景区域 差分小于0.08，则判断为阴影像素点，否则为前景像素点。计算机通过前景提取模块将当前帧 中像素值 为0的区域保留为当前帧 原像素值，其余像素显示为黑色背景，则将不含阴影的前景提取出来。

[0009] 本发明的有益效果是：

[0010] 1、将相邻对称帧差分和自适应背景更新的背景帧差分融合，再通过阴影检测算法，不仅能精确检测运动前景目标区域，也适用于运动缓慢或静止的前景目标检测。而阴影检测算法联立纹理结构LT 算子和HSV颜色空间阴影双重检测，增强对阴影的识别能力。

[0011] 2、在执行帧处理时，所有运算模块皆由计算性能简单的算法构成，并且，算法执行流程采用了潜在的并发结构，易于算法移植到多处理器硬件平台上时并发执行，实现可靠的实时视频帧图像处理。

[0012] 3、本发明适用于规模养猪场的猪舍监控，在猪舍室内无论单目标还是多目标，背景光线无论是柔和渐变还是强烈突变，无论猪是站或卧还是停停走走，都能够消除空洞、拖影和阴影，并能抑制电子噪声和地面水渍及排泄物痕迹变化对前景的影响，获得精确的前景目标，具有自适应性、鲁棒性和较高的前景目标分割精度，为后继工作猪视频智能分析创造有利条件。

附图说明

[0013] 下面结合附图和具体实施方式对本发明作进一步详细说明；

[0014] 图1是本发明猪舍监控视频中前景提取方法流程框图；

[0015] 图2是图1中阴影检测算法的流程图。

具体实施方式

[0016] 本发明在实施时，在规模养猪场猪舍区域安装有摄像系统和计算机控制系统，将摄像系统和计算机控制系统相连，计算机控制系统内部具有相邻对称帧差分处理框模块、背景帧差分处理框模块、运动分析处理框模块、前景融合模块、背景更新模块、阴影检测模块和前景提取模块。规模养猪场猪舍区域的地面为水泥地，上面留有部分排泄物，整个视频背景光线较亮。以并行算法进行相邻对称帧差分和背景帧差分，根据相邻对称帧差分和背景帧差分的输出变量，进行前景运动分析，获得状态编码，以状态码为控制条件并行进行自适应背景更新和前两个帧差分融合获得包含阴影在内的前景，阴影检测模块以并行算法计算局部纹理算子（Local Texture, LT）的欧式距离和表示色相、饱和度和亮度的HSV 颜色空间的S、H 通道前景帧差，联立阴影判别条件，最后，根据像素属性的结果标识，消除阴影，提取只含前景的当前帧。具体步骤如下，参见图1：

[0017] 1、获得初始背景帧

[0018] 计算机通过固定摄像获得一个没有猪的空场景视频帧，即一个不含前景的初始背景帧 ，并将这一初始背景帧 作保留。之后，有头猪慢慢走进这个区域，驻足低头啃地一会儿，有短暂排粪现象，然后离开此区域；在猪活动的这一时间段，通过固定摄像系统获得含有前景的背景帧 序列。在猪的背景帧 序列中，有不含猪的一帧，也可将这个不含猪的一帧作为初始背景帧 。

[0019] 2、相邻对称帧差分

[0020] 在猪的背景帧 序列中，计算机通过相邻对称帧差分处理框模块输入连续3个相邻帧 、 、 ，输出是中间的当前帧 二值化的运动区域。在帧序列连续3帧图像中，为了提取当前帧 运动对象边缘，本发明采用相邻对称帧差分 ，即当前帧与前后相邻对称帧分别进行差分，并将差分后的两二值化图像进行“与”运算，得到结果即为当前帧运动目标边缘，即相邻对称帧差分 。见公式（1）。相邻对称帧差分 是所有为1的点所在区域，属于前景运动区域。二值化的阈值 采用日本Otsu提出的最大类间方差法（参见：Otsu N. A threshold selecti on method from gray-level histograms[J]. IEEE Transactions on System Man and Cybernetics. 1979, 9 (1):62-69.），还需补偿一个与摄像系统噪声有关的常量 ，其值一般在0.06～0.3之间，本发明取值为0.1，确保不含前景目标时过滤帧间噪声。该算法增强了运动目标边缘信号，拉大目标与背景残留噪声的差异，消除运动目标遮挡或重现的背景纹理。

[0021] (1)

[0022] 3、背景帧差分

[0023] 计算机系统中的背景帧差分处理框模块输入为当前帧 以及初始背景帧 ，输出为二值化的背景帧差分 。本发明的背景帧差分模块是为了增加前景的内部信号。前景猪的颜色和纹理与背景差异较大，分割效果明显。选择RGB（Red Green Blue, RGB）颜色空间的B 通道进行当前帧 和背景帧差分 ，背景帧差分 二值化的阈值 采用最大类间方差法，还需补偿一个与摄像系统噪声有关的常量 ，其值一般在0.06～0.20之间，本发明取值为0.12，确保不含前景目标时过滤帧间噪声，见公式(2)所示。如果 为1，则为前景区域，否则，为背景。

[0024] (2)

[0025] 4、运动分析

[0026] 计算机系统中的运动分析处理框模块输入为背景帧差分 和相邻对称帧差分，输出为当前帧前景状态编码 ，可进行运动状态判别及输出当前帧 的处理控制条件。由于相邻对称帧差分 只能获得包含阴影在内前景的运动区域，当运动区域的面积占总图像面积N(I)的比例 小于某个较小阈值e1时，其与帧率和运动目标个数有关，一般在0.04～0.12，本发明取0.07，则认为前景运动缓慢或静止或没有前景。由于背景帧差分 能获得包含阴影在内的前景区域，当前景面积 占总图像面积N(I)的比例 大于某个较大阈值e2时，一般在0.6～0.8，本发明取0.7，表明此帧没有前景目标或光照发生突然变化，只进行背景更新操作，进入下一帧。 小于较小阈值e3时，其与摄像系统噪声有关，一般在0.03～0.07，本发明例取0.03，则认为场景中不存在前景。通过公式(3)、(4) 、(5)、(6)，获得当前帧 的前景状态编码 ，可按表1输出相应的后继控制条件。 为当前帧 进行相邻对称帧差分运算所能代表的运动状态， 为 帧进行背景帧差分运算所能代表的场景状态。实施不同时段状态编码 依次为11、00、10、00、11。

[0027] (3)

[0028] (4)

[0029] (5)

[0030] (6)

[0031] 表 状态编码StSt’及控制条件输出

[0032]状态判别及当前帧处理
00前景正常运动，则进行背景更新，前景融合，阴影去除
10前景缓慢运动，则进行背景更新，前景融合，阴影去除
11没有前景，只进行背景更新操作，进入下一帧
02背景光照突变，只进行背景更新操作，进入下一帧

[0033] 5、前景融合

[0034] 计算机系统中的前景融合模块进行背景帧差分 和相邻对称帧差分 融合，即二者进行“或”运算得到含有阴影的前景二值图 ，这样相邻对称帧差分 丢失的前景信息得到很好补偿，前景二值图 是含有阴影的粗糙前景区域。最后，经滤波滤去孤立点噪声，形态学操作和连通标记操作彻底消除前景区域内的小空洞，小面积阈值滤去像刚产生的粪块和尿斑块，得到含有阴影的精确前景二值图 。

[0035] 本发明前景融合处理框模块输入为条件控制信号，即当前帧 的前景状态编码、二值化的背景帧差分 和相邻对称帧差分 ，输出为含有阴影的前景二值图，其中， 为11时，表示没有猪存在，当前帧 不需要进行前景融合，转下一帧处理；为10、00时表示为猪缓慢、正常运动，相邻对称帧差分后不能消除内部空洞，且难以发现静止的前景目标，而背景帧差分无法获得运动目标精确边缘，解决措施是采用背景帧差分 和相邻对称帧差分 融合，即二者进行“或”运算得到粗糙的背景帧差分 和相邻对称帧差分 ，这样相邻对称帧差分丢失的前景信息得到很好补偿，最后，经滤波滤去孤立点噪声，形态学操作和连通标记操作彻底消除前景区域内的小空洞，小面积阈值滤去像刚产生的粪块和尿斑块，得到精确的、含有阴影的前景二值图 。

[0036] 6、背景更新

[0037] 由于实际背景不是静态的，故必须背景进行更新，本发明计算机系统中的背景更新模块始终由并行程序维护一个背景模型。背景更新处理框模块输入是当前帧 的前景状态编码 、初始背景帧 、前帧 和其前景二值图 、当前帧 和其前景二值图，输出为背景帧 。初始背景是视频序列前段中不含前景的初始背景帧 。前景状态编码 为11时，表示没有检测出前景，由当前帧 全部象素代替背景全部象素，相当于重建全新背景帧 ； 为00或10时，表示检测出前景，则在 除去前景区域后剩余区域像素代替初始背景帧 相应像素，被前景二值图 遮挡的背景区域为初始背景帧 对应像素值，再补偿前景二值图 的当前帧 前景边缘像素和对应的前帧 像素值差的均值；如果 为02时，表明检测到背景光照突变，则由前帧 除去前景区域 后剩余区域对应的当前帧 像素代替原 对应的背景像素，原 中前景 遮挡的背景区域为 帧对应像素值，再补偿前景 前景边缘对应的 像素和对应当前帧 像素值差的均值。

[0038] 7、阴影检测：

[0039] 本发明计算机系统中的阴影检测模块含有两个并发的阴影检测子模块结构，使用两个子模块的目的是为强化对阴影检测算法的鲁棒性。

[0040] 表 8-邻域结构图像块

[0041]g4 g3 g2
g5 g0 g1
g6 g7 g8

[0042] 将含有阴影的前景二值图 对应的当前帧 像素值取RGB（Red Green Blue, RGB）颜色模型B通道的值，采用了与中心像素点距离1个像素的8邻域像素来构建局部纹理描述区域，见表2，计算前景区域内部各像素的局部纹理结构算子 (Local Texture, LT)，见公式（7），这里 代表像素块中心像素及周围8个点的灰度值， 算子为9个元素的一维向量，公式(10)中的 为包含阴影的前景二值图 总像素点数，T是包含阴影的前景二值图 所有像素点灰度值局部差均值的均值。包含阴影的前景二值图 区域在当前帧 像素点 算子设为 ，包含阴影的前景二值图 区域在未更新背景的背景帧相应位置点 算子设为 ，通过比较这两个 值的欧氏距离，如果小于阈值 ，本发明取0.11，则该像素点为阴影像素点，否则为前景像素点，前景像素属性值 见公式（11）。

[0043] ，i=0,1,…,8 (7)

[0044] 式中： ，m是3×3像素块灰度值的均值 (8)

[0045] (9)

[0046] ， (10)

[0047] HSV 颜色模型非常符合人对颜色的视觉感知生理特性，能精确地反映一些灰度信息和色彩信息，对于图像中极亮和极暗的物体，也能很好地反应出相应信息。因此，将含有阴影的前景二值图 对应的原输入的当前帧 像素值在HSV颜色空间对阴影进行判别。前景阴影区域的饱和度 和对应未更新的背景区域 的差分小于阈值 ，本发明取0.22；同时，阴影区域的色度 和未更新的背景区域 差分小于阈值 ，本发明取0.08，则判断为阴影像素点，否则为前景像素点。

[0048] (11)

[0049] 为防止当背景图像和前景物体具有相似的纹理信息时 方法将会失去作用，故阴影检测判别函数需要联立判别条件，见公式(11)所示，若包含阴影的前景像素属性值值为1，则为阴影，否则为前景目标区域，标识精确的前景目标区域。

[0050] 本发明阴影检测处理框模块采用并行结构，具体如图2所示，虚线框图部分代表图1的阴影检测框，输入是初始背景帧 、含有阴影的前景二值图 、对应的原输入当前帧 ，输出是前景像素属性值 。

[0051] 8、前景提取

[0052] 本发明的前景提取模块是为了提取精确的前景目标。将原输入当前帧 中像素值为0的区域保留为当前帧 原像素值，其余像素显示为黑色背景，即当前帧 其余像素值设为0，则将不含阴影的前景精确地提取出来，以便后继目标跟踪、模式识别工作的顺利开展。