复杂背景环境下的前景目标的提取方法和装置

摘要

本发明公开了一种复杂背景环境下的前景目标的提取方法和装置，其中，该方法包括如下步骤：使用视频序列的聚类中心图来提取视频序列的前景目标的特征函数；使用形状滤波器来获取视频序列的空间背景的特征值；通过前景目标的特征函数和空间背景的特征值来从视频序列中提取出前景目标。本发明解决了不能实现复杂背景替换，不能满足客户需求的问题。

权利要求

1.一种复杂背景环境下的前景目标的提取方法，其特征在于，包括如下步骤：使用视频序列的聚类中心图来提取所述视频序列的前景目标的特征函数；

使用形状滤波器来获取所述视频序列的空间背景的特征值；

通过所述前景目标的特征函数和所述空间背景的特征值来从所述视频序列中提取出所述前景目标。

2.根据权利要求1所述的方法，其特征在于，通过以下步骤得到所述视频序列的聚类中心图：在彩色空间上对所述视频序列进行时域和空域求导得到运动观察变量；

运用K均值聚类算法对所述运动观察变量进行聚类，得到所述聚类中心；

根据所述聚类中心建立所述聚类中心图。

3.根据权利要求1所述的方法，其特征在于，所述使用视频序列的聚类中心图来提取所述视频序列的前景目标的特征函数的步骤包括：将所述聚类中心图分解成若干个成分带；

分别对所述若干个成分带进行特征函数的提取。

4.根据权利要求1所述的方法，其特征在于，所述使用形状滤波器来获取所述视频序列的空间背景的特征值的步骤还包括：固定所述聚类中心图对应的聚类中心，将检测窗口集中在所述聚类中心的随机选择的像素位置，并计算落于偏移矩形遮罩的响应颜色通带中的像素，得到与所述聚类中心特征值相同的区域，并将所述区域的信息设置为所述视频序列的空间背景的特征值。

5.根据权利要求1所述的方法，其特征在于，所述通过所述前景目标的特征函数和所述空间背景的特征值来从所述视频序列中提取出所述前景目标：通过所述前景目标的特征函数计算得到所述视频序列对应的运动形状一元势函数；

利用条件随机场模型和所述运动形状一元势函数对所述视频序列进行二值化的最小切割，得到所述前景目标。

6.根据权利要求5所述的方法，其特征在于，所述通过所述前景目标的特征函数计算得到所述视频序列对应的运动形状一元势函数的步骤还包括：通过所述前景目标的特征函数对随机森林进行训练，得到所述运动形状一元势函数。

7.根据权利要求1所述的方法，其特征在于，所述通过所述前景目标的特征函数和所述空间背景的特征值来从所述视频序列中提取出所述前景目标之后，还包括：将需要替换背景的所述前景目标进行着色，组成新的图片或者视频序列进行输出。

8.一种复杂背景环境下的前景目标的提取装置，其特征在于，包括：前景目标特征函数提取单元，用于使用视频序列的聚类中心图来提取所述视频序列的前景目标的特征函数；

背景特征值提取单元，用于使用形状滤波器来获取所述视频序列的空间背景的特征值；

前景目标提取单元，用于通过所述前景目标的特征函数和所述空间背景的特征值来从所述视频序列中提取出所述前景目标。

9.根据权利要求8所述的装置，其特征在于，所述前景目标特征函数提取单元包括：求导模块，用于在彩色空间上对所述视频序列进行时域和空域求导得到运动观察变量；

聚类中心生成模块，用于运用K均值聚类算法对所述运动观察变量进行聚类，得到所述聚类中心；

聚类中心图建立模块，用于根据所述聚类中心建立所述聚类中心图。

10.根据权利要求8所述的装置，其特征在于，所述前景目标特征函数提取单元还包括：分解模块，用于将所述聚类中心图分解成若干个成分带；

提取模块，用于分别对所述若干个成分带进行特征函数的提取。

说明书

复杂背景环境下的前景目标的提取方法和装置

技术领域

[0001] 本发明涉及通信领域，具体而言，涉及一种复杂背景环境下的前景目标的提取方法和装置。

背景技术

[0002] 蓝幕技术又叫做色度键技术，简单地说，他是通过在同一色彩的背景上拍摄物体，通过背景色彩特殊的色调信息加以区分前景和背景，从而达到自动去除背景保留前景的目的。广泛用于广播电视的动态背景合成以及电影和摄影创作中。蓝幕技术不一定非要使用蓝色幕布作为背景，原则上，只要选择前景拍摄对象不具有的颜色作为背景就可以了。正确使用的蓝幕技术，除了可以正确抠取出前景外，还可以抠取出前景中半透明区域和阴影区域。

[0003] 蓝幕技术应用时，拍摄过程中必须选择合适的背景颜色。避免拍摄物体含有背景幕布的颜色，是成功的关键。对于常见的人像拍摄来说，因为人的皮肤介于红色和黄色之间，所以，采用红色、橙色、黄色幕布拍摄无法达到自动抠图的作用，一股采用蓝色、绿色和青色幕布，具体根据拍摄对象的颜色来决定。拍摄的道具同样需要有此讲究。如果拍摄对象含有背景颜色，那么抠图出来拍摄对象上就会变得透明，半透明。如果实在无法避免的时候，可以用后期修补的办法加以弥补。

[0004] 如今的移动通讯已经进入3G时代，相应地，虽然手机的视讯功能早已实现，但有时视讯过程中单一的背景却无法满足运营商和客户的要求，不能实现复杂背景替换，不能满足客户需求。

[0005] 目前现有技术提供一种算法、模型和分割方法：

[0006] 1.随机森林算法

[0007] 在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数(指一组数据中出现次数最多的变数值，即Mode)而定。Leo Breiman和Adele Cutler提出随机森林的算法。这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林而来的。

[0008] 随机森林通过在每个节点处随机选择特征进行分支，最小化了各个分类树之间的相关性，提高了分类精确性。因为每棵树的生长很快，所以随机森林的分类速度很快，并且很容易实现并行化。与通常所用的混合模型和无监督K-均值聚类相比，随机森林的实现简单，速度快，并且达到了很高的精度，是一种有应用前景的多通道图像分割方法。

[0009] 根据下列算法而建造每棵树：

[0010] 1)用N来表示训练例子的个数，M表示变量的数目。

[0011] 2)已知数m，被用来决定当在一个节点上做决定时，会使用到多少个变量。m应小于M。

[0012] 3)从N个训练案例中以可重复取样的方式，取样N次，形成一组训练集。并使用这棵树来对剩余预测其类别，并评估其误差。

[0013] 4)对于每一个节点，随机选择m个基于此点上的变量。根据这m个变量，计算其最佳的分割方式。

[0014] 5)每棵树都会完整成长而不会剪枝。

[0015] 随机森林的优点有：

[0016] 1)对于很多种资料，它可以产生高准确度的分类器。

[0017] 2)它可以处理大量的输入变量。

[0018] 3)它可以在决定类别时，评估变量的重要性。

[0019] 3)在建造森林时，它可以在内部对于一股化后的误差产生无偏差的估计。

[0020] 4)它包含一个好方法可以估计遗失的资料，并且，如果有很大一部分的资料遗失，仍可以维持准确度。

[0021] 5)它提供一个实验方法，可以去检测变量之间的相互作用。

[0022] 6)对于不平衡的分类资料集来说，它可以平衡误差。

[0023] 7)它计算各例中的亲近度，对于数据挖掘、侦测偏离者和将资料视觉化非常有用。

[0024] 8)综上，它可被延伸应用在未标记的资料上，这类资料通常是使用无监督式聚类。也可侦测偏离者和观看资料。

[0025] 9)学习过程是快速的。

[0026] 2.条件随机场模型

[0027] 条件随机场(conditional random field，简称CRF)，是一种鉴别式机率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。

[0028] CRF是一种判别式图模型，因为其强大的表达能力和出色的性能，得到了广泛的应用。从最通用角度来看，CRF本质上是给定了观察值集合的马尔可夫随机场。在这里，我们直接从最通用的角度来认识和理解CRF，最后可以看到，线性CRF和所谓的高阶CRF，都是某种特定结构的CRF。

[0029] 1)随机场

[0030] 简单地讲，随机场可以看成是一组随机变量的集合(这组随机变量对应同一个样本空间)。当然，这些随机变量之间可能有依赖关系，一股来说，也只有当这些变量之间有依赖关系的时候，我们将其单独拿出来看成一个随机场才有实际意义。

[0031] 2)马尔科夫随机场(MRF)

[0032] 这是加了马尔科夫性质限制的随机场。首先，一个马尔科夫随机场对应一个无向图。这个无向图上的每一个节点对应一个随机变量，节点之间的边表示节点对应的随机变量之间有概率依赖关系。因此，马尔科夫随机场的结构本质上反应了我们的先验知识——哪些变量之间有依赖关系需要考虑，而哪些可以忽略。马尔科夫性质是指，对马尔科夫随机场中的任何一个随机变量，给定场中其他所有变量下该变量的分布，等同于给定场中该变量的邻居节点下该变量的分布。

[0033] 3.视频目标分割

[0034] 视频目标分割的研究目的是如何高效准确地从视频序列中提取出视频目标对象。在视频目标分割中，一股不会限定视频序列中目标的类型，它们可以是人群、车辆、船只以及动物等各种各样我们所关注的对象。而且也不会限制视频序列中背景的类型，它们可以是室内户外等不同环境中拍摄到的场景。一股来说，我们把具体应用系统中的处理对象作为视频目标分割算法的目标。在上述的各种应用中，视频序列可以分为两大类：第一类是摄像机固定不动或者运动幅度很小的情况下拍摄的视频序列，在这类视频序列中，典型的应用例子是视频监视系统中拍摄的视频序列；第二类是摄像机的拍摄角度和焦距都可能变化的情况下拍摄的视频序列，这类视频序列一股在影视娱乐节目制作中应用比较广泛。

[0035] 视频目标分割算法可以分为自动视频目标分割算法和交互式视频目标分割算法两大类。自动视频目标分割算法在分割过程中无需人工干预，而交互式视频目标分割算法在分割过程中则需要用户给算法指定初始参数，并在运行过程中对算法进行干预来提高分割的效果。自动视频目标分割算法根据算法处理层次不同可以分成低级层次的分割算法、中级层次的分割算法以及高级层次的分割算法三种。低级层次的分割算法一股是在像素级别上作处理，在这个级别上，视频序列被看作是众多像素的集合，它们关注于在像素级别上对背景、阴影以及前景进行建模。在中级层次的分割算法中，视频序列被认为是由邻域关系组成的像素集合，视频帧中像素之间存在邻域关系，相邻的视频帧之间也存在邻域关系。合理地利用这些邻域信息可以提高分割的效果，中级层次的分割算法一股是以低级层次的分割算法为基础，利用模型对视频序列中的邻域关系进行约束来获得最终的分割结果。高级层次的处理一股是基于目标识别信息的，分割算法通过学习来获得目标的识别信息，再根据这些识别信息对目标进行分割。目前，交互式目标分割算法按所采用的主要技术可以分成三大类：

[0036] 1)第一类是基于目标轮廓跟踪技术的方法；

[0037] 2)第二类是基于抠图技术的方法；

[0038] 3)第三类是基于其他一些技术的方法。

[0039] 针对相关技术中不能实现复杂背景替换，不能满足客户需求的问题，目前尚未提出有效的解决方案。

发明内容

[0040] 本发明的主要目的在于提供一种复杂背景环境下的前景目标的提取方法和装置，以解决不能实现复杂背景替换，不能满足客户需求的问题。

[0041] 根据本发明的一个方面，提供了一种复杂背景环境下的前景目标的提取方法，包括如下步骤：使用视频序列的聚类中心图来提取视频序列的前景目标的特征函数；使用形状滤波器来获取视频序列的空间背景的特征值；通过前景目标的特征函数和空间背景的特征值来从视频序列中提取出前景目标。

[0042] 进一步地，通过以下步骤得到视频序列的聚类中心图：在彩色空间上对视频序列进行时域和空域求导得到运动观察变量；运用K均值聚类算法对运动观察变量进行聚类，得到聚类中心；根据聚类中心建立聚类中心图。

[0043] 进一步地，使用视频序列的聚类中心图来提取视频序列的前景目标的特征函数的步骤包括：将聚类中心图分解成若干个成分带；分别对若干个成分带进行特征函数的提取。

[0044] 进一步地，使用形状滤波器来获取视频序列的空间背景的特征值的步骤还包括：固定聚类中心，将检测窗口集中在聚类中心的随机选择的像素位置，并计算落于偏移矩形遮罩的响应颜色通带中的像素，得到与聚类中心特征值相同的区域，并将区域的信息设置为视频序列的空间背景的特征值。

[0045] 进一步地，通过前景目标的特征函数和空间背景的特征值来从视频序列中提取出前景目标：通过前景目标的特征函数计算得到视频序列对应的运动-形状一元势函数；利用CRF模型和运动-形状一元势函数对视频序列进行二值化的最小切割，得到前景目标。

[0046] 进一步地，通过前景目标的特征函数计算得到视频序列对应的运动-形状一元势函数的步骤还包括：通过前景目标的特征函数对随机森林进行训练，得到运动-形状一元势函数。

[0047] 进一步地，通过前景目标的特征函数和空间背景的特征值来从视频序列中提取出前景目标之后，还包括：将需要替换背景的所述前景目标进行着色，组成新的图片或者视频序列进行输出。

[0048] 根据本发明的另一方面，提供了一种复杂背景环境下的前景目标的提取装置，包括：前景目标特征函数提取单元，用于使用视频序列的聚类中心图来提取视频序列的前景目标的特征函数；背景特征值提取单元，用于使用形状滤波器来获取视频序列的空间背景的特征值；前景目标提取单元，用于通过前景目标的特征函数和空间背景的特征值来从视频序列中提取出前景目标。

[0049] 进一步地，前景目标特征函数提取单元包括：求导模块，用于在彩色空间上对视频序列进行时域和空域求导得到运动观察变量；聚类中心生成模块，用于运用K均值聚类算法对运动观察变量进行聚类，得到聚类中心；聚类中心图建立模块，用于根据聚类中心建立聚类中心图。

[0050] 进一步地，前景目标特征函数提取单元还包括：分解模块，用于将聚类中心图分解成若干个成分带；提取模块，用于分别对若干个成分带进行特征函数的提取。

[0051] 通过本发明，采用聚类中心和形状滤波器，捕捉运动的前景目标和前景目标的空间背景，解决了不能实现复杂背景替换，不能满足客户需求的问题，进而达到了可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标和背景，丰富了视讯功能，满足了客户的需要的效果。

附图说明

[0052] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

[0053] 图1是根据本发明实施例复杂背景环境下的前景目标的提取方法的一种优选的流程图；

[0054] 图2是根据本发明实施例复杂背景环境下的前景目标的提取装置的一种优选的结构框图；

[0055] 图3是根据本发明实施例复杂背景环境下的前景目标的提取装置的另一种优选的结构框图；

[0056] 图4是根据本发明实施例复杂背景环境下的前景目标的提取方法的另一种优选的流程图。

具体实施方式

[0057] 在此对“一个实施例”或“实施例”的任何引用都是指结合实施例所描述的具体特征、结构或者特性被包含在本发明的至少一个实施例中。本实施例的各种数据和方法，有一定特殊性，仅是作为明晰实施方法的一个特例。本专利的应用不限于实施例中的数据、方法、应用场景等。

[0058] 实施例1

[0059] 图1是根据本发明实施例复杂背景环境下的前景目标的提取方法的优选的流程图，包括如下步骤：

[0060] S102，使用视频序列的聚类中心图来提取视频序列的前景目标的特征函数；

[0061] S104，使用形状滤波器来获取视频序列的空间背景的特征值；

[0062] S106，通过前景目标的特征函数和空间背景的特征值来从视频序列中提取出前景目标。

[0063] 在本优选实施例中，采用聚类中心和形状滤波器，捕捉运动的前景目标和前景目标的空间背景，解决了不能实现复杂背景替换，不能满足客户需求的问题，进而达到了可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标和背景，丰富了视讯功能，满足了客户的需要的效果。

[0064] 优选的，通过以下步骤得到视频序列的聚类中心图：在彩色空间上对视频序列进行时域和空域求导得到运动观察变量；运用K均值聚类算法对运动观察变量进行聚类，得到聚类中心；根据聚类中心建立聚类中心图。在本优选实施例中，进一步保证可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标。

[0065] 优选的，使用视频序列的聚类中心图来提取视频序列的前景目标的特征函数的步骤包括：将聚类中心图分解成若干个成分带；分别对若干个成分带进行特征函数的提取。在本优选实施例中，进一步保证可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标。

[0066] 优选的，使用形状滤波器来获取视频序列的空间背景的特征值的步骤还包括：固定聚类中心图对应的聚类中心，将检测窗口集中在该聚类中心的随机选择的像素位置，并计算落于偏移矩形遮罩的响应颜色通带中的像素，得到聚类中心特征值相同的区域，并将区域的信息设置为视频序列的空间背景的特征值。在本优选实施例中，进一步保证可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动目标的空间背景。

[0067] 优选的，通过前景目标的特征函数和空间背景的信息来从视频序列中提取出前景目标：通过前景目标的特征函数计算得到视频序列对应的运动-形状一元势函数；利用CRF模型(条件随机场模型)和运动-形状一元势函数对视频序列进行二值化的最小切割，得到前景目标。在本优选实施例中，进一步保证可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标。

[0068] 优选的，通过前景目标的特征函数和空间背景的信息计算得到视频序列对应的运动-形状一元势函数的步骤还包括：通过前景目标的特征函数对随机森林进行训练，得到运动-形状一元势函数。在本优选实施例中，进一步保证可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标。

[0069] 优选的，根据通过前景目标的特征函数和空间背景的特征值来从视频序列中提取出前景目标之后，还包括：将需要替换背景的所述前景目标进行着色，组成新的图片或者视频序列进行输出。在本优选实施例中，进一步保证可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标和背景。

[0070] 实施例2

[0071] 图2是根据本发明实施例复杂背景环境下的前景目标的提取装置的优选结构框图，其包括：前景目标特征函数提取单元202，用于使用视频序列的聚类中心图来提取视频序列的前景目标的特征函数；背景特征值提取单元204，用于使用形状滤波器来获取视频序列的空间背景的特征值；前景目标提取单元206，用于通过前景目标的特征函数和空间背景的特征值来从视频序列中提取出前景目标。

[0072] 在本优选实施例中，采用聚类中心和形状滤波器，捕捉运动的前景目标和前景目标的空间背景，解决了不能实现复杂背景替换，不能满足客户需求的问题，进而达到了可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标和背景，丰富了视讯功能，满足了客户的需要的效果。

[0073] 优选的，前景目标特征函数提取单元202包括：求导模块2021，用于在彩色空间上对视频序列进行时域和空域求导得到运动观察变量；聚类中心生成模块2022，用于运用K均值聚类算法对运动观察变量进行聚类，得到聚类中心；聚类中心图建立模块2023，用于根据聚类中心建立聚类中心图。在本优选实施例中，进一步保证可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标。

[0074] 优选的，前景目标特征函数提取单元202还包括：分解模块2024，用于将聚类中心图分解成若干个成分带；提取模块2025，用于分别对若干个成分带进行特征函数的提取。在本优选实施例中，进一步保证可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标。

[0075] 优选的，背景特征值提取单元204包括：固定模块2041，用于固定聚类中心图对应的聚类中心；检测窗口设置模块2042，用于将检测窗口集中在该聚类中心的随机选择的像素位置；计算模块2043，用于计算落于偏移矩形遮罩的响应颜色通带中的像素，得到与聚类中心特征值相同的区域，并将区域的信息设置为视频序列的空间背景的特征值。在本优选实施例中，进一步保证可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的空间背景。

[0076] 优选的，前景目标提取单元206通过以下步骤提取前景目标：通过前景目标的特征函数计算得到视频序列对应的运动-形状一元势函数；利用CRF模型(条件随机场模型)和运动-形状一元势函数对视频序列进行二值化的最小切割，得到前景目标。在本优选实施例中，进一步保证可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标。

[0077] 优选的，前景目标提取单元206通过以下步骤得到运动-形状一元势函数：通过前景目标的特征函数对随机森林进行训练，得到运动-形状一元势函数。在本优选实施例中，进一步保证可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标。

[0078] 优选的，根据本发明实施例复杂背景环境下的前景目标的提取装置在提取出前景目标之后，还将需要替换背景的前景目标进行着色，组成新的图片或者视频序列进行输出。在本优选实施例中，进一步保证可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标和背景。

[0079] 实施例3

[0080] 图3是根据本发明实施例复杂背景环境下的前景目标的提取装置的另一种结构框图，包括：预处理模块302、处理模块304和输出模块306。

[0081] 预处理模块302，用于将程序的输入图片的数据部分，加上图片头信息后还原成后续可处理图片形式以便于后续处理和去噪处理，去噪处理包括分别用图像膨胀函数和图像腐蚀函数进行处理以及高斯滤波去噪；

[0082] 处理模块304，用于在彩色空间上对视频序列进行时域和空域求导，并运用K均值聚类算法对运动观察变量(本发明中即训练像素，首先，计算所有训练像素的运动特征。而后，利用K均值聚类算法，将这些二维向量通过期望最大化聚集成M个集群。)进行聚类，从而得到N个颜色通带，然后把得到的分类通带进行特征(每个像素位置N的相关特征值，如颜色、像素位置、对比度等)函数提取，接着通过基于运动能量的随机向量场模型和之前得到的特征集结合得到最优的视频分割二值化模型，在此基础上提取出视频图像中的目标(人物)并合并到待替换的背景上去；

[0083] 输出模块306，用于提取图片数据并输出。

[0084] 此外，包含的函数有接口函数、初始化函数、参数设置函数和释放空间函数，接口函数是图片数据处理的主要函数，方便用户调用，参数设置函数包括设置：图片的宽和高、图片的格式类型、待替换的背景信息以及需要返回的图片数据部分，初始化和释放空间函数则分别在对象创建后初始化相关变量和相关空间的申请及在对象调用结束后，释放处理过程中申请的相应空间给系统内存。

[0085] 由于本实施例的核心是基于随机森林的分类算法及条件随机场模型，随机森林通过自助法重采样技术，在每个节点处随机选择特征进行分支，最小化各个分类树之间的相关性，提高分类精确性；而条件随机场模型具有可以选择上下文相关特征的优点，解决了标记偏见的问题，通过对所有特征进行全局归一化，获得全局的最优值。

[0086] 本实施例引入了新的视觉特征——聚类中心及形状滤波器，(每个形状滤波器被定义为一个聚类中心-矩形对，分别索引聚类中心字典及已被选定在与视频帧大小相关的检测窗口(边框)范围内的矩阵遮罩，形状滤波器的集合被定义为随机选择的聚类中心-矩形对。)可以有效地捕捉运动和运动背景，通过对不同分类器进行分类错误率及效率的对比后选择随机森林作为分类器，并通过优化仅对应一些随机选择的形状滤波器特征值上的每个桩来对随机森林有效地进行训练，最后基于随机森林分类产生的运动-形状一元势函数获得条件随机场模型，通过最小分割实现最终的分割；而发明点在于引入了聚类中心及形状滤波器这样新的视觉特征，分别可以有效地捕捉运动和运动背景，并利用条件随机场模型，由最小分割获得最终的分割结果。

[0087] 本实施例基于随机森林分类算法，相比其他一元分类器，如Gentle Boost、Booster of trees、Ensemble of boosters等，有以下优点：(1)在相同的输入及条件下，分类精确性最高，测试误差最低；(2)产生同样的分类误差的情况下，效率最高；且在速度相同的情况下，非最优分类误差最低。在获得最终分割结果的过程中，采用CRF条件随机场模型，通过融合颜色、对比度及上一步得到的运动形状一元势函数等因素，并由二值化的最小切割函数得到最终的分割结果。CRF相对于隐马尔可夫模型而言具有可以选择上下文相关特征的优点，解决了标记误差的问题，通过对所有特征进行全局归一化，获得全局的最优值，效果明显优于使用隐马尔可夫模型以及二维马尔可夫随机场模型的结果。

[0088] 实施例4

[0089] 本实施例提供了一种复杂背景环境下的前景目标的提取方法，其包括如下步骤：

[0090] 1)在彩色空间上对视频序列进行时域和空域求导，运用K均值聚类算法对运动观察变量进行聚类，计算出聚类中心，建立聚类中心图，将图分解为若干个成分带，并对得到的分类通带进行特征函数提取；

[0091] 2)根据已定义的形状滤波器自适应地捕捉运动的空间背景，给定某聚类中心，将检测窗口集中在某一像素位置，并计数落于偏移矩形遮罩的相应颜色通带中像素的数目。而形状滤波器间的特征值通过对两个形状滤波器的聚类中心计数做减法而得到，形状滤波器则为所用特征值的一股化；

[0092] 3)根据训练数据集对随机森林进行训练，得到运动-形状一元势函数，通过优化仅在一些随机选择的形状滤波器特征值上获得的每个桩来对随机森林有效地进行训练；

[0093] 4)通过融合运动-形状，颜色及在条件随机场模型中的与先验局部平滑性的对比及上一步得到的运动-形状一元势函数等因素，利用CRF模型，由二值化的最小切割得到最终的分割结果。

[0094] 由此还可以看出：

[0095] 1)在精度方面：摄像头读取并传给本发明的图像可以是任意分辨率任意格式，经处理后输出的图像可以是任意有效的比摄像头读入图像小的分辨率，摄像头读取的图像背景可以比较复杂。

[0096] 2)在时间特性方面：由于本发明的实施例基于视讯通话的实时发明，不考虑摄像头读取图像和传输时的延迟，处理的速度保持在视觉可接受范围，可以快速的完成视频实时的显示。

[0097] 3)在灵活性方面：对运行环境等的依赖度较低，运行期间开销小，可扩展性强。

[0098] 对于不同环境的自适应性强，本系统对不同背景环境中的目标(人物)，都能够很好地得到提取并灵活的切换背景，并可有效地嵌入于各种相关的大型软件中。

[0099] 实施例5

[0100] 图4是根据本发明实施例复杂背景环境下的前景目标的提取方法的另一种流程图，包括如下步骤：

[0101] S402，从参数设置函数设定待替换背景图片参数的信息；

[0102] S404，根据接口函数参数中原始图片数据部分，创建空图并重建出完整的原始信息图片，由于摄像头获取的图片信息包含有噪音，因此对其进行高斯滤波去噪；

[0103] S406，在彩色空间上对视频序列进行时域和空域求导，运用K均值聚类算法，对运动观察变量进行聚类，建立聚类中心图，将聚类中心图分解为若干个成分带，并对得到的分类通带的运动观察变量进行运动特征函数的提取；

[0104] S408，根据运动特征函数提取的特征值得到N个聚类图像带；

[0105] S410，将上述N个聚类图像带拆分成N个类带图像，对任意两个类带图像对应的像素点，得到的形状滤波器的值，执行减法运算，提取二值特征集；

[0106] S412，结合二值特征集和步骤S404得到的原始图片运动特征，进行能量条件随机场的建模；

[0107] S414，根据能量随机场的建模得到的模型，得到目标人物二值化模板，执行步骤S420；

[0108] S416，输入待替换背景图片；

[0109] S418，获得上述输入的待替换背景图片的背景模型；

[0110] S420，根据原始图片的颜色，结合步骤S414和步骤S418将目标人物着色到背景模型中；

[0111] S422，输出替换背景后的图片数据。

[0112] 本发明各个实施例的测试原则示例如下述，但不仅限于下述。

[0113] 1)为了保持边缘的连通性，目标人物最好保持在视频范围之内，这样效果更佳。

[0114] 2)输入的信息有：

[0115] 视频采集到的原始视频帧图片的数据部分。其来源是外部申请的一个指定的缓冲区。

[0116] 原始视频图片格式，例如RGB24。

[0117] 原始视频图片宽度及高度。

[0118] 图片处理参数，参数类型为结构体，如要替换的背景路径等。

[0119] 输出的信息，即返回的信息，为最终替换背景后的图片的数据部分。返回值保存在该指针指向的申请的缓冲区。

[0120] 原始图片来源于视频截图的任意一帧，像素大小为176*144。

[0121] 3)适用环境为光线比较清晰环境，不影响视频采集效果为佳。

[0122] 从以上的描述中，可以看出，本发明实现了如下技术效果：

[0123] 本发明针对复杂背景下的运动视频中的关键目标(主要是人物)进行提取，运用随机森林分类法的双层视频分割技术进行研究。首先在彩色空间上对视频序列进行时域和空域求导，并运用K均值聚类算法对运动观察变量进行聚类，从而得到N个颜色通带，然后把得到的分类通带进行特征函数提取，接着通过基于运动能量的条件随机场模型和之前得到的特征集结合得到最优的视频分割二值化模型，在此基础上提取出视频图像中的目标(人物)，综上开发出复杂背景下的运动视频通话背景替换系统。进而达到了可以在复杂背景环境下的前景目标的提取，且有效的捕捉运动的前景目标和背景，丰富了视讯功能，满足了客户的需要的效果。

[0124] 显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

[0125] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。