视频图像的处理方法、装置和终端设备

摘要

本发明实施例提供了一种视频图像的处理方法、装置和终端设备，涉及人工智能技术领域，其中，所述方法包括：获取待处理的视频图像和待展示的业务对象；确定所述视频图像的背景区域，采用计算机绘图方式在所述视频图像的背景区域绘制所述业务对象。本发明实施例实现业务对象在视频图像的背景区域展示，避免业务对象遮挡前景区域，不影响观众的正常视频观看体验，不易引起观众反感，可以有效实现预想的效果。

权利要求

1.一种视频图像的处理方法，包括：

获取待处理的视频图像和待展示的业务对象，所述视频图像为直播类视频图像，所述业务对象包括包含有语义信息的特效；

确定所述视频图像的背景区域，所述背景区域为除了人物所在的区域之外的至少局部区域；

确定所述业务对象在所述视频图像中的展示位置和所述视频图像的前景区域；

根据所述展示位置判断所述业务对象与所述视频图像的前景区域是否存在重叠部分；

若存在，则采用计算机绘图方式，在所述背景区域绘制所述业务对象中除所述重叠部分之外的部分。

2.根据权利要求1所述的方法，其中，所述确定所述视频图像的背景区域包括：通过预先训练的第一卷积神经网络模型确定所述视频图像的背景区域。

3.根据权利要求2所述的方法，其中，所述对所述第一卷积神经网络模型的预先训练包括：获取第一样本图像的第一特征向量，其中，所述第一样本图像为包含有前景标注信息和背景标注信息的样本图像；

对所述第一特征向量进行卷积处理，获取第一特征向量卷积结果；

对所述第一特征向量卷积结果进行放大处理；

判断放大后的所述第一特征向量卷积结果是否满足卷积收敛条件；

若满足，则完成对所述第一卷积神经网络模型的训练；

若不满足，则根据放大后的所述第一特征向量卷积结果调整所述第一卷积神经网络模型的网络参数并根据调整后的所述第一卷积神经网络模型的网络参数对所述第一卷积神经网络模型进行迭代训练，直至迭代训练后的所述第一特征向量卷积结果满足所述卷积收敛条件。

4.根据权利要求1所述的方法，其中，所述确定所述业务对象在所述视频图像中的展示位置包括：按照设定规则确定所述业务对象在所述视频图像中的展示位置；

其中，所述设定规则包括：预先设定的所述业务对象在所述视频图像的设定展示位置，或者，根据所述前景区域中的目标对象的动作检测数据，确定所述业务对象在所述视频图像中的展示位置。

5.根据权利要求4所述的方法，其中，所述根据所述前景区域中的目标对象的动作检测数据，确定所述业务对象在所述视频图像中的展示位置包括：根据所述前景区域中的目标对象的动作检测数据，通过预先训练的、第二卷积神经网络模型确定所述业务对象在所述视频图像中的展示位置。

6.根据权利要求5所述的方法，其中，所述对所述第二卷积神经网络模型的预先训练包括：获取第二样本图像的第二特征向量，其中，所述第二特征向量中包含有所述第二样本图像中的业务对象的位置信息和/或置信度信息，以及所述第二样本图像中目标对象的目标对象特征向量；

对所述第二特征向量进行卷积处理，获取第二特征向量卷积结果；

判断所述第二特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息是否满足业务对象收敛条件，并判断所述第二特征向量卷积结果中的目标对象特征向量是否满足目标对象收敛条件；

若均满足，则完成对所述第二卷积神经网络模型的训练；

否则，调整所述第二卷积神经网络模型的网络参数并根据调整后的所述第二卷积神经网络模型的网络参数对所述第二卷积神经网络模型进行迭代训练，直至迭代训练后的业务对象的位置信息和/或置信度信息和目标对象特征向量均满足相应的收敛条件。

7.根据权利要求4所述的方法，其中，所述根据所述前景区域中的目标对象的动作检测数据，确定所述业务对象在所述视频图像中的展示位置包括：根据所述前景区域中的目标对象的动作检测数据和所述业务对象的类型，确定所述业务对象在所述视频图像中的展示位置。

8.根据权利要求7所述的方法，其中，所述根据所述前景区域中的目标对象的动作检测数据和所述业务对象的类型，确定所述业务对象在所述视频图像中的展示位置包括：根据所述前景区域中的目标对象的动作检测数据和所述业务对象的类型，获得所述业务对象在所述视频图像中的多个展示位置；

从所述多个展示位置中选择至少一个展示位置。

9.根据权利要求4所述的方法，其中，所述根据所述前景区域中的目标对象的动作检测数据，确定所述业务对象在所述视频图像中的展示位置包括：判断所述前景区域中的目标对象的动作检测数据与预先设定的动作数据是否匹配；

若匹配，则从预先存储的动作数据与展示位置的对应关系中，获取所述预先设定的动作数据对应的目标展示位置作为所述业务对象在所述视频图像中的展示位置。

10.根据权利要求1-9任一所述的方法，其中，所述业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。

11.根据权利要求1-9任一所述的方法，其中，所述直播类视频图像的前景区域为人物所在的区域。

12.根据权利要求5-9任一所述的方法，其中，所述目标对象的动作检测数据包括以下至少之一：眨眼数据、张嘴数据、点头数据、摇头数据、亲吻数据、微笑数据、挥手数据、剪刀手数据、握拳数据、托手数据、大拇指数据、手枪姿势数据、OK手数据。

13.一种视频图像的处理装置，包括：

获取模块，用于获取待处理的视频图像和待展示的业务对象，所述视频图像为直播类视频图像，所述业务对象包括包含有语义信息的特效；

背景区域确定模块，用于确定所述视频图像的背景区域，所述背景区域为除了人物所在的区域之外的至少局部区域；

绘制模块，用于采用计算机绘图方式在所述视频图像的背景区域绘制所述业务对象，包括：展示位置确定模块，用于确定所述业务对象在所述视频图像中的展示位置；

前景区域确定模块，用于确定所述视频图像的前景区域；

判断模块，用于根据所述展示位置判断所述业务对象与所述前景区域是否存在重叠部分；

展示模块，用于若所述业务对象与所述前景区域存在重叠部分，则采用计算机绘图方式，在所述背景区域绘制所述业务对象中除所述重叠部分之外的部分。

14.根据权利要求13所述的装置，其中，所述背景区域确定模块，用于通过预先训练的第一卷积神经网络模型确定所述视频图像的背景区域。

15.根据权利要求14所述的装置，其中，所述装置还包括：第一训练模块，用于对所述第一卷积神经网络模型的预先训练；

所述第一训练模块包括：

第一特征向量获取模块，用于获取第一样本图像的第一特征向量，其中，所述第一样本图像为包含有前景标注信息和背景标注信息的样本图像；

第一卷积处理模块，用于对所述第一特征向量进行卷积处理，获取第一特征向量卷积结果；

放大处理模块，用于对所述第一特征向量卷积结果进行放大处理；

第一条件判断模块，用于判断放大后的所述第一特征向量卷积结果是否满足卷积收敛条件；

第一执行模块，用于若放大后的所述第一特征向量卷积结果满足卷积收敛条件，则完成对所述第一卷积神经网络模型的训练；若放大后的所述第一特征向量卷积结果不满足卷积收敛条件，则根据放大后的所述第一特征向量卷积结果调整所述第一卷积神经网络模型的网络参数并根据调整后的所述第一卷积神经网络模型的网络参数对所述第一卷积网络模型进行迭代训练，直至迭代训练后的所述第一特征向量卷积结果满足所述卷积收敛条件。

16.根据权利要求13所述的装置，其中，所述展示位置确定模块，用于按照设定规则确定所述业务对象在所述视频图像中的展示位置；

其中，所述设定规则包括：预先设定的所述业务对象在所述视频图像的设定展示位置，或者，所述展示位置确定模块根据所述前景区域中的目标对象的动作检测数据，确定所述业务对象在所述视频图像中的展示位置。

17.根据权利要求16所述的装置，其中，所述展示位置确定模块，用于根据所述前景区域中的目标对象的动作检测数据，通过预先训练的第二卷积神经网络模型确定所述业务对象在所述视频图像中的展示位置。

18.根据权利要求17所述的装置，其中，所述装置还包括：

第二训练模块，用于对所述第二卷积神经网络模型预先训练；

所述第二训练模块包括：

第二特征向量获取模块，用于获取第二样本图像的第二特征向量，其中，所述第二特征向量中包含有所述第二样本图像中的业务对象的位置信息和/或置信度信息，以及所述第二样本图像中目标对象的目标对象特征向量；

第二卷积处理模块，用于对所述第二特征向量进行卷积处理，获取第二特征向量卷积结果；

第二条件判断模块，用于判断所述第二特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息是否满足业务对象收敛条件，并判断所述第二特征向量卷积结果中的目标对象特征向量是否满足目标对象收敛条件；

第二执行模块，用于若所述第二特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息满足业务对象收敛条件，且所述第二特征向量卷积结果中的目标对象特征向量满足目标对象收敛条件，则完成对所述第二卷积神经网络模型的训练；否则，调整所述第二卷积神经网络模型的网络参数并根据调整后的所述第二卷积神经网络模型的网络参数对所述第二卷积神经网络模型进行迭代训练，直至迭代训练后的业务对象的位置信息和/或置信度信息和目标对象特征向量均满足相应的收敛条件。

19.根据权利要求16所述的装置，其中，所述展示位置确定模块，用于根据所述前景区域中的目标对象的动作检测数据和所述业务对象的类型，确定所述业务对象在所述视频图像中的展示位置。

20.根据权利要求19所述的装置，其中，所述展示位置确定模块包括：展示位置获得模块，用于根据所述前景区域中的目标对象的动作检测数据和所述业务对象的类型，获得所述业务对象在所述视频图像中的多个展示位置；

展示位置选择模块，用于从所述多个展示位置中选择至少一个展示位置。

21.根据权利要求16所述的装置，其中，所述展示位置确定模块包括：数据判断模块，用于判断所述前景区域中的目标对象的动作检测数据与预先设定的动作数据是否匹配；

位置获取模块，用于若所述前景区域中的目标对象的动作检测数据与预先设定的动作数据匹配，则从预先存储的动作数据与展示位置的对应关系中，获取所述预先设定的动作数据对应的目标展示位置作为所述业务对象在所述视频图像中的展示位置。

22.根据权利要求13-21任一所述的装置，其中，所述业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。

23.根据权利要求13-21任一所述的装置，其中，所述直播类视频图像的前景区域为人物所在的区域。

24.根据权利要求16-21任一所述的装置，其中，所述目标对象的动作检测数据包括以下至少之一：眨眼数据、张嘴数据、点头数据、摇头数据、亲吻数据、微笑数据、挥手数据、剪刀手数据、握拳数据、托手数据、大拇指数据、手枪姿势数据、OK手数据。

25.一种终端设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-12任一所述的视频图像的处理方法对应的操作。

说明书

视频图像的处理方法、装置和终端设备

技术领域

[0001] 本发明实施例涉及人工智能技术领域，尤其涉及一种视频图像的处理方法、装置和终端设备。

背景技术

[0002] 随着互联网技术的发展，人们越来越多地使用互联网观看视频，由此，互联网视频为许多新的业务提供了商机。因为互联网视频可以成为重要的业务流量入口，因而被认为是广告植入的优质资源。

[0003] 现有视频广告主要通过植入的方式，一种常见的植入方式是在视频播放的区域及其周边区域的任意位置放置广告。

[0004] 但是，这种方式植入的广告会遮挡视频，打扰观众的正常视频观看体验，引起观众反感，不能达到预想的广告效果。

发明内容

[0005] 本发明实施例提供了视频图像的处理技术方案。

[0006] 根据本发明实施例的一个方面，提供了一种视频图像的处理方法，包括：获取待处理的视频图像和待展示的业务对象，所述视频图像为直播类视频图像，所述业务对象包括包含有语义信息的特效；确定所述视频图像的背景区域，所述背景区域为除了人物所在的区域之外的至少局部区域；采用计算机绘图方式在所述视频图像的背景区域绘制所述业务对象。

[0007] 可选地，所述采用计算机绘图方式在所述视频图像的背景区域绘制所述业务对象包括：确定所述业务对象在所述视频图像中的展示位置和所述视频图像的前景区域；根据所述展示位置判断所述业务对象与所述视频图像的前景区域是否存在重叠部分；若存在，则采用计算机绘图方式，在所述背景区域绘制所述业务对象中除所述重叠部分之外的部分。

[0008] 可选地，所述确定所述视频图像的背景区域包括：通过预先训练的第一卷积神经网络模型确定所述视频图像的背景区域。

[0009] 可选地，所述对所述第一卷积神经网络模型的预先训练包括：获取第一样本图像的第一特征向量，其中，所述第一样本图像为包含有前景标注信息和背景标注信息的样本图像；对所述第一特征向量进行卷积处理，获取第一特征向量卷积结果；对所述第一特征向量卷积结果进行放大处理；判断放大后的所述第一特征向量卷积结果是否满足卷积收敛条件；若满足，则完成对所述第一卷积神经网络模型的训练；若不满足，则根据放大后的所述第一特征向量卷积结果调整所述第一卷积神经网络模型的网络参数并根据调整后的所述第一卷积神经网络模型的网络参数对所述第一卷积神经网络模型进行迭代训练，直至迭代训练后的所述第一特征向量卷积结果满足所述卷积收敛条件。

[0010] 可选地，所述确定所述业务对象在所述视频图像中的展示位置包括：按照设定规则确定所述业务对象在所述视频图像中的展示位置；其中，所述设定规则包括：预先设定的所述业务对象在所述视频图像的设定展示位置，或者，根据所述前景区域中的目标对象的动作检测数据，确定所述业务对象在所述视频图像中的展示位置。

[0011] 可选地，所述根据所述前景区域中的目标对象的动作检测数据，确定所述业务对象在所述视频图像中的展示位置包括：根据所述前景区域中的目标对象的动作检测数据，通过预先训练的、第二卷积神经网络模型确定所述业务对象在所述视频图像中的展示位置。

[0012] 可选地，所述对所述第二卷积神经网络模型的预先训练包括：获取第二样本图像的第二特征向量，其中，所述第二特征向量中包含有所述第二样本图像中的业务对象的位置信息和/或置信度信息，以及所述第二样本图像中目标对象的目标对象特征向量；对所述第二特征向量进行卷积处理，获取第二特征向量卷积结果；判断所述第二特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息是否满足业务对象收敛条件，并判断所述第二特征向量卷积结果中的目标对象特征向量是否满足目标对象收敛条件；若均满足，则完成对所述第二卷积神经网络模型的训练；否则，调整所述第二卷积神经网络模型的网络参数并根据调整后的所述第二卷积神经网络模型的网络参数对所述第二卷积神经网络模型进行迭代训练，直至迭代训练后的业务对象的位置信息和/或置信度信息和目标对象特征向量均满足相应的收敛条件。

[0013] 可选地，所述根据所述前景区域中的目标对象的动作检测数据，确定所述业务对象在所述视频图像中的展示位置包括：根据所述前景区域中的目标对象的动作检测数据和所述业务对象的类型，确定所述业务对象在所述视频图像中的展示位置。

[0014] 可选地，所述根据所述前景区域中的目标对象的动作检测数据和所述业务对象的类型，确定所述业务对象在所述视频图像中的展示位置包括：根据所述前景区域中的目标对象的动作检测数据和所述业务对象的类型，获得所述业务对象在所述视频图像中的多个展示位置；从所述多个展示位置中选择至少一个展示位置。

[0015] 可选地，所述根据所述前景区域中的目标对象的动作检测数据，确定所述业务对象在所述视频图像中的展示位置包括：判断所述前景区域中的目标对象的动作检测数据与预先设定的动作数据是否匹配；若匹配，则从预先存储的动作数据与展示位置的对应关系中，获取所述预先设定的动作数据对应的目标展示位置作为所述业务对象在所述视频图像中的展示位置。

[0016] 可选地，所述业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。

[0017] 可选地，所述直播类视频图像的前景区域为人物所在的区域。

[0018] 可选地，所述目标对象的动作检测数据包括以下至少之一：眨眼数据、张嘴数据、点头数据、摇头数据、亲吻数据、微笑数据、挥手数据、剪刀手数据、握拳数据、托手数据、大拇指数据、手枪姿势数据、OK手数据。

[0019] 根据本发明实施例的另一方面，还提供了一种视频图像的处理装置，包括：获取模块，用于获取待处理的视频图像和待展示的业务对象，所述视频图像为直播类视频图像，所述业务对象包括包含有语义信息的特效；背景区域确定模块，用于确定所述视频图像的背景区域，所述背景区域为除了人物所在的区域之外的至少局部区域；绘制模块，用于采用计算机绘图方式在所述视频图像的背景区域绘制所述业务对象。

[0020] 可选地，所述绘制模块包括：展示位置确定模块，用于确定所述业务对象在所述视频图像中的展示位置；前景区域确定模块，用于确定所述视频图像的前景区域；判断模块，用于根据所述展示位置判断所述业务对象与所述前景区域是否存在重叠部分；展示模块，用于若所述业务对象与所述前景区域存在重叠部分，则采用计算机绘图方式，在所述背景区域绘制所述业务对象中除所述重叠部分之外的部分。

[0021] 可选地，所述背景区域确定模块，用于通过预先训练的第一卷积神经网络模型确定所述视频图像的背景区域。

[0022] 可选地，所述装置还包括：第一训练模块，用于对所述第一卷积神经网络模型的预先训练；所述第一训练模块包括：第一特征向量获取模块，用于获取第一样本图像的第一特征向量，其中，所述第一样本图像为包含有前景标注信息和背景标注信息的样本图像；第一卷积处理模块，用于对所述第一特征向量进行卷积处理，获取第一特征向量卷积结果；放大处理模块，用于对所述第一特征向量卷积结果进行放大处理；第一条件判断模块，用于判断放大后的所述第一特征向量卷积结果是否满足卷积收敛条件；第一执行模块，用于若放大后的所述第一特征向量卷积结果满足卷积收敛条件，则完成对所述第一卷积神经网络模型的训练；若放大后的所述第一特征向量卷积结果不满足卷积收敛条件，则根据放大后的所述第一特征向量卷积结果调整所述第一卷积神经网络模型的网络参数并根据调整后的所述第一卷积神经网络模型的网络参数对所述第一卷积网络模型进行迭代训练，直至迭代训练后的所述第一特征向量卷积结果满足所述卷积收敛条件。

[0023] 可选地，所述展示位置确定模块，用于按照设定规则确定所述业务对象在所述视频图像中的展示位置；其中，所述设定规则包括：预先设定的所述业务对象在所述视频图像的设定展示位置，或者，所述展示位置确定模块根据所述前景区域中的目标对象的动作检测数据，确定所述业务对象在所述视频图像中的展示位置。

[0024] 可选地，所述展示位置确定模块，用于根据所述前景区域中的目标对象的动作检测数据，通过预先训练的第二卷积神经网络模型确定所述业务对象在所述视频图像中的展示位置。

[0025] 可选地，所述装置还包括：第二训练模块，用于对所述第二卷积神经网络模型预先训练；所述第二训练模块包括：第二特征向量获取模块，用于获取第二样本图像的第二特征向量，其中，所述第二特征向量中包含有所述第二样本图像中的业务对象的位置信息和/或置信度信息，以及所述第二样本图像中目标对象的目标对象特征向量；第二卷积处理模块，用于对所述第二特征向量进行卷积处理，获取第二特征向量卷积结果；第二条件判断模块，用于判断所述第二特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息是否满足业务对象收敛条件，并判断所述第二特征向量卷积结果中的目标对象特征向量是否满足目标对象收敛条件；第二执行模块，用于若所述第二特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息满足业务对象收敛条件，且所述第二特征向量卷积结果中的目标对象特征向量满足目标对象收敛条件，则完成对所述第二卷积神经网络模型的训练；否则，调整所述第二卷积神经网络模型的网络参数并根据调整后的所述第二卷积神经网络模型的网络参数对所述第二卷积神经网络模型进行迭代训练，直至迭代训练后的业务对象的位置信息和/或置信度信息和目标对象特征向量均满足相应的收敛条件。

[0026] 可选地，所述展示位置确定模块，用于根据所述前景区域中的目标对象的动作检测数据和所述业务对象的类型，确定所述业务对象在所述视频图像中的展示位置。

[0027] 可选地，所述展示位置确定模块包括：展示位置获得模块，用于根据所述前景区域中的目标对象的动作检测数据和所述业务对象的类型，获得所述业务对象在所述视频图像中的多个展示位置；展示位置选择模块，用于从所述多个展示位置中选择至少一个展示位置。

[0028] 可选地，所述展示位置确定模块包括：数据判断模块，用于判断所述前景区域中的目标对象的动作检测数据与预先设定的动作数据是否匹配；位置获取模块，用于若所述前景区域中的目标对象的动作检测数据与预先设定的动作数据匹配，则从预先存储的动作数据与展示位置的对应关系中，获取所述预先设定的动作数据对应的目标展示位置作为所述业务对象在所述视频图像中的展示位置。

[0029] 可选地，所述业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。

[0030] 可选地，所述直播类视频图像的前景区域为人物所在的区域。

[0031] 可选地，所述目标对象的动作检测数据包括以下至少之一：眨眼数据、张嘴数据、点头数据、摇头数据、亲吻数据、微笑数据、挥手数据、剪刀手数据、握拳数据、托手数据、大拇指数据、手枪姿势数据、OK手数据。

[0032] 根据本发明实施例的再一方面，还提供了一种终端设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行前述任一所述的视频图像的处理方法对应的操作。

[0033] 根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于获取待处理的视频图像和待展示的业务对象的可执行指令；用于确定所述视频图像的背景区域的可执行指令；用于采用计算机绘图方式在所述视频图像的背景区域绘制所述业务对象的可执行指令。

[0034] 根据本发明实施例提供的技术方案，获取待处理的视频图像和待展示的业务对象，确定待处理的视频图像的背景区域，然后采用计算机绘图方式在视频图像的背景区域绘制业务对象，实现业务对象在视频图像的背景区域展示，避免业务对象遮挡前景区域，不影响观众的正常视频观看体验，不易引起观众反感，可以有效实现预想的效果。

附图说明

[0035] 图1是根据本发明实施例一的一种视频图像的处理方法的步骤流程图；

[0036] 图2是根据本发明实施例二的一种视频图像的处理方法的步骤流程图；

[0037] 图3是根据本发明实施例三的一种视频图像的处理方法的步骤流程图；

[0038] 图4是根据本发明实施例四的一种视频图像的处理方法的步骤流程图；

[0039] 图5是根据本发明实施例五的一种视频图像的处理装置的结构框图；

[0040] 图6是根据本发明实施例六的一种视频图像的处理装置的结构框图；

[0041] 图7是根据本发明实施例七的一种终端设备的结构示意图。

具体实施方式

[0042] 下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

[0043] 本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

[0044] 实施例一

[0045] 参照图1，示出了根据本发明实施例一的一种视频图像的处理方法的步骤流程图。

[0046] 本实施例的视频图像的处理方法包括以下步骤：

[0047] 步骤S100：获取待处理的视频图像和待展示的业务对象。

[0048] 例如，在直播场景中，获取当前正在显示的视频图像(即直播类视频图像)；再例如，在视频录制场景中，获取当前正在录制的视频图像；又例如，在录制完成的视频中，获取当前播放的视频图像等。其中，本实施例对视频图像的获取方式和具体获取手段不作限制。

[0049] 另外，本实施例中以对一张视频图像的处理为例，但本领域技术人员应当明了，对于多张视频图像或视频流中的视频图像序列均可参照本实施例进行视频图像的处理。

[0050] 待展示的业务对象用于在视频图像中展示。需要说明的是，对待展示的业务对象的获取过程可以与待处理的视频图像的获取过程同时执行，也可以在待处理的视频图像的获取过程之后或者之前执行，本实施例对待展示的业务对象的获取过程在本实施例中的执行顺序不做限制。

[0051] 步骤S102：确定视频图像的背景区域。

[0052] 其中，确定视频图像的背景区域，可以从视频图像中检测视频图像的前景区域和背景区域；或者，可以从视频图像中直接检测视频图像的背景区域；或者可以从视频图像中检测视频图像的前景区域，然后将视频图像的前景区域以外的区域确定为视频图像的背景区域。本实施例对确定视频图像的前景区域的技术手段不做限制。

[0053] 步骤S104：采用计算机绘图方式在视频图像的背景区域绘制业务对象。

[0054] 在确定了视频图像的背景区域以后，采用计算机绘图方式将业务对象绘制在视频图像的背景区域。需要说明的是，采用计算机绘图方式将业务对象绘制在视频图像的背景区域即采用计算机绘图方式将业务对象绘制在视频图像的整个背景区域或者部分背景区域。

[0055] 其中，采用计算机绘图方式在确定出的背景区域绘制业务对象可以通过适当的计算机图形图像绘制或渲染等方式实现，包括但不限于：基于OpenGL图形绘制引擎进行绘制等。OpenGL定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口，其与硬件无关，可以方便地进行2D或3D图形图像的绘制。通过OpenGL，不仅可以实现2D效果如2D贴纸的绘制，还可以实现3D特效的绘制及粒子特效的绘制等等。但不限于OpenGL，其它方式，如Unity或OpenCL等也同样适用。

[0056] 通过本实施例提供的视频图像的处理方法，获取待处理的视频图像和待展示的业务对象，确定待处理的视频图像的背景区域，然后采用计算机绘图方式在视频图像的背景区域绘制业务对象，实现业务对象在视频图像的背景区域展示，避免业务对象遮挡前景区域，不影响观众的正常视频观看体验，不易引起观众反感，可以有效实现预想的效果。

[0057] 实施例二

[0058] 参照图2，示出了根据本发明实施例二的一种视频图像的处理方法的步骤流程图。

[0059] 本实施例的视频图像的处理方法包括以下步骤：

[0060] 步骤S200：获取待处理的视频图像和待展示的业务对象。

[0061] 例如，在直播场景中，获取当前正在显示的视频图像(即直播类视频图像)；再例如，在视频录制场景中，获取当前正在录制的视频图像；又例如，在录制完成的视频中，获取当前播放的视频图像等。其中，本实施例对视频图像的获取方式和具体获取手段不作限制。

[0062] 另外，本实施例中以对一张视频图像的处理为例，但本领域技术人员应当明了，对于多张视频图像或视频流中的视频图像序列均可参照本实施例进行视频图像的处理。

[0063] 待展示的业务对象用于在视频图像中展示。需要说明的是，对待展示的业务对象的获取过程可以与待处理的视频图像的获取过程同时执行，也可以在待处理的视频图像的获取过程之后或者之前执行，本实施例对待展示的业务对象的获取过程在本实施例中的执行顺序不做限制。

[0064] 步骤S202：确定视频图像的前景区域和背景区域，以及业务对象在视频图像中的展示位置。

[0065] 其中，确定视频图像的前景区域，可以从视频图像中检测视频图像的前景区域和背景区域；或者，可以从视频图像中直接检测视频图像的前景区域；或者可以从视频图像中检测视频图像的背景区域，然后将视频图像的背景区域以外的区域确定为视频图像的前景区域。本实施例对确定视频图像的前景区域的技术手段不做限制。同理，确定视频图像的背景区域可以参照上述确定视频图像的前景区域的内容，在此不再赘述。

[0066] 业务对象是根据一定的业务需求而创建的对象，例如广告等。展示位置可以是视频图像中指定区域的中心位置，或者可以是上述指定区域中多个边缘位置的坐标等。

[0067] 步骤S204：根据展示位置判断业务对象与前景区域是否存在重叠部分，若存在，则执行步骤S206；若不存在，则执行步骤S208。

[0068] 本步骤中，判断业务对象与前景区域是否存在重叠部分的目的是判断业务对象是否对视频图像的前景区域造成遮挡。若存在重叠部分，则表示业务对象对视频图像的前景区域造成遮挡；若不存在重叠部分，则表示业务对象对视频图像的前景区域未造成遮挡。

[0069] 步骤S206：采用计算机绘图方式，在背景区域绘制业务对象中除重叠部分之外的部分。

[0070] 一种可行的方式中，例如，业务对象Y与视频图像S的前景区域q存在重叠部分c，在视频图像S的背景区域b绘制业务对象Y中除重叠部分c之外的部分w，其中，重叠部分c和部分w共同组成业务对象Y，前景区域q和背景区域b共同组成业务对象Y。

[0071] 另一种可行的方式中，若业务对象对视频图像的前景区域造成遮挡，则可以采用调整前景区域的显示图层的方式将前景区域置于业务对象之上展示，或者还可以采用调整业务对象的显示图层的方式将业务对象置于前景区域之下展示。本实施例对将前景区域置于业务对象之上展示的技术手段不做具体限制。

[0072] 步骤S208：采用计算机绘图方式，在背景区域绘制整个业务对象。

[0073] 通过本实施例提供的视频图像的处理方法，获取待处理的视频图像和待展示的业务对象，确定待处理的视频图像的前景区域和背景区域，以及业务对象在视频图像中的展示位置，然后根据业务对象在视频图像中的展示位置判断业务对象与视频图像的前景区域是否存在重叠部分，若存在重叠部分，表示部分或全部业务对象位于前景区域内，则对于该重叠部分，将前景区域置于业务对象之上展示，避免业务对象遮挡前景区域，不影响观众的正常视频观看体验，不易引起观众反感，可以有效实现预想的效果。

[0074] 实施例三

[0075] 参照图3，示出了根据本发明实施例三的一种视频图像的处理方法的步骤流程图。

[0076] 本实施例的视频图像的处理方法可以由任意具有数据采集、处理和传输功能的设备执行，包括但不限于移动终端和PC等。本实施例以移动终端为例，对本发明实施例提供的视频图像的处理方法进行说明，其它设备可参照本实施例执行。

[0077] 本实施例重点强调与上述实施例的不同之处，相同之处可以参照上述实施例的介绍和说明，在此不再赘述。

[0078] 本实施例的视频图像的处理方法包括以下步骤：

[0079] 步骤S300：获取待处理的视频图像和待展示的业务对象。

[0080] 例如，在直播场景中，获取当前正在显示的视频图像；再例如，在视频录制场景中，获取当前正在录制的视频图像；又例如，在录制完成的视频中，获取当前播放的视频图像等。本实施例中的视频图像为直播类视频图像，而且，本实施例对视频图像的获取方式和具体获取手段不作限制。

[0081] 待展示的业务对象用于在视频图像中展示。本实施例中，待展示的业务对象包括包含有语义信息的特效，具体地，业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。

[0082] 需要说明的是，对待展示的业务对象的获取过程可以与待处理的视频图像的获取过程同时执行，也可以在待处理的视频图像的获取过程之后或者之前执行，本实施例对待展示的业务对象的获取过程在本实施例中的执行顺序不做限制。

[0083] 步骤S302：通过预先训练的第一卷积神经网络模型确定视频图像的背景区域。

[0084] 本实施例中，使用预先训练好的、用于分割视频图像中的前景区域和背景区域的第一卷积神经网络模型，对视频图像进行检测，确定其背景区域。用于分割视频图像中的前景区域和背景区域的第一卷积神经网络模型通过标注有前景区域和背景区域的样本图像进行训练后，能够准确且高效地确定视频图像中的前景区域和背景区域。

[0085] 当需要预先训练第一卷积神经网络模型时，一种可行的训练方式包括以下过程：

[0086] (1)获取第一样本图像的第一特征向量。

[0087] 其中，第一样本图像为包含有前景区域和背景区域标记信息的样本图像，也即，第一样本图像为已标记了前景区域和背景区域的样本图像。本实施例中，前景区域可以为图像主体所在区域，例如人物所在区域；背景区域可以为除了主体所在区域外的其它区域，可以是其它区域中的全部或者部分。

[0088] 在一种优选的实施方式中，第一样本图像可以包括至少一个视频流的多帧样本图像。因此，在此方式中，在获取待第一样本图像的第一特征向量之前，还需要将包括多帧样本图像的视频流输入第一卷积神经网络模型。在实现时，一种可行方式包括：先确定视频流的多个关键帧的图像为样本图像，对这些样本图像进行前景区域和背景区域的标注；在此基础上，将进行了标注的样本图像进行组合，再将组合后的包括多帧进行了标注的样本图像的视频流输入第一卷积神经网络模型。其中，对视频流抽取关键帧，并对抽取的关键帧进行标注均可以由本领域技术人员采用任意适当的方式实现，如通过均匀采样的方式抽取关键帧等。在抽取了关键帧后，可以结合视频上下文对抽取的关键帧标注区分前景和背景，得到精确的标注边界。将进行了标注后的样本图像作为第一样本图像，提取其第一特征向量。此外，本步骤中，对第一特征向量的提取可以采用相关技术中的适当方式实现，本实施例在此不再赘述。

[0089] (2)对第一特征向量进行卷积处理，获取第一特征向量卷积结果。

[0090] 获取的第一特征向量卷积结果中包含有用于分辨视频图像的前景区域和背景区域的信息。

[0091] 对第一特征向量的卷积处理次数可以根据实际需要进行设定，也即，第一卷积神经网络模型中，卷积层的层数根据实际需要进行设置。

[0092] 第一特征向量卷积结果是对第一特征向量进行了特征提取后的结果，该结果能够有效表征视频图像中前景区域和背景区域的特征和分类。

[0093] (3)对第一特征向量卷积结果进行放大处理。

[0094] 一种可行方式中，对第一特征向量卷积结果的放大可以采用线性插值的方式，包括但不限于线性插值、双线性插值、三线性插值等。其中，具体的线性插值公式可以由本领域技术人员根据实际需要采用适当的公式，本实施例对此不作限制。优选地，可以通过对第一特征向量卷积结果进行双线性插值来放大第一特征向量卷积结果。通过对第一特征向量卷积结果进行放大处理，可以得到与用于训练的原始图像同样大小的输出图像，获得每一个像素点的特征信息，以更为精确地确定图像的前景区域和背景区域。同时，通过对卷积处理后的第一特征向量的放大处理，第一卷积神经网络模型可以学习到一个较为准确的放大系数，基于该放大系数和放大后的第一特征向量，可以减少第一卷积神经网络模型的参数调整和计算量，降低第一卷积神经网络模型训练成本，提高训练效率，缩短训练时间。

[0095] 本实施例中，在获得第一特征向量卷积结果后，通过线性插值层对第一特征向量卷积结果进行双线性插值，以放大卷积处理后的图像特征，并得到的原始图像同样大小(图像长宽相同)的输出。需要说明的是，本实施例中对双线性插值的具体实现手段不作限制。

[0096] (4)判断放大后的第一特征向量卷积结果是否满足卷积收敛条件。

[0097] 其中，卷积收敛条件可以由本领域技术人员根据实际需求适当设定。当放大后的第一特征向量卷积结果满足卷积收敛条件时，可以认为第一卷积神经网络模型中的网络参数设置适当；当放大后的第一特征向量卷积结果不能满足卷积收敛条件时，可以认为第一卷积神经网络模型中的网络参数设置不适当，需要对其进行调整，该调整是一个迭代的过程，直至使用调整后的网络参数对第一特征向量进行卷积处理的结果满足卷积收敛条件。

[0098] 本实施例中，在通过线性插值层对第一特征向量卷积结果进行放大后，在损失层使用损失函数对其进行计算，进而根据计算结果确定是否满足卷积收敛条件。也即，使用设定的损失函数计算放大后的第一特征向量卷积结果的损失值；根据损失值判断放大后的第一特征向量卷积结果是否满足卷积收敛条件。其中，损失层和损失函数可以根据实际情况由本领域技术人员适当设定，如通过Softmax函数或者Logistic函数等。通过损失函数对第一特征向量卷积结果进行计算，获得损失值。在获得损失值后，一种可行方式中，可以根据该损失值确定本次训练结果是否满足卷积收敛条件，如该损失值是否小于或等于设定阈值；另一种可行方式中，可判断对该损失值的计算是否已达到设定次数，也即，在本次训练中对第一卷积神经网络模型的迭代训练次数是否已达到设定次数，如达到则满足卷积收敛条件。

[0099] 需要说明的是，当输入的是视频流中的多帧图像时，损失层的损失函数也可以同时对该视频流中的多帧图像进行损失值计算，同时输出多帧的结果，使第一卷积神经网络模型在得到视频上更加稳定的结果的同时，通过多帧图像的并行计算，提升计算效率。

[0100] (5)若满足卷积收敛条件，则完成对第一卷积神经网络模型的训练；若不满足卷积收敛条件，则根据放大后的第一特征向量卷积结果调整第一卷积神经网络模型的网络参数并根据调整后的第一卷积神经网络模型的网络参数对第一卷积说明网络模型进行迭代训练，直至迭代训练后的第一特征向量卷积结果满足卷积收敛条件。

[0101] 通过对第一卷积神经网络模型进行上述训练，第一卷积神经网络模型可以对视频图像的图像特征进行特征提取和分类，从而具有确定视频图像中的前景区域和背景区域的功能。在实际应用中，可以使用该第一卷积射精网络模型识别出视频图像中的背景区域。

[0102] 为了使训练的结果更为精准，在一种优选的实施方式中，可以通过测试样本测试该训练出的第一卷积神经网络模型是否准确，进而根据测试结果决定使用该第一卷积神经网络模型还是对该第一卷积神经网络模型进行再训练。在此方式中，在完成了对第一卷积神经网络模型的初步训练后，还可以获取测试样本图像，使用训练后的第一卷积神经网络模型对测试样本图像进行前背景区域的预测，其中，测试样本图像为未进行任何标注的样本图像；进而，检验预测的前背景区域是否正确；若不正确，则对第一卷积神经网络模型进行再次训练；若正确，则可以确定使用该第一卷积神经网络模型进行视频图像的前背景确定，或者，为了使第一卷积神经网络模型更为精准，再获取其它测试样本图像进行测试；或者，使用与原训练样本图像不同的样本图像进行再次训练。

[0103] 当通过测试样本检验到使用第一卷积神经网络模型预测的前背景区域不正确时，需要对该第一卷积神经网络模型进行再次训练。在一种再次训练方式中，可以仅使用从测试样本图像中获取的前背景区域预测不正确的样本图像作为再次训练使用的样本图像；然后，使用这些预测不正确的样本图像对第一卷积神经网络模型进行再次训练。这些进行再次训练的样本在用于训练前，也需进行前背景标注。通过这种再训练方式，不仅使得训练更有针对性，也大大节约了训练成本。当然，不限于此，在实际使用中，也可以使用其它进行了前背景标注的样本图像进行训练。

[0104] 在视频直播场景中，直播类视频图像的前景区域为人物所在的区域；直播类视频图像的背景区域为除了人物所在的区域之外的至少局部区域。

[0105] 步骤S304：确定业务对象在视频图像中的展示位置。

[0106] 本步骤中，可以确定业务对象在视频图像中的一个或者多个展示位置，可行的实现方式包括：

[0107] 方式一、从业务对象对应的多帧展示图像中，确定待展示的展示图像；确定待展示的展示图像在视频图像中的展示位置。方式二、按照设定规则确定业务对象在视频图像中的展示位置。

[0108] 以下，分别对上述两种方式进行详细说明。

[0109] 方式一

[0110] 从业务对象对应的具有播放顺序的多帧展示图像中，选择首帧未被播放过的展示图像，将选择的展示图像确定为待展示的展示图像。

[0111] 其中，从业务对象对应的具有播放顺序的多帧展示图像中，选择首帧未被播放过的展示图像，具体可以先从业务对象对应的具有播放顺序的多帧展示图像中，确定播放状态为未播放的展示图像，再选择播放状态为未播放的展示图像中的首帧展示图像。在此情况下，在选择的首帧未被播放过的展示图像播放完毕之后，对具有播放顺序的多帧展示图像的播放状态进行更新。

[0112] 需要说明的是，无论业务对象为动态业务对象还是静态业务对象，业务对象均由多帧图像组成。视频图像中的每帧与业务对象的每帧保持时间对齐，在视频图像播放下一帧时，业务对象也可以同步展示对应的下一帧。

[0113] 方式二

[0114] 按照设定规则确定业务对象在视频图像中的展示位置；其中，设定规则包括：设定规则1、预先设定的业务对象在视频图像的设定展示位置，或者，设定规则2、根据前景区域中的目标对象的动作检测数据，确定业务对象在视频图像中的展示位置。

[0115] 设定规则1:预先设定的业务对象与其在视频图像中的展示位置存在对应关系，若待展示的业务对象确定为预先设定的业务对象，则待展示的业务对象的展示位置相应地确定为预先设定的业务对象在视频图像中的设定展示位置。

[0116] 设定规则2：可以分别使用预先训练的卷积神经网络模型和前景区域中的目标对象的动作检测数据，确定业务对象在视频图像中的展示位置；还可以根据业务对象的类型和前景区域中的目标对象的动作检测数据，确定业务对象在视频图像中的展示位置；或者可以根据预先设定的动作数据和前景区域中的目标对象的动作检测数据确定业务对象在视频图像中的展示位置。以下对上述三种确定业务对象在视频图像中的展示位置的方式进行详细介绍。

[0117] 1)使用预先训练的第二卷积神经网络模型和前景区域中的目标对象的动作检测数据，确定业务对象在视频图像中的展示位置。

[0118] 其中，需要预先训练一个卷积神经网络模型(即第二卷积神经网络模型)，训练完成的第二卷积神经网络模型具有确定业务对象在视频图像中的展示位置的功能；或者，也可以直接使用第三方已训练完成的、具有确定业务对象在视频图像中的展示位置的功能的卷积神经网络模型。

[0119] 当需要预先训练第二卷积神经网络模型时，一种可行的训练方式包括以下过程：

[0120] (1)获取第二样本图像的第二特征向量。

[0121] 其中，第二特征向量中包含有第二样本图像中的业务对象的位置信息和/或置信度信息，以及第二样本图像中目标对象的目标对象特征向量。业务对象的置信度信息指示了业务对象展示在当前位置时，能够达到的效果(如被关注或被点击或被观看)的概率，该概率可以根据对历史数据的统计分析结果设定，也可以根据仿真实验的结果设定，还可以根据人工经验进行设定。在实际应用中，可以根据实际需要，仅对业务对象的位置信息进行训练，也可以仅对业务对象的置信度信息进行训练，还可以对二者均进行训练。对二者均进行训练，能够使得训练后的第二卷积神经网络模型更为有效和精准地确定业务对象的位置信息和置信度信息，以便为视频图像的处理提供依据。

[0122] 第二卷积神经网络模型对大量的第二样本图像进行训练，本实施例中，需要使用包含有业务对象的第二样本图像对第二卷积神经网络模型进行训练，本领域技术人员应当明了的是，用来训练的第二样本图像中，除了包含业务对象外，也应当包含目标对象属性的信息(即人脸的面部表情和/或动作、人手的手势和/或动作等等)。此外，本实施例中的第二样本图像中的业务对象可以被预先标注位置信息，或者置信度信息，或者二种信息都有。当然，在实际应用中，这些信息也可以通过其它途径获取。而通过预先在对业务对象进行相应信息的标注，可以有效节约数据处理的数据和交互次数，提高数据处理效率。

[0123] 将具有业务对象的位置信息和/或置信度信息，以及某种目标对象属性的第二样本图像作为训练样本，对其进行特征向量提取，获得包含有业务对象的位置信息和/或置信度信息的业务对象特征向量，以及目标对象属性对应的目标对象特征向量。

[0124] 可选地，可以使用第二卷积神经网络模型对目标对象和业务对象同时进行训练，在此情况下，第二样本图像的第二特征向量中，也应当包含目标对象的特征。

[0125] 对第二特征向量的提取可以采用相关技术中的适当方式实现，本实施例在此不再赘述。

[0126] (2)对第二特征向量进行卷积处理，获取第二特征向量卷积结果。

[0127] 在实施中，获取的第二特征向量卷积结果中包含有业务对象的位置信息和/或置信度信息，目标对象属性对应的目标对象特征向量对应的特征向量卷积结果。在对目标对象和业务对象进行联合训练的情况下，特征向量卷积结果中还包含目标对象信息。

[0128] 对第二特征向量的卷积处理次数可以根据实际需要进行设定，也即，第二卷积神经网络模型中，卷积层的层数根据实际需要进行设置，在此不再赘述。

[0129] 第二特征向量卷积结果是对第二特征向量进行了特征提取后的结果，该结果能够有效表征视频图像中目标对象的特征对应的业务对象。

[0130] 本实施例中，当第二特征向量中既包含业务对象的位置信息，又包含业务对象的置信度信息时，也即，对业务对象的位置信息和置信度信息均进行了训练的情况下，该第二特征向量卷积结果在后续分别进行收敛条件判断时共享，无须进行重复处理和计算，减少了由数据处理引起的资源损耗，提高了数据处理速度和效率。

[0131] (3)判断第二特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息是否满足业务对象收敛条件，并判断第二特征向量卷积结果中对应的目标对象特征向量是否满足目标对象收敛条件。

[0132] 其中，业务对象收敛条件和目标对象收敛条件可以由本领域技术人员根据实际需求适当设定。当位置信息和/或置信度信息满足业务对象收敛条件，且目标对象特征向量满足目标对象收敛条件时，可以认为第二卷积神经网络模型中的网络参数设置适当；当位置信息和/或置信度信息不满足业务对象收敛条件，或目标对象特征向量不满足目标对象收敛条件时，可以认为第二卷积神经网络模型中的网络参数设置不适当，需要对其进行调整，该调整是一个迭代的过程，直至使用调整后的网络参数对第二特征向量进行卷积处理的结果满足收敛条件。

[0133] 一种可行方式中，业务对象收敛条件可以根据预设的标准位置和/或预设的标准置信度进行设定，如，将第二特征向量卷积结果中业务对象的位置信息指示的位置与预设的标准位置之间的距离是否满足一定阈值作为业务对象的位置信息的收敛条件；将第二特征向量卷积结果中业务对象的置信度信息指示的置信度与预设的标准置信度之间的差别是否满足一定阈值作为业务对象的置信度信息的收敛条件等。

[0134] 其中，可选地，预设的标准位置可以是对待训练的第二样本图像中的业务对象的位置进行平均处理后获得的平均位置；预设的标准置信度可以是对待训练的第二样本图像中的业务对象的置信度进行平均处理后获取的平均置信度。因第二样本图像为待训练样本且数据量庞大，可依据待训练的第二样本图像中的业务对象的位置和/或置信度设定标准位置和/或标准置信度，这样设定的标准位置和标准置信度也更为客观和精确。

[0135] 在具体进行第二特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息是否满足业务对象收敛条件的判断时，一种可行的方式包括：

[0136] 获取第二特征向量卷积结果中对应的业务对象的位置信息，通过计算对应的业务对象的位置信息指示的位置与预设的标准位置之间的欧式距离，得到对应的业务对象的位置信息指示的位置与预设的标准位置之间的第一距离，根据第一距离判断对应的业务对象的位置信息是否满足业务对象收敛条件；

[0137] 和/或，

[0138] 获取第二特征向量卷积结果中对应的业务对象的置信度信息，计算对应的业务对象的置信度信息指示的置信度与预设的标准置信度之间的欧式距离，得到对应的业务对象的置信度信息指示的置信度与预设的标准置信度之间的第二距离，根据第二距离判断对应的业务对象的置信度信息是否满足业务对象收敛条件。其中，采用欧式距离的方式，实现简单且能够有效指示收敛条件是否被满足。但不限于此，其它方式，如马式距离，巴式距离等也同样适用。

[0139] 可选地，如前所述，预设的标准位置为对待训练的第二样本图像中的业务对象的位置进行平均处理后获得的平均位置；和/或，预设的标准置信度为对待训练的第二样本图像中的业务对象的置信度进行平均处理后获取的平均置信度。

[0140] 当第二特征向量卷积结果中还包含目标对象的信息时，对目标对象的信息是否收敛的判断可以参照相关使用第二卷积神经网络模型的收敛条件进行判断，在此不再赘述。若目标对象的信息满足收敛条件(即第二特征向量卷积结果中的目标对象特征向量满足目标对象收敛条件)，则可对目标对象进行分类，明确目标对象的所属类别，以为后续业务对象的展示位置确定提供参考和依据。

[0141] (4)若满足收敛条件(即位置信息和/或置信度信息满足业务对象收敛条件，且目标对象特征向量满足目标对象收敛条件)，则完成对第二卷积神经网络模型的训练；若不满足收敛条件(位置信息和/或置信度信息不满足业务对象收敛条件，或目标对象特征向量不满足目标对象收敛条件)，则根据第二特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息，和第二特征向量卷积结果中的目标对象特征向量调整第二卷积神经网络模型的参数并根据调整后的第二卷积神经网络模型的网络参数对第二卷积睡觉觉网络模型进行迭代训练，直至迭代训练后的业务对象的位置信息和/或置信度信息满足收敛条件，目标对象特征向量满足目标对象收敛条件。

[0142] 通过对第二卷积神经网络模型进行上述训练，第二卷积神经网络模型可以对基于业务对象的展示位置进行特征提取和分类，从而具有确定业务对象在视频图像中的展示位置的功能。其中，当展示位置包括多个时，通过上述业务对象置信度的训练，第二卷积神经网络模型还可以确定出多个展示位置中的展示效果的优劣顺序，从而确定最优的展示位置。在后续应用中，当需要展示业务对象时，根据视频图像即可确定出有效的展示位置。

[0143] 此外，在对第二卷积神经网络模型进行上述训练之前，还可以预先对第二样本图像进行预处理，包括：获取多个第二样本图像，其中，每个第二样本图像中包含有业务对象的标注信息；根据标注信息确定业务对象的位置，判断确定的业务对象的位置与预设位置的距离是否小于或等于设定阈值；将小于或等于设定阈值的业务对象对应的第二样本图像，确定为待训练的第二样本图像。其中，预设位置和设定阈值均可以由本领域技术人员采用任意适当方式进行适当设置，如根据数据统计分析结果或者相关距离计算公式或者人工经验等，本实施例对此不作限制。

[0144] 在一种可行方式中，根据标注信息确定的业务对象的位置可以是业务对象的中心位置。在根据标注信息确定业务对象的位置，判断确定的业务对象的位置与预设位置的距离是否小于或等于设定阈值时，可以根据标注信息确定业务对象的中心位置；进而判断该中心位置与预设位置的方差是否小于或等于设定阈值。

[0145] 通过预先对第二样本图像进行预处理，可以过滤掉不符合条件的样本图像，以保证训练结果的准确性。

[0146] 通过上述过程实现了第二卷积神经网络模型的训练，训练完成的第二卷积神经网络模型可以用来确定业务对象在视频图像中的展示位置。例如，在视频直播过程中，若主播点击业务对象指示进行业务对象展示时，在第二卷积神经网络模型获得了直播的视频图像中主播的面部特征点后，可以指示出展示业务对象的最优位置如主播的额头位置，进而控制直播应用在该位置展示业务对象；或者，在视频直播过程中，若主播点击业务对象指示进行业务对象展示时，第二卷积神经网络模型可以直接根据直播的视频图像确定业务对象的展示位置。

[0147] 2)根据业务对象的类型和前景区域中的目标对象的动作检测数据，确定业务对象在视频图像中的展示位置。

[0148] 首先根据前景区域中的目标对象的动作检测数据和业务对象的类型，获得业务对象在视频图像中的多个展示位置；然后从多个展示位置中选择至少一个展示位置。其中，目标对象的类型包括但不限于：人脸类型、手部类型和动作类型。其中，人脸类型用于指示人脸在视频图像中占据主要部分，手部类型用于指示手部在视频图像中占据主要部分，而动作类型则用于指示人物进行了某种动作。目标对象的动作检测数据包括以下至少之一：眨眼数据、张嘴数据、点头数据、摇头数据、亲吻数据、微笑数据、挥手数据、剪刀手数据、握拳数据、托手数据、大拇指数据、手枪姿势数据、OK手数据。

[0149] 3)根据预先设定的动作数据和前景区域中的目标对象的动作检测数据确定业务对象在视频图像中的展示位置。

[0150] 判断前景区域中的目标对象的动作检测数据与预先设定的动作数据是否匹配；若匹配，则从预先存储的动作数据与展示位置的对应关系中，获取预先设定的动作数据对应的目标展示位置作为业务对象在视频图像中的展示位置。

[0151] 在实施中，可以预先设定多种不同的动作数据，并对不同的动作数据进行相应的标记，如标记为脸部的动作或者手部的动作等等。不同的动作数据对应着不同的展示位置。将前景区域中的目标对象的动作检测数据与预先设定的动作数据进行匹配，如果动作检测数据与动作数据相同，则可以确定前景区域中的目标对象的动作检测数据与预先设定的动作数据进行匹配。

[0152] 为了提高匹配的准确度，可以通过计算的方式确定上述匹配结果，例如，可以设置匹配算法计算动作检测数据和动作数据之间的匹配度，例如，可以使用动作检测数据和预先设定的动作数据进行匹配计算，得到两者之间的匹配度数值，通过上述方式分别计算动作检测数据与预先设定的每一个动作数据之间的匹配度数值，从得到的匹配度数值中选取最大的匹配度数值，如果该最大的匹配度数值超过预定的匹配阈值，则可以确定最大的匹配度数值对应的预先设定的动作数据与动作检测数据相匹配。如果该最大的匹配度数值未超过预定的匹配阈值，则匹配失败。

[0153] 需要说明的是，上述步骤S302和步骤S304可以同时执行，也可以按照顺序执行，例如，先执行步骤S302，后执行步骤S304，或者先执行步骤S304，后执行步骤S302，本实施例对步骤S302和步骤S304的执行顺序不做具体限定。

[0154] 步骤S306：根据展示位置判断业务对象与前景区域是否存在重叠部分，若存在，则执行步骤S308；若不存在，则执行步骤S310。

[0155] 本步骤中，判断业务对象与前景区域是否存在重叠部分的目的是判断业务对象是否对视频图像的前景区域造成遮挡。若存在重叠部分，则表示业务对象对视频图像的前景区域造成遮挡；若不存在重叠部分，则表示业务对象对视频图像的前景区域未造成遮挡。

[0156] 步骤S308：采用计算机绘图方式，在背景区域绘制业务对象中除重叠部分之外的部分。

[0157] 一种可行的方式中，例如，业务对象Y与视频图像S的前景区域q存在重叠部分c，在视频图像S的背景区域b绘制业务对象Y中除重叠部分c之外的部分w，其中，重叠部分c和部分w共同组成业务对象Y，前景区域q和背景区域b共同组成业务对象Y。

[0158] 另一种可行的方式中，若业务对象对视频图像的前景区域造成遮挡，则可以采用调整前景区域的显示图层的方式将前景区域置于业务对象之上展示，或者还可以采用调整业务对象的显示图层的方式将业务对象置于前景区域之下展示。本实施例对将前景区域置于业务对象之上展示的技术手段不做具体限制。

[0159] 本实施例中，将前景区域置于业务对象之上展示，具体可以将重叠部分对应的前景区域置于重叠部分对应的业务对象之上展示。

[0160] 步骤S310：采用计算机绘图方式，在背景区域绘制整个业务对象。

[0161] 通过本实施例提供的视频图像的处理方法，获取待处理的视频图像和待展示的业务对象，确定待处理的视频图像的前景区域和背景区域，以及业务对象在视频图像中的展示位置，然后根据业务对象在视频图像中的展示位置判断业务对象与视频图像的前景区域是否存在重叠部分，若存在重叠部分，表示部分或全部业务对象位于前景区域内，则对于该重叠部分，将前景区域置于业务对象之上展示，避免业务对象遮挡前景区域，不影响观众的正常视频观看体验，不易引起观众反感，可以有效实现预想的效果。

[0162] 实施例四

[0163] 参照图4，示出了根据本发明实施例四的一种视频图像的处理方法的步骤流程图。

[0164] 业务对象包括包含有语义信息的特效，具体地，业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。本实施例以业务对象为二维广告贴纸特效，视频图像为直播类视频图像为例，对本发明实施例的视频图像的处理方案进行说明。

[0165] 本实施例的视频图像的处理方法包括以下步骤：

[0166] 步骤S400：获取待处理的直播类视频图像和待展示的广告贴纸特效。

[0167] 从直播类视频应用中获取待处理的直播类视频图像。待展示的广告贴纸特效可以为广告商定制的广告贴纸特效，或者可以为主播选择的广告贴纸特效。

[0168] 步骤S402：确定直播类视频图像的主播区域，以及广告贴纸特效在直播类视频图像中的展示位置。

[0169] 直播类视频图像可以划分为两部分区域，分别为主播区域和背景区域。其中，主播区域为主播本身的区域，背景区域为直播类视频图像中，主播区域以外的区域。

[0170] 本步骤确定主播区域以及展示位置的具体执行过程可以按照上述实施例中的相关内容，在此不再赘述。

[0171] 步骤S404：根据展示位置判断广告贴纸特效与主播区域是否存在重叠部分，若存在，则执行步骤S406；若不存在，则执行步骤S408。

[0172] 步骤S406：将主播区域置于广告贴纸特效之上展示。

[0173] 步骤S408：采用计算机绘图方式，在背景区域绘制整个业务对象。

[0174] 本实施例中，当视频图像的主体为主播时，观众主要关注的区域为主播的脸部区域和肢体动作，为了能够既让观众注意到广告贴纸特效的内容，同时不会影响到主播，可以通过增强现实感效果，给视频图像相关区域加上有语义的虚拟物品如广告贴纸特效。并通过虚拟物品上的展示效果和信息达到商业价值。通过这种方式，既保留了主播的主要形象和动作，同时通过增强现实的特效为视频图像增加了趣味性，减少了观众对广告投放引起的可能的反感，并能够吸引到观众的注意力，形成商业的价值。例如，若广告贴纸特效为一个飞鸟贴纸特效，飞鸟贴纸特效在视频图像中展示，当飞鸟贴纸特效的展示位置与主播区域存在重叠部分时，即飞鸟贴纸特效遮挡主播区域时，将主播区域置于飞鸟贴纸特效之上展示。具体地，若飞鸟贴纸特效与主播区域的重叠部分为飞鸟贴纸特效的头部，飞鸟贴纸特效的其余部分不与主播区域重叠，则将主播区域置于飞鸟贴纸特效的头部之上展示，展示效果为可见飞鸟贴纸特效除头部以外的部分和主播区域。若飞鸟贴纸特效与主播区域的重叠部分为整个飞鸟贴纸特效，则将主播区域置于整个飞鸟贴纸特效之上展示，展示效果为不可见整个飞鸟贴纸特效，可见主播区域。

[0175] 需要说明的是，上述广告贴纸特效，以飞鸟贴纸特效为例，可以为静态的广告贴纸特效，也可以为动态的广告贴纸特效。当广告贴纸特效为动态的广告贴纸特效时，可以将动态的广告贴纸特效的每一帧作为一个静态的广告贴纸特效进行处理，具体处理过程可以参照上述实施例中的相关内容，在此不再赘述。

[0176] 随着互联网直播的兴起，越来越多的视频以直播的方式出现。这类视频具有场景简单、实时、因观众主要在手机等移动终端上观看而视频图像尺寸较小等特点。在此情况下，对于某些业务对象的投放如广告投放来说，由于移动终端的屏幕展示区域有限，如果以传统的固定位置放置广告，则会占用主要的用户体验区域，甚至会遮挡主播区域，不仅容易引起用户反感，还可能导致直播的主播者丢失观众。而通过业务对象投放广告，将广告投放与视频直播内容有效融合，方式灵活，效果生动，不仅不影响用户的直播观看体验，且提升了广告的投放效果。对于使用较小的显示屏幕进行业务对象展示，广告投放等场景尤其适用。

[0177] 通过本实施例提供的视频图像的处理方法，获取待处理的视频图像和待展示的业务对象，确定待处理的视频图像的前景区域，以及业务对象在视频图像中的展示位置，然后根据业务对象在视频图像中的展示位置判断业务对象与视频图像的前景区域是否存在重叠部分，若存在重叠部分，表示部分或全部业务对象位于前景区域内，则对于该重叠部分，将前景区域置于业务对象之上展示，避免业务对象遮挡前景区域，不影响观众的正常视频观看体验，不易引起观众反感，可以有效实现预想的效果。

[0178] 此外，本实施例的视频图像处理方法可以在任意适当的具有数据采集、处理和传输功能的终端设备如移动终端或PC上实现，本发明实施例对实现设备不作限制。

[0179] 实施例五

[0180] 参照图5，示出了根据本发明实施例五的一种视频图像的处理装置的结构框图。

[0181] 本实施例的视频图像的处理装置包括：获取模块500，用于获取待处理的视频图像和待展示的业务对象；背景区域确定模块502，用于确定视频图像的背景区域；绘制模块504，用于采用计算机绘图方式在视频图像的背景区域绘制业务对象。

[0182] 通过本实施例提供的视频图像的处理装置，获取待处理的视频图像和待展示的业务对象，确定待处理的视频图像的背景区域，然后采用计算机绘图方式在视频图像的背景区域绘制业务对象，实现业务对象在视频图像的背景区域展示，避免业务对象遮挡前景区域，不影响观众的正常视频观看体验，不易引起观众反感，可以有效实现预想的效果。

[0183] 实施例六

[0184] 参照图6，示出了根据本发明实施例六的一种视频图像的处理装置的结构框图。

[0185] 本实施例的视频图像的处理装置包括：获取模块600，用于获取待处理的视频图像和待展示的业务对象；背景区域确定模块602，用于确定视频图像的背景区域；绘制模块604，用于采用计算机绘图方式在视频图像的背景区域绘制业务对象。

[0186] 可选地，绘制模块604包括：展示位置确定模块6040，用于确定业务对象在视频图像中的展示位置；前景区域确定模块6042，用于确定视频图像的前景区域；判断模块6044，用于根据展示位置判断业务对象与前景区域是否存在重叠部分；展示模块6046，用于若业务对象与前景区域存在重叠部分，则采用计算机绘图方式，在背景区域绘制业务对象中除重叠部分之外的部分。

[0187] 可选地，背景区域确定模块602，用于通过预先训练的第一卷积神经网络模型确定视频图像的背景区域。

[0188] 可选地，本实施例的视频图像的处理装置还包括：第一训练模块606，用于对第一卷积神经网络模型的预先训练；第一训练模块606包括：第一特征向量获取模块6060，用于获取第一样本图像的第一特征向量，其中，第一样本图像为包含有前景标注信息和背景标注信息的样本图像；第一卷积处理模块6062，用于对第一特征向量进行卷积处理，获取第一特征向量卷积结果；放大处理模块6064，用于对第一特征向量卷积结果进行放大处理；第一条件判断模块6066，用于判断放大后的第一特征向量卷积结果是否满足卷积收敛条件；第一执行模块6068，用于若放大后的第一特征向量卷积结果满足卷积收敛条件，则完成对第一卷积神经网络模型的训练；若放大后的第一特征向量卷积结果不满足卷积收敛条件，则根据放大后的第一特征向量卷积结果调整第一卷积神经网络模型的网络参数并根据调整后的第一卷积神经网络模型的网络参数对第一卷积网络模型进行迭代训练，直至迭代训练后的第一特征向量卷积结果满足卷积收敛条件。

[0189] 可选地，展示位置确定模块6040，用于按照设定规则确定业务对象在视频图像中的展示位置；其中，设定规则包括：预先设定的业务对象在视频图像的设定展示位置，或者，展示位置确定模块6040根据前景区域中的目标对象的动作检测数据，确定业务对象在视频图像中的展示位置。

[0190] 可选地，展示位置确定模块6040，用于根据前景区域中的目标对象的动作检测数据，通过预先训练的第二卷积神经网络模型确定业务对象在视频图像中的展示位置。

[0191] 可选地，本实施例的视频图像的处理装置还包括：第二训练模块608，用于对第二卷积神经网络模型预先训练；第二训练模块608包括：第二特征向量获取模块6080，用于获取第二样本图像的第二特征向量，其中，第二特征向量中包含有第二样本图像中的业务对象的位置信息和/或置信度信息，以及第二样本图像中目标对象的目标对象特征向量；第二卷积处理模块6082，用于对第二特征向量进行卷积处理，获取第二特征向量卷积结果；第二条件判断模块6084，用于判断第二特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息是否满足业务对象收敛条件，并判断第二特征向量卷积结果中的目标对象特征向量是否满足目标对象收敛条件；第二执行模块6086，用于若第二特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息满足业务对象收敛条件，且第二特征向量卷积结果中的目标对象特征向量满足目标对象收敛条件，则完成对第二卷积神经网络模型的训练；否则，调整第二卷积神经网络模型的网络参数并根据调整后的第二卷积神经网络模型的网络参数对第二卷积神经网络模型进行迭代训练，直至迭代训练后的业务对象的位置信息和/或置信度信息和目标对象特征向量均满足相应的收敛条件。

[0192] 可选地，展示位置确定模块6040，用于根据前景区域中的目标对象的动作检测数据和业务对象的类型，确定业务对象在视频图像中的展示位置。

[0193] 可选地，展示位置确定模块6040包括：展示位置获得模块60400，用于根据前景区域中的目标对象的动作检测数据和业务对象的类型，获得业务对象在视频图像中的多个展示位置；展示位置选择模块60402，用于从多个展示位置中选择至少一个展示位置。

[0194] 可选地，展示位置确定模块6040包括：数据判断模块60404，用于判断前景区域中的目标对象的动作检测数据与预先设定的动作数据是否匹配；位置获取模块60406，用于若前景区域中的目标对象的动作检测数据与预先设定的动作数据匹配，则从预先存储的动作数据与展示位置的对应关系中，获取预先设定的动作数据对应的目标展示位置作为业务对象在视频图像中的展示位置。

[0195] 可选地，业务对象包括包含有语义信息的特效；视频图像为直播类视频图像。

[0196] 可选地，业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。

[0197] 可选地，直播类视频图像的前景区域为人物所在的区域。

[0198] 可选地，直播类视频图像的背景区域为除了人物所在的区域之外的至少局部区域。

[0199] 可选地，目标对象的动作检测数据包括以下至少之一：眨眼数据、张嘴数据、点头数据、摇头数据、亲吻数据、微笑数据、挥手数据、剪刀手数据、握拳数据、托手数据、大拇指数据、手枪姿势数据、OK手数据。

[0200] 本实施例视频图像的处理装置用于实现前述多个方法实施例中相应的视频图像的处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。

[0201] 此外，本实施例的视频图像的处理装置可以设置于适当的终端设备中，包括但不限于移动终端、PC等。

[0202] 实施例七

[0203] 参照图7，示出了根据本发明实施例七的一种终端设备的结构示意图，本发明具体实施例并不对终端设备的具体实现做限定。

[0204] 如图7所示，该终端设备可以包括：处理器(processor)702、通信接口(Communications Interface)704、存储器(memory)706、以及通信总线708。

[0205] 其中：处理器702、通信接口704、以及存储器706通过通信总线708完成相互间的通信。

[0206] 通信接口704，用于与其它设备比如其它客户端或服务器等的网元通信。

[0207] 处理器702，用于执行程序710，具体可以执行上述方法实施例中的相关步骤。

[0208] 具体地，程序710可以包括程序代码，该程序代码包括计算机操作指令。

[0209] 处理器710可能是中央处理器CPU，或者是特定集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路，或者是图形处理器GPU(Graphics Processing Unit)。终端设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU，或者，一个或多个GPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个GPU。

[0210] 存储器706，用于存放程序710。存储器706可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

[0211] 程序710具体可以用于使得处理器702执行以下操作：获取待处理的视频图像和待展示的业务对象；确定视频图像的背景区域；采用计算机绘图方式在视频图像的背景区域绘制业务对象。

[0212] 在一种可选的实施方式中，程序710还用于使得处理器702在采用计算机绘图方式在视频图像的背景区域绘制业务对象时，确定业务对象在视频图像中的展示位置和视频图像的前景区域；根据展示位置判断业务对象与视频图像的前景区域是否存在重叠部分；若存在，则采用计算机绘图方式，在背景区域绘制业务对象中除重叠部分之外的部分。

[0213] 在一种可选的实施方式中，程序710还用于使得处理器702在确定视频图像的背景区域时，通过预先训练的第一卷积神经网络模型确定视频图像的背景区域。

[0214] 在一种可选的实施方式中，程序710还用于使得处理器702在对第一卷积神经网络模型的预先训练时，获取第一样本图像的第一特征向量，其中，第一样本图像为包含有前景标注信息和背景标注信息的样本图像；对第一特征向量进行卷积处理，获取第一特征向量卷积结果；对第一特征向量卷积结果进行放大处理；判断放大后的第一特征向量卷积结果是否满足卷积收敛条件；若满足，则完成对第一卷积神经网络模型的训练；若不满足，则根据放大后的第一特征向量卷积结果调整第一卷积神经网络模型的网络参数并根据调整后的第一卷积神经网络模型的网络参数对第一卷积神经网络模型进行迭代训练，直至迭代训练后的第一特征向量卷积结果满足卷积收敛条件。

[0215] 在一种可选的实施方式中，程序710还用于使得处理器702在确定业务对象在视频图像中的展示位置时，按照设定规则确定业务对象在视频图像中的展示位置；其中，设定规则包括：预先设定的业务对象在视频图像的设定展示位置，或者，根据前景区域中的目标对象的动作检测数据，确定业务对象在视频图像中的展示位置。

[0216] 在一种可选的实施方式中，程序710还用于使得处理器702在根据前景区域中的目标对象的动作检测数据，确定业务对象在视频图像中的展示位置时，根据前景区域中的目标对象的动作检测数据，通过预先训练的、第二卷积神经网络模型确定业务对象在视频图像中的展示位置。

[0217] 在一种可选的实施方式中，程序710还用于使得处理器702在对第二卷积神经网络模型的预先训练时，获取第二样本图像的第二特征向量，其中，第二特征向量中包含有第二样本图像中的业务对象的位置信息和/或置信度信息，以及第二样本图像中目标对象的目标对象特征向量；对第二特征向量进行卷积处理，获取第二特征向量卷积结果；判断第二特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息是否满足业务对象收敛条件，并判断第二特征向量卷积结果中的目标对象特征向量是否满足目标对象收敛条件；若均满足，则完成对第二卷积神经网络模型的训练；否则，调整第二卷积神经网络模型的网络参数并根据调整后的第二卷积神经网络模型的网络参数对第二卷积神经网络模型进行迭代训练，直至迭代训练后的业务对象的位置信息和/或置信度信息和目标对象特征向量均满足相应的收敛条件。

[0218] 在一种可选的实施方式中，程序710还用于使得处理器702在根据前景区域中的目标对象的动作检测数据，确定业务对象在视频图像中的展示位置时，根据前景区域中的目标对象的动作检测数据和业务对象的类型，确定业务对象在视频图像中的展示位置。

[0219] 在一种可选的实施方式中，程序710还用于使得处理器702在根据前景区域中的目标对象的动作检测数据和业务对象的类型，确定业务对象在视频图像中的展示位置时，根据前景区域中的目标对象的动作检测数据和业务对象的类型，获得业务对象在视频图像中的多个展示位置；从多个展示位置中选择至少一个展示位置。

[0220] 在一种可选的实施方式中，程序710还用于使得处理器702在根据前景区域中的目标对象的动作检测数据，确定业务对象在视频图像中的展示位置时，判断前景区域中的目标对象的动作检测数据与预先设定的动作数据是否匹配；若匹配，则从预先存储的动作数据与展示位置的对应关系中，获取预先设定的动作数据对应的目标展示位置作为业务对象在视频图像中的展示位置。

[0221] 在一种可选的实施方式中，业务对象包括包含有语义信息的特效；视频图像为直播类视频图像。

[0222] 在一种可选的实施方式中，业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。

[0223] 在一种可选的实施方式中，直播类视频图像的前景区域为人物所在的区域。

[0224] 在一种可选的实施方式中，直播类视频图像的背景区域为除了人物所在的区域之外的至少局部区域。

[0225] 在一种可选的实施方式中，目标对象的动作检测数据包括以下至少之一：眨眼数据、张嘴数据、点头数据、摇头数据、亲吻数据、微笑数据、挥手数据、剪刀手数据、握拳数据、托手数据、大拇指数据、手枪姿势数据、OK手数据。

[0226] 程序710中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

[0227] 通过本实施例提供的终端设备，获取待处理的视频图像和待展示的业务对象，确定待处理的视频图像的前景区域和背景区域，以及业务对象在视频图像中的展示位置，然后根据业务对象在视频图像中的展示位置判断业务对象与视频图像的前景区域是否存在重叠部分，若存在重叠部分，表示业务对象的展示位置的全部位置或者部分位置位于前景区域内，则将前景区域置于业务对象之上展示，避免业务对象遮挡前景区域，不影响观众的正常视频观看体验，不易引起观众反感，可以有效实现预想的效果。

[0228] 需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

[0229] 上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

[0230] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

[0231] 以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。