一种视频剪辑的方法、相关装置、设备以及存储介质转让专利

申请号 : CN202010062446.2

文献号 : CN111263234B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 梁涛张晗马连洋衡阵

申请人 : 腾讯科技(深圳)有限公司

摘要 :

本申请公开了一种视频剪辑的方法,包括:获取待剪辑视频所对应的视频内容以及待剪辑视频所对应的音频内容;根据视频内容获取至少两个视频片段;根据音频内容在单位时间内音频频率的变化状态,从音频内容中获取至少一个音频片段;根据至少两个视频片段以及至少一个音频片段,生成待剪辑视频所对应的目标剪辑片段根据至少两个视频片段以及至少一个音频片段,生成待剪辑视频所对应的目标剪辑片段集合。本申请还公开了一种装置、设备以及存储介质,本申请将视频内容和音频内容共同作为视频剪辑的参考依据,实现了信息互补,使得剪辑后的片段不会出现信息缺失,从而提升视频剪辑的准确度。

权利要求 :

1.一种视频剪辑的方法,其特征在于,包括:获取待剪辑视频所对应的视频内容以及所述待剪辑视频所对应的音频内容;

根据所述视频内容获取至少两个视频片段,其中,所述视频内容包括至少一个对象帧,所述至少一个对象帧中包括用于片段分割的对象帧,且所述用于片段分割的对象帧与下一个相邻对象帧具有目标相似度,所述目标相似度小于或等于相似度阈值,所述用于片段分割的对象帧用于确定视频片段;

根据所述音频内容在单位时间内音频频率的变化状态,从所述音频内容中获取至少一个音频片段;

根据所述至少两个视频片段以及所述至少一个音频片段,生成所述待剪辑视频所对应的目标剪辑片段集合,其中,所述目标剪辑片段集合包括至少一个目标剪辑片段。

2.根据权利要求1所述的方法,其特征在于,所述获取待剪辑视频所对应的视频内容以及所述待剪辑视频所对应的音频内容,包括:获取所述待剪辑视频;

采用解协议对所述待剪辑视频进行解析处理,得到格式封装数据,其中,所述解协议用于将第一协议所对应的数据转换为第二协议所对应的数据,所述第一协议与所述第二协议属于不同的协议类型;

对所述格式封装数据进行解封装处理,得到音频码流数据以及视频码流数据;

对所述音频码流数据进行解码处理,得到所述音频内容;

对所述视频码流数据进行解码处理,得到所述视频内容。

3.根据权利要求1所述的方法,其特征在于,所述根据所述视频内容获取至少两个视频片段,包括:

根据所述视频内容获取对象帧序列,其中,所述对象帧序列包括N个对象帧,所述N为大于或等于2的整数;

根据所述对象帧序列生成至少一个对象帧子序列,其中,所述对象帧子序列包括M个用于片段分割的对象帧,所述M为大于或等于1,且小于或等于所述N的整数;

根据所述至少一个对象帧子序列,生成所述至少两个视频片段。

4.根据权利要求3所述的方法,其特征在于,所述根据所述视频内容获取对象帧序列,包括:

从所述视频内容中获取第一图像帧和第二图像帧,其中,所述第一图像帧为所述第二图像帧相邻的前一帧图像;

根据所述第一图像帧与所述第二图像帧生成差分图像;

根据所述差分图像确定目标像素值;

若所述目标像素值满足对象帧提取条件,则确定所述第二图像帧属于所述对象帧序列中的一个对象帧。

5.根据权利要求3所述的方法,其特征在于,所述根据所述视频内容获取对象帧序列,包括:

从所述视频内容中获取第一图像帧、第二图像帧以及第三图像帧,其中,所述第一图像帧为所述第二图像帧相邻的前一帧图像,所述第二图像帧为所述第三图像帧相邻的前一帧图像;

根据所述第一图像帧与所述第二图像帧生成第一差分图像;

根据所述第二图像帧与所述第三图像帧生成第二差分图像;

根据所述第一差分图像以及所述第二差分图像,生成目标差分图像;

根据所述目标差分图像确定目标像素值;

若所述目标像素值满足对象帧提取条件,则确定所述第三图像帧属于所述对象帧序列中的一个对象帧。

6.根据权利要求3所述的方法,其特征在于,所述根据所述对象帧序列生成至少一个对象帧子序列,包括:

从所述对象帧序列中获取第一对象帧以及第二对象帧,其中,所述第一对象帧为所述第二对象帧相邻的前一个对象帧;

获取所述第一对象帧所对应的第一关键点集合,以及所述第二对象帧所对应的第二关键点集合,其中,所述第一关键点集合包括至少一个第一关键点,所述第二关键点集合包括至少一个第二关键点;

根据所述第一关键点集合以及所述第二关键点集合确定相似度;

若所述相似度小于或等于所述相似度阈值,则确定所述第一对象帧属于所述对象帧子序列中的用于片段分割的对象帧;

若所述相似度大于所述相似度阈值,则从所述对象帧序列中剔除所述第一对象帧。

7.根据权利要求3所述的方法,其特征在于,所述根据所述至少一个对象帧子序列,生成所述至少两个视频片段,包括:根据第一对象帧子序列,从所述视频内容中生成第一视频片段;

根据第二对象帧子序列,从所述视频内容中生成第二视频片段;

或,所述根据所述至少一个对象帧子序列,生成所述至少两个视频片段,包括:从所述对象帧子序列所包括的所述M个用于片段分割的对象帧中,获取第一用于片段分割的对象帧以及第二用于片段分割的对象帧;

根据所述第一用于片段分割的对象帧从所述视频内容中截取第一视频片段;

根据所述第二用于片段分割的对象帧从所述视频内容中截取第二视频片段,其中,所述第二视频片段与所述第一视频片段属于不同的两个视频片段。

8.根据权利要求1所述的方法,其特征在于,所述根据所述音频内容所对应的单位时间内音频频率的变化状态,从所述音频内容中获取至少一个音频片段,包括:获取所述音频内容所对应的单位时间内音频频率的变化状态;

根据所述单位时间内音频频率的变化状态以及音频频率阈值,从所述音频内容中截取至少一个音频片段,其中,每个音频片段的音频频率大于或等于所述音频频率阈值。

9.根据权利要求1至8中任一项所述的方法,其特征在于,所述根据所述至少两个视频片段以及所述至少一个音频片段,生成所述待剪辑视频所对应的目标剪辑片段集合,包括:从所述至少两个视频片段中获取第一视频片段以及第二视频片段,其中,所述第二视频片段与所述第一视频片段属于不同的两个视频片段,且所述第二视频片段为所述第一视频片段相邻的下一个视频片段;

获取所述第一视频片段中的最后一个图像帧;

获取所述第二视频片段中的首个图像帧;

若所述第一视频片段中的最后一个图像帧与所述第二视频片段中的首个图像帧均对应于目标音频片段,则将所述第一视频片段与所述第二视频片段进行合并处理,得到所述目标剪辑片段集合中的目标剪辑片段,其中,所述目标音频片段属于所述至少一个音频片段中的任意一个音频片段。

10.根据权利要求9所述的方法,其特征在于,所述方法还包括:若所述第一视频片段中的最后一个图像帧对应于所述目标音频片段,且所述第二视频片段中的首个图像帧未对应于所述目标音频片段,则确定所述第一视频片段为所述目标剪辑片段集合中的一个目标剪辑片段,且所述第二视频片段为所述目标剪辑片段集合中的另一个目标剪辑片段;

若所述第一视频片段中的最后一个图像帧未对应于所述目标音频片段,且所述第二视频片段中的首个图像帧对应于所述目标音频片段,则确定所述第一视频片段为所述目标剪辑片段集合中的一个目标剪辑片段,且所述第二视频片段为所述目标剪辑片段集合中的另一个目标剪辑片段。

11.根据权利要求1至8中任一项所述的方法,其特征在于,所述根据所述至少两个视频片段以及所述至少一个音频片段,生成所述待剪辑视频所对应的目标剪辑片段集合,包括:从所述至少一个音频片段中获取目标音频片段,其中,所述目标音频片段对应于目标时间段;

根据所述目标音频片段所对应的所述目标时间段获取待检测视频;

获取所述待检测视频中的首个图像帧;

获取所述待检测视频中的最后一个图像帧;

若所述待检测视频中的首个图像帧以及所述待检测视频中的最后一个图像帧均属于目标视频片段,则确定所述目标视频片段为所述目标剪辑片段集合中的一个目标剪辑片段,其中,所述目标视频片段属于所述至少两个视频片段中的任意一个视频片段。

12.根据权利要求11所述的方法,其特征在于,所述方法还包括:若所述待检测视频中的首个图像帧属于第一视频片段,且所述待检测视频中的最后一个图像帧属于第二视频片段,则将所述第一视频片段与所述第二视频片段进行合并处理,得到所述目标剪辑片段集合中的目标剪辑片段,其中,所述第一视频片段与所述第二视频片段属于不同的两个视频片段。

13.一种视频剪辑装置,其特征在于,包括:获取模块,用于获取待剪辑视频所对应的视频内容以及所述待剪辑视频所对应的音频内容;

所述获取模块,还用于根据所述视频内容获取至少两个视频片段,其中,所述视频内容包括至少一个对象帧,所述至少一个对象帧中包括用于片段分割的对象帧,且所述用于片段分割的对象帧与下一个相邻对象帧具有目标相似度,所述目标相似度小于或等于相似度阈值,所述用于片段分割的对象帧用于确定视频片段;

所述获取模块,还用于根据所述音频内容在单位时间内音频频率的变化状态,从所述音频内容中获取至少一个音频片段;

生成模块,用于根据所述获取模块获取的所述至少两个视频片段以及所述至少一个音频片段,生成所述待剪辑视频所对应的目标剪辑片段集合,其中,所述目标剪辑片段集合包括至少一个目标剪辑片段。

14.一种电子设备,其特征在于,包括:存储器、收发器、处理器以及总线系统;

其中,所述存储器用于存储程序;

所述处理器用于执行所述存储器中的程序,包括如上述权利要求1至12中任一项所述的方法;

所述总线系统用于连接所述存储器以及所述处理器,以使所述存储器以及所述处理器进行通信。

15.一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至12中任一项所述的方法。

说明书 :

一种视频剪辑的方法、相关装置、设备以及存储介质

技术领域

[0001] 本申请涉及计算机处理领域,尤其涉及一种视频剪辑的方法、相关装置、设备以及存储介质。

背景技术

[0002] 随着用户需求与媒体技术的发展,视频的数量也呈指数级的爆炸增长,对视频进行剪辑也成为人们关注的视频处理方式。视频剪辑技术是一种将待剪辑对象通过剪辑的方
式合成一段剪辑视频的视频处理方式,常应用于短视频制作、视频集锦等视频剪辑场景。
[0003] 目前,视频剪辑方法多为均时剪辑,即对视频进行等时间段的自动剪辑,比如,一个60秒的视频,按照每10秒进行一次自动剪辑,可以得到6段剪辑后的视频片段。
[0004] 然而,均时剪辑之后得到的视频片段可能会出现视频场景不完整的情况,导致剪辑后的视频片段出现信息缺失,并且不利于视频剪辑的准确度。

发明内容

[0005] 本申请实施例提供了一种视频剪辑的方法、相关装置、设备以及存储介质,将视频内容和音频内容共同作为视频剪辑的参考依据,实现了信息互补,使得剪辑后的片段不会
出现信息缺失,从而提升视频剪辑的准确度。
[0006] 有鉴于此,本申请第一方面提供一种视频剪辑的方法,包括:获取待剪辑视频所对应的视频内容以及待剪辑视频所对应的音频内容;
[0007] 根据视频内容获取至少两个视频片段,其中,视频内容包括至少一个对象帧,至少一个对象帧中包括用于片段分割的对象帧,且用于片段分割的对象帧与下一个相邻对象帧
具有目标相似度,目标相似度小于或等于相似度阈值,用于片段分割的对象帧用于确定视
频片段;
[0008] 根据音频内容在单位时间内音频频率的变化状态,从音频内容中获取至少一个音频片段;
[0009] 根据至少两个视频片段以及至少一个音频片段,生成待剪辑视频所对应的目标剪辑片段集合,其中,目标剪辑片段集合包括至少一个目标剪辑片段。
[0010] 本申请第二方面提供一种视频剪辑装置,包括:
[0011] 获取模块,用于获取待剪辑视频所对应的视频内容以及待剪辑视频所对应的音频内容;
[0012] 获取模块,还用于根据视频内容获取至少两个视频片段,其中,视频片段包括用于片段分割的对象帧,且相邻两个视频片段中的用于片段分割的对象帧之间具有目标相似
度,目标相似度小于或等于相似度阈值;
[0013] 获取模块,还用于根据音频内容在单位时间内音频频率的变化状态,从音频内容中获取至少一个音频片段;
[0014] 生成模块,用于根据获取模块获取的至少两个视频片段以及至少一个音频片段,生成待剪辑视频所对应的目标剪辑片段集合,其中,目标剪辑片段集合包括至少一个目标
剪辑片段。
[0015] 在一种可能的设计中,在本申请实施例的第二方面的第一种实现方式中,
[0016] 获取模块,具体用于:
[0017] 获取待剪辑视频;
[0018] 采用解协议对待剪辑视频进行解析处理,得到格式封装数据,其中,解协议用于将第一协议所对应的数据转换为第二协议所对应的数据,第一协议与第二协议属于不同的协
议类型;
[0019] 对格式封装数据进行解封装处理,得到音频码流数据以及视频码流数据;
[0020] 对音频码流数据进行解码处理,得到音频内容;
[0021] 对视频码流数据进行解码处理,得到视频内容。
[0022] 在一种可能的设计中,在本申请实施例的第二方面的第二种实现方式中,
[0023] 获取模块,具体用于:
[0024] 根据视频内容获取对象帧序列,其中,对象帧序列包括N个对象帧,N为大于或等于2的整数;
[0025] 根据对象帧序列生成至少一个对象帧子序列,其中,对象帧子序列包括M个用于片段分割的对象帧,M为大于或等于1,且小于或等于N的整数;
[0026] 根据至少一个对象帧子序列,生成至少两个视频片段。
[0027] 在一种可能的设计中,在本申请实施例的第二方面的第三种实现方式中,
[0028] 获取模块,具体用于:
[0029] 从视频内容中获取第一图像帧和第二图像帧,其中,第一图像帧为第二图像帧相邻的前一帧图像;
[0030] 根据第一图像帧与第二图像帧生成差分图像;
[0031] 根据差分图像确定目标像素值;
[0032] 若目标像素值满足对象帧提取条件,则确定第二图像帧属于对象帧序列中的一个对象帧。
[0033] 在一种可能的设计中,在本申请实施例的第二方面的第四种实现方式中,
[0034] 获取模块,具体用于:
[0035] 从视频内容中获取第一图像帧、第二图像帧以及第三图像帧,其中,第一图像帧为第二图像帧相邻的前一帧图像,第二图像帧为第三图像帧相邻的前一帧图像;
[0036] 根据第一图像帧与第二图像帧生成第一差分图像;
[0037] 根据第二图像帧与第三图像帧生成第二差分图像;
[0038] 根据第一差分图像以及第二差分图像,生成目标差分图像;
[0039] 根据目标差分图像确定目标像素值;
[0040] 若目标像素值满足对象帧提取条件,则确定第三图像帧属于对象帧序列中的一个对象帧。
[0041] 在一种可能的设计中,在本申请实施例的第二方面的第五种实现方式中,
[0042] 生成模块,具体用于:
[0043] 步骤一,从对象帧序列中获取第一对象帧以及第二对象帧,其中,第一对象帧为第二对象帧相邻的前一个对象帧;
[0044] 步骤二,获取第一对象帧所对应的第一关键点集合,以及第二对象帧所对应的第二关键点集合,其中,第一关键点集合包括至少一个第一关键点,第二关键点集合包括至少
一个第二关键点;
[0045] 步骤三,根据第一关键点集合以及第二关键点集合确定相似度;
[0046] 步骤四,若相似度小于或等于相似度阈值,则确定第一对象帧属于对象帧子序列中的用于片段分割的对象帧;
[0047] 若相似度大于相似度阈值,则从对象帧序列中剔除第一对象帧;
[0048] 针对对象帧序列中每两个相邻的对象帧,执行如上述步骤一至步骤四,直至从对象帧序列中提取对象帧子序列。
[0049] 在一种可能的设计中,在本申请实施例的第二方面的第六种实现方式中,
[0050] 生成模块,具体用于:
[0051] 根据第一对象帧子序列,从视频内容中生成第一视频片段;
[0052] 根据第二对象帧子序列,从视频内容中生成第二视频片段;
[0053] 或,根据至少一个对象帧子序列,生成至少两个视频片段,包括:
[0054] 从对象帧子序列所包括的M个用于片段分割的对象帧中,获取第一用于片段分割的对象帧以及第二用于片段分割的对象帧;
[0055] 根据第一用于片段分割的对象帧从视频内容中截取第一视频片段;
[0056] 根据第二用于片段分割的对象帧从视频内容中截取第二视频片段,其中,第二视频片段与第一视频片段属于不同的两个视频片段。
[0057] 在一种可能的设计中,在本申请实施例的第二方面的第七种实现方式中,
[0058] 获取模块,具体用于:
[0059] 获取音频内容所在单位时间内音频频率的变化状态;
[0060] 根据单位时间内音频频率的变化状态以及音频频率阈值,从音频内容中截取至少一个音频片段,其中,每个音频片段的音频频率大于或等于音频频率阈值。
[0061] 在一种可能的设计中,在本申请实施例的第二方面的第八种实现方式中,
[0062] 生成模块,具体用于:
[0063] 从至少两个视频片段中获取第一视频片段以及第二视频片段,其中,第二视频片段与第一视频片段属于不同的两个视频片段,且第二视频片段为第一视频片段相邻的下一
个视频片段;
[0064] 获取第一视频片段中的最后一个图像帧;
[0065] 获取第二视频片段中的首个图像帧;
[0066] 若第一视频片段中的最后一个图像帧与第二视频片段中的首个图像帧均对应于目标音频片段,则将第一视频片段与第二视频片段进行合并处理,得到目标剪辑片段集合
中的目标剪辑片段,其中,目标音频片段属于至少一个音频片段中的任意一个音频片段。
[0067] 在一种可能的设计中,在本申请实施例的第二方面的第九种实现方式中,视频剪辑装置还包括确定模块,
[0068] 确定模块,用于若第一视频片段中的最后一个图像帧对应于目标音频片段,且第二视频片段中的首个图像帧未对应于目标音频片段,则确定第一视频片段为目标剪辑片段
集合中的一个目标剪辑片段,且第二视频片段为目标剪辑片段集合中的另一个目标剪辑片
段;
[0069] 确定模块,还用于若第一视频片段中的最后一个图像帧未对应于目标音频片段,且第二视频片段中的首个图像帧对应于目标音频片段,则确定第一视频片段为目标剪辑片
段集合中的一个目标剪辑片段,且第二视频片段为目标剪辑片段集合中的另一个目标剪辑
片段。
[0070] 在一种可能的设计中,在本申请实施例的第二方面的第十种实现方式中,
[0071] 生成模块,具体用于:
[0072] 从至少一个音频片段中获取目标音频片段,其中,目标音频片段对应于目标时间段;
[0073] 根据目标音频片段所对应的目标时间段获取待检测视频;
[0074] 获取待检测视频中的首个图像帧;
[0075] 获取待检测视频中的最后一个图像帧;
[0076] 若待检测视频中的首个图像帧以及待检测视频中的最后一个图像帧均属于目标视频片段,则确定目标视频片段为目标剪辑片段集合中的一个目标剪辑片段,其中,目标视
频片段属于至少两个视频片段中的任意一个视频片段。
[0077] 在一种可能的设计中,在本申请实施例的第二方面的第十一种实现方式中,视频剪辑装置还包括合并模块,
[0078] 合并模块,用于若待检测视频中的首个图像帧属于第一视频片段,且待检测视频中的最后一个图像帧属于第二视频片段,则将第一视频片段与第二视频片段进行合并处
理,得到目标剪辑片段集合中的目标剪辑片段,其中,第一视频片段与第二视频片段属于不
同的两个视频片段。
[0079] 本申请的第三方面提供一种终端设备,包括:存储器、收发器、处理器以及总线系统;
[0080] 其中,存储器用于存储程序;
[0081] 处理器用于执行存储器中的程序,包括如下步骤:
[0082] 获取待剪辑视频所对应的视频内容以及所述待剪辑视频所对应的音频内容;
[0083] 根据所述视频内容获取至少两个视频片段,其中,所述视频片段包括用于片段分割的对象帧,且相邻两个视频片段中的用于片段分割的对象帧之间具有目标相似度,所述
目标相似度小于或等于相似度阈值;
[0084] 根据所述音频内容在单位时间内音频频率的变化状态,从所述音频内容中获取至少一个音频片段;
[0085] 根据所述至少两个视频片段以及所述至少一个音频片段,生成所述待剪辑视频所对应的目标剪辑片段集合,其中,所述目标剪辑片段集合包括至少一个目标剪辑片段;
[0086] 总线系统用于连接存储器以及处理器,以使存储器以及处理器进行通信。
[0087] 本申请的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。
[0088] 从以上技术方案可以看出,本申请实施例具有以下优点:
[0089] 本申请实施例中,提供了一种视频剪辑的方法,首先获取待剪辑视频所对应的视频内容以及待剪辑视频所对应的音频内容,然后可以根据视频内容获取至少两个视频片
段,再根据音频内容在单位时间内音频频率的变化状态,从音频内容中获取至少一个音频
片段,最后根据至少两个视频片段以及至少一个音频片段,生成待剪辑视频所对应的目标
剪辑片段集合。通过上述方式,在对视频进行剪辑的过程中,不但考虑到视频内容中画面的
完整性,还考虑到音频内容中音频片段的完整性,将视频内容和音频内容共同作为视频剪
辑的参考依据,实现了信息互补,使得剪辑后的片段不会出现信息缺失,从而提升视频剪辑
的准确度。

附图说明

[0090] 图1为本申请实施例中视频剪辑系统的一个架构示意图;
[0091] 图2为本申请实施例中视频剪辑的方法一个实施例示意图;
[0092] 图3为本申请实施例中视频剪辑的方法一个实施例示意图;
[0093] 图4为本申请实施例中生成视频片段的一个实施例示意图;
[0094] 图5为本申请实施例中生成视频片段的另一个实施例示意图;
[0095] 图6为本申请实施例中单位时间内音频频率的变化状态的一个示意图;
[0096] 图7为本申请实施例中合并视频片段的一个实施例示意图;
[0097] 图8为本申请实施例中生成目标剪辑片段的一个实施例示意图;
[0098] 图9为本申请实施例中生成目标剪辑片段的一个实施例示意图;
[0099] 图10为本申请实施例中视频剪辑装置一个实施例示意图;
[0100] 图11为本申请实施例中终端设备的一个结构示意图;
[0101] 图12为本申请实施例中服务器的一个结构示意图。

具体实施方式

[0102] 本申请实施例提供了一种视频剪辑的方法、相关装置、设备以及存储介质,将视频内容和音频内容共同作为视频剪辑的参考依据,实现了信息互补,使得剪辑后的片段不会
出现信息缺失,从而提升视频剪辑的准确度。
[0103] 本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理
解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除
了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任
何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、
产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于
这些过程、方法、产品或设备固有的其它步骤或单元。
[0104] 应理解,本申请可以应用于各种存在视频剪辑的应用场景中,作为示例,例如在新闻类客户端中,新闻类客户端经常会在播放长视频的同时,也会提取并播放长视频中的精
彩片段,以吸引用户的注意力,从而会需要对长视频进行剪辑,从而将长视频中的精彩片段
提取出来;作为另一示例,例如在具有视频上传功能的应用中,可以提供用户个性化编辑的
功能,也即用户可以在录制长视频之后,对长视频进行剪辑成若干个片段,从而对喜欢的片
段做进一步编辑或直接上传喜欢的片段;作为再一示例,例如在视频播放类客户端中,存在
视频个性化推荐的功能,也即在向用户推荐长视频时,会针对不同用户推荐长视频中的不
同片段,因此也需要对长视频进行剪辑;应当理解,此处举例仅为方便理解本方案,不对本
申请的所有应用场景进行穷举。
[0105] 为了在上述各种场景中,得到准确度较高的视频剪辑片段,本申请提出了一种视频剪辑的方法,该方法应用于图1所示的视频剪辑系统,请参阅图1,图1为本申请实施例中
视频剪辑系统的一个架构示意图,如图所示,视频剪辑系统中包括服务器和终端设备。前述
视频剪辑的方法的执行主体(也即视频剪辑装置)可以部署于服务器,也可以部署于计算能
力较强的终端设备。
[0106] 具体的,视频剪辑装置可以在获取到待剪辑视频之后,获取与之对应的视频内容以及音频内容,之后根据视频内容获取至少两个视频片段,其中,视频内容包括至少一个对
象帧,至少一个对象帧中包括用于片段分割的对象帧,且用于片段分割的对象帧与下一个
相邻对象帧具有目标相似度,目标相似度小于或等于相似度阈值,该用于片段分割的对象
帧用于切分得到视频片段。并根据音频内容在单位时间内音频频率的变化状态,从音频内
容中获取至少一个音频片段,进而根据至少两个视频片段以及至少一个音频片段,生成待
剪辑视频所对应的目标剪辑片段,也即将视频内容和音频内容共同作为视频剪辑的参考依
据,提升视频剪辑的准确度。
[0107] 更具体的,视频剪辑装置可以具体表现为部署于终端设备上的客户端,例如上述对本申请的应用场景进行举例时所示出的所有客户端,则服务器可以通过无线网络将视频
剪辑装置发送至终端设备上。视频剪辑装置也可以具体表现为专门用于进行视频剪辑的终
端设备,则服务器也可以在生成视频剪辑装置之后,通过有线网络或移动存储介质等方式
将视频剪辑装置配置于终端设备上。视频剪辑装置还可以为部署于服务器上,则终端设备
在获取到待剪辑视频之后,将待剪辑视频发送给服务器,由服务器执行视频剪辑操作之后,
再发送给终端设备等,本申请以视频剪辑装置部署于终端设备为例进行说明,但这不应理
解为对本申请的限定。进一步地,上述的无线网络使用标准通信技术和/或协议。无线网络
通常为因特网、但也可以是任何网络,包括但不限于蓝牙、局域网(Local Area Network,
LAN)、城域网(Metropolitan Area Network,MAN)、广域网(Wide Area Network,WAN)、移
动、专用网络或者虚拟专用网络的任何组合)。在一些实施例中,可以使用定制或专用数据
通信技术取代或者补充上述数据通信技术。
[0108] 其中,如图1所示,前述终端设备包含但不仅限于平板电脑、笔记本电脑、掌上电脑、手机、语音交互设备及个人电脑(personal computer,PC),此处不做限定。其中,语音交
互设备包含但不仅限于智能音响以及智能家电。在部分实现方式中,客户端可以表现为网
页客户端,也可以表现为应用程序类客户端,部署于前述终端设备上。图1中的服务器可以
是一台服务器或多台服务器组成的服务器集群或云计算中心等,具体此处均不限定。
[0109] 虽然图1中仅示出了五个终端设备和一个服务器,但应当理解,图1中的示例仅用于理解本方案,具体终端设备和服务器的数量均应当结合实际情况灵活确定。
[0110] 结合上述介绍,下面将对本申请中视频剪辑的方法进行介绍,请参阅图2,本申请实施例中视频剪辑的方法一个实施例包括:
[0111] 101、视频剪辑装置获取待剪辑视频所对应的视频内容以及待剪辑视频所对应的音频内容;
[0112] 本实施例中,视频剪辑装置在获取到待剪辑视频之后,可以获取到与待剪辑视频对应的视频内容以及待剪辑视频所对应的音频内容。其中,与待剪辑视频对应的视频内容
指的是待剪辑视频中的图像帧,也即包括待剪辑视频中的所有图像帧且不包括待剪辑视频
中的声音;对应的,与待剪辑视频对应的音频内容包括待剪辑视频中的所有声音且不包括
待剪辑视频中的图像帧。具体的,视频剪辑装置可以通过摄像机直接拍摄得到待剪辑视频,
作为示例,例如用户可以通过具有视频上传功能的客户端,打开本地摄像机,从而直接拍摄
待剪辑视频;也可以为从本地的内部存储设备存储的媒体文件中获取待剪辑视频,作为示
例,例如从相册中选取待剪辑视频;还可以为从云端下载待剪辑视频;还可以为从本地的外
部存储设备存储的媒体文件中获取待剪辑视频,作为示例,例如视频剪辑装置通过有线网
络从硬盘中存储的视频文件中获取待剪辑视频等等,此处不做限定。
[0113] 102、视频剪辑装置根据视频内容获取至少两个视频片段,其中,视频内容包括至少一个对象帧,至少一个对象帧中包括用于片段分割的对象帧,且用于片段分割的对象帧
与下一个相邻对象帧具有目标相似度,目标相似度小于或等于相似度阈值,用于片段分割
的对象帧用于确定视频片段;
[0114] 本实施例中,视频剪辑装置在获取到待剪辑视频所对应的视频内容之后,可以将待剪辑视频所对应的视频内容分割成至少两个视频片段,其中,待剪辑视频中可以包括多
个图像帧,前述多个图像帧中包括对象帧,对象帧指的是这一帧画面的完整保留,在解码时
可以仅利用本帧数据就可以完成,它描述了图像背景和运动主体的详情,对象帧还可以称
为关键帧。用于片段分割的对象帧指的用于指示待剪辑视频的切割点,每个视频片段中都
会包括用于片段分割的对象帧,且用于片段分割的对象帧与下一个相邻对象帧具有目标相
似度,目标相似度小于或等于相似度阈值。
[0115] 103、视频剪辑装置根据音频内容在单位时间内音频频率的变化状态,从音频内容中获取至少一个音频片段;
[0116] 本实施例中,视频剪辑装置在获取到待剪辑视频所对应的音频内容之后,可以根据与音频内容在单位时间内音频频率的变化状态,对音频内容进行切割,进而从将音频内
容中获取到一个或多个音频片段。其中,音频频率越高,声音音调越高,音频频率越低,声音
音调越低。
[0117] 具体的,视频剪辑装置可以预先设置音频频率值,将音频内容所对应的音频频率中与前述音频频率值一致的音频点作为切割点,以对音频内容进行切割;也可以为预先设
置音频频率阈值,从音频内容中截取音频频率大于或等于音频频率阈值的至少一个音频片
段;还可以为通过其他方式从音频内容中获取至少一个音频片段,此处不做穷举。
[0118] 104、视频剪辑装置根据至少两个视频片段以及至少一个音频片段,生成待剪辑视频所对应的目标剪辑片段集合,其中,目标剪辑片段集合包括至少一个目标剪辑片段。
[0119] 本实施例中,视频剪辑装置在得到至少两个视频片段以及至少一个音频片段之后,由于视频片段和音频片段的起始位置可能是不对齐的,则可以通过视频片段和音频片
段对待剪辑视频的切割点进行校正,从而将待剪辑视频切割为至少一个目标剪辑片段。
[0120] 具体的,在一种情况下,视频剪辑装置可以为以视频片段的切割点为基准,利用音频片段的切割点进行校正。也即在得到至少两个视频片段以及至少一个音频片段之后,针
对至少一个音频片段中的每个音频片段,都会判断是否存在某个音频片段同时出现在两个
视频片段中,若存在某个音频片段同时出现在两个视频片段中,则需要将前述两个视频片
段合并为一个视频片段,进而基于合并后的视频片段确定待剪辑视频的切割点。作为示例,
例如第一个视频片段对应的为待剪辑视频的第1秒至第3秒,第二个视频片段对应的为待剪
辑视频的第4秒至第6秒,而某个音频片段对应的为待剪辑视频的第2秒至第5秒,则将第一
个视频片段和第二个视频片段合并,从而将待剪辑视频的切割点由原来的第3秒和第6秒这
两个切割点变成了第6秒这一个切割点,此处仅为举例,不用于限定本方案。可选地,若某个
音频片段同时出现了两个视频片段中,且两个视频片段不是相邻的视频片段,则需要将前
述两个视频片段以及前述两个视频片段之间的视频片段合并为一个视频片段,进而基于合
并后的视频片段确定待剪辑视频的切割点。作为示例,例如第一个视频片段对应的为待剪
辑视频的第1秒至第3秒,第二个视频片段对应的为待剪辑视频的第4秒至第6秒,第三个视
频片段对应的为待剪辑视频的第7秒至第9秒,而某个音频片段对应的为待剪辑视频的第2
秒至第8秒,则将第一个视频片段、第二个视频片段和第三个视频片段合并,从而将待剪辑
视频的切割点由原来的第3秒、第6秒和第9秒这三个切割点变成了第9秒这一个切割点,此
处仅为举例,不用于限定本方案。若每个音频片段均未同时出现在两个视频片段中,则可以
将步骤102中获取到的视频片段的切割点确定为待剪辑视频的切割点,对待剪辑视频进行
切割,得到至少两个目标剪辑片段。
[0121] 在另一种情况下,视频剪辑装置可以为以音频片段为基准,利用视频片段进行校正。也即在得到至少两个视频片段以及至少一个音频片段之后,针对至少一个视频片段中
的每个视频片段,都会判断是否存在某个视频片段同时出现在两个音频片段中,若存在某
个视频片段同时出现在两个音频片段中,则需要将前述两个音频片段合并为一个音频片
段,进而基于合并后的音频片段确定待剪辑视频的切割点。可选地,若某个视频片段同时出
现了两个音频片段中,且两个音频片段不是相邻的音频片段,则需要将前述两个音频片段
以及前述两个音频片段之间的音频片段合并为一个音频片段,进而基于合并后的音频片段
确定待剪辑视频的切割点。若每个视频片段均未同时出现在两个音频片段中,则可以将步
骤103中获取到的音频片段的切割点确定为待剪辑音频的切割点,对待剪辑音频进行切割,
得到至少两个目标剪辑片段。
[0122] 为进一步理解本方案,请参阅图3,图3为本申请实施例中视频剪辑的方法一个实施例示意图,其中,在获取到待剪辑视频之后,可以先分别获取到与待剪辑视频对应的视频
内容以及待剪辑视频所对应的音频内容,从视频内容获取至少两个视频片段,从音频内容
中获取至少一个音频片段,利用视频片段和音频片段共同确定待剪辑视频的切割点,从而
生成待剪辑视频所对应的目标剪辑片段集合,图3中以示出目标剪辑片段集合中的3个目标
剪辑片段为例,应理解,图3中的示例仅为方便理解本方案,不用于限定本方案。
[0123] 本申请实施例中,提供了一种视频剪辑的方法,首先获取待剪辑视频所对应的视频内容以及待剪辑视频所对应的音频内容,然后可以根据视频内容获取至少两个视频片
段,再根据音频内容在单位时间内音频频率的变化状态,从音频内容中获取至少一个音频
片段,最后根据至少两个视频片段以及至少一个音频片段,生成待剪辑视频所对应的目标
剪辑片段集合。通过上述方式,在对视频进行剪辑的过程中,不但考虑到视频内容中画面的
完整性,还考虑到音频内容中音频片段的完整性,将视频内容和音频内容共同作为视频剪
辑的参考依据,实现了信息互补,使得剪辑后的片段不会出现信息缺失,从而提升视频剪辑
的准确度。
[0124] 可选地,在上述图2对应的实施例的基础上,本申请实施例提供的视频剪辑的方法一个可选实施例中,视频剪辑装置获取待剪辑视频所对应的视频内容以及待剪辑视频所对
应的音频内容,可以包括:
[0125] 视频剪辑装置获取待剪辑视频;
[0126] 视频剪辑装置采用解协议对待剪辑视频进行解析处理,得到格式封装数据,其中,解协议用于将第一协议所对应的数据转换为第二协议所对应的数据,第一协议与第二协议
属于不同的协议类型;
[0127] 视频剪辑装置对格式封装数据进行解封装处理,得到音频码流数据以及视频码流数据;
[0128] 视频剪辑装置对音频码流数据进行解码处理,得到音频内容;
[0129] 视频剪辑装置对视频码流数据进行解码处理,得到视频内容。
[0130] 本实施例中,视频剪辑装置在获取到第一协议所对应的待剪辑视频之后,需要根据待剪辑视频得到视频内容和音频内容。具体的,在一种情况下,若视频剪辑装置为通过网
络下载得到的待剪辑视频,由于视频在网络上传播的时候,常常采用各种流媒体协议,这些
流媒体协议在传输视频数据的同时,也会传输一些信令数据,这些信令数据包括对播放的
控制数据或者对网络状态的描述数据等,而解协议的过程指的是将第一协议所对应的待剪
辑视频中的信令数据去除而只保留视频数据,从而得到格式封装数据的过程。在另一种情
况下,若视频剪辑装置为从本地存储的媒体文件中获取到待剪辑视频,则若本地存储的待
剪辑视频的第一协议类型与视频剪辑装置适用的第二协议类型不同,则也需要进行解协议
处理。其中,解协议用于将第一协议所对应的待剪辑视频转换为第二协议所对应的待剪辑
视频,第一协议与第二协议属于不同的协议类型;进一步地,第一协议指的可以为上述流媒
体协议,作为示例,例如第一协议可以为超文本传输协议(hypertext transferprotocol,
HTTP)、实时消息传输协议(real time messaging protocol,RTMP),或微软媒体服务器协
议(microsoft media server protocol,MMS)等,第二协议指的是进行解析处理后所采用
的协议,作为示例,例如第二协议对应,此处均不做限定。更进一步地,第一协议和第二协议
之间可以具有对应关系,也可以不具有对应关系,作为示例,例如RTMP协议传输的待剪辑视
频,经过解协议操作后,输出FLV格式的待剪辑视频,此处不做穷举。
[0131] 视频剪辑装置在得到格式封装的待剪辑视频之后,需要对格式封装的待剪辑视频进行解封装处理,从而从格式封装的待剪辑视频中分离出音频码流数据以及视频码流数
据,其中,音频码流数据的格式包括但不限于高级音频编码(advanced audio coding,
AAC)、MP3或音频编码(audio coding‑3,AC‑3)等,视频码流数据的格式包括但不限于
H.264、活动图像专家组(moving picture experts group‑2,MPEG‑2)或视讯编解码器
(videocodec‑1,VC‑1)等。作为示例,例如FLV格式的待剪辑视频,经过解封装处理后,输出
AAC编码的音频码流数据和H.264编码的视频码流数据,此处不再对其他格式进行举例。进
而视频剪辑装置可以对音频码流数据进行解码处理,得到非压缩的音频内容,并对视频码
流数据进行解码处理,得到非压缩的视频内容。其中,音频内容的格式可以为脉冲编码调制
(pulse code modulation,PCM)格式或其他音频格式等,视频内容的格式可以为YUV420P、
RGB或其他视频格式等,YUV420指的是明亮度(luminance,Y)、色度(chrominance,U)和浓度
(chroma,V)的比例为4:2:0,RGB指的是红(red,R)、绿(green,G)和蓝(bule,B),上述举例均
仅为证明本方案的可实现性,不用于限定本方案。视频剪辑装置在得到音频内容和视频内
容之后,还可以对音频内容和视频内容进行同步,同步的标准可以为音频内容和视频内容
所对应的待剪辑视频的时间,例如将待剪辑视频第1秒的音频内容和视频内容进行同步对
齐。进一步地,音频内容和视频内容进行同步对齐的时间粒度可以为秒,也可以为更细粒度
的时间级,此处均不作限定。
[0132] 为进一步理解本方案,请参阅图4,图4为本申请实施例中生成视频片段的一个实施例示意图,其中,获取第一协议所对应的待剪辑视频,对第一协议所对应的待剪辑视频进
行解协议处理,得到格式封装数据,也即格式封装形式的待剪辑视频,对格式封装数据进行
解封装处理,分别得到音频码流数据和视频码流数据,从而分别对音频码流数据进行解码
处理,得到音频内容,对视频码流数据进行解码处理,得到视频内容。需要说明的是,本申请
实施例对音频码流数据进行解码处理和对视频码流数据进行解码处理的执行顺序,可以同
时对音频码流数据进行解码处理和对视频码流数据进行解码处理;也可以先对音频码流数
据进行解码处理,再对视频码流数据进行解码处理;还可以先对视频码流数据进行解码处
理,再对音频码流数据进行解码处理,应理解,图4中的示例仅为方便理解本方案,不用于限
定本方案。
[0133] 本申请实施例中,获取待剪辑视频,采用解协议对待剪辑视频进行解析处理,得到格式封装数据,其中,解协议用于将第一协议所对应的数据转换为第二协议所对应的数据,
对格式封装数据进行解封装处理,得到音频码流数据以及视频码流数据,对音频码流数据
进行解码处理,得到音频内容,对视频码流数据进行解码处理,得到视频内容。通过上述方
式,在获取到待剪辑视频之后,会对待剪辑视频进行格式转换,进而再对格式转换后的数据
进行解封装,从而得到音频内容和视频内容,也即可以从任意格式的待剪辑视频中获取到
音频内容和视频内容,扩展了本方案的应用场景,也保证了本方案的实现流畅性。
[0134] 可选地,在上述图2对应的实施例的基础上,本申请实施例提供的视频剪辑的方法一个可选实施例中,视频剪辑装置根据视频内容获取至少两个视频片段,可以包括:
[0135] 视频剪辑装置根据视频内容获取对象帧序列,其中,对象帧序列包括N个对象帧,N为大于或等于2的整数;
[0136] 视频剪辑装置根据对象帧序列生成至少一个对象帧子序列,其中,对象帧子序列包括M个用于片段分割的对象帧,M为大于或等于1,且小于或等于N的整数;
[0137] 视频剪辑装置根据至少一个对象帧子序列,生成至少两个视频片段。
[0138] 本实施例中,视频剪辑装置在获取到视频内容之后,可以将视频内容传入一个对象帧提取器中,得到对象帧提取器输出的对象帧序列,对象帧序列中包括至少两个对象帧,
进而对于对象帧序列包括的至少两个对象帧进行相似性判断,以根据对象帧序列生成对象
帧子序列。
[0139] 具体的,在A情况中,视频剪辑装置可以将相似的对象帧作为相同视频片段下的对象帧,并根据不相似的对象帧确定不同视频片段中的用于片段分割的对象帧(也可以称为
切分对象帧),从而利用用于片段分割的对象帧对对象帧序列进行切分,得到至少两个对象
帧子序列,至少两个对象帧子序列中可以包括M个用于片段分割的对象帧,进而根据至少两
个对象帧子序列,生成至少两个视频片段,每个对象帧子序列对应一个视频片段。也即在A
情况中每个关键子序列中包括至少一个对象帧,至少一个对象帧中包括用于片段分割的对
象帧,当前述至少一个对象帧中包括至少两个对象帧时,一个对象帧子序列中不仅包括用
于片段分割的对象帧,也包括除用于片段分割的对象帧之外的其他对象帧。
[0140] 在B情况中,视频剪辑装置可以对对象帧序列包括的至少两个对象帧进行相似性判断,从中选取出M个用于片段分割的对象帧,并由M个用于片段分割的对象帧组成一个对
象帧子序列,进而利用前述一个对象帧子序列中包括的所有用于片段分割的对象帧确定待
剪辑视频的切割点,从而将待剪辑视频切割成至少两个视频片段。也即在B情况中,对象帧
子序列中只包括M个用于片段分割的对象帧。
[0141] 更具体的,对象帧提取器根据视频内容生成对象帧序列的过程可以包括,利用背景差分法、帧差法、光流法或其他算法从与视频内容获对应的图像帧中提取对象帧,其中,
视频内容的变化越剧烈,提取的对象帧越多。进而可以利用直方图对比、图像模板匹配、峰
值信噪比(peak signal to noise ratio,PSNR)、结构相似性(structural similarity,
SSIM)、感知哈希算法(perceptual hash algorithm)或其他算法等来计算对象帧之间的相
似度,以从至少两个对象帧中选取出至少一个用于片段分割的对象帧,将用于片段分割的
对象帧视为切分对象帧对对象帧序列进行分割,得到至少两个对象帧子序列,由于每一个
对象帧都对应于待剪辑视频中的一个图像帧,则可以根据对象帧子序列中对象帧与待剪辑
视频中图像帧之间的对应关系,对待剪辑视频进行切割,得到至少两个视频片段。
[0142] 为进一步理解本方案,请参阅图5,图5为本申请实施例中生成视频片段的另一个实施例示意图,其中,对视频内容进行对象帧提取(extract)操作,得到对象帧序列KF_i,对
象帧序列KF_i中包括图5中示出的KF_1、KF_2……KF_N,进而利用相似性规则
(similarregulation)对对象帧序列中多个对象帧进行相似度判断,并进行对象帧合并操
作,也即将相似度高的对象帧合并到一个对象帧子序列中,将相似度低的对象帧分到不同
的对象帧子序列中,从而根据至少两个对象帧子序列得到基于视频内容得到的剪辑结果v_
during_i,v_during_i中包括v_during_1、v_during_2……v_during_M(也即至少一个视频
片段的一种示例),应理解,图5中的示例仅为方便理解本方案,不用于限定本方案。
[0143] 本申请实施例中,根据视频内容获取对象帧序列,根据对象帧序列生成对象帧子序列,并根据对象帧子序列,生成至少两个视频片段。通过上述方式,仅需要对对象帧做处
理就可以得到对象帧子序列,进而得到至少两个视频片段,节省了处理资源,且降低了处理
时间,提高了本方案的实现效率。
[0144] 可选地,在上述图2对应的实施例的基础上,本申请实施例提供的视频剪辑的方法一个可选实施例中,视频剪辑装置根据视频内容获取对象帧序列,可以包括:
[0145] 视频剪辑装置从视频内容中获取第一图像帧和第二图像帧,其中,第一图像帧为第二图像帧相邻的前一帧图像;
[0146] 视频剪辑装置根据第一图像帧与第二图像帧生成差分图像;
[0147] 视频剪辑装置根据差分图像确定目标像素值;
[0148] 若目标像素值满足对象帧提取条件,则视频剪辑装置确定第二图像帧属于对象帧序列中的一个对象帧。
[0149] 本实施例中,视频剪辑装置获取与视频内容对应的多个图像帧,并从多个图像帧中获取第一图像帧和第二图像帧,其中,第一图像帧为第二图像帧相邻的前一帧图像,将第
一图像帧与第二图像帧进行对齐操作之后,将对应位置上像素点进行相减,并取其绝对值,
以生成差分图像,进而可以根据差分图像获取目标像素值,在目标像素值满足对象帧提取
条件的情况下,确定第二图像帧为对象帧序列的一个对象帧。
[0150] 针对根据差分图像获取像素值这一操作,视频剪辑装置可以直接获取差分图像的总像素值。可选地,视频剪辑装置可以对差分图像进行二值化(Binarization)处理,也就是
利用某一个阈值,将整个差分图像上的每个像素点的灰度值设置为0或255,从而将差分图
像转换为黑白图像的过程,得到二值化图像,其中,灰度值为255的点即为前景点,灰度值为
0的点即为背景点。可选地,视频剪辑装置还可以对二值化图像中的背景点进行连通性分
析,若二值化图像中的背景点可以连通到一起,则可以认为前述连通到一起的背景点被分
类错误,应该是前景点,从而需要对分类所使用的阈值进行二次调整,以重新生成二值化图
像。在得到二值化图像之后,根据二值化图像获取整个二值化图像的总像素值。
[0151] 针对确定目标像素值满足对象帧提取条件这一操作,在一种实现方式中,视频剪辑装置中可以预先设置有时间窗和步长,视频剪辑装置从视频内容中获取单位时间窗内的
多个图像帧,作为示例,例如单位时间窗内对应视频内容中的50个图像帧。前述多个图像帧
中包括多个相邻第一图像帧和第二图像帧,针对前述多个图像帧中每两个相邻的图像帧,
均执行生成差分图像以及获取像素值的操作,从而可以得到与前述多个图像帧对应的多个
像素值,从前述多个像素值中选取像素值最大的目标像素值,并确定为满足对象帧提取条
件的目标像素值,进而将与目标像素值对应的第一图像帧和第二图像帧中的第二图像帧确
定为对象帧,从而得到了一个时间窗内的对象帧。视频剪辑装置可以向后滑动单位步长,以
提取下一个时间窗内的多个图像帧,并从下一个时间窗内的多个图像帧中获取对象帧,由
于从每个时间窗内的多个图像帧中获取对象帧的操作类似,此处不做赘述,其中,步长的长
度小于或等于时间窗的长度,作为示例,例如步长的长度可以为20个图像帧、30个图像帧
等,此处不做限定。视频剪辑装置重复前述操作,直至从视频内容的所有图像帧中提取对象
帧序列。在另一种实现方式中,视频剪辑装置中可以预先设置有像素值阈值,在根据两个相
邻的图像帧之间的差分图像,得到像素值之后,判断像素值是否大于或等于像素值阈值,若
像素值大于或等于像素值阈值,则将大于或等于像素值阈值的像素值确定为目标像素值,
并将与目标像素值对应的第二图像帧属于对象帧序列中的一个对象帧。视频剪辑装置针对
视频内容中每两个相邻的图像帧,执行如上述操作,直至从视频内容中提取对象帧序列。
[0152] 本申请实施例中,从视频内容中获取第一图像帧和第二图像帧,其中,第一图像帧为第二图像帧相邻的前一帧图像,根据第一图像帧与第二图像帧生成差分图像,根据差分
图像获取目标像素值,若目标像素值满足对象帧提取条件,则确定第二图像帧属于对象帧
序列中的一个对象帧。通过上述方式,提供了确定对象帧的一种实现方式,上述实现方式对
变化比较快的场景适应性较好,提高了本方案的可实现性。
[0153] 可选地,在上述图2对应的实施例的基础上,本申请实施例提供的视频剪辑的方法一个可选实施例中,视频剪辑装置根据视频内容获取对象帧序列,可以包括:
[0154] 视频剪辑装置从视频内容中获取第一图像帧、第二图像帧以及第三图像帧,其中,第一图像帧为第二图像帧相邻的前一帧图像,第二图像帧为第三图像帧相邻的前一帧图
像;
[0155] 视频剪辑装置根据第一图像帧与第二图像帧生成第一差分图像;
[0156] 视频剪辑装置根据第二图像帧与第三图像帧生成第二差分图像;
[0157] 视频剪辑装置根据第一差分图像以及第二差分图像,生成目标差分图像;
[0158] 视频剪辑装置根据目标差分图像确定目标像素值;
[0159] 若目标像素值满足对象帧提取条件,则视频剪辑装置确定第三图像帧属于对象帧序列中的一个对象帧。
[0160] 本实施例中,视频剪辑装置从视频内容中获取第一图像帧、第二图像帧以及第三图像帧,其中,第一图像帧为第二图像帧相邻的前一帧图像,第二图像帧为第三图像帧相邻
的前一帧图像。之后视频剪辑装置将第一图像帧与第二图像帧进行对齐操作之后,将对应
位置上像素点进行相减,并取其绝对值,生成第一差分图像;将第二图像帧与第三图像帧进
行对齐操作之后,将对应位置上像素点进行相减,并取其绝对值,生成第二差分图像。对第
一差分图像以及第二差分图像进行与操作,生成目标差分图像,进而可以根据目标差分图
像获取目标像素值,在目标像素值满足对象帧提取条件的情况下,确定第二图像帧为对象
帧序列的一个对象帧。
[0161] 针对根据差分图像获取像素值这一操作,可以为直接获取差分图像的像素值,也可以为将差分图像二值化处理后,获取二值化图像的像素值,具体实现方式可以参阅上述
实施例,此处不做赘述。
[0162] 针对确定目标像素值满足对象帧提取条件这一操作,与上述实施例类似,在一种实现方式中,视频剪辑装置中可以预先设置有时间窗和步长,视频剪辑装置从视频内容中
获取单位时间窗内的多个图像帧,前述多个图像帧中包括多个相邻第一图像帧、第二图像
帧以及第三图像帧,针对单位时间窗内的多个图像帧中每三个相邻的图像帧,均执行生成
差分图像以及获取像素值的操作,从而可以得到与单位时间窗内的多个图像帧对应的多个
像素值,从前述多个像素值中选取像素值最大的目标像素值,并确定为满足对象帧提取条
件的目标像素值,进而将与目标像素值对应的第三图像帧确定为对象帧,从而得到了一个
时间窗内的对象帧。视频剪辑装置可以向后滑动单位步长,以获取下一个时间窗内的对象
帧。视频剪辑装置重复前述操作,直至从视频内容的所有图像帧中提取对象帧序列。在另一
种实现方式中,视频剪辑装置中可以预先设置有像素值阈值,在根据三个相邻的图像帧之
间的差分图像,得到像素值之后,判断像素值是否大于或等于像素值阈值,若像素值大于或
等于像素值阈值,则将大于或等于像素值阈值的像素值确定为目标像素值,并将与目标像
素值对应的第三图像帧属于对象帧序列中的一个对象帧。视频剪辑装置针对视频内容中每
三个相邻的图像帧,执行如上述操作,直至从视频内容中提取对象帧序列。
[0163] 本申请实施例中,通过上述方式,提供了确定对象帧的又一种实现方式,提高了本方案的实现灵活性;此外,上述实现方式对变化比较慢的场景适应性较好,扩展了本方案的
应用场景。
[0164] 可选地,在上述图2对应的实施例的基础上,本申请实施例提供的视频剪辑的方法一个可选实施例中,视频剪辑装置根据对象帧序列生成至少一个对象帧子序列,可以包括:
[0165] 步骤一,视频剪辑装置从对象帧序列中获取第一对象帧以及第二对象帧,其中,第一对象帧为第二对象帧相邻的前一个对象帧;
[0166] 步骤二,视频剪辑装置获取第一对象帧所对应的第一关键点集合,以及第二对象帧所对应的第二关键点集合,其中,第一关键点集合可以包括至少一个第一关键点,第二关
键点集合可以包括至少一个第二关键点;
[0167] 步骤三,视频剪辑装置根据第一关键点集合以及第二关键点集合确定相似度;
[0168] 步骤四,若相似度小于或等于相似度阈值,则视频剪辑装置确定第一对象帧属于对象帧子序列中的用于片段分割的对象帧;
[0169] 若相似度大于相似度阈值,则视频剪辑装置从对象帧序列中剔除第一对象帧;
[0170] 视频剪辑装置针对对象帧序列中每两个相邻的对象帧,执行如上述步骤一至步骤四,直至从对象帧序列中提取对象帧子序列。
[0171] 本实施例中,视频剪辑装置获取到对象帧序列之后,由于对象帧序列是顺序排列的,则视频剪辑装置能够从对象帧序列中获取第一对象帧以及第二对象帧,其中,第一对象
帧为第二对象帧相邻的前一个对象帧。进而视频剪辑装置获取第一对象帧所对应的第一关
键点集合,以及第二对象帧所对应的第二关键点集合,并根据第一关键点集合以及第二关
键点集合确定相似度。具体的,在一种情况下,视频剪辑装置可以根据第一关键点集合和第
二关键点集合计算第一对象帧和第二对象帧之间的欧氏距离(Euclidean Distance)的距
离值、明氏距离(Minkowski Distance)的距离值、曼哈顿距离(Manhattan Distance)的距
离值或切比雪夫距离(Chebyshev Distance)的距离值等来确定第一对象帧和第二对象帧
之间的相似度,其中,第一对象帧和第二对象帧之间的距离值越大,第一对象帧和第二对象
帧之间的相似度越小。更具体的,视频剪辑装置可以预先设置第一对象帧和第二对象帧之
间的距离值与第一对象帧和第二对象帧之间的相似度之间的对应关系,从而在得到第一对
象帧和第二对象帧之间的距离值之后,可以生成第一对象帧和第二对象帧之间的相似度。
在另一种情况下,视频剪辑装置也可以根据第一关键点集合和第二关键点集合计算第一对
象帧和第二对象帧之间的余弦相似度,进而直接将前述余弦相似度确定为第一对象帧和第
二对象帧之间的相似度,或者预先设置有余弦相似度和第一对象帧和第二对象帧之间的相
似度之间的对应关系,从而根据第一对象帧和第二对象帧之间的余弦相似度生成,第一对
象帧和第二对象帧之间的相似度,其中,余弦相似度越大,第一对象帧和第二对象帧之间的
相似度越大。此外,视频剪辑装置还可以通过其他方式得到第一对象帧和第二对象帧之间
的相似度,此处不做穷举。
[0172] 视频剪辑装置在得到第一对象帧和第二对象帧之间的相似度之后,可以判断第一对象帧和第二对象帧之间的相似度是否小于或等于预设的相似度阈值,若相似度小于或等
于相似度阈值,则视频剪辑装置确定第一对象帧属于对象帧子序列中的用于片段分割的对
象帧;若相似度大于相似度阈值,则可以确定第一对象帧不是待剪辑视频的切分对象帧,进
而从对象帧序列中剔除第一对象帧。视频剪辑装置针对对象帧序列中每两个相邻的对象
帧,均执行上述生成相似度、将相似度与相似度阈值进行比较以及比较后的确定用于片段
分割的对象帧或者提出对象帧操作,直至对对象帧序列中每两个相邻的对象帧均执行上述
操作,以从对象帧序列中提取对象帧子序列。进一步地,针对对象帧序列中的最后一帧对象
帧,也即在第一对象帧为前述最后一帧对象帧的情况下,则不存在与第一对象帧进行比对
的第二对象帧,视频剪辑装置可以将最后一帧对象帧确定为对象帧子序列中的用于片段分
割的对象帧,也可以直接将最后一帧对象帧进行剔除操作,此处不做限定。更进一步地,本
实施例中的对象帧子序列中只包括的用于片段分割的对象帧,也即对象帧子序列中包括的
均为待剪辑视频的切分对象帧,从而视频剪辑装置可以确定每个用于片段分割的对象帧在
待剪辑视频中的位置,也即确定了待剪辑视频的切分点,从而对待剪辑视频进行切分操作
之后,得到至少两个视频片段。作为示例,例如待剪辑时频包括15帧图像帧,其中对象帧序
列中包括第3帧、第5帧、第8帧以及第10帧图像帧,第3帧和第5帧之间的相似度大于相似度
阈值,第5帧和第8帧之间的相似度小于相似度阈值,第8帧和第10帧之间的相似度等于相似
度阈值,此处以将对象帧序列中的最后一帧对象帧确定为用于片段分割的对象帧为例,则
对象帧子序列中包括第5帧和第10帧,应当理解,此处举例仅为方便理解本方案,不用于限
定本方案。
[0173] 本申请实施例中,视频剪辑装置从对象帧序列中获取第一对象帧以及第二对象帧,第一对象帧为第二对象帧相邻的前一个对象帧,获取第一对象帧所对应的第一关键点
集合,以及第二对象帧所对应的第二关键点集合,根据第一关键点集合以及第二关键点集
合确定相似度,若相似度小于或等于相似度阈值,则确定第一对象帧属于对象帧子序列中
的用于片段分割的对象帧,若相似度大于相似度阈值,则从对象帧序列中剔除第一对象帧,
针对对象帧序列中每两个相邻的对象帧,执行如前述步骤直至从对象帧序列中提取对象帧
子序列。通过上述方式,对每个相邻的对象帧都进行相似度判断,从而从对象帧序列中获取
仅包括用于片段分割的对象帧的对象帧子序列,从而剔除了非用于片段分割的对象帧的干
扰,有利于提高获取视频片段的效率。
[0174] 可选地,在上述图2对应的实施例的基础上,本申请实施例提供的视频剪辑的方法一个可选实施例中,视频剪辑装置根据至少一个对象帧子序列,生成至少两个视频片段,可
以包括:
[0175] 视频剪辑装置根据第一对象帧子序列,从视频内容中生成第一视频片段;
[0176] 视频剪辑装置根据第二对象帧子序列,从视频内容中生成第二视频片段;
[0177] 或,视频剪辑装置根据至少一个对象帧子序列,生成至少两个视频片段,可以包括:
[0178] 视频剪辑装置从对象帧子序列所包括的M个用于片段分割的对象帧中,获取第一用于片段分割的对象帧以及第二用于片段分割的对象帧;
[0179] 视频剪辑装置根据第一用于片段分割的对象帧从视频内容中截取第一视频片段;
[0180] 视频剪辑装置根据第二用于片段分割的对象帧从视频内容中截取第二视频片段,其中,第二视频片段与第一视频片段属于不同的两个视频片段。
[0181] 本实施例中,基于图5对应的实施例中的描述,在A情况中,至少一个对象帧子序列中包括至少两个对象帧子序列,对象帧子序列为利用用于片段分割的对象帧对对象帧序列
进行切分得到的,视频剪辑装置可以从至少两个对象帧子序列中获取第一对象帧子序列,
第一对象帧子序列中包括一个或多个对象帧,根据第一对象帧子序列生成第一视频片段,
并从至少两个对象帧子序列中获取第二对象帧子序列,第二对象帧子序列中包括一个或多
个对象帧,根据第二对象帧子序列生成第二视频片段,其中,第一对象帧子序列和第二对象
帧子序列均为至少两个对象帧子序列中的任意对象帧子序列,且第一对象帧子序列和第二
对象帧子序列为不同的对象帧子序列。
[0182] 基于图5对应的实施例中的描述,在B情况中,至少一个对象帧子序列中包括一个对象帧子序列,前述一个对象帧子序列中包括M个用于片段分割的对象帧,视频剪辑装置从
对象帧子序列所包括的M个用于片段分割的对象帧中,获取第一用于片段分割的对象帧以
及第二用于片段分割的对象帧,其中,第一用于片段分割的对象帧和第二用于片段分割的
对象帧均为M个用于片段分割的对象帧中的任一用于片段分割的对象帧。具体的,在对象帧
子序列中只包括用于片段分割的对象帧的情况下,则视频剪辑装置可以从对象帧子序列包
括的所有对象帧中任意选取第一用于片段分割的对象帧以及第二用于片段分割的对象帧。
进而视频剪辑装置根据第一用于片段分割的对象帧从视频内容中截取第一视频片段,根据
第二用于片段分割的对象帧从视频内容中截取第二视频片段,其中,第二视频片段与第一
视频片段属于不同的两个视频片段。具体的,视频剪辑装置在获取到第一用于片段分割的
对象帧之后,可以从待剪辑图像中获取到与第一用于片段分割的对象帧对应的图像帧,并
将第一用于片段分割的对象帧对应的图像帧确定为一个切分对象帧。更具体的,可以将第
一用于片段分割的对象帧作为上一个视频片段的最后一帧,从而确定了视频片段的结束
帧,由于每个用于片段分割的对象帧均为视频片段的结束帧,则可以根据两个结束帧从待
剪辑视频中截取一个视频片段。也可以将第一用于片段分割的对象帧作为下一个视频片段
的第一帧,从而确定了视频片段的开始帧,由于每个用于片段分割的对象帧均为视频片段
的开始帧,则可以根据两个开始帧从待剪辑视频中截取一个视频片段。视频剪辑装置对于
第二用于片段分割的对象帧的处理方式与对第一用于片段分割的对象帧的处理方式类似,
此处不做赘述。从而视频剪辑装置可以根据M个用于片段分割的对象帧中的每个用于片段
分割的对象帧对待剪辑视频进行剪辑,得到M个视频片段。
[0183] 本申请实施例中,从对象帧子序列所包括的M个用于片段分割的对象帧中,获取第一用于片段分割的对象帧以及第二用于片段分割的对象帧,根据第一用于片段分割的对象
帧从视频内容中截取第一视频片段,根据第二用于片段分割的对象帧从视频内容中截取第
二视频片段。通过上述方式,提供了利用用于片段分割的对象帧得到视频片段的具体实现
方式,提高了本方案的可行性。
[0184] 可选地,在上述图2对应的实施例的基础上,本申请实施例提供的视频剪辑的方法一个可选实施例中,视频剪辑装置根据音频内容在单位时间内音频频率的变化状态,从音
频内容中获取至少一个音频片段,可以包括:
[0185] 视频剪辑装置获取音频内容在单位时间内音频频率的变化状态;
[0186] 视频剪辑装置根据单位时间内音频频率的变化状态以及音频频率阈值,从音频内容中截取至少一个音频片段,其中,每个音频片段的音频频率大于或等于音频频率阈值。
[0187] 本实施例中,视频剪辑装置中可以预先设置有音频频率阈值,在获取到音频内容之后,可以获取与音频内容在单位时间内音频频率的变化状态,单位时间内音频频率的变
化状态中可以包括每个时间单位中音频的频率,前述时间单位可以为秒,也可以为更细粒
度的时间单位。在得到音频内容在单位时间内音频频率的变化状态之后,可以将每个时间
单位的音频频率值与音频频率阈值进行对比,剔除音频频率值小于音频频率阈值的音频内
容,执行过剔除操作的音频内容中包括至少一个不连续的音频片段,从而完成了从音频内
容中截取至少一个音频片段。其中,音频频率阈值的取值可以为1HZ、5HZ、10HZ、20HZ、25HZ
或其他数值等,此处不做限定。为进一步理解本方案,请参阅图6,图6为本申请实施例中单
位时间内音频频率的变化状态的一个示意图,图6中以通过线性图的方式展示单位时间内
音频频率的变化状态,图6中的纵坐标为与音频内容对应的频率值,图6中的横坐标为与音
频内容对应的时间,其中,A1所对应的线指的是音频频率阈值所对应的线,A2、A3和A4所指
的音频片段中音频频率均大于或等于音频频率阈值,则可以从音频内容中截取出A2、A3和
A4这3个音频片段,应理解,图6中的示例仅为方便理解本方案,不用于限定本方案。
[0188] 为进一步理解本方案,请参阅图7,图7为本申请实施例中合并视频片段的一个实施例示意图,其中,获取到与待剪辑视频对应的音频内容(audio)之后,获取音频内容在单
位时间内音频频率的变化状态,也可以称为音频频率分布(audio frequency),进而根据单
位时间内音频频率的变化状态以及音频频率阈值,从音频内容中截取至少一个音频片段
(也即图7中示出的a_during_1、a_during_2……a_during_K),应理解,图7中的示例仅为方
便理解本方案,不用于限定本方案。
[0189] 本申请实施例中,获取音频内容在单位时间内音频频率的变化状态,并根据单位时间内音频频率的变化状态以及音频频率阈值,从音频内容中截取至少一个音频片段,其
中,每个音频片段的音频频率大于或等于音频频率阈值。由于当音频内容中的部分时间段
是没有声音的,没有声音的音频内容对应的音频频率值为0HZ,而视频内容中不同场景片段
之间进行切换时一般是没有声音的,有连续声音的音频内容部分一般不大可能是待剪辑视
频的切分点,从音频内容中截取至少一个音频频率大于或等于音频频率阈值的音频片段,
也即音频片段的切分点为音频频率小于音频频率阈值的音频片段,从而避开了将连续存在
声音的片段剪辑到两个音频片段中,符合实际场景,且操作简单,提高了本方案的效率。
[0190] 可选地,在上述图2对应的实施例的基础上,本申请实施例提供的视频剪辑的方法一个可选实施例中,视频剪辑装置根据至少两个视频片段以及至少一个音频片段,生成待
剪辑视频所对应的目标剪辑片段集合,可以包括:
[0191] 视频剪辑装置从至少两个视频片段中获取第一视频片段以及第二视频片段,其中,第二视频片段与第一视频片段属于不同的两个视频片段,且第二视频片段为第一视频
片段相邻的下一个视频片段;
[0192] 视频剪辑装置获取第一视频片段中的最后一个图像帧;
[0193] 视频剪辑装置获取第二视频片段中的首个图像帧;
[0194] 若第一视频片段中的最后一个图像帧与第二视频片段中的首个图像帧均对应于目标音频片段,则视频剪辑装置将第一视频片段与第二视频片段进行合并处理,得到目标
剪辑片段集合中的目标剪辑片段,其中,目标音频片段属于至少一个音频片段中的任意一
个音频片段。
[0195] 本实施例中,视频剪辑装置从至少两个视频片段中获取第一视频片段以及第二视频片段,其中,第二视频片段为第一视频片段相邻的下一个视频片段,获取第一视频片段中
的最后一个图像帧,并获取第二视频片段中的首个图像帧。进而视频剪辑装置可以获取与
第一视频片段和第二视频片段对应的至少一个音频片段,具体的,视频剪辑装置需要先从
待剪辑视频中获取与第一视频片段中的最后一个图像帧对应的第一时间,和与第二视频片
段中的首个图像帧对应的第二时间,进而从与音频内容对应的所有音频片段中获取与第一
时间和第二时间对应的至少一个音频片段,前述至少一个音频片段中包括与第一时间和/
或第二时间对应的音频内容。
[0196] 若第一视频片段中的最后一个图像帧与第二视频片段中的首个图像帧均对应于同一个目标音频片段,也即与第一时间对应的音频内容和与第二时间对应的音频内容均包
括于同一个目标音频片段中,则视频剪辑装置将第一视频片段与第二视频片段进行合并处
理。视频剪辑装置对根据视频内容获取到的至少两个视频片段中的每两个相邻的视频片段
均执行上述操作,从而实现了利用音频片段对视频片段的切分帧的矫正,进而根据执行过
合并操作的视频片段确定待剪辑视频的切分点,进而利用更新后的切分点对待剪辑视频进
行剪辑,得到目标剪辑片段集合中的目标剪辑片段,其中,目标音频片段属于至少一个音频
片段中的任意一个音频片段。为进一步理解本方案,请参阅图8,图8为本申请实施例中生成
目标剪辑片段的一个实施例示意图,图8中以待剪辑视频包括20个图像帧为例,每一帧对应
待剪辑视频中的1秒,第一个视频片段为第1帧至第7帧(也即图8中的B1),第二个视频片段
为第8帧至第10帧(也即图8中的B2),第三个视频片段为第11帧至第12帧(也即图8中的B3),
针对第一个视频片段和第二个视频片段,视频剪辑装置获取到与之对应的至少一个音频片
段,也即获取第1秒至第12秒所对应的音频片段,图8中的B4为第5秒至第10秒对应的音频频
段,B4中包括了第7秒和第8秒对应的音频内容,由于第7秒和第8秒所对应的图像帧位于同
一个音频片段中(也即B4),也即第7帧和第8帧位于同一个音频片段中,因此需要将第一个
视频片段和第二个视频片段进行合并处理,对应第二个视频片段和第三个视频片段的处理
方式与前述操作类似,此处不做赘述,应理解,图8中的示例仅为方便理解本方案,不用于限
定本方案。
[0197] 本申请实施例中,从至少两个视频片段中获取第一视频片段以及第二视频片段,其中,第二视频片段为第一视频片段相邻的下一个视频片段,获取第一视频片段中的最后
一个图像帧,获取第二视频片段中的首个图像帧,若第一视频片段中的最后一个图像帧与
第二视频片段中的首个图像帧均对应于目标音频片段,则视频剪辑装置将第一视频片段与
第二视频片段进行合并处理,得到目标剪辑片段集合中的目标剪辑片段。通过上述方式,以
视频片段为基础,利用音频内容对切分点进行校正,由于相邻视频片段之间一定是连续的,
而两个音频片段之间不一定是连续的,以视频片段为基础,可以保证剪辑过程考虑了待剪
辑视频中的所有内容,提高了剪辑过程的精度;且若第一视频片段中的最后一个图像帧与
第二视频片段中的首个图像帧均对应于同一个目标音频片段,说明将视频对象在连续说话
的过程剪辑了,这明显是不合理的,利用音频内容进行校准,进一步提高了剪辑过程的合理
性和精度。
[0198] 可选地,在上述图2对应的实施例的基础上,本申请实施例提供的视频剪辑的方法一个可选实施例中,方法还可以包括:
[0199] 若第一视频片段中的最后一个图像帧对应于目标音频片段,且第二视频片段中的首个图像帧未对应于目标音频片段,则视频剪辑装置确定第一视频片段为目标剪辑片段集
合中的一个目标剪辑片段,且第二视频片段为目标剪辑片段集合中的另一个目标剪辑片
段;
[0200] 若第一视频片段中的最后一个图像帧未对应于目标音频片段,且第二视频片段中的首个图像帧对应于目标音频片段,则视频剪辑装置确定第一视频片段为目标剪辑片段集
合中的一个目标剪辑片段,且第二视频片段为目标剪辑片段集合中的另一个目标剪辑片
段。
[0201] 本实施例中,由于通过与待剪辑视频对应的音频内容获取到的至少一个音频片段可以为不连续的,则会存在第一视频片段中的最后一个图像帧或者与第二视频片段中的首
个图像帧对应的音频内容在基于音频进行剪辑的过程中被剔除的可能性。也即在与音频内
容对应的所有音频片段中可能不存在与第一视频片段中的最后一个图像帧对应的音频片
段,或者,在与音频内容对应的所有音频片段中可能不存在与第二视频片段中的首个图像
帧对应的音频片段,或者,在与音频内容对应的所有音频片段中可能同时不存在与第一视
频片段中的最后一个图像帧和与第二视频片段中的首个图像帧对应的音频片段。若第一视
频片段中的最后一个图像帧对应于目标音频片段,且第二视频片段中的首个图像帧未对应
于目标音频片段,或者,若第一视频片段中的最后一个图像帧未对应于音频片段,且第二视
频片段中的首个图像帧对应于音频片段,或者,若第一视频片段中的最后一个图像帧和第
二视频片段中的首个图像帧均未对应于音频片段,则视频剪辑装置确定第一视频片段和第
二视频片段不需要进行合并处理,第一视频片段和第二视频片段分别为目标剪辑片段集合
中的两个不同的目标剪辑片段。
[0202] 本申请实施例中,若第一视频片段中的最后一个图像帧对应于目标音频片段,且第二视频片段中的首个图像帧未对应于目标音频片段,或者,若第一视频片段中的最后一
个图像帧未对应于目标音频片段,且第二视频片段中的首个图像帧对应于目标音频片段,
则视频剪辑装置确定第一视频片段为目标剪辑片段集合中的一个目标剪辑片段,且第二视
频片段为目标剪辑片段集合中的另一个目标剪辑片段。通过上述方式,提供了当所有音频
片段中不存在与第一视频片段中的最后一个图像帧或第二视频片段中的首个图像帧对应
的音频片段时的具体处理方式,而不是在出现上述场景时输出故障题述,保证了本方案的
执行流畅性,且处理方式符合实际场景需求,提高了本方案的合理性。
[0203] 可选地,在上述图2对应的实施例的基础上,本申请实施例提供的视频剪辑的方法一个可选实施例中,视频剪辑装置根据至少两个视频片段以及至少一个音频片段,生成待
剪辑视频所对应的目标剪辑片段集合,可以包括:
[0204] 视频剪辑装置从至少一个音频片段中获取目标音频片段,其中,目标音频片段对应于目标时间段;
[0205] 视频剪辑装置根据目标音频片段所对应的目标时间段获取待检测视频;
[0206] 视频剪辑装置获取待检测视频中的首个图像帧;
[0207] 视频剪辑装置获取待检测视频中的最后一个图像帧;
[0208] 若待检测视频中的首个图像帧以及待检测视频中的最后一个图像帧均属于目标视频片段,则视频剪辑装置确定目标视频片段为目标剪辑片段集合中的一个目标剪辑片
段,其中,目标视频片段属于至少两个视频片段中的任意一个视频片段。
[0209] 本实施例中,视频剪辑装置从至少一个音频片段中获取目标音频片段,其中,本实施例中的目标音频片段指的是前述至少一个音频片段中的任一个音频片段,并获取目标音
频片段对应的的目标时间段。进而视频剪辑装置可以获取与目标时间段中起始时间对应的
起始图像帧,和与目标时间段中结束时间对应的结束图像帧,从而从待剪辑视频中根据起
始图像帧和结束图像帧获取到待检测视频,进而获取待检测视频中的首个图像帧和待检测
视频中的最后一个图像帧,并从与待剪辑视频对应的所有视频片段中获取与待检测视频中
的首个图像帧和待检测视频中的最后一个图像帧对应的至少一个视频片段,前述至少一个
视频片段中包括待检测视频中的首个图像帧和待检测视频中的最后一个图像帧。若前述至
少一个视频片段中只包括一个目标视频片段,也即待检测视频中的首个图像帧以及待检测
视频中的最后一个图像帧均属于同一个目标视频片段,则视频剪辑装置确定目标视频片段
为目标剪辑片段集合中的一个目标剪辑片段,其中,目标视频片段属于至少两个视频片段
中的任意一个视频片段。
[0210] 本申请实施例中,从至少一个音频片段中获取目标音频片段,根据目标音频片段所对应的目标时间段获取待检测视频,获取待检测视频中的首个图像帧和待检测视频中的
最后一个图像帧,若待检测视频中的首个图像帧以及待检测视频中的最后一个图像帧均属
于目标视频片段,则确定目标视频片段为目标剪辑片段集合中的一个目标剪辑片段。通过
上述方式,提供了利用音频片段对视频片段进行验证的另一种实现方式,提高了本方案的
实现灵活性。
[0211] 可选地,在上述图2对应的实施例的基础上,本申请实施例提供的视频剪辑的方法一个可选实施例中,方法还可以包括:
[0212] 若待检测视频中的首个图像帧属于第一视频片段,且待检测视频中的最后一个图像帧属于第二视频片段,则视频剪辑装置将第一视频片段与第二视频片段进行合并处理,
得到目标剪辑片段集合中的目标剪辑片段,其中,第一视频片段与第二视频片段属于不同
的两个视频片段。
[0213] 本实施例中,视频剪辑装置在根据目标音频片段所对应的目标时间段获取待检测视频,并获取到待检测视频中的首个图像帧和最后一个图像帧之后,获取与待检测视频中
的首个图像帧和待检测视频中的最后一个图像帧对应的至少一个视频片段,若待检测视频
中的首个图像帧属于第一视频片段,且待检测视频中的最后一个图像帧属于第二视频片
段,则视频剪辑装置确定与同一个音频片段对应的起始音频点和结束音频点分别位于两个
视频片段中,这明显是不合理的,将第一视频片段与第二视频片段进行合并处理,得到目标
剪辑片段集合中的目标剪辑片段。可选地,若第二视频片段不是第一视频片段之后紧接着
的视频片段,也即第一视频片段与第二视频片段之间还有其他的视频片段,则视频剪辑装
置将第一视频片段与第二视频片段以及第一视频片段和第二视频片段之间的视频片段进
行合并处理,得到目标剪辑片段集合中的目标剪辑片段。
[0214] 为进一步理解本方案,请参阅图9,图9为本申请实施例中生成目标剪辑片段的一个实施例示意图,其中,在获取到待剪辑视频之后,分别获取与待剪辑视频对应的视频内容
和与待剪辑视频对应的音频内容。针对视频内容,在执行对象帧提取操作之后,利用相似性
规则,将视频内容剪辑为至少两个视频片段;针对音频内容,利用音频内容在单位时间内音
频频率的变化状态,将音频内容剪辑为至少一个音频片段。进而利用至少一个音频片段对
至少两个视频片段的切分点进行校正,若同一个音频片段中的音频内容出现在两个不同的
视频片段中,则需要将前述不同的视频片段合并,从而根据合并后的视频片段确定待剪辑
视频的切分点,进而对待剪辑视频进行剪辑,得到目标剪辑片段集合中的目标剪辑片段,应
理解,图9中的示例仅为方便理解本方案,不用于限定本方案。
[0215] 本申请实施例中,若待检测视频中的首个图像帧属于第一视频片段,且待检测视频中的最后一个图像帧属于第二视频片段,则将第一视频片段与第二视频片段进行合并处
理,得到目标剪辑片段集合中的目标剪辑片段。通过上述方式,提供了利用音频片段对视频
片段进行校正的另一种实现方式,提高了本方案的实现灵活性。
[0216] 下面对本申请中的视频剪辑装置进行详细描述,请参阅图10,图10为本申请实施例中视频剪辑装置一个实施例示意图,视频剪辑装置20包括:
[0217] 获取模块201,用于获取待剪辑视频所对应的视频内容以及待剪辑视频所对应的音频内容;
[0218] 获取模块201,还用于根据所述视频内容获取至少两个视频片段,其中,所述视频内容包括至少一个对象帧,所述至少一个对象帧中包括用于片段分割的对象帧,且所述用
于片段分割的对象帧与下一个相邻对象帧具有目标相似度,所述目标相似度小于或等于相
似度阈值,所述用于片段分割的对象帧用于确定视频片段;
[0219] 获取模块201,还用于根据音频内容在单位时间内音频频率的变化状态,从音频内容中获取至少一个音频片段;
[0220] 生成模块202,用于根据获取模块获取的至少两个视频片段以及至少一个音频片段,生成待剪辑视频所对应的目标剪辑片段集合,其中,目标剪辑片段集合包括至少一个目
标剪辑片段。
[0221] 可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的视频剪辑装置20的另一实施例中,获取模块201,具体用于:
[0222] 获取待剪辑视频;
[0223] 采用解协议对待剪辑视频进行解析处理,得到格式封装数据,其中,解协议用于将第一协议所对应的数据转换为第二协议所对应的数据,第一协议与第二协议属于不同的协
议类型;
[0224] 对格式封装数据进行解封装处理,得到音频码流数据以及视频码流数据;
[0225] 对音频码流数据进行解码处理,得到音频内容;
[0226] 对视频码流数据进行解码处理,得到视频内容。
[0227] 可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的视频剪辑装置20的另一实施例中,
[0228] 获取模块201,具体用于根据视频内容获取对象帧序列,其中,对象帧序列包括N个对象帧,N为大于或等于2的整数;
[0229] 根据对象帧序列生成至少一个对象帧子序列,其中,对象帧子序列包括M个用于片段分割的对象帧,M为大于或等于1,且小于或等于N的整数;
[0230] 根据至少一个对象帧子序列,生成至少两个视频片段。
[0231] 可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的视频剪辑装置20的另一实施例中,获取模块201,具体用于:
[0232] 从视频内容中获取第一图像帧和第二图像帧,其中,第一图像帧为第二图像帧相邻的前一帧图像;
[0233] 根据第一图像帧与第二图像帧生成差分图像;
[0234] 根据差分图像确定目标像素值;
[0235] 若目标像素值满足对象帧提取条件,则确定第二图像帧属于对象帧序列中的一个对象帧。
[0236] 可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的视频剪辑装置20的另一实施例中,获取模块201,具体用于:
[0237] 从视频内容中获取第一图像帧、第二图像帧以及第三图像帧,其中,第一图像帧为第二图像帧相邻的前一帧图像,第二图像帧为第三图像帧相邻的前一帧图像;
[0238] 根据第一图像帧与第二图像帧生成第一差分图像;
[0239] 根据第二图像帧与第三图像帧生成第二差分图像;
[0240] 根据第一差分图像以及第二差分图像,生成目标差分图像;
[0241] 根据目标差分图像确定目标像素值;
[0242] 若目标像素值满足对象帧提取条件,则确定第三图像帧属于对象帧序列中的一个对象帧。
[0243] 可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的视频剪辑装置20的另一实施例中,生成模块202,具体用于:
[0244] 步骤一,从对象帧序列中获取第一对象帧以及第二对象帧,其中,第一对象帧为第二对象帧相邻的前一个对象帧;
[0245] 步骤二,获取第一对象帧所对应的第一关键点集合,以及第二对象帧所对应的第二关键点集合,其中,第一关键点集合包括至少一个第一关键点,第二关键点集合包括至少
一个第二关键点;
[0246] 步骤三,根据第一关键点集合以及第二关键点集合确定相似度;
[0247] 步骤四,若相似度小于或等于相似度阈值,则确定第一对象帧属于对象帧子序列中的用于片段分割的对象帧;
[0248] 若相似度大于相似度阈值,则从对象帧序列中剔除第一对象帧;
[0249] 针对对象帧序列中每两个相邻的对象帧,执行如上述步骤一至步骤四,直至从对象帧序列中提取对象帧子序列。
[0250] 可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的视频剪辑装置20的另一实施例中,生成模块202,具体用于:
[0251] 根据第一对象帧子序列,从视频内容中生成第一视频片段;
[0252] 根据第二对象帧子序列,从视频内容中生成第二视频片段;
[0253] 或,根据至少一个对象帧子序列,生成至少两个视频片段,包括:
[0254] 从对象帧子序列所包括的M个用于片段分割的对象帧中,获取第一用于片段分割的对象帧以及第二用于片段分割的对象帧;
[0255] 根据第一用于片段分割的对象帧从视频内容中截取第一视频片段;
[0256] 根据第二用于片段分割的对象帧从视频内容中截取第二视频片段,其中,第二视频片段与第一视频片段属于不同的两个视频片段。
[0257] 可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的视频剪辑装置20的另一实施例中,获取模块201,具体用于:
[0258] 获取音频内容在单位时间内音频频率的变化状态;
[0259] 根据单位时间内音频频率的变化状态以及音频频率阈值,从音频内容中截取至少一个音频片段,其中,每个音频片段的音频频率大于或等于音频频率阈值。
[0260] 可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的视频剪辑装置20的另一实施例中,生成模块202,具体用于:
[0261] 从至少两个视频片段中获取第一视频片段以及第二视频片段,其中,第二视频片段与第一视频片段属于不同的两个视频片段,且第二视频片段为第一视频片段相邻的下一
个视频片段;
[0262] 获取第一视频片段中的最后一个图像帧;
[0263] 获取第二视频片段中的首个图像帧;
[0264] 若第一视频片段中的最后一个图像帧与第二视频片段中的首个图像帧均对应于目标音频片段,则将第一视频片段与第二视频片段进行合并处理,得到目标剪辑片段集合
中的目标剪辑片段,其中,目标音频片段属于至少一个音频片段中的任意一个音频片段。
[0265] 可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的视频剪辑装置20的另一实施例中,视频剪辑装置20还包括确定模块203,
[0266] 确定模块203,用于若第一视频片段中的最后一个图像帧对应于目标音频片段,且第二视频片段中的首个图像帧未对应于目标音频片段,则确定第一视频片段为目标剪辑片
段集合中的一个目标剪辑片段,且第二视频片段为目标剪辑片段集合中的另一个目标剪辑
片段;
[0267] 确定模块203,还用于若第一视频片段中的最后一个图像帧未对应于目标音频片段,且第二视频片段中的首个图像帧对应于目标音频片段,则确定第一视频片段为目标剪
辑片段集合中的一个目标剪辑片段,且第二视频片段为目标剪辑片段集合中的另一个目标
剪辑片段。
[0268] 可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的视频剪辑装置20的另一实施例中,生成模块202,具体用于:
[0269] 从至少一个音频片段中获取目标音频片段,其中,目标音频片段对应于目标时间段;
[0270] 根据目标音频片段所对应的目标时间段获取待检测视频;
[0271] 获取待检测视频中的首个图像帧;
[0272] 获取待检测视频中的最后一个图像帧;
[0273] 若待检测视频中的首个图像帧以及待检测视频中的最后一个图像帧均属于目标视频片段,则确定目标视频片段为目标剪辑片段集合中的一个目标剪辑片段,其中,目标视
频片段属于至少两个视频片段中的任意一个视频片段。
[0274] 可选地,在上述图10所对应的实施例的基础上,本申请实施例提供的视频剪辑装置20的另一实施例中,视频剪辑装置20还包括合并模块204,
[0275] 合并模块204,用于若待检测视频中的首个图像帧属于第一视频片段,且待检测视频中的最后一个图像帧属于第二视频片段,则将第一视频片段与第二视频片段进行合并处
理,得到目标剪辑片段集合中的目标剪辑片段,其中,第一视频片段与第二视频片段属于不
同的两个视频片段。
[0276] 本申请实施例还提供了一种电子设备,所述电子设备上可以部署有上述图10对应的实施例中提供的视频剪辑装置,用于执行图2至图9对应的实施例中视频剪辑装置执行的
步骤。如图11所示,电子设备具体可以是终端设备。为了便于说明,仅示出了与本申请实施
例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端可以为包括
手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Pointof Sales,
销售终端)、车载电脑等任意电子设备,以终端为手机为例:
[0277] 图11示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图11,手机包括:射频(Radio Frequency,RF)电路310、存储器320、输入单元330、显示单元
340、传感器350、音频电路360、无线保真(wireless fidelity,WiFi)模块370、处理器380、
以及电源390等部件。本领域技术人员可以理解,图3中示出的手机结构并不构成对手机的
限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0278] 下面结合图11对手机的各个构成部件进行具体的介绍:
[0279] RF电路310可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器380处理;另外,将设计上行的数据发送给基站。通常,RF电路310
包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low 
NoiseAmplifier,LNA)、双工器等。此外,RF电路310还可以通过无线通信与网络和其他设备
通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统
(Global  System of Mobile communication,GSM)、通用分组无线服务(General 
PacketRadio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码
分多址(Wideband Code Division Multiple  Access,WCDMA)、长期演进(Long 
TermEvolution,LTE)、电子邮件、短消息服务(Short Messaging Service,SMS)等。
[0280] 存储器320可用于存储软件程序以及模块,处理器380通过运行存储在存储器320的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器320可主要包括
存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程
序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的
数据(比如音频数据、电话本等)等。此外,存储器320可以包括高速随机存取存储器,还可以
包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器
件。
[0281] 输入单元330可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元330可包括触控面板331以及其他输入设
备332。触控面板331,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用
手指、触笔等任何适合的物体或附件在触控面板331上或在触控面板331附近的操作),并根
据预先设定的程式驱动相应的连接装置。可选的,触控面板331可包括触摸检测装置和触摸
控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,
将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触
点坐标,再送给处理器380,并能接收处理器380发来的命令并加以执行。此外,可以采用电
阻式、电容式、红外线以及表面声波等多种类型实现触控面板331。除了触控面板331,输入
单元330还可以包括其他输入设备332。具体地,其他输入设备332可以包括但不限于物理键
盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0282] 显示单元340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元340可包括显示面板341,可选的,可以采用液晶显示器(Liquid 
CrystalDisplay,LCD)、有机发光二极管(Organic Light‑Emitting Diode,OLED)等形式来
配置显示面板341。进一步的,触控面板331可覆盖显示面板341,当触控面板331检测到在其
上或附近的触摸操作后,传送给处理器380以确定触摸事件的类型,随后处理器380根据触
摸事件的类型在显示面板341上提供相应的视觉输出。虽然在图3中,触控面板331与显示面
板341是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将
触控面板331与显示面板341集成而实现手机的输入和输出功能。
[0283] 手机还可包括至少一种传感器350,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线
的明暗来调节显示面板341的亮度,接近传感器可在手机移动到耳边时,关闭显示面板341
和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度
的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切
换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可
配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
[0284] 音频电路360、扬声器361,传声器362可提供用户与手机之间的音频接口。音频电路360可将接收到的音频数据转换后的电信号,传输到扬声器361,由扬声器361转换为声音
信号输出;另一方面,传声器362将收集的声音信号转换为电信号,由音频电路360接收后转
换为音频数据,再将音频数据输出处理器380处理后,经RF电路310以发送给比如另一手机,
或者将音频数据输出至存储器320以便进一步处理。
[0285] WiFi属于短距离无线传输技术,手机通过WiFi模块370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图3示出了
WiFi模块370,但是可以理解的是,其并不属于手机的必须构成。
[0286] 处理器380是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器320内的软件程序和/或模块,以及调用存储在存储器320内的
数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器380可包
括一个或多个处理单元;优选的,处理器380可集成应用处理器和调制解调处理器,其中,应
用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。
可以理解的是,上述调制解调处理器也可以不集成到处理器380中。
[0287] 手机还包括给各个部件供电的电源390(比如电池),优选的,电源可以通过电源管理系统与处理器380逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理
等功能。
[0288] 尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
[0289] 在本申请实施例中,当终端设备上部署有图10对应的实施例中提供的视频剪辑装置时,处理器380还用于执行图2至图9对应的实施例中视频剪辑装置执行的步骤,对于处理
器380执行图2至图9应的实施例中视频剪辑装置执行的步骤的具体实现方式,可以参阅图2
至图9对应的方法实施例中的描述,此处不做赘述。
[0290] 本申请实施例还提供了一种电子设备,所述电子设备上可以部署有上述图10对应的实施例中提供的视频剪辑装置,用于执行图2至图9对应的实施例中视频剪辑装置执行的
步骤。如图12所示,电子设备具体可以是服务器。
[0291] 图12是本申请实施例提供的一种服务器结构示意图,该服务器400可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central 
processingunits,CPU)422(例如,一个或一个以上处理器)和存储器432,一个或一个以上
存储应用程序442或数据444的存储介质430(例如一个或一个以上海量存储设备)。其中,存
储器432和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括
一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更
进一步地,中央处理器422可以设置为与存储介质430通信,在服务器400上执行存储介质
430中的一系列指令操作。
[0292] 服务器400还可以包括一个或一个以上电源426,一个或一个以上有线或无线网络接口450,一个或一个以上输入输出接口458,和/或,一个或一个以上操作系统441,例如
Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM等等。
[0293] 上述实施例中由服务器所执行的步骤可以基于该图12所示的服务器结构。
[0294] 在本申请实施例中,当服务器上部署有图10对应的实施例中提供的视频剪辑装置时,处理器380还用于执行图2至图9对应的实施例中视频剪辑装置执行的步骤,对于处理器
380执行图2至图9应的实施例中视频剪辑装置执行的步骤的具体实现方式,可以参阅图2至
图9对应的方法实施例中的描述,此处不做赘述。
[0295] 本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机执行如前述图2至图9所示实施例描述
的方法中视频剪辑装置所执行的步骤。
[0296] 本申请实施例中还提供一种包括程序的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图2至图9所示实施例描述的方法中视频剪辑装置所执行的步
骤。
[0297] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0298] 在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的
划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件
可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或
讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦
合或通信连接,可以是电性,机械或其它的形式。
[0299] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个
网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。
[0300] 另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单
元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0301] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上
或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式
体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机
设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全
部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read‑only memory,
ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序
代码的介质。
[0302] 以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前
述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些
修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。