播放控制方法、系统及终端设备转让专利

申请号 : CN201510210500.2

文献号 : CN104883603B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 刘洁梁鑫王兴超

申请人 : 小米科技有限责任公司

摘要 :

本公开是关于一种播放控制方法、系统及终端设备。通过第一终端设备根据待播放的第二视频流的标识信息和第二图片帧的时间戳,从第一终端设备上获取与该标识信息对应的第一视频流,以及与该时间戳对应的第一图片帧,并获取用户预先在第一图片帧上标记的、与用户预先指定的目标内容所对应的第一位置区域,然后将该第一位置区域发送给第二终端设备,第二终端设备根据第一位置区域和与目标内容对应的更新内容生成UI层,从而当屏幕显示第二图片帧时,将该UI层覆盖到该第二图片帧上,以使更新内容覆盖目标内容显示给用户。实现了在不需要篡改视频流数据的情况下,实时给用户呈现满足用户需要的个性视频内容,并且减轻了播放终端的处理负荷。

权利要求 :

1.一种播放控制方法,其特征在于,所述方法包括:向存储第一视频流的第一终端设备发送标记信息获取请求,所述获取请求包括:第二终端设备上待播放的第二视频流的标识信息,以及第二图片帧的时间戳;

接收所述第一终端设备返回的、包括第一位置区域的响应消息,所述第一位置区域是所述第一终端设备获取与所述标识信息对应的第一视频流,从所述第一视频流中获取的、与所述时间戳对应的第一图片帧,并在所述第一图片帧上获取与用户预先指定的目标内容所对应的区域,其中,所述第一图片帧和所述第二图片帧相同;

根据所述第一位置区域确定用于显示所述第二图片帧的屏幕上、对应显示所述目标内容的第二位置区域;

生成用户界面UI层,所述UI层上与所述第二位置区域吻合对应的部分绘制有预设的、与所述目标内容对应的更新内容;

当所述屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。

2.根据权利要求1所述的方法,其特征在于,所述根据所述第一位置区域确定用于显示所述第二图片帧的屏幕上、对应显示所述目标内容的第二位置区域,包括:根据所述第二图片帧与所述屏幕的尺寸比例,同比例调整所述第一位置区域上的多个第一坐标信息,获取与所述多个第一坐标信息对应的多个第二坐标信息;

根据所述多个第二坐标信息确定所述屏幕上的所述第二位置区域。

3.根据权利要求1所述的方法,其特征在于,

所述生成用户界面UI层,包括:

生成与所述第二位置区域边界吻合的UI层;

所述UI层上与所述第二位置区域吻合对应的区域上绘制有预设的、与所述目标内容对应的更新内容,包括:整个UI层上绘制所述更新内容;

所述将所述UI层覆盖到所述第二图片帧上,包括:

将所述UI层吻合覆盖到用于显示所述第二图片帧上、所述目标内容的第二位置区域。

4.根据权利要求1所述的方法,其特征在于,

所述生成用户界面UI层,包括:

生成与所述屏幕边界吻合的UI层;

所述UI层上与所述第二位置区域吻合对应的区域上绘制有预设的、与所述目标内容对应的更新内容,包括:在所述UI层上与所述第二位置区域吻合对应的第三位置区域上绘制所述更新内容,并在所述第三位置区域之外的部分进行透明处理;

所述将所述UI层覆盖到所述第二图片帧上,包括:

将所述UI层整体覆盖到所述第二图片帧上。

5.一种播放控制方法,其特征在于,所述方法包括:检测第一视频流中的第一图片帧,判断是否存在用户预先指定的目标内容;

若判断获知存在所述目标内容,则确定所述第一图片帧上、与所述目标内容对应的第一位置区域,并在所述第一图片帧上进行标记;

当接收第二终端设备发送的标记信息获取请求时,所述获取请求包括:待播放的第二视频流的标识信息,以及第二图片帧的时间戳,获取与所述标识信息对应的第一视频流,以及从所述第一视频流中获取、与所述时间戳对应的第一图片帧,其中,所述第一图片帧和所述第二图片帧相同;

若能够从所述第一图片帧上获取与用户预先指定的目标内容对应的第一位置区域,则向所述第二终端设备返回包括所述第一位置区域的响应消息,以使所述第二终端设备根据所述第一位置区域、以及预设的、与所述目标内容对应的更新内容生成用户界面UI层,进而当屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。

6.根据权利要求5所述的方法,其特征在于,所述确定所述第一图片帧上、与所述目标内容对应的第一位置区域,包括:基于图像边界跟踪算法检测与所述目标内容对应的区域边界的平滑度是否达到预设的门限值;

若判断获知所述平滑度达到所述门限值,则将与所述目标内容对应的区域边界作为所述第一位置区域;

若判断获知所述平滑度没有达到所述门限值,则确定与所述区域边界对应的平滑区域,并将所述平滑区域作为所述第一位置区域。

7.根据权利要求5或6所述的方法,其特征在于,所述检测第一视频流中的第一图片帧,判断是否存在用户预先指定的目标内容,包括:获取所述第一图片帧中的特征信息;

根据特征数据库识别所述特征信息是否为所述目标内容;其中,所述特征数据库包括与所述目标内容对应的样本特征信息。

8.根据权利要求7所述的方法,其特征在于,所述用户预先指定的目标内容,包括:人物面部、服饰、颜色、文字、图案中的至少一个或多个。

9.根据权利要求7所述的方法,其特征在于,在所述获取所述第一图片帧中的特征信息之前,所述方法还包括:接收多个视频流的图片帧;

获取每个图片帧中与用户预先设置的样本内容对应的样本特征信息;

将样本特征信息与样本内容的对应关系存储在所述特征数据库中。

10.根据权利要求8所述的方法,其特征在于,若所述目标内容为第一图案;则获取所述一图片帧中的特征信息,包括:根据边界轮廓算法确定所述第一图片帧上的图案区域;

从所述图案区域中提取图案特征;

所述根据特征数据库识别所述特征信息是否为所述目标内容,包括:将所述图案特征与所述特征数据库中与所述第一图案对应的样本图案特征进行匹配;

若匹配成功,则判断获知所述图案区域存在所述第一图案;

若匹配失败,则判断获知所述图案区域不存在所述第一图案。

11.根据权利要求8所述的方法,其特征在于,若所述目标内容为第一人物面部;则获取所述第一图片帧中的特征信息,包括:根据预先训练获取的面部特征范围确定所述图片帧上的面部区域;

从所述面部区域中提取面部特征;

所述根据特征数据库识别所述特征信息是否为所述目标内容,包括:将所述面部特征与所述特征数据库中与所述第一人物面部对应的样本面部特征进行匹配;

若匹配成功,则判断获知所述面部区域存在所述第一人物面部;

若匹配失败,则判断获知所述面部区域不存在所述第一人物面部。

12.一种第二终端设备,其特征在于,所述设备包括:发送模块,被配置为向存储第一视频流的第一终端设备发送标记信息获取请求,所述获取请求包括:第二终端设备上待播放的第二视频流的标识信息,以及第二图片帧的时间戳;

第一接收模块,被配置为接收所述第一终端设备返回的、包括第一位置区域的响应消息,所述第一位置区域是所述第一终端设备获取与所述标识信息对应的第一视频流,从所述第一视频流中获取的、与所述时间戳对应的第一图片帧,并在所述第一图片帧上获取与用户预先指定的目标内容所对应的区域,其中,所述第一图片帧和所述第二图片帧相同;

第一定位模块,被配置为根据所述第一位置区域确定用于显示所述第二图片帧的屏幕上、对应显示所述目标内容的第二位置区域;

第一处理模块,被配置为生成用户界面UI层,所述UI层上与所述第二位置区域吻合对应的部分绘制有预设的、与所述目标内容对应的更新内容;

显示模块,被配置为当所述屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。

13.根据权利要求12所述的设备,其特征在于,所述第一定位模块,包括:调整单元,被配置为根据所述第二图片帧与所述屏幕的尺寸比例,同比例调整所述第一位置区域上的多个第一坐标信息,获取与所述多个第一坐标信息对应的多个第二坐标信息;

确定单元,被配置为根据所述多个第二坐标信息确定所述屏幕上的所述第二位置区域。

14.根据权利要求12所述的设备,其特征在于,

所述第一处理模块,包括:

第一生成单元,被配置为生成与所述第二位置区域边界吻合的UI层;

第一绘制单元,被配置为在整个UI层上绘制所述更新内容;

所述显示模块,被配置为将所述UI层吻合覆盖到用于显示所述第二图片帧上、所述目标内容的第二位置区域。

15.根据权利要求12所述的设备,其特征在于,

所述第一处理模块,包括:

第二生成单元,被配置为生成与所述屏幕边界吻合的UI层;

第二绘制单元,被配置为在所述UI层上、与所述第二位置区域吻合对应的第三位置区域上绘制所述更新内容,并在所述第三位置区域之外的部分进行透明处理;

所述显示模块,被配置为将所述UI层整体覆盖到所述第二图片帧上。

16.一种第一终端设备,其特征在于,所述设备包括:检测模块,被配置为检测第一视频流中的第一图片帧,判断是否存在用户预先指定的目标内容;

第二定位模块,被配置为若判断获知存在所述目标内容,则确定所述第一图片帧上、与所述目标内容对应的第一位置区域,并在所述第一图片帧上进行标记;

第一获取模块,被配置为当接收第二终端设备发送的标记信息获取请求时,所述获取请求包括:待播放的第二视频流的标识信息,以及第二图片帧的时间戳,获取与所述标识信息对应的第一视频流,以及从所述第一视频流中获取、与所述时间戳对应的第一图片帧,其中,所述第一图片帧和所述第二图片帧相同;

第二处理模块,被配置为若能够从所述第一图片帧上获取与用户预先指定的目标内容对应的第一位置区域,则向所述第二终端设备返回包括所述第一位置区域的响应消息,以使所述第二终端设备根据所述第一位置区域、以及预设的、与所述目标内容对应的更新内容生成用户界面UI层,进而当屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。

17.根据权利要求16所述的设备,其特征在于,所述第二定位模块,包括:判断单元,被配置为基于图像边界跟踪算法检测与所述目标内容对应的区域边界的平滑度是否达到预设的门限值;

第一确定单元,被配置为若判断获知所述平滑度达到所述门限值,则将与所述目标内容对应的区域边界作为所述第一位置区域;

第二确定单元,被配置为若判断获知所述平滑度没有达到所述门限值,则确定与所述区域边界对应的平滑区域,并将所述平滑区域作为所述第一位置区域。

18.根据权利要求16或17所述的设备,其特征在于,所述检测模块,包括:获取单元,被配置为获取所述第一图片帧中的特征信息;

识别单元,被配置为根据特征数据库识别所述特征信息是否为所述目标内容;其中,所述特征数据库包括与所述目标内容对应的样本特征信息。

19.根据权利要求18所述的设备,其特征在于,所述用户预先指定的目标内容,包括:人物面部、服饰、颜色、文字、图案中的至少一个或多个。

20.根据权利要求18所述的设备,其特征在于,在所述获取所述第一图片帧中的特征信息之前,所述设备还包括:第二接收模块,被配置为接收多个视频流的图片帧;

第二获取模块,被配置为获取每个图片帧中与用户预先设置的样本内容对应的样本特征信息;

存储模块,被配置为将样本特征信息与样本内容的对应关系存储在所述特征数据库中。

21.根据权利要求19所述的设备,其特征在于,

所述获取单元,包括:

第一处理子单元,被配置为若所述目标内容为第一图案,根据边界轮廓算法确定所述第一图片帧上的图案区域;

第一提取子单元,被配置为从所述图案区域中提取图案特征;

所述识别单元,被配置为将所述图案特征与所述特征数据库中与所述第一图案对应的样本图案特征进行匹配;

若匹配成功,则判断获知所述图案区域存在所述第一图案;

若匹配失败,则判断获知所述图案区域不存在所述第一图案。

22.根据权利要求19所述的设备,其特征在于,

所述获取单元,包括:

第二处理子单元,被配置为若所述目标内容为第一人物面部,根据预先训练获取的面部特征范围确定所述图片帧上的面部区域;

第二提取子单元,被配置为从所述面部区域中提取面部特征;

所述识别单元,被配置为将所述面部特征与所述特征数据库中与所述第一人物面部对应的样本面部特征进行匹配;

若匹配成功,则判断获知所述面部区域存在所述第一人物面部;

若匹配失败,则判断获知所述面部区域不存在所述第一人物面部。

23.一种播放控制系统,其特征在于,所述系统包括:如权利要求12-15任一所述的第二终端设备,以及如权利要求16-22任一所述的第一终端设备。

24.一种第二终端设备,其特征在于,所述设备包括:处理器;

用于存储所述处理器的可执行指令的存储器;

其中,所述处理器被配置为:

向存储第一视频流的第一终端设备发送标记信息获取请求,所述获取请求包括:第二终端设备上待播放的第二视频流的标识信息,以及第二图片帧的时间戳;

接收所述第一终端设备返回的、包括第一位置区域的响应消息,所述第一位置区域是所述第一终端设备获取与所述标识信息对应的第一视频流,从所述第一视频流中获取的、与所述时间戳对应的第一图片帧,并在所述第一图片帧上获取与用户预先指定的目标内容所对应的区域,其中,所述第一图片帧和所述第二图片帧相同;

根据所述第一位置区域确定用于显示所述第二图片帧的屏幕上、对应显示所述目标内容的第二位置区域;

生成用户界面UI层,所述UI层上与所述第二位置区域吻合对应的部分绘制有预设的、与所述目标内容对应的更新内容;

当所述屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。

25.一种第一终端设备,其特征在于,所述设备包括:处理器;用于存储所述处理器的可执行指令的存储器;

其中,所述处理器被配置为:

检测第一视频流中的第一图片帧,判断是否存在用户预先指定的目标内容;

若判断获知存在所述目标内容,则确定所述第一图片帧上、与所述目标内容对应的第一位置区域,并在所述第一图片帧上进行标记;

当接收第二终端设备发送的标记信息获取请求时,所述获取请求包括:待播放的第二视频流的标识信息,以及第二图片帧的时间戳,获取与所述标识信息对应的第一视频流,以及从所述第一视频流中获取、与所述时间戳对应的第一图片帧,其中,所述第一图片帧和所述第二图片帧相同;

若能够从所述第一图片帧上获取与用户预先指定的目标内容对应的第一位置区域,则向所述第二终端设备返回包括所述第一位置区域的响应消息,以使所述第二终端设备根据所述第一位置区域、以及预设的、与所述目标内容对应的更新内容生成用户界面UI层,进而当屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。

26.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,所述指令由处理器加载并执行以实现如权利要求1至4任一项所述的播放控制方法,或者如权利要求5至11任一项所述的播放控制方法。

说明书 :

播放控制方法、系统及终端设备

技术领域

[0001] 本公开涉及视频播放技术领域,特别涉及一种播放控制方法、系统及终端设备。

背景技术

[0002] 智能终端设备的日益普及,成为用户多媒体视频观看的主要方式,以手机为例,用户可以从网络侧下载感兴趣的视频内容进行观看,或者观看本地存储的视频内容。
[0003] 相关技术中,视频播放是按照视频流的图片帧进行播放,用户仅仅可以控制播放方式,比如:播放进度,是否全屏等。然而,用户并不能控制播放内容,对感兴趣的视频内容进行个性化的视频播放。

发明内容

[0004] 本公开实施例提供了一种播放控制方法、系统及终端设备。所述技术方案如下:
[0005] 根据本公开实施例的第一方面,提供一种播放控制方法,该方法包括:
[0006] 向存储第一视频流的第一终端设备发送标记信息获取请求,所述获取请求包括:第二终端设备上待播放的第二视频流的标识信息,以及第二图片帧的时间戳;
[0007] 接收所述第一终端设备返回的、包括第一位置区域的响应消息,所述第一位置区域是所述第一终端设备获取与所述标识信息对应的第一视频流,从所述第一视频流中获取的、与所述时间戳对应的第一图片帧,并在所述第一图片帧上获取与用户预先指定的目标内容所对应的区域,其中,所述第一图片帧和所述第二图片帧相同;
[0008] 根据所述第一位置区域确定用于显示所述第二图片帧的屏幕上、对应显示所述目标内容的第二位置区域;
[0009] 生成用户界面UI层,所述UI层上与所述第二位置区域吻合对应的部分绘制有预设的、与所述目标内容对应的更新内容;
[0010] 当所述屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0011] 根据本公开实施例的第二方面,提供一种播放控制方法,该方法包括:
[0012] 检测第一视频流中的第一图片帧,判断是否存在用户预先指定的目标内容;
[0013] 若判断获知存在所述目标内容,则确定所述第一图片帧上、与所述目标内容对应的第一位置区域,并在所述第一图片帧上进行标记;
[0014] 当接收第二终端设备发送的标记信息获取请求时,所述获取请求包括:待播放的第二视频流中第二图片帧的时间戳,从所述第一视频流中获取、与所述时间戳对应的第一图片帧,其中,所述第一图片帧和所述第二图片帧相同;
[0015] 若能够从所述第一图片帧上获取与用户预先指定的目标内容对应的第一位置区域,则向所述第二终端设备返回包括所述第一位置区域的响应消息,以使所述第二终端设备根据所述第一位置区域、以及预设的、与所述目标内容对应的更新内容生成用户界面UI层,进而当屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0016] 根据本公开实施例的第三方面,提供一种第二终端设备,所述设备包括:
[0017] 发送模块,被配置为向存储第一视频流的第一终端设备发送标记信息获取请求,所述获取请求包括:第二终端设备上待播放的第二视频流中第二图片帧的时间戳;
[0018] 第一接收模块,被配置为接收所述第一终端设备返回的、包括第一位置区域的响应消息,所述第一位置区域是所述第一终端设备从所述第一视频流中获取的、与所述时间戳对应的第一图片帧,并在所述第一图片帧上获取与用户预先指定的目标内容所对应的区域,其中,所述第一图片帧和所述第二图片帧相同;
[0019] 第一定位模块,被配置为根据所述第一位置区域确定用于显示所述第二图片帧的屏幕上、对应显示所述目标内容的第二位置区域;
[0020] 第一处理模块,被配置为生成用户界面UI层,所述UI层上与所述第二位置区域吻合对应的部分绘制有预设的、与所述目标内容对应的更新内容;
[0021] 显示模块,被配置为当所述屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0022] 根据本公开实施例的第四方面,提供一种第一终端设备,所述设备包括:
[0023] 检测模块,被配置为检测第一视频流中的第一图片帧,判断是否存在用户预先指定的目标内容;
[0024] 第二定位模块,被配置为若判断获知存在所述目标内容,则确定所述第一图片帧上、与所述目标内容对应的第一位置区域,并在所述第一图片帧上进行标记;
[0025] 第一获取模块,被配置为当接收第二终端设备发送的标记信息获取请求时,所述获取请求包括:待播放的第二视频流中第二图片帧的时间戳,从所述第一视频流中获取、与所述时间戳对应的第一图片帧,其中,所述第一图片帧和所述第二图片帧相同;
[0026] 第二处理模块,被配置为若能够从所述第一图片帧上获取与用户预先指定的目标内容对应的第一位置区域,则向所述第二终端设备返回包括所述第一位置区域的响应消息,以使所述第二终端设备根据所述第一位置区域、以及预设的、与所述目标内容对应的更新内容生成用户界面UI层,进而当屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0027] 根据本公开实施例的第五方面,提供了一种播放控制系统,该系统包括:上述的第二终端设备,以及第一终端设备。
[0028] 根据本公开实施例的第六方面,提供了一种第二终端设备,该设备包括:
[0029] 处理器;
[0030] 用于存储所述处理器的可执行指令的存储器;
[0031] 其中,所述处理器被配置为:
[0032] 向存储第一视频流的第一终端设备发送标记信息获取请求,所述获取请求包括:第二终端设备上待播放的第二视频流的标识信息,以及第二图片帧的时间戳;
[0033] 接收所述第一终端设备返回的、包括第一位置区域的响应消息,所述第一位置区域是所述第一终端设备获取与所述标识信息对应的第一视频流,从所述第一视频流中获取的、与所述时间戳对应的第一图片帧,并在所述第一图片帧上获取与用户预先指定的目标内容所对应的区域,其中,所述第一图片帧和所述第二图片帧相同;
[0034] 根据所述第一位置区域确定用于显示所述第二图片帧的屏幕上、对应显示所述目标内容的第二位置区域;
[0035] 生成用户界面UI层,所述UI层上与所述第二位置区域吻合对应的部分绘制有预设的、与所述目标内容对应的更新内容;
[0036] 当所述屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0037] 根据本公开实施例的第七方面,提供了一种第一终端设备,该设备包括:
[0038] 处理器;用于存储所述处理器的可执行指令的存储器;
[0039] 其中,所述处理器被配置为:
[0040] 检测第一视频流中的第一图片帧,判断是否存在用户预先指定的目标内容;
[0041] 若判断获知存在所述目标内容,则确定所述第一图片帧上、与所述目标内容对应的第一位置区域,并在所述第一图片帧上进行标记;
[0042] 当接收第二终端设备发送的标记信息获取请求时,所述获取请求包括:待播放的第二视频流中第二图片帧的时间戳,从所述第一视频流中获取、与所述时间戳对应的第一图片帧,其中,所述第一图片帧和所述第二图片帧相同;
[0043] 若能够从所述第一图片帧上获取与用户预先指定的目标内容对应的第一位置区域,则向所述第二终端设备返回包括所述第一位置区域的响应消息,以使所述第二终端设备根据所述第一位置区域、以及预设的、与所述目标内容对应的更新内容生成用户界面UI层,进而当屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0044] 本公开实施例提供的技术方案可以包括以下有益效果:
[0045] 通过第一终端设备根据待播放的第二视频流的标识信息和第二图片帧的时间戳,从第一终端设备上获取与该标识信息对应的第一视频流,以及与该时间戳对应的第一图片帧,并获取用户预先在第一图片帧上标记的、与用户预先指定的目标内容所对应的第一位置区域,然后将该第一位置区域发送给第二终端设备,第二终端设备根据第一位置区域和与目标内容对应的更新内容生成UI层,从而当屏幕显示第二图片帧时,将该UI层覆盖到该第二图片帧上,以使更新内容覆盖目标内容显示给用户。实现了播放视频流时,在不需要篡改视频流数据的情况下,实时给用户呈现满足用户需要的个性视频内容,提高了个性视频播放的灵活性和效率,并且减轻了播放终端的处理负荷。
[0046] 应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

[0047] 此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起被配置为解释本公开的原理。
[0048] 图1是根据一示例性实施例示出的一种播放控制方法的流程图;
[0049] 图2A是根据另一示例性实施例示出的一种播放控制方法的流程图;
[0050] 图2B所示的第二终端设备的屏幕显示的是包含目标内容的第二图片帧;
[0051] 图2C所示的第二终端设备的屏幕显示的是用更新内容覆盖目标内容的第二图片帧;
[0052] 图3A是根据另一示例性实施例示出的一种播放控制方法的流程图;
[0053] 图3B所示的终端设备的屏幕显示的是包含目标内容的第二图片帧;
[0054] 图3C所示的终端设备的屏幕显示的是用更新内容覆盖目标内容的第二图片帧;
[0055] 图4是根据另一示例性实施例示出的一种播放控制方法的流程图;
[0056] 图5是根据另一示例性实施例示出的一种播放控制方法的流程图;
[0057] 图6是根据一示例性实施例示出的一种第二终端设备的框图;
[0058] 图7是根据另一示例性实施例示出的一种第二终端设备的框图;
[0059] 图8是根据另一示例性实施例示出的一种第二终端设备的框图;
[0060] 图9是根据另一示例性实施例示出的一种第二终端设备的框图;
[0061] 图10是根据另一示例性实施例示出的一种第一终端设备的框图;
[0062] 图11是根据另一示例性实施例示出的一种第一终端设备的框图;
[0063] 图12是根据另一示例性实施例示出的一种第一终端设备的框图;
[0064] 图13是根据另一示例性实施例示出的一种第一终端设备的框图;
[0065] 图14是根据另一示例性实施例示出的一种第一终端设备的框图;
[0066] 图15是根据一示例性实施例示出的一种播放控制系统的框图;
[0067] 图16是根据一示例性实施例示出的一种终端设备的框图。
[0068] 通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

[0069] 这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0070] 图1是根据一示例性实施例示出的一种播放控制方法的流程图,本实施例以该播放控制方法被配置为包括显示屏幕的第二终端设备中来举例说明。该播放控制方法可以包括如下几个步骤:
[0071] 在步骤101中,向存储第一视频流的第一终端设备发送标记信息获取请求,所述获取请求包括:第二终端设备上待播放的第二视频流的标识信息,以及所述第二视频流中第二图片帧的时间戳。
[0072] 本实施例中的第一视频流存储在第一终端设备上,第一视频流中的每个图片帧称为第一图片帧;第二视频流存储在第二终端设备上,第二视频流中的每个图片帧称为第二图片帧。具有相同标识信息的第一视频流和第二视频流是内容相同的视频流。第一终端设备预先接收用户针对感兴趣的第一视频流所指定的目标内容,以及第二终端设备预先接收用户提供的与该目标内容对应的更新内容。
[0073] 首先,第二终端设备接收用户指定播放的视频流,用户指定播放的视频流是第二终端设备接收其余网络侧设备发送的视频流,或者第二终端设备预先存储在第二终端设备本地的视频流。
[0074] 然后第二终端设备根据用户的个性化需求,在播放第二视频流的过程中,向存储第一视频流的第一终端设备发送标记信息获取请求,其中,该获取请求包括:待播放的第二视频流的标识信息,以及所述第二视频流中第二图片帧的时间戳。
[0075] 在步骤102中,接收所述第一终端设备返回的、包括第一位置区域的响应消息,所述第一位置区域是所述第一终端设备获取与所述标识信息对应的第一视频流,从所述第一视频流中获取的、与所述时间戳对应的第一图片帧,并在所述第一图片帧上获取与用户预先指定的目标内容所对应的区域,其中,所述第一图片帧和所述第二图片帧相同。
[0076] 第一终端设备对第二终端设备发送的标记信息获取请求进行解析,获取待播放的第二视频流的标识信息,以及该第二视频流中第二图片帧的时间戳。然后第一终端设备从本地获取与该标识信息对应的第一视频流,再从该第一视频流中获取与该时间戳对应的第一图片帧,需要注意的是,该第一图片帧和所述第二图片帧相同。
[0077] 然后查询该第一图片帧上是否存在与用户预先指定的目标内容所对应的第一位置区域,需要注意的是,第一位置区域可以用关键的坐标信息进行标识,或者通过图层的区域显示方式进行标识。用户预先指定的目标内容包括视频流中的人物面部、服饰、颜色、文字、图案中的至少一个或多个。若查询获知该第一图片帧上存在与用户预先指定的目标内容所对应的第一位置区域,则向第二终端设备发送包括第一位置区域的响应消息,从而第二终端设备解析该响应消息,获取该第一位置区域。
[0078] 在步骤103中,根据所述第一位置区域确定用于显示所述第二图片帧的屏幕上、对应显示所述目标内容的第二位置区域。
[0079] 终端设备根据第一图片帧上、与用户指定的目标内容对应的第一位置区域,确定用于显示第二图片帧的屏幕上、对应显示目标内容的第二位置区域。需要说明的是,根据第一位置区域确定屏幕上的第二位置区域的实现方式很多,举例说明如下;
[0080] 方式一,
[0081] 首先确定第一位置区域在第二图片帧上的位置,然后对第二图片帧进行缩放,其中,第一位置区域也同步的进行缩放;
[0082] 当将第二图片帧缩放到屏幕尺寸时,记录缩放后的第一位置区域信息,该第一位置区域信息可以作为用于显示该图片帧的屏幕上、对应显示目标内容的第二位置区域。
[0083] 方式二,
[0084] 首先首先确定第一位置区域在第二图片帧上的位置,然后获取第一位置区域上的多个第一坐标信息,例如,假设第一位置区域为正方形,与该第一位置区域对应的多个第一坐标信息可以为四个角的坐标信息;假设第一位置区域为圆形,与该第一位置区域对应的多个第一坐标信息可以为至少两条直径与圆形边界的交点坐标信息;
[0085] 根据该第二图片帧与该屏幕的尺寸比例,同比例调整第一位置区域上的多个第一坐标信息,获取与该多个第一坐标信息对应的多个第二坐标信息;
[0086] 根据该多个第二坐标信息可以确定用于显示该第二图片帧的屏幕上、对应显示目标内容的第二位置区域。
[0087] 在步骤104中,生成用户界面UI层,所述UI层上与所述第二位置区域吻合对应的部分绘制有预设的、与所述目标内容对应的更新内容。
[0088] 第二终端设备应用UI控件生成新的空白用户界面UI层;
[0089] 然后对存储有与目标内容对应的更新内容的文件进行解析获取更新内容的UI元素,并将该UI元素添加到空白UI层上、与屏幕上用于显示目标内容的第二位置区域吻合对应的部分。
[0090] 在步骤105中,当所述屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0091] 第二终端设备播放视频流的过程中,当屏幕显示该第二图片帧时,将与屏幕上的第二位置区域吻合对应的部分绘制有更新内容的UI层覆盖到该第二图片帧上,进而使得该更新内容覆盖用户指定的目标内容,从而给用户呈现满足用户需求的个性化视频内容。
[0092] 综上所述,本实施例提供的播放控制方法,通过第一终端设备根据待播放的第二视频流的标识信息和第二图片帧的时间戳,从第一终端设备上获取与该标识信息对应的第一视频流,以及与该时间戳对应的第一图片帧,并获取用户预先在第一图片帧上标记的、与用户预先指定的目标内容所对应的第一位置区域,然后将该第一位置区域发送给第二终端设备,第二终端设备根据第一位置区域和与目标内容对应的更新内容生成UI层,从而当屏幕显示第二图片帧时,将该UI层覆盖到该第二图片帧上,以使更新内容覆盖目标内容显示给用户。实现了播放视频流时,在不需要篡改视频流数据的情况下,实时给用户呈现满足用户需要的个性视频内容,避免了需要提前根据用户需要修改原视频流数据并占用大量的存储空间进行存储,提高了个性视频播放的灵活性和效率。
[0093] 针对上述实施例中,采用生成的UI层覆盖具有目标内容的第二图片帧,进而使更新内容覆盖目标内容,通过屏幕呈现给用户个性化播放的效果,需要说明的是,为了实现上述过程,UI层的生成方式和覆盖方式的实现手段有多种,可以根据目标内容占第二图片帧的比重,或者排布方式等方面进行选择不同的UI层处理技术,以提高处理效率,下面通过图2和图3所示实施例详细说明。
[0094] 图2A是根据另一示例性实施例示出的一种播放控制方法的流程图,本实施例以该播放控制方法应被配置为包括显示屏幕的第二终端设备中来举例说明。
[0095] 本实施例中针对用户指定的目标内容为第一人物面部,且该第一人物面部在第二图片帧上的分布区域唯一的应用场景,采用UI层的局部处理方式进行实现,该播放控制方法可以包括如下几个步骤:
[0096] 在步骤201中,向存储第一视频流的第一终端设备发送标记信息获取请求,所述获取请求包括:第二终端设备上待播放的第二视频流的标识信息,以及所述第二视频流中第二图片帧的时间戳。
[0097] 在步骤202中,接收所述第一终端设备返回的、包括第一位置区域的响应消息,所述第一位置区域是所述第一终端设备获取与所述标识信息对应的第一视频流,从所述第一视频流中获取的、与所述时间戳对应的第一图片帧,并在所述第一图片帧上获取与用户预先指定的目标内容所对应的区域,其中,所述第一图片帧和所述第二图片帧相同。
[0098] 在步骤203中,根据所述第一位置区域确定用于显示所述第二图片帧的屏幕上、对应显示所述目标内容的第二位置区域。
[0099] 本实施例中的步骤201-步骤203可以参见图1所示实施例中的步骤101-步骤103。
[0100] 在步骤204中,生成与所述第二位置区域边界吻合的UI层,整个UI层上绘制有所述更新内容;
[0101] 第二终端设备应用UI控件生成新的空白用户界面UI层,该UI层的区域边界与第二位置区域边界吻合对应,然后对存储有与目标内容对应的更新内容的文件进行解析获取更新内容的UI元素,并将该UI元素添加到整个空白UI层上。
[0102] 在步骤205中,当所述屏幕显示所述第二图片帧时,将所述UI层吻合覆盖到用于显示所述图片帧上、所述目标内容的所述第二位置区域,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0103] 第二终端设备播放视频流的过程中,当屏幕显示该第二图片帧时,将该UI层吻合覆盖到用于显示该第二图片帧上目标内容的第二位置区域,进而使得该更新内容覆盖用户指定的目标内容,从而给用户呈现满足用户需求的个性化视频内容。
[0104] 作为一种示例,图2B所示的第二终端设备的屏幕显示的是包含目标内容的第二图片帧,图2C所示的第二终端设备的屏幕显示的是用更新内容覆盖目标内容的第二图片帧,参见图2B和图2C所示,
[0105] 假设用户指定的目标内容为该第二图片帧上的“机器猫面部”,更新内容为“小熊面部”,详细说明:通过第一终端设备发送的第一图片帧上、预先标记的与目标内容对应的第一位置区域,根据第一位置区域可知第二图片帧上的目标内容即“机器猫面部”,然后对存储有“小熊面部”的文件进行解析获取UI元素,并将该UI元素添加到边界与第二位置区域边界吻合对应的空白UI层上。
[0106] 第二终端设备播放视频流的过程中,当屏幕显示该第二图片帧时,将该UI层吻合覆盖到用于显示该第二图片帧上“机器猫面部”区域,进而使得该“小熊面部”覆盖“机器猫面部”,从而给用户呈现满足用户需求的个性化视频内容。
[0107] 综上所述,本实施例提供的播放控制方法,针对用户指定的目标内容为第一人物面部,且该第一人物面部在图片帧上的分布区域唯一的应用场景,采用UI层的局部处理方式进行实现,从而在播放原视频流时当屏幕显示该图片帧时,将该UI层吻合覆盖到用于显示目标内容的第二位置区域,以使更新内容覆盖目标内容显示给用户。实现了播放视频流时,在不需要篡改视频流数据的情况下,能够实时的给用户呈现满足用户需要的个性视频内容,提高了处理效率,节约了处理资源。
[0108] 图3A是根据另一示例性实施例示出的一种播放控制方法的流程图,本实施例以该播放控制方法应被配置为包括显示屏幕的第二终端设备中来举例说明。
[0109] 本实施例中针对用户指定的目标内容为多个图案,多个图案在第二图片帧上的分布区域分散的应用场景,采用UI层的整体处理方式进行实现,该播放控制方法可以包括如下几个步骤:
[0110] 在步骤301中,向存储第一视频流的第一终端设备发送标记信息获取请求,所述获取请求包括:第二终端设备上待播放的第二视频流的标识信息,以及所述第二视频流中第二图片帧的时间戳。
[0111] 在步骤302中,接收所述第一终端设备返回的、包括第一位置区域的响应消息,所述第一位置区域是所述第一终端设备获取与所述标识信息对应的第一视频流,从所述第一视频流中获取的、与所述时间戳对应的第一图片帧,并在所述第一图片帧上获取与用户预先指定的目标内容所对应的区域,其中,所述第一图片帧和所述第二图片帧相同。
[0112] 在步骤303中,根据所述第一位置区域确定用于显示所述第二图片帧的屏幕上、对应显示所述目标内容的第二位置区域。
[0113] 本实施例中的步骤301-步骤303可以参见图1所示实施例中的步骤101-步骤103。
[0114] 在步骤304中,生成与所述屏幕边界吻合的UI层,在所述UI层上、与所述第二位置区域吻合对应的第三位置区域上绘制所述更新内容,并在所述第三位置区域之外的部分进行透明处理;
[0115] 第二终端设备应用UI控件生成新的空白用户界面UI层,该UI层的区域边界与屏幕边界吻合对应,然后对存储有与目标内容对应的更新内容的文件进行解析获取更新内容的UI元素,并将该UI元素添加到UI层上、与屏幕上的第二位置区域吻合对应的第三位置区域,并在UI层上、第三位置区域之外的部分进行透明处理。
[0116] 在步骤305中,当所述屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0117] 第二终端设备播放视频流的过程中,当屏幕显示该第二图片帧时,将该UI层整体覆盖到该第二图片帧上,进而使得该更新内容覆盖用户指定的目标内容,从而给用户呈现满足用户需求的个性化视频内容。
[0118] 作为一种示例,图3B所示的终端设备的屏幕显示的是包含目标内容的第二图片帧,图3C所示的终端设备的屏幕显示的是用更新内容覆盖目标内容的第二图片帧,参见图3B和图3C所示,
[0119] 假设用户指定的目标内容包括第一图案和第二图案,第一图案为该第二图片帧上“康夫的下半身”,对应的更新内容为“美人鱼的尾巴”,第二图案为“机器猫头顶”,对应的更新内容为“带飞行器的机器猫头顶”,详细说明如下:通过第一终端设备发送的第一图片帧上、预先标记的与目标内容对应的第一位置区域,根据第一位置区域可知第二图片帧上的目标内容是“康夫的下半身”和“机器猫头顶”,然后对存储有“美人鱼的尾巴”和“带飞行器的机器猫头顶”的文件进行解析获取UI元素,并将该UI元素添加到UI层上、与屏幕上的第二位置区域吻合对应的第三位置区域上,并在第三位置区域之外的部分进行透明处理。
[0120] 第二终端设备播放视频流的过程中,当屏幕显示该第二图片帧时,将该UI层整体覆盖到该第二图片帧上,进而使得“美人鱼的尾巴”图案覆盖“康夫的下半身”图案,“带飞行器的机器猫头顶”图案覆盖“机器猫头顶”图案,从而给用户呈现满足用户需求的个性化视频内容。
[0121] 综上所述,本实施例提供的播放控制方法,针对用户指定的目标内容为多个图案,多个图案在图片帧上的分布区域分散的应用场景,采用UI层的整体处理方式进行实现,从而在播放原视频流时当屏幕显示该图片帧时,将UI层整体覆盖到所述图片帧上,以使更新内容覆盖目标内容显示给用户。实现了播放视频流时,在不需要篡改视频流数据的情况下,能够实时的给用户呈现满足用户需要的个性视频内容,提高了处理效率,节约了处理资源。
[0122] 图4是根据另一示例性实施例示出的一种播放控制方法的流程图,本实施例以该播放控制方法应被配置为包括显示屏幕的第一终端设备中来举例说明。
[0123] 本实施例中的第一视频流存储在第一终端设备上,第一视频流中的每个图片帧称为第一图片帧;第二视频流存储在第二终端设备上,第二视频流中的每个图片帧称为第二图片帧。具有相同标识信息的第一视频流和第二视频流是内容相同的视频流。第一终端设备预先接收用户针对感兴趣的第一视频流所指定的目标内容,以及第二终端设备预先接收用户提供的与该目标内容对应的更新内容。
[0124] 在步骤401中,检测第一视频流中的第一图片帧,判断是否存在用户预先指定的目标内容。
[0125] 第一终端设备根据用户对所选择的视频流的个性化播放需求,首先检测用户指定的第一视频流的第一图片帧,判断该第一图片帧中是否存在用户预先指定的目标内容。需要说明的是,检测第一图片帧中是否存在目标内容的实现方式有很多,举例说明:通过将目标内容的像素与第一图片帧中的像素比较的方式、将目标内容的特征信息与第一图片帧中的特征信息匹配的方式、或者将目标内容的光谱信息与地动仪图片帧中的光谱信息比较的方式,可以根据实际的目标内容选择合适的检测方式,本实施例对此不做限制。
[0126] 在步骤402中,若判断获知存在所述目标内容,则确定所述第一图片帧上、与所述目标内容对应的第一位置区域,并在所述第一图片帧上进行标记。
[0127] 第一终端设备若判断获知存在用户指定的目标内容,则确定该第一图片帧上、与该目标内容对应的第一位置区域,并在该第一图片帧上进行标记,需要注意的是,第一位置区域可以用关键的坐标信息进行标识,或者通过图层的区域显示方式进行标识。
[0128] 在步骤403中,当接收第二终端设备发送的标记信息获取请求时,所述获取请求包括:待播放的第二视频流的标识信息,以及第二图片帧的时间戳,获取与所述标识信息对应的第一视频流,以及从所述第一视频流中获取、与所述时间戳对应的第一图片帧,其中,所述第一图片帧和所述第二图片帧相同。
[0129] 在步骤404中,若能够从所述第一图片帧上获取与用户预先指定的目标内容对应的第一位置区域,则向所述第二终端设备返回包括所述第一位置区域的响应消息,以使所述第二终端设备根据所述第一位置区域、以及预设的、与所述目标内容对应的更新内容生成用户界面UI层,进而当屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0130] 本实施例中的步骤403和步骤404的实施过程参见图1所示实施例中的步骤101-步骤105,此处不再赘述。
[0131] 综上所述,本实施例提供的播放控制方法,通过第一终端设备根据待播放的第二视频流的标识信息和第二图片帧的时间戳,从第一终端设备上获取与该标识信息对应的第一视频流,以及与该时间戳对应的第一图片帧,并获取用户预先在第一图片帧上标记的、与用户预先指定的目标内容所对应的第一位置区域,然后将该第一位置区域发送给第二终端设备,第二终端设备根据第一位置区域和与目标内容对应的更新内容生成UI层,从而当屏幕显示第二图片帧时,将该UI层覆盖到该第二图片帧上,以使更新内容覆盖目标内容显示给用户。实现了播放视频流时,在不需要篡改视频流数据的情况下,实时给用户呈现满足用户需要的个性视频内容,避免了需要提前根据用户需要修改原视频流数据并占用大量的存储空间进行存储,提高了个性视频播放的灵活性和效率,并且减轻了播放终端的处理负荷。
[0132] 图5是根据另一示例性实施例示出的一种播放控制方法的流程图,本实施例以该播放控制方法应被配置为包括显示屏幕的第一终端设备中来举例说明。本实施例中针对第一图片帧中目标内容的检测,采用特征信息匹配的检测方式,以及针对第一图片帧上与目标内容对应的第一位置区域的定位,采用基于图像边界跟踪算法的定位方式详细说明播放控制方法的实施过程,该播放控制方法可以包括如下几个步骤:
[0133] 在步骤501中,获取第一视频流中的第一图片帧的特征信息。
[0134] 第一终端设备接收用户指定播放的第一视频流,以及针对该第一视频流所指定的目标内容。根据用户预先指定的目标内容选择不同的特征信息获取方式,举例说明如下:
[0135] 方式一,若用户预先指定的目标内容为分布在背景中多个位置的第一图案,则根据预先设置的单位窗口,比如长30像素,宽30像素的单位窗口,对该第一图片帧上所有的区域的特征信息进行一一提取,例如,该第一图片帧是一个长900像素,宽900像素的图片,利用长30像素,宽30像素的单位窗口对图片帧进行特征提取,需要提取400次特征信息,此方式的普适性很强,可以针对所有类型的目标内容。
[0136] 方式二,若用户预先指定的目标内容为人物面部,则可以采用面部识别的处理模型比如神经网络模型,或者分类器比较模型,先在第一图片帧中确定面部区域,进而在从该面部区域中提取面部特征信息,避免了从第一图片帧的所有区域一一提取该图片的特征信息,此方式对容易定位局部区域的目标内容提高了处理效率。
[0137] 在步骤502中,根据特征数据库识别所述特征信息是否为用户预先指定的目标内容;其中,所述特征数据库包括与所述目标内容对应的样本特征信息。
[0138] 第一终端设备根据特征数据库识别从该第一图片帧中获取的特征信息是否为用户指定的目标内容,其中,特征数据库包括与目标内容对应的样本特征信息,从而第一终端设备将特征数据库与目标内容对应的样本特征信息与从该第一图片帧中获取的特征信息一一匹配,若匹配成功,说明第一图片帧中存在用户预先指定的目标内容;若匹配失败,说明第一图片帧中不存在用户预先指定的目标内容。
[0139] 需要说明的是,特征数据库中的内容可以是视频流的服务提供商已经固化的样本特征信息。较为灵活的是,特征数据库除了包括之前已经固化的样本特征信息,还可以包括实时针对用户发送的视频流、根据用户指定的内容处理生成的样本特征信息。
[0140] 作为一种示例,若所述目标内容为第一图案;则根据边界轮廓算法确定所述第一图片帧上的图案区域;从所述图案区域中提取图案特征;将所述图案特征与所述特征数据库中与所述第一图案对应的样本图案特征进行匹配;若匹配成功,则判断获知所述图案区域存在所述第一图案;若匹配失败,则判断获知所述图案区域不存在所述第一图案。
[0141] 作为一种示例,若所述目标内容为第一人物面部;则根据预先训练获取的面部特征范围确定所述图片帧上的面部区域;从所述面部区域中提取面部特征;将所述面部特征与所述特征数据库中与所述第一人物面部对应的样本面部特征进行匹配;若匹配成功,则判断获知所述面部区域存在所述第一人物面部;若匹配失败,则判断获知所述面部区域不存在所述第一人物面部。
[0142] 综上所述,先定位区域,在从区域中提取特征,可以快速定位是否有目标内容,提高了处理效率。
[0143] 在步骤503中,若判断获知存在所述目标内容,基于图像边界跟踪算法获取与所述目标内容对应的区域边界的平滑度;
[0144] 第一终端设备通过检测第一图片帧,若判断获知图片帧中存在用户预先指定的目标内容,则通过图像边界跟踪算法获取与该目标内容对应的区域边界的平滑度;其中,图像边界跟踪算法包括基于二值的图像边界跟踪算法、基于小波的图像边界跟踪算法等,可以根据实际的应用需要进行选择,进而通过图像边界跟踪算法获取与该目标内容对应的区域边界的平滑度。
[0145] 在步骤504中,判断所述平滑度是否达到预设的门限值,若判断获知所述平滑度达到预设的门限值,则执行步骤505;若判断获知所述平滑度没有达到预设的门限值,则执行步骤506;
[0146] 判断与该目标内容对应的区域边界的平滑度是否达到预设的门限值,需要注意的是,不同的图像边界跟踪算法预设有不同的门限值,例如,基于二值的图像边界跟踪算法对应的门限值为A,基于小波的图像边界跟踪算法对应的门限值为B,因此,根据采用的算法将获取的平滑度与对应的门限值进行比较,若判断获知平滑度达到预设的门限值,则执行步骤505;若判断获知平滑度没有达到预设的门限值,则执行步骤506;
[0147] 在步骤505中,若判断获知所述平滑度达到所述门限值,则将与所述目标内容对应的区域边界作为所述第一位置区域,并在所述第一图片帧上进行标记。
[0148] 在判断获知与该目标内容对应的区域边界的平滑度达到预设的门限值时,则说明区域边界容易进行分割处理,直接将与目标内容对应的区域边界作为第一位置区域,并在所述第一图片帧上进行标记。
[0149] 在步骤506中,若判断获知所述平滑度没有达到所述门限值,则确定与所述区域边界对应的平滑区域,并将所述平滑区域作为所述第一位置区域,并在所述第一图片帧上进行标记。
[0150] 在判断获知与该目标内容对应的区域边界的平滑度没有达到预设的门限值时,则说明区域边界不容易进行分割处理,可以根据预设的补偿参数确定与区域边界对应的平滑区域,进而将平滑区域作为第一位置区域,并在所述第一图片帧上进行标记。
[0151] 在步骤507中,当接收第二终端设备发送的标记信息获取请求时,所述获取请求包括:待播放的第二视频流的标识信息,以及第二图片帧的时间戳,获取与所述标识信息对应的第一视频流,以及从所述第一视频流中获取、与所述时间戳对应的第一图片帧,其中,所述第一图片帧和所述第二图片帧相同。
[0152] 在步骤508中,若能够从所述第一图片帧上获取与用户预先指定的目标内容对应的第一位置区域,则向所述第二终端设备返回包括所述第一位置区域的响应消息,以使所述第二终端设备根据所述第一位置区域、以及预设的、与所述目标内容对应的更新内容生成用户界面UI层,进而当屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0153] 本实施例中的步骤507和步骤508的实施过程参见图1所示实施例中的步骤101-步骤105,此处不再赘述。
[0154] 综上所述,本实施例提供的播放控制方法,第一终端设备针对第一图片帧中目标内容的检测,采用特征信息匹配的检测方式,以及针对第一图片帧上与目标内容对应的第一位置区域的定位,采用基于图像边界跟踪算法的定位方式,以根据需要将第一位置区域发送给第二终端设备,以使第二终端设备根据第一位置区域和与目标内容对应的更新内容生成UI层,通过UI层将更新内容覆盖目标内容。实现了播放视频流时,在不需要篡改视频流数据的情况下,实时给用户呈现满足用户需要的个性视频内容,提高了个性视频播放的灵活性和效率。通过在第一终端设备上进行第一位置区域的定位,第二终端设备实时查询第一位置区域直接生成UI层,同时提高了处理效率,而且集中检测,节约了检测的处理资源。
[0155] 需要补充的是,在步骤501之前,所述方法还包括:
[0156] 接收多个视频流的图片帧;
[0157] 获取每个图片帧中与用户预先设置的样本内容对应的样本特征信息;
[0158] 将样本特征信息与样本内容的对应关系存储在所述特征数据库中。
[0159] 综上所述,本实施例提供的播放控制方法,可以动态更新特征数据库,随着使用时间的积累,为用户提供的个性化播放的内容更加多样化。
[0160] 下述为本公开装置实施例,可以被配置为执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
[0161] 图6是根据一示例性实施例示出的一种第二终端设备的框图,如图6所示,该第二终端设备包括:发送模块11、第一接收模块12、第一定位模块13、第一处理模块14和显示模块15,其中,
[0162] 发送模块11,被配置为向存储第一视频流的第一终端设备发送标记信息获取请求,所述获取请求包括:第二终端设备上待播放的第二视频流的标识信息,以及第二图片帧的时间戳;
[0163] 第一接收模块12,被配置为接收所述第一终端设备返回的、包括第一位置区域的响应消息,所述第一位置区域是所述第一终端设备获取与所述标识信息对应的第一视频流,从所述第一视频流中获取的、与所述时间戳对应的第一图片帧,并在所述第一图片帧上获取与用户预先指定的目标内容所对应的区域,其中,所述第一图片帧和所述第二图片帧相同;
[0164] 第一定位模块13,被配置为根据所述第一位置区域确定用于显示所述第二图片帧的屏幕上、对应显示所述目标内容的第二位置区域;
[0165] 第一处理模块14,被配置为生成用户界面UI层,所述UI层上与所述第二位置区域吻合对应的部分绘制有预设的、与所述目标内容对应的更新内容;
[0166] 显示模块15,被配置为当所述屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0167] 本实施例提供的第二终端设备中各模块的功能和处理流程,可以参见上述所示的方法实施例,其实现原理类似,此处不再赘述。
[0168] 本实施例提供的第二终端设备,通过第一终端设备根据待播放的第二视频流的标识信息和第二图片帧的时间戳,从第一终端设备上获取与该标识信息对应的第一视频流,以及与该时间戳对应的第一图片帧,并获取用户预先在第一图片帧上标记的、与用户预先指定的目标内容所对应的第一位置区域,然后将该第一位置区域发送给第二终端设备,第二终端设备根据第一位置区域和与目标内容对应的更新内容生成UI层,从而当屏幕显示第二图片帧时,将该UI层覆盖到该第二图片帧上,以使更新内容覆盖目标内容显示给用户。实现了播放视频流时,在不需要篡改视频流数据的情况下,实时给用户呈现满足用户需要的个性视频内容,避免了需要提前根据用户需要修改原视频流数据并占用大量的存储空间进行存储,提高了个性视频播放的灵活性和效率。
[0169] 图7是根据另一示例性实施例示出的一种第二终端设备的框图,如图7所示,基于图6所示实施例,该第一定位模块13,包括:调整单元131和确定单元132,其中,[0170] 调整单元131,被配置为根据所述第二图片帧与所述屏幕的尺寸比例,同比例调整所述第一位置区域上的多个第一坐标信息,获取与所述多个第一坐标信息对应的多个第二坐标信息;
[0171] 确定单元132,被配置为根据所述多个第二坐标信息确定所述屏幕上的所述第二位置区域。
[0172] 本实施例提供的第二终端设备中各模块的功能和处理流程,可以参见上述所示的方法实施例,其实现原理类似,此处不再赘述。
[0173] 图8是根据另一示例性实施例示出的一种第二终端设备的框图,如图8所示,基于图6所示实施例,该第一处理模块14,包括:第一生成单元141和第一绘制单元142,其中,[0174] 第一生成单元141,被配置为生成与所述第二位置区域边界吻合的UI层;
[0175] 第一绘制单元142,被配置为在整个UI层上绘制所述更新内容;
[0176] 显示模块15,被配置为将所述UI层吻合覆盖到用于显示所述第二图片帧上、所述目标内容的第二位置区域。
[0177] 本实施例提供的第二终端设备中各模块的功能和处理流程,可以参见上述所示的方法实施例,其实现原理类似,此处不再赘述。
[0178] 本实施例提供的第二终端设备,针对采用UI层的局部处理方式进行实现,从而在播放原视频流时当屏幕显示该图片帧时,将该UI层吻合覆盖到用于显示目标内容的第二位置区域,以使更新内容覆盖目标内容显示给用户。实现了播放视频流时,在不需要篡改视频流数据的情况下,能够实时的给用户呈现满足用户需要的个性视频内容,提高了处理效率,节约了处理资源。
[0179] 图9是根据另一示例性实施例示出的一种第二终端设备的框图,如图9所示,基于图6所示实施例,该第一处理模块14,包括:第二生成单元143和第二绘制单元144,其中,[0180] 第二生成单元143,被配置为生成与所述屏幕边界吻合的UI层;
[0181] 第二绘制单元144,被配置为在所述UI层上、与所述第二位置区域吻合对应的第三位置区域上绘制所述更新内容,并在所述第三位置区域之外的部分进行透明处理;
[0182] 显示模块15,被配置为将所述UI层整体覆盖到所述第二图片帧上。
[0183] 本实施例提供的第二终端设备中各模块的功能和处理流程,可以参见上述所示的方法实施例,其实现原理类似,此处不再赘述。
[0184] 本实施例提供的第二终端设备,针对采用UI层的整体处理方式进行实现,从而在播放原视频流时当屏幕显示该图片帧时,将UI层整体覆盖到所述图片帧上,以使更新内容覆盖目标内容显示给用户。实现了播放视频流时,在不需要篡改视频流数据的情况下,能够实时的给用户呈现满足用户需要的个性视频内容,提高了处理效率,节约了处理资源。
[0185] 图10是根据另一示例性实施例示出的一种第一终端设备的框图,如图10所示,该第一终端设备包括:检测模块21、第二定位模块22、第一获取模块23和第二处理模块24,其中,
[0186] 检测模块21,被配置为检测第一视频流中的第一图片帧,判断是否存在用户预先指定的目标内容;
[0187] 第二定位模块22,被配置为若判断获知存在所述目标内容,则确定所述第一图片帧上、与所述目标内容对应的第一位置区域,并在所述第一图片帧上进行标记;
[0188] 第一获取模块23,被配置为当接收第二终端设备发送的标记信息获取请求时,所述获取请求包括:待播放的第二视频流的标识信息,以及第二图片帧的时间戳,获取与所述标识信息对应的第一视频流,以及从所述第一视频流中获取、与所述时间戳对应的第一图片帧,其中,所述第一图片帧和所述第二图片帧相同;
[0189] 第二处理模块24,被配置为若能够从所述第一图片帧上获取与用户预先指定的目标内容对应的第一位置区域,则向所述第二终端设备返回包括所述第一位置区域的响应消息,以使所述第二终端设备根据所述第一位置区域、以及预设的、与所述目标内容对应的更新内容生成用户界面UI层,进而当屏幕显示所述第二图片帧时,将所述UI层覆盖到所述第二图片帧上,以使所述更新内容覆盖所述目标内容显示给所述用户。
[0190] 本实施例提供的第一终端设备中各模块的功能和处理流程,可以参见上述所示的方法实施例,其实现原理类似,此处不再赘述。
[0191] 本实施例提供的第一终端设备,通过第一终端设备根据待播放的第二视频流的标识信息和第二图片帧的时间戳,从第一终端设备上获取与该标识信息对应的第一视频流,以及与该时间戳对应的第一图片帧,并获取用户预先在第一图片帧上标记的、与用户预先指定的目标内容所对应的第一位置区域,然后将该第一位置区域发送给第二终端设备,第二终端设备根据第一位置区域和与目标内容对应的更新内容生成UI层,从而当屏幕显示第二图片帧时,将该UI层覆盖到该第二图片帧上,以使更新内容覆盖目标内容显示给用户。实现了播放视频流时,在不需要篡改视频流数据的情况下,实时给用户呈现满足用户需要的个性视频内容,避免了需要提前根据用户需要修改原视频流数据并占用大量的存储空间进行存储,提高了个性视频播放的灵活性和效率,并且减轻了播放终端的处理负荷。
[0192] 图11是根据另一示例性实施例示出的一种第一终端设备的框图,如图11所示,基于图10所示实施例,该第二定位模块22,包括:判断单元221、第一确定单元222和第二确定单元223,其中,
[0193] 判断单元221,被配置为基于图像边界跟踪算法检测与所述目标内容对应的区域边界的平滑度是否达到预设的门限值;
[0194] 第一确定单元222,被配置为若判断获知所述平滑度达到所述门限值,则将与所述目标内容对应的区域边界作为所述第一位置区域;
[0195] 第二确定单元223,被配置为若判断获知所述平滑度没有达到所述门限值,则确定与所述区域边界对应的平滑区域,并将所述平滑区域作为所述第一位置区域。
[0196] 图12是根据另一示例性实施例示出的一种第一终端设备的框图,如图12所示,基于图10所示实施例,检测模块21,包括:
[0197] 获取单元211,被配置为获取所述第一图片帧中的特征信息;
[0198] 识别单元212,被配置为根据特征数据库识别所述特征信息是否为所述目标内容;其中,所述特征数据库包括与所述目标内容对应的样本特征信息。
[0199] 进一步地,所述设备还包括:第二接收模块25、第二获取模块26和存储模块27,其中,
[0200] 第二接收模块25,被配置为接收多个视频流的图片帧;
[0201] 第二获取模块26,被配置为获取每个图片帧中与用户预先设置的样本内容对应的样本特征信息;
[0202] 存储模块27,被配置为将样本特征信息与样本内容的对应关系存储在所述特征数据库中。
[0203] 本实施例提供的第一终端设备中各模块的功能和处理流程,可以参见上述所示的方法实施例,其实现原理类似,此处不再赘述。
[0204] 本实施例提供的第一终端设备,第一终端设备针对第一图片帧中目标内容的检测,采用特征信息匹配的检测方式,以及针对第一图片帧上与目标内容对应的第一位置区域的定位,采用基于图像边界跟踪算法的定位方式,以根据需要将第一位置区域发送给第二终端设备,以使第二终端设备根据第一位置区域和与目标内容对应的更新内容生成UI层,通过UI层将更新内容覆盖目标内容。实现了播放视频流时,在不需要篡改视频流数据的情况下,实时给用户呈现满足用户需要的个性视频内容,提高了个性视频播放的灵活性和效率。通过在第一终端设备上进行第一位置区域的定位,第二终端设备实时查询第一位置区域直接生成UI层,同时提高了处理效率,而且集中检测,节约了检测的处理资源。
[0205] 图13是根据另一示例性实施例示出的一种第一终端设备的框图,如图13所示,基于图12所示实施例,该获取单元211,包括:第一处理子单元2111和第一提取子单元2112,其中,
[0206] 第一处理子单元2111,被配置为若所述目标内容为第一图案,根据边界轮廓算法确定所述第一图片帧上的图案区域;
[0207] 第一提取子单元2112,被配置为从所述图案区域中提取图案特征;
[0208] 识别单元212,被配置为将所述图案特征与所述特征数据库中与所述第一图案对应的样本图案特征进行匹配;
[0209] 若匹配成功,则判断获知所述图案区域存在所述第一图案;
[0210] 若匹配失败,则判断获知所述图案区域不存在所述第一图案。
[0211] 本实施例提供的第一终端设备中各模块的功能和处理流程,可以参见上述所示的方法实施例,其实现原理类似,此处不再赘述。
[0212] 本实施例提供的第一终端设备,针对用户指定的目标内容为第一人物面部,且该第一人物面部在图片帧上的分布区域唯一的应用场景,采用图案特征信息匹配的检测方式,提高了处理效率。
[0213] 图14是根据另一示例性实施例示出的一种第一终端设备的框图,如图14所示,基于图12所示实施例,该获取单元211,包括:第二处理子单元2113和第二提取子单元2114,其中,
[0214] 第二处理子单元2113,被配置为若所述目标内容为第一人物面部,根据预先训练获取的面部特征范围确定所述图片帧上的面部区域;
[0215] 第二提取子单元2114,被配置为从所述面部区域中提取面部特征;
[0216] 识别单元212,被配置为将所述面部特征与所述特征数据库中与所述第一人物面部对应的样本面部特征进行匹配;
[0217] 若匹配成功,则判断获知所述面部区域存在所述第一人物面部;
[0218] 若匹配失败,则判断获知所述面部区域不存在所述第一人物面部。
[0219] 本实施例提供的第一终端设备中各模块的功能和处理流程,可以参见上述所示的方法实施例,其实现原理类似,此处不再赘述。
[0220] 本实施例提供的第一终端设备,针对用户指定的目标内容为多个图案,多个图案在图片帧上的分布区域分散的应用场景,采用面部特征信息匹配的检测方式,提高了处理效率。
[0221] 图15是根据一示例性实施例示出的一种播放控制系统的框图,如图15所示,该播放控制系统包括:第二终端设备1,以及第一终端设备2,其中,第二终端设备1,以及第一终端设备2可以采用上述实施例中提供的第二终端设备和第一终端设备。
[0222] 本实施例提供的播放控制系统中各模块的功能和处理流程,可以参见上述所示的方法实施例,其实现原理类似,此处不再赘述。
[0223] 本实施例提供的播放控制系统,通过第一终端设备根据待播放的第二视频流的标识信息和第二图片帧的时间戳,从第一终端设备上获取与该标识信息对应的第一视频流,以及与该时间戳对应的第一图片帧,并获取用户预先在第一图片帧上标记的、与用户预先指定的目标内容所对应的第一位置区域,然后将该第一位置区域发送给第二终端设备,第二终端设备根据第一位置区域和与目标内容对应的更新内容生成UI层,从而当屏幕显示第二图片帧时,将该UI层覆盖到该第二图片帧上,以使更新内容覆盖目标内容显示给用户。实现了播放视频流时,在不需要篡改视频流数据的情况下,实时给用户呈现满足用户需要的个性视频内容,提高了个性视频播放的灵活性和效率,并且减轻了播放终端的处理负荷。
[0224] 图16是根据一示例性实施例示出的一种终端设备的框图。例如,终端设备1300可以是移动电话,计算机,平板设备等。
[0225] 参照图13,终端设备1300可以包括以下一个或多个组件:处理组件1302,存储器1304,电源组件1306,多媒体组件1308,音频组件1310,输入/输出(I/O)的接口1312,传感器组件1314,以及通信组件1316。
[0226] 处理组件1302通常控制终端设备1300的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1302可以包括一个或多个处理器1320来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1302可以包括一个或多个模块,便于处理组件1302和其他组件之间的交互。例如,处理组件1302可以包括多媒体模块,以方便多媒体组件1308和处理组件1302之间的交互。
[0227] 存储器1304被配置为存储各种类型的数据以支持在终端设备1300的操作。这些数据的示例包括被配置为在终端设备1300上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
[0228] 电源组件1306为终端设备1300的各种组件提供电力。电源组件1306可以包括电源管理系统,一个或多个电源,及其他与为终端设备1300生成、管理和分配电力相关联的组件。
[0229] 多媒体组件1308包括在所述终端设备1300和用户之间的提供一个输出接口的触控显示屏。在一些实施例中,触控显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1308包括一个前置摄像头和/或后置摄像头。当终端设备1300处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0230] 音频组件1310被配置为输出和/或输入音频信号。例如,音频组件1310包括一个麦克风(MIC),当终端设备1300处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1304或经由通信组件1316发送。在一些实施例中,音频组件1310还包括一个扬声器,被配置为输出音频信号。
[0231] I/O接口1312为处理组件1302和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
[0232] 传感器组件1314包括一个或多个传感器,被配置为为终端设备1300提供各个方面的状态评估。例如,传感器组件1314可以检测到终端设备1300的打开/关闭状态,组件的相对定位,例如所述组件为终端设备1300的显示器和小键盘,传感器组件1314还可以检测终端设备1300或终端设备1300一个组件的位置改变,用户与终端设备1300接触的存在或不存在,终端设备1300方位或加速/减速和终端设备1300的温度变化。传感器组件1314可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1314还可以包括光传感器,如CMOS或CCD图像传感器,被配置为在成像应用中使用。在一些实施例中,该传感器组件1314还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
[0233] 通信组件1316被配置为便于终端设备1300和其他设备之间有线或无线方式的通信。终端设备1300可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1316还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
[0234] 在示例性实施例中,终端设备1300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,被配置为执行上述播放控制方法。
[0235] 在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1304,上述指令可由终端设备1300的处理器1320执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
[0236] 一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端设备1300的处理器执行时,使得终端设备1300能够执行一种播放控制方法。
[0237] 本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
[0238] 应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。