视频的字幕处理方法和导播系统转让专利
申请号 : CN201880068929.4
文献号 : CN111279687A
文献日 : 2020-06-12
发明人 : 陈庭欣 , 陈贤雨
申请人 : 深圳市大疆创新科技有限公司
摘要 :
权利要求 :
1.一种视频的字幕处理方法,其特征在于,所述方法包括:
获取字幕数据;
在预设应用的显示区域的第一预设字幕模板上渲染所述字幕数据生成填充信号画面,所述显示区域还包括第二预设字幕模板,所述第二预设字幕模板为所述填充信号画面对应的键信号画面;
将所述填充信号画面传输至导播台,并将所述键信号画面传输至所述导播台,以使得所述导播台根据所述填充信号画面和所述键信号画面对待显示的视频流进行合成并得到新的视频流。
2.根据权利要求1所述的方法,其特征在于,所述填充信号画面中各个像素点在所述新的视频流中的透明效果为根据所述键信号画面中对应位置的像素点的亮度确定。
3.根据权利要求1所述的方法,其特征在于,所述第一预设字幕模板和/或所述第二预设模板为根据所述字幕数据、本地数据、计算机的输入数据中的一种或多种实时动态调整。
4.根据权利要求3所述的方法,其特征在于,所述第一预设字幕模板包括字幕显示位置和/或字幕显示内容。
5.根据权利要求3所述的方法,其特征在于,所述第一预设字幕模板和所述第二预设模板的实时动态调整过程,包括:确定预设的与所述字幕数据对应的字幕效果;
根据所述字幕效果,调整所述第一预设字幕模板和/或所述第二预设字幕模板中内容的显示信息,以使得在所述新的视频流中产生所述字幕效果。
6.根据权利要求5所述的方法,其特征在于,所述字幕效果包括动画效果、显示效果、隐藏效果中的一种或多种。
7.根据权利要求1所述的方法,其特征在于,所述填充信号画面的分辨率和所述键信号画面的分辨率相等。
8.根据权利要求7所述的方法,其特征在于,所述显示区域的分辨率的宽度是所述填充信号画面或所述键信号画面的分辨率的宽度的两倍。
9.根据权利要求7所述的方法,其特征在于,所述显示区域的分辨率的高度是所述填充信号画面或所述键信号画面的分辨率的高度的两倍。
10.根据权利要求1所述的方法,其特征在于,所述预设应用的显示区域上无菜单栏和/或无虚拟按钮。
11.根据权利要求1所述的方法,其特征在于,所述将所述填充信号画面传输至导播台,并将所述键信号画面传输至所述导播台,包括:基于计算机的视频输出设备,将所述填充信号画面传输至导播台,并将所述键信号画面传输至所述导播台。
12.根据权利要求11所述的方法,其特征在于,所述视频输出设备包括显卡或非编卡。
13.根据权利要求1所述的方法,其特征在于,所述字幕数据包括本地数据、所述计算机的输入数据、外部设备发送的数据中的一种或多种。
14.根据权利要求13所述的方法,其特征在于,所述外部设备发送的数据包括所述外部设备根据实时的采集数据分析确定的数据。
15.根据权利要求1所述的方法,其特征在于,所述获取字幕数据之后,还包括:调用与所述字幕数据相对应的预设指令;
广播所述预设指令。
16.根据权利要求15所述的方法,其特征在于,所述调用与所述字幕数据相对应的预设指令,包括:接收与所述字幕数据相对应的预设事件信号;
调用与所述预设事件信号相对应的预设指令。
17.根据权利要求16所述的方法,其特征在于,所述预设事件信号的生成情况包括基于计算机的输入数据生成、基于本地控制数据生成、基于外部设备发送的控制数据生成中的一种或多种。
18.根据权利要求17所述的方法,其特征在于,所述待显示的视频流为竞技比赛过程中的视频流,所述控制数据包括竞技数据。
19.根据权利要求15所述的方法,其特征在于,所述预设指令包括音频播放指令、网络接口调用指令、导播台指令中的一种或多种。
20.根据权利要求1所述的方法,其特征在于,所述预设应用包括万维网Web应用。
21.一种导播系统,其特征在于,所述导播系统包括计算机和导播台,所述计算机和所述导播台通信连接;其中,所述计算机用于获取字幕数据,并在预设应用的显示区域的第一预设字幕模板上渲染所述字幕数据生成填充信号画面,所述显示区域还包括第二预设字幕模板,所述第二预设字幕模板为所述填充信号画面对应的键信号画面;
所述计算机还用于将所述填充信号画面传输至导播台,并将所述键信号画面传输至所述导播台;所述导播台根据所述填充信号画面和所述键信号画面对待显示的视频流进行合成并得到新的视频流。
22.根据权利要求21所述的导播系统,其特征在于,所述填充信号画面中各个像素点在所述新的视频流中的透明效果为根据所述键信号画面中对应位置的像素点的亮度确定。
23.根据权利要求21所述的导播系统,其特征在于,所述第一预设字幕模板和/或所述第二预设模板为根据所述字幕数据、本地数据、计算机的输入数据中的一种或多种实时动态调整。
24.根据权利要求23所述的导播系统,其特征在于,所述第一预设字幕模板包括字幕显示位置和/或字幕显示内容。
25.根据权利要求23所述的导播系统,其特征在于,所述计算机对第一预设字幕模板和所述第二预设模板的实时动态调整过程,包括:确定预设的与所述字幕数据对应的字幕效果;
根据所述字幕效果,调整所述第一预设字幕模板和/或所述第二预设字幕模板中内容的显示信息,以使得在所述新的视频流中产生所述字幕效果。
26.根据权利要求25所述的导播系统,其特征在于,所述字幕效果包括动画效果、显示效果、隐藏效果中的一种或多种。
27.根据权利要求21所述的导播系统,其特征在于,所述填充信号画面的分辨率和所述键信号画面的分辨率相等。
28.根据权利要求27所述的导播系统,其特征在于,所述显示区域的分辨率的宽度是所述填充信号画面或所述键信号画面的分辨率的宽度的两倍。
29.根据权利要求27所述的导播系统,其特征在于,所述显示区域的分辨率的高度是所述填充信号画面或所述键信号画面的分辨率的高度的两倍。
30.根据权利要求21所述的导播系统,其特征在于,所述预设应用的显示区域上无菜单栏和/或无虚拟按钮。
31.根据权利要求21所述的导播系统,其特征在于,所述计算机包括视频输出设备,所述视频设备与所述导播台通信;
所述视频输出设备将所述填充信号画面传输至导播台,并将所述键信号画面传输至所述导播台。
32.根据权利要求31所述的导播系统,其特征在于,所述视频输出设备包括显卡或非编卡。
33.根据权利要求21所述的导播系统,其特征在于,所述字幕数据包括本地数据、所述计算机的输入数据、外部设备发送的数据中的一种或多种。
34.根据权利要求33所述的导播系统,其特征在于,所述外部设备发送的数据包括所述外部设备根据实时的采集数据分析确定的数据。
35.根据权利要求21所述的导播系统,其特征在于,所述计算机在获取字幕数据之后,还用于调用与所述字幕数据相对应的预设指令,并广播所述预设指令。
36.根据权利要求35所述的导播系统,其特征在于,所述计算机具体用于:接收与所述字幕数据相对应的预设事件信号,并调用与所述预设事件信号相对应的预设指令。
37.根据权利要求36所述的导播系统,其特征在于,所述预设事件信号的生成情况包括基于计算机的输入数据生成、基于本地控制数据生成、基于外部设备发送的控制数据生成中的一种或多种。
38.根据权利要求37所述的导播系统,其特征在于,所述待显示的视频流为竞技比赛过程中的视频流,所述控制数据包括竞技数据。
39.根据权利要求35所述的导播系统,其特征在于,所述预设指令包括音频播放指令、网络接口调用指令、导播台指令中的一种或多种。
40.根据权利要求21所述的导播系统,其特征在于,所述预设应用包括万维网Web应用。
说明书 :
视频的字幕处理方法和导播系统
技术领域
背景技术
法满足实时性要求。面对实时性高的直播现场,当字幕内容只能临时提供时,通常工作人员
采用字幕机系统进行现场字幕制作,再根据导播指令进行播放,然而,现场人工制作、播放
易出错,难以满足数据项更新频繁、数据项多的场景。相关技术中,还存在一些网络直播软
件,如OBS,直接将字幕和视频在不同层次窗口叠加,然后再对叠加结果进行捕捉,但这种字幕与视频的叠加效果比较简陋,输出质量无法满足广播级要求。此外,在一些字幕处理方案
中,采用弹幕技术从服务器端获取新弹幕内容,将新弹幕内容显示在视屏上方,弹幕在播放
端视频上方呈现,这种字幕处理方式并非在视频源端进行去背合成,无法满足广播级需求。
发明内容
面对应的键信号画面;
得到新的视频流。
显示区域的第一预设字幕模板上渲染所述字幕数据生成填充信号画面,所述显示区域还包
括第二预设字幕模板,所述第二预设字幕模板为所述填充信号画面对应的键信号画面;
行合成并得到新的视频流。
成本,且借助于预设应用的灵活性,字幕处理的自动化程度高、实时性强、自由度高、适用范围广泛;同时,采用预设应用的同一显示区域中设计第一预设字幕模板和第二预设字幕模
板,可以将填充信号画面和键信号画面同时进行渲染,确保两个画面的同步渲染要求;另
外,在计算机渲染获得填充信号画面和键信号画面后,再由导播台采用去背合成技术将填
充信号画面和键信号画面合成到待显示的视频流中,满足现实场景的数据显示需求,使获
得的视频字幕满足广播级要求。
附图说明
本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其
他的附图。
具体实施方式
本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例,都属于本发明保护的范围。
面和键信号画面,并通过视频信号传输接口填充信号画面和键信号画面发送至导播台,由
导播台基于去背合成技术将填充信号和键信号合成到待显示的视频流中。
字幕硬件卡,开发成本会比较高。另外,字幕机的字幕文件通常是离线制作,且大部分字幕
机无法接受网络数据并实时修改字幕内容,存在实时性差的缺点。
实现字幕数据的在线加载,硬件成本低、自动化程度高、实时性强、自由度高、适用范围广
泛。
设备与导播台相连。
发明实施例的视频的字幕处理方法可包括如下步骤:
列举的数据类型,还可包括其他数据类型。
还可为非接触式的输入数据,如计算机自带的识别模块基于感应方式(如人脸识别、声音识
别等)获取的数据、计算机通过APP获取的数据等。
据。以视频的字幕处理方法以应用在竞技比赛为例来阐述步骤S201中的字幕数据,本实施
例中,字幕数据可包括竞技比赛过程中的竞技数据和/或基于竞技数据分析确定的数据。当
然,字幕数据还可包括非竞技数据。
比赛还可为虚拟竞技比赛(如MOBA),竞技对象为虚拟的竞技对象,竞技选手为真实的竞技
选手。
中的竞技结果。在虚拟竞技比赛中,裁判系统用于确定真实的竞技选手操作虚拟的竞技对
象进行比赛过程中的竞技结果。
机,从而作为字幕数据。可选的,竞技数据为裁判系统将该裁判系统实时的采集数据和/或
基于该裁判系统实时的采集数据进行分析获得的数据,如对抗对象的状态数据、用于控制
对抗对象的竞技选手的数据、竞技比赛过程中评论员的数据。可选的,竞技数据为赛事系统
确定的竞技规则。
括其他数据,在此不一一列举。
信号画面对应的键信号画面(即ALPHA信号画面);
及动态效果。
如超文本传输协议HTTP(HyperText Transfer Protocol)等直接发送数据至计算机的Web
应用中,实现字幕数据的在线加载,数据传输的实时性强。
示的视频流中后,获得的新的视频流会出现字幕冗余或字幕缺失等字幕效果。为避免字幕
冗余或字幕缺失,本实施例中,填充信号画面的分辨率和键信号画面的分辨率相等。
号画面或键信号画面的分辨率的高度的两倍。
可选的,显示区域预先设计,打开Web应用后,Web网页直接为显示屏幕的分辨率大小两倍。
可选的,显示区域为基于万维网Web应用将一分辨率大小与计算机的显示屏幕的分辨率大
小相等的Web网页进行拉伸获得,拉伸后的Web网页的分辨率大小为计算机的显示屏幕的分
辨率大小两倍。可选的,基于万维网Web应用将一分辨率大小与计算机的显示屏幕的分辨率
大小相等的Web网页的宽度拉伸成计算机的显示屏幕的宽度的两倍,获得拉伸后的Web网
页。可选的,基于万维网Web应用将一分辨率大小与计算机的显示屏幕的分辨率大小相等的
Web网页的高度拉伸成计算机的显示屏幕的高度的两倍,获得拉伸后的Web网页。
案、颜色、形状等静态信息。
的像素点的亮度确定。
效果,则第一预设字幕模板的区域A与第二预设字幕模板的区域A’的位置和大小相同,第一
预设字幕模板的区域B与第二预设字幕模板的B’的位置和大小相同,第一预设字幕模板的
区域C和第二预设字幕模板的C’的位置和大小相同。相应的,新的视频流的区域和第一预设
字幕模板的区域也相对应,新的视频流的区域和第一预设字幕模板区域相对应的方式与第
一预设字幕模板的区域和第二预设字幕模板的区域相对应方式相类似,此处不再赘述。
模板字幕模板的字幕显示位置(即字幕数据的显示位置)、和/或字幕显示内容、和/或预设
的与字幕数据对应的字幕效果等确定。如图4所示,第一预设字幕模板包括区域A、区域B和
区域C,最终需要在新的视频流中对应区域A的部分和新的视频流中对应区域B的部分进行
透明显示,新的视频流中对应区域C的部分非透明显示,且新的视频流中对应区域A的部分
的透明度高于新的视频流中对应区域B的部分的透明度,则可根据上述需求对键信号画面
中区域A’、区域B’和区域C’的各像素点的亮度进行设计。具体的,键信号画面中各像素点的亮度越大,填充信号画面在新的视频流中对应该像素点的位置的透明度越大。
显示位置,将键信号画面的区域A’的各个像素点的亮度设置为第一亮度,键信号画面的区
域B’的各个像素点的亮度设置为第二亮度,键信号画面中区域C’的各个像素点的亮度设置
为第三亮度。最终,填充信号画面在新的视频流中对应区域A的部分各像素点的透明度相
同,填充信号画面在新的视频流中对应区域B的部分各像素点的透明度相同,填充信号画面
在新的视频流中对应区域C的部分各像素点的透明度也相同。
的透明度最大,为完全透明的;填充信号画面在新的视频流中对应区域C的部分的各个像素
点的透明度最小,为不透明;填充信号画面在新的视频流中对应区域B的部分的各个像素点
的透明度介于完全透明和不透明之间。
号画面在新的视频流的对应位置能够呈现不同的透明效果。作为一可行的实现方式,参见
图5,填充信号画面中的区域D对应键信号画面中的区域D’,需要填充信号画面在新的视频
流对应区域D的部分的透明度渐变的效果,如透明度从左至右(图5中箭头方向)逐渐减小,
则可将键信号画面中的区域D’的各个像素点的亮度大小设置成从左至右逐渐减小的趋势,
即可实现填充信号画面在新的视频流中对应区域D的部分的透明度呈逐渐增大的渐变效
果。
使得新的视频流中与字幕数据的显示位置对应的区域画面被字幕数据所覆盖。
得新的视频流画面变成朦胧状态。
果。
据1的数据格式由“宋体”切换成“楷体”,本实现方式中,动画效果包括飞入,而显示效果则包括飞入、字幕数据1从新的视频流的左上角移动至新的视频流的右上角以及字幕数据1的
数据格式由“宋体”切换成“楷体”,可见,本实现方式中的显示效果相比动画效果的内容更加丰富。
对应百叶窗的动画效果。可选的,不同的字幕数据的显示位置对应的字幕效果可固定不变,
如图7所示的区域A的字幕效果为飞入,区域B的字幕效果为弹跳。可选的,不同的字幕数据
的显示位置对应的字幕效果随时间和/或字幕显示内容变化,例如,区域A在第一时刻的字
幕效果为飞入,第二时刻的字幕效果为飞出,第三时刻的字幕效果为百叶窗等等。
失,并且,每个数字在新的视频流中的透明度各不相同,则可在第一预设字幕模板的中心区
域依次加载数字“5”、“4”、“3”、“2”、“1”和“0”,并调整第一预设模板显示数字“5”、“4”、“3”、“2”、“1”和“0”的持续时长分别为1s,同时,调整第一预设模板的中心区域显示数字“5”、“4”、“3”、“2”、“1”和“0”的动画效果为“由预设大小逐渐缩小直至消失”。与此同时,调整第二预设模板的中心区域的各个像素的亮度大小为与各个数字进行显示时所需的透明度对
应的亮度大小。
得新的视频流中区域E通过飞入方式显示字幕数据。
位置的各像素点的亮度大小设置成沿着如图7所示箭头方向逐渐增大,从而使得新的视频
流中区域F显示的字幕数据的透明度沿着如图7所示箭头方向逐渐增大。
抗视频流、竞技选手的视频流、评论员的视频流、竞技比赛过程中观众的视频流中的一种或
多种,还可包括其他视频流。
填充信号画面传输至导播台,并将键信号画面传输至导播台。相对字幕机而言,利用了普通
计算系统的通用设备,开发成本低。
信号画面实时传输的目的。在另一些实施例中,计算机将步骤S202中的填充信号画面和键
信号画面通过该计算机的非编卡传输至导播台,实现填充信号画面和键信号画面实时传输
的目的。
的操作。
需要说明的是,网络接口调用指令主要针对第三方网站,网络接口调用指令可触发导播台
将新的视频流推流至云端,使得第三方网站可从云端获取该新的视频流并播放,或者,网络
接口调用指令指示第三方网站接入导播系统的计算机并直接接收计算机产生的广播消息,
确保第三方网站直播新的视频流过程中的实时赛事数据的发布。本实施例中,导播台获得
新的视频流后,可将新的视频流通过现场屏幕(如竞技比赛现场)显示,也可通过视频推流
服务器将新的视频流推流至云端,再由第三方网站对云端获取的新的视频流进行播放。
播,该广播消息可直接传输到现场的音频播放设备或第三方网站,现场的音频播放设备或
第三方网站在接收到该广播消息后,会直接播放与该第一特定音效。在竞技对象死掉时,需
在新的视频流中播放第二特定音效,计算机可调用与竞技对象死亡生命状态相对应的第二
音效播放指令并进行广播,该广播消息可直接传输到现场的音频播放设备(即比赛现场的
音频播放设备)或第三方网站,现场的音频播放设备或第三方网站在接收到该广播消息后,
会直接播放与该第而特定音效。在一个竞技对象出现死亡生命状态时,需导播台切换待显
示的视频流的显示场景,如回播当前出现死亡生命状态的竞技对象在当前场竞技比赛中的
部分视频画面,或者对竞技对象出现死亡生命状态的画面进行放大等,计算机可调用用于
指示导播台切换待显示的视频流的显示场景的导播台指令并广播至导播台,以指示导播台
切换待显示的视频流的显示场景。
模块在接收到该广播消息后,会控制现场灯光全亮。
站直播新的视频流过程中的实时赛事数据的发布。
音频播放指示信号、网络接口调用指示信号或导播台指示信号等。
部设备发送的竞技比赛过程中的竞技数据,竞技数据可包括竞技对象的数量数据、血量数
据、位置数据、竞技分数数据、生命状态数据等中的一种或多种。
播台进行待显示的视频流的场景切换的导播台指示信号。当然,导播台指示信号还可以基
于本地控制数据生成和/或基于外部设备发送的控制数据生成。
确定竞技对象掉血后,生成用于指示第三方网站播放竞技对象掉血数据对应的音效数据的
网络接口调用指示指令。当然,网络接口调用指令信号还可以基于计算机的输入数据生成
和/或基于外部设备发送的控制数据生成。
放特定音频数据的音频播放指示信号。当然,音频播放指示信号还可以基于本地控制数据
生成和/或基于计算机的输入数据生成。
且借助于预设应用的灵活性,字幕处理的自动化程度高、实时性强、自由度高、适用范围广
泛,尤其适用于字幕数据更新频繁、字幕数据多的场景;同时,采用预设应用的同一显示区
域中设计第一预设字幕模板和第二预设字幕模板,可以将填充信号画面和键信号画面同时
进行渲染,确保两个画面的同步渲染要求;另外,在计算机渲染获得填充信号画面和键信号
画面后,再由导播台采用去背合成技术将填充信号画面和键信号画面合成到待显示的视频
流中,满足现实场景的数据显示需求,使获得的视频字幕满足广播级要求。
中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁
碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access
Memory,RAM)等。