一种视频处理方法、装置、设备及存储介质转让专利
申请号 : CN202110744051.5
文献号 : CN113259779B
文献日 : 2021-09-17
发明人 : 聂树华
申请人 : 杭州觅睿科技股份有限公司
摘要 :
权利要求 :
1.一种视频处理方法,其特征在于,应用于视频存储端,包括:通过在I帧对应的P帧之间间隔插入虚拟I帧的方式对所述视频存储端的目标视频进行编码处理,以得到包括所述I帧、所述虚拟I帧及所述P帧的所述目标视频;
基于所述目标视频中的所述I帧、所述虚拟I帧在所述目标视频中的时间点,构建相应的时间点索引表;
获取播放端回放所述目标视频的播放需求,从所述时间点索引表中查找与所述播放需求对应的所述I帧或所述虚拟I帧,以作为起始传输帧;
将所述起始传输帧及所述起始传输帧之后的视频帧传输至所述播放端,以便所述播放端对接收到的视频帧进行解码并显示;
其中,所述将所述起始传输帧及所述起始传输帧之后的视频帧传输至所述播放端,包括:
根据所述播放需求中的快进速度确定所述起始传输帧之后的视频帧中参与传输的所述I帧、所述虚拟I帧、所述P帧;
将所述起始传输帧及参与传输的所述I帧、所述虚拟I帧、所述P帧传输至所述播放端。
2.根据权利要求1所述的视频处理方法,其特征在于,所述通过在I帧对应的P帧之间间隔插入虚拟I帧的方式对所述视频存储端的目标视频进行编码处理,以得到包括所述I帧、所述虚拟I帧及所述P帧的所述目标视频,包括:利用H264压缩技术对所述视频存储端的目标视频进行编码处理,以得到包括所述I帧、所述虚拟I帧及所述P帧的所述目标视频。
3.根据权利要求1所述的视频处理方法,其特征在于,所述时间点索引表还包括所述I帧、所述虚拟I帧的前后视频帧的画面状态;其中,所述画面状态用于反映相应的所述视频帧的画面是否发生变化。
4.根据权利要求3所述的视频处理方法,其特征在于,还包括:根据所述视频帧之间的帧间亮度判断所述视频帧的画面是否发生变化,以确定所述视频帧的所述画面状态。
5.根据权利要求1所述的视频处理方法,其特征在于,所述将所述起始传输帧及所述起始传输帧之后的视频帧传输至所述播放端,包括:根据所述播放需求中的快进速度确定所述起始传输帧之后的视频帧中参与传输的所述I帧、所述虚拟I帧、所述P帧;
如果所述播放需求表征播放静止画面,则将所述起始传输帧及所述起始传输帧之后的视频帧中参与传输的所述I帧、所述虚拟I帧、所述P帧传输至所述播放端。
6.根据权利要求3所述的视频处理方法,其特征在于,所述将所述起始传输帧及所述起始传输帧之后的视频帧传输至所述播放端,包括:根据所述播放需求中的快进速度确定所述起始传输帧之后的视频帧中参与传输的所述I帧、所述虚拟I帧、所述P帧;
如果所述播放需求表征不播放静止画面,则通过所述时间点索引表中的所述画面状态对参与传输的所述I帧、所述虚拟I帧、所述P帧进行筛选以得到最终参与传输的所述I帧、所述虚拟I帧、所述P帧;
将所述起始传输帧及最终参与传输的所述I帧、所述虚拟I帧、所述P帧传输至所述播放端。
7.根据权利要求6所述的视频处理方法,其特征在于,所述通过所述时间点索引表中的所述画面状态对参与传输的所述I帧、所述虚拟I帧、所述P帧进行筛选以得到最终参与传输的所述I帧、所述虚拟I帧、所述P帧,包括:通过所述时间点索引表中的所述画面状态分别判断参与传输的所述I帧、所述虚拟I帧之后的预设数量的视频帧的画面是否发生变化;
如果否,则丢弃相应的所述I帧、所述虚拟I帧、所述P帧,以得到最终参与传输的所述I帧、所述虚拟I帧、所述P帧。
8.一种视频处理装置,其特征在于,应用于视频存储端,包括:虚拟帧插入模块,用于通过在I帧对应的P帧之间间隔插入虚拟I帧的方式对所述视频存储端的目标视频进行编码处理,以得到包括所述I帧、所述虚拟I帧及所述P帧的所述目标视频;
索引表构建模块,用于基于所述目标视频中的所述I帧、所述虚拟I帧在所述目标视频中的时间点,构建相应的时间点索引表;
播放需求获取模块,用于获取播放端回放所述目标视频的播放需求,从所述时间点索引表中查找与所述播放需求对应的所述I帧或所述虚拟I帧,以作为起始传输帧;
传输模块,用于将所述起始传输帧及所述起始传输帧之后的视频帧传输至所述播放端,以便所述播放端对接收到的视频帧进行解码并显示;
其中,所述视频处理装置,还用于:根据所述播放需求中的快进速度确定所述起始传输帧之后的视频帧中参与传输的所述I帧、所述虚拟I帧、所述P帧;
将所述起始传输帧及参与传输的所述I帧、所述虚拟I帧、所述P帧传输至所述播放端。
9.一种电子设备,其特征在于,所述电子设备包括处理器和存储器;其中所述存储器用于存储计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的视频处理方法。
10.一种计算机可读存储介质,其特征在于,用于存储计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如权利要求1至7任一项所述的视频处理方法。
说明书 :
一种视频处理方法、装置、设备及存储介质
技术领域
背景技术
要获取每个视频帧并且解码每个视频帧,对不需要显示的视频帧,在传输且解码完后再进
行丢弃,极大地浪费了网络资源,降低视频数据传输速率。
发明内容
频,包括:
帧、所述虚拟I帧、所述P帧;
括:
目标视频;
视频处理方法。
处理方法。
I帧、虚拟I帧在目标视频中的时间点,构建相应的时间点索引表;然后,获取播放端回放目
标视频的播放需求,从时间点索引表中查找与播放需求对应的I帧或虚拟I帧,作为起始传
输帧;最后,将所述起始传输帧及所述起始传输帧之后的视频帧传输至所述播放端,以便所
述播放端对接收到的视频帧进行解码并显示。本申请通过在I帧对应的P帧之间间隔插入虚
拟I帧对目标视频进行编码处理,回放时,视频存储端能够根据播放需求只传输需要显示的
视频帧,提高视频网络传输效率。
附图说明
发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据
提供的附图获得其他的附图。
具体实施方式
本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例,都属于本发明保护的范围。
要获取每个视频帧并且解码每个视频帧,对不需要显示的视频帧,在传输且解码完后再进
行丢弃,极大地浪费了网络资源,降低视频数据传输速率。针对上述技术缺陷,本申请实施
例提供一种视频处理方案,通过在I帧对应的P帧之间间隔插入虚拟I帧对目标视频进行编
码处理,回放时,视频存储端能够根据播放需求只传输需要显示的视频帧,提高视频网络传
输效率。
视频。当前绝大部分摄影头对存储视频的编码方式均采用I帧后的所有P帧都参考前一个P
帧,如图2所示,如此一来对视频进行回放时,对显示的视频帧由播放端决定,同时回放解码
显示端,解码后续P帧时,同时需解码前面参考的所有P帧,导致需要获取所有视频帧,增加
网络传输负担。本实施例在目标视频的后续I帧间隔内的P帧利用多个虚拟I帧隔开,虚拟I
帧间隔内的P帧参考虚拟I帧,而虚拟I帧参考前面的I帧,如图3所示。不难理解,相邻所述虚
拟I帧间隔内的P帧数可以设置在2至4个,根据实际业务需求确定,本申请实施例对此不进
行限定。
拟I帧或者跳帧方式的编码方式,通过H264编码方式来避免I帧内所有P帧需参考在前的P
帧。所述H264压缩技术是一种视频压缩标准,在更低的比特率的情况下依然能够提供良好
视频质量的标准,同时设计的复杂性也相对较低,具有较高视频压缩比和网络亲和性,可适
用于各种传输网络。
间点索引表。当然,为了能快速定位所述目标视频可以同时生成所述I帧和所述虚拟I帧的
偏移点。上述步骤也即摄像头写录像至本地存储设备的过程。
的画面状态;其中,所述画面状态用于反映相应的所述视频帧的画面是否发生变化。在回放
所述目标视频时,可以根据前后视频帧的画面状态选择是否需要跳过对静止画面的传输。
另外,本实施例中可以根据所述视频帧之间的帧间亮度判断所述视频帧的画面是否发生变
化,以确定所述视频帧的所述画面状态。当然,判断画面是否发生变化状态除了采用帧间亮
度差异变化外,其他能达到该技术效果的技术手段均落入本实施例的公开范围。
多帧静止画面后不播放,以及播放时间点。其中,所述回放端可以为个人计算机(PC,
Personal Computer)、手机App、网络硬盘录像机(NVR, Network Video Recorder)等。然后
从所述时间点索引表中查找与所述播放需求对应的所述I帧或所述虚拟I帧,以作为起始传
输帧,例如可以根据所述播放需求中的播放时间点从所述时间点索引表中查找作为起始传
输帧的所述I帧或所述虚拟I帧。不难理解,所述起始传输帧也即对所述目标视频进行传输
的起始视频帧。
否显示是由视频存储端(摄像头)来确定的,摄像头端根据回放方式,只传输需要显示的帧,
播放端执行快进回放时,不需要对所有帧解码,只需解码接收到的视频帧,直接解码显示,
不需要做特殊处理。也即在以不同速度(1X、2X、4X、8X、16X等)快进回放摄像头存储的录像
时,不显示的视频帧,不需要传输也不需要进行解码,只需传输和解码需显示(快进)的视频
帧。
述I帧、所述虚拟I帧、所述P帧,然后将所述起始传输帧及所述起始传输帧之后的视频帧中
参与传输的所述I帧、所述虚拟I帧、所述P帧传输至所述播放端。需要说明是,根据所述播放
需求中的快进速度确定所述起始传输帧之后的视频帧中参与传输的所述I帧、所述虚拟I
帧、所述P帧的具体规则为:当所述播放速度为1倍时,对所述起始传输帧后续的所有视频帧
进行传输;对于1倍播放速度外的其他播放速度,均不传输所述P帧,仅对所述I帧和所述虚
拟I帧有选择性的进行传输,也即当所述播放速度为2倍时,对所述起始传输帧后续的所有
所述I帧和所述虚拟I帧进行传输;当所述播放速度为4倍时,对所述起始传输帧后续的所有
的所述I帧以及间隔选择所述虚拟I帧进行传输;当所述播放速度为8倍时,对所述起始传输
帧后续的所有的所述I帧以及所述I帧中间的一个所述虚拟I帧进行传输;当所述播放速度
为16倍时,仅对所述起始传输帧后续所有的所述I帧进行传输。当然,上述规则只是一种示
例,本领域技术人员可以根据业务需求自行设定相关规则,摄像头根据快进速度确定对应
的传输规则传输后续的视频帧。
述规则确定所述起始传输帧之后的视频帧中参与传输的所述I帧、所述虚拟I帧、所述P帧,
具体参照前文所述,本实施例对此不再进行赘述。在此基础上,由于需要跳过静止画面,因
此需要进一步通过所述时间点索引表中的所述画面状态对参与传输的所述I帧、所述虚拟I
帧、所述P帧进行筛选以得到最终参与传输的所述I帧、所述虚拟I帧、所述P帧。本实施例中,
可以通过所述时间点索引表中的所述画面状态分别判断参与传输的所述I帧、所述虚拟I帧
之后的预设数量的视频帧的画面是否发生变化,如果否,则丢弃相应的所述I帧、所述虚拟I
帧、所述P帧,以得到最终参与传输的所述I帧、所述虚拟I帧、所述P帧。最后将所述起始传输
帧及最终参与传输的所述I帧、所述虚拟I帧、所述P帧传输至所述播放端。在此过程中,所述
时间点索引表中包括所述I帧、所述虚拟I帧的前后视频帧的画面状态,通过所述时间点索
引表记录的静态画面状态来判断连续静止画面数是否超过所述预设数量,如果超过,则说
明该I帧或虚拟I帧之后的画面为不需要传输的连续静态画面帧,也即为不需要在播放端显
示的视频帧,可以直接的摄像头端丢弃不需要显示的视频帧。继续索引后续视频帧,直至碰
到画面状态变化的帧后,确定为需要传输的视频帧,并重复上述通过所述时间点索引表中
的所述画面状态分别判断参与传输的所述I帧、所述虚拟I帧之后的预设数量的视频帧的画
面是否发生变化,如果否,则丢弃相应的所述I帧、所述虚拟I帧、所述P帧,以得到最终参与
传输的所述I帧、所述虚拟I帧、所述P帧的步骤。
视频中的I帧、虚拟I帧在目标视频中的时间点,构建相应的时间点索引表;然后,获取播放
端回放目标视频的播放需求,从时间点索引表中查找与播放需求对应的I帧或虚拟I帧,作
为起始传输帧;最后,将所述起始传输帧及所述起始传输帧之后的视频帧传输至所述播放
端,以便所述播放端对接收到的视频帧进行解码并显示。本申请实施例通过在I帧对应的P
帧之间间隔插入虚拟I帧对目标视频进行编码处理,回放时,视频存储端能够根据播放需求
只传输需要显示的视频帧,提高视频网络传输效率。
述目标视频;
视频中的I帧、虚拟I帧在目标视频中的时间点,构建相应的时间点索引表;然后,获取播放
端回放目标视频的播放需求,从时间点索引表中查找与播放需求对应的I帧或虚拟I帧,作
为起始传输帧;最后,将所述起始传输帧及所述起始传输帧之后的视频帧传输至所述播放
端,以便所述播放端对接收到的视频帧进行解码并显示。本申请实施例通过在I帧对应的P
帧之间间隔插入虚拟I帧对目标视频进行编码处理,回放时,视频存储端能够根据播放需求
只传输需要显示的视频帧,提高视频网络传输效率。
述目标视频。
画面状态。
帧进行传输;
终参与传输的所述I帧、所述虚拟I帧、所述P帧,并以所述起始传输帧为传输起始点对最终
参与传输的所述I帧、所述虚拟I帧、所述P帧进行传输。
信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载
并执行,以实现前述任一实施例公开的视频处理方法中的相关步骤。
用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获
取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,
在此不进行具体限定。
可以是短暂存储或者永久存储。
Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由
电子设备20执行的视频处理方法的计算机程序之外,还可以进一步包括能够用于完成其他
特定工作的计算机程序。数据223可以包括电子设备20收集到的视频帧。
步骤。
置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分
说明即可。
之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意
在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那
些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者
设备所固有的要素。在没有更多限制的情况下,由语句“包括一个…”限定的要素,并不排除
在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思
想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对
本发明的限制。