实时视频传输的自适应动态抗网络丢包智能信源解码方法转让专利

申请号 : CN202110640340.0

文献号 : CN113382237B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 杨毅

申请人 : 北京杰瑞创通科技有限公司

摘要 :

本发明公开了实时视频传输的自适应动态抗网络丢包智能信源解码方法,包括以下步骤:步骤一,信号接收;步骤二,滤波降噪;步骤三,信号转换;步骤四,帧序监测;步骤五,帧间检验;步骤六,帧内校验;步骤七,帧内补偿;步骤八,帧内重构;步骤九,图像整合;该发明滤去了输入信号中的噪声源,减少了视频噪声,提高了传输的质量,且通过在信源解码过程中进行帧序监测、帧间检验、帧内校验和帧内补偿,增加了大规模网络丢包时的有效收帧率,并对无效帧进行帧内重构,避免了实时视频画面卡顿、丢帧、丢幅问题的发生,使实时视频画面卡死在大规模网络丢包环境下变成了极小概率事件,减少了大规模网络丢包对实时视频传输的影响。

权利要求 :

1.实时视频传输的自适应动态抗网络丢包智能信源解码方法,包括以下步骤:步骤一,信号接收;步骤二,滤波降噪;步骤三,信号转换;步骤四,帧序监测;步骤五,帧间检验;步骤六,帧内校验;步骤七,帧内补偿;步骤八,帧内重构;步骤九,图像整合;其特征在于:其中在上述步骤一中,根据通信加密协议,利用通信接收模块接收网络上实时传输来的冗余校验码以及经过编码的数字视频信号,同时利用网络监控模块获得当前网络的网络状态实时参数,其中网络状态实时参数包括卡顿、抖动、延迟和波 动;

其中在上述步骤二中,将步骤一中得到的数字视频信号和网络状态实时参数传输到滤波降噪模块中,利用自适应滤波算法实时地自动更新数字视频信号的时变系数,获得数字视频信号中离散时域信号和连续时域信号的时变特征,并获得数字视频信号中信号源和噪声源的统计特征,进而自适应的对信号源附加高权重、噪声源附加低权重,滤去噪声源后得到滤波降噪信号;

其中在上述步骤三中,将步骤二中得到的滤波降噪信号传输到信源解码模块中,利用指数哥伦布解码算法将滤波降噪信号转换成模拟视频信号,进而获得有序的模拟视频图像;

其中在上述步骤四中,将步骤三在得到的实时模拟视频图像传输到帧序监测模块中,利用背景差分算法对实时模拟视频图像帧序中运动目标和静止背景的图像作灰度差分运算,得到目标运动区域灰度图;

其中在上述步骤五中,将步骤四中得到的目标运动区域灰度图传输到帧间检验模块中,利用帧间差分算法对目标运动区域灰度图在相邻两帧目标图像和背景图像作差分运算,并进行阈值化处理,分析目标图像的运动特性,获得目标图像的运动轮廓和运动相关点,提取出目标的运动区域,进而得到目标运动区域的二值化黑白图像;

其中在上述步骤六中,将步骤一中得到的冗余校验码和步骤五中得到二值化黑白图像传输到帧内校验模块中,利用循环冗余算法对二值化黑白图像每一帧对应的冗余校验码作取余运算,以存在帧数据缺失的为无效帧图像,以不存在帧数据缺失的为有效帧图像;

其中在上述步骤七中,将步骤六中得到的有效帧图像传输到帧内补偿模块中,根据原始帧序,利用线性插值算法对相邻有效帧图像中目标的运动相关点作一维内插运算,生成位置与有效帧图像中相邻目标的运动相关点成线性关系的运动补偿点,并插入原始帧序的相应位置中单独排列成补偿帧序,得到补偿帧图像;

其中在上述步骤八中,将步骤六中得到的无效帧图像和步骤七中得到的补偿帧图像传输到帧内重构模块中,根据原始帧序与补偿帧序的位置关系,利用遗传算法对帧序相近的无效帧图像和补偿帧图像作交叉变异运算,生成位置与有效帧图像中相邻目标的运动相关点成线性关系的运动重构点,并插入原始帧序的相应位置中单独排列成重构帧序,得到重构帧图像;

其中在上述步骤九中,将步骤六中得到的有效帧图像和步骤八中得到的重构帧图像传输到图像整合模块中,根据原始帧序与重构帧序的位置关系,对图像进行依序拼接整合,即得实时视频图像。

2.根据权利要求1所述的实时视频传输的自适应动态抗网络丢包智能信源解码方法,其特征在于:所述步骤二中,自适应滤波算法的公式为:y(n)=Σw(k)x(n‑k)

式中y(n)为滤波降噪信号,w(k)为过滤系数,数字视频信号x(n)=s(n)+u(n),s(n)为信号源,u(n)为噪声源。

3.根据权利要求1所述的实时视频传输的自适应动态抗网络丢包智能信源解码方法,其特征在于:所述步骤三中,指数哥伦布解码算法的公式为:(m+k) k

CodeNum=2 ‑2+Value

式中CodeNum为解码值,m为第一个非零比特前缀的零比特个数,k为编解码指数的阶数,Value为第一个非零比特后缀的m+k个二进制串的十进制值。

4.根据权利要求1所述的实时视频传输的自适应动态抗网络丢包智能信源解码方法,其特征在于:所述步骤四中,背景差分算法的公式为:Dk=|fk(x,y)‑bk(x,y)|

式中Dk为差分灰度图像,fk为当前帧图像,bk为背景图像。

5.根据权利要求1所述的实时视频传输的自适应动态抗网络丢包智能信源解码方法,其特征在于:所述步骤五中,帧间差分算法的公式为:式中Rk(x,y)为二值化黑白图像,T为二值化设定阈值。

6.根据权利要求1所述的实时视频传输的自适应动态抗网络丢包智能信源解码方法,其特征在于:所述步骤六中,循环冗余算法的公式为:Mk=nCRCk+P

16 15 2

式中Mk为冗余纠错码,冗余校验码CRC=x +x +x+1且x取0或1,P为余数且不为0时表示存在帧数据缺失。

7.根据权利要求1所述的实时视频传输的自适应动态抗网络丢包智能信源解码方法,其特征在于:所述步骤七中,线性插值算法的公式为:式中a和c为两相邻有效帧图像中目标运动相关点的坐标,b为内插运动补偿点的坐标,且a<b<c。

8.根据权利要求1所述的实时视频传输的自适应动态抗网络丢包智能信源解码方法,其特征在于:所述步骤八中,遗传算法的变异概率为0.07,进化迭代次数为15000代。

说明书 :

实时视频传输的自适应动态抗网络丢包智能信源解码方法

技术领域

[0001] 本发明涉及信源解码技术领域,具体为实时视频传输的自适应动态抗网络丢包智能信源解码方法。

背景技术

[0002] 实时视频传输,指的是通过特定的传输介质和传输手段在确定的时间内将视频图像信号从一处传到另一处的过程,其传输介质主要为有线网路或无线网络、传输手段主要为信源编解码处理。
[0003] 然而,现有的信源解码方法在野外、海上、陆地复杂地形、卫星通信、无线通信及高速运动中通信、复杂电磁环境等恶劣、复杂和高动态网络环境下,普遍存在信号增益、信噪比变化引起的大规模网络抖动、传输网络带宽占用饱和、错误连接及配置形成的网络环路、网络环路形成的网络广播风暴、网络传输物理线路故障、网络传输设备故障以及设备瓶颈、网络攻击等网络现象造成的大规模网络丢包现象,导致实时视频传输的画面出现大幅卡顿、花屏、半幅、丢帧、丢幅甚至卡死等问题。

发明内容

[0004] 本发明的目的在于提供实时视频传输的自适应动态抗网络丢包智能信源解码方法,以解决上述背景技术中提出网络丢包严重、视频画面有缺陷以及存在噪声干扰的问题。
[0005] 为实现上述目的,本发明提供如下技术方案:实时视频传输的自适应动态抗网络丢包智能信源解码方法,包括以下步骤:步骤一,信号接收;步骤二,滤波降噪;步骤三,信号转换;步骤四,帧序监测;步骤五,帧间检验;步骤六,帧内校验;步骤七,帧内补偿;步骤八,帧内重构;步骤九,图像整合;
[0006] 其中在上述步骤一中,根据通信加密协议,利用通信接收模块接收网络上实时传输来的冗余校验码以及经过编码的数字视频信号,同时利用网络监测模块获得当前网络的卡顿、抖动、延迟和波动等网络状态实时参数;
[0007] 其中在上述步骤二中,将步骤一中得到的数字视频信号和网络状态实时参数传输到滤波降噪模块中,利用自适应滤波算法实时地自动更新数字视频信号的时变系数,获得数字视频信号中离散时域信号和连续时域信号的时变特征,并获得数字视频信号中信号源和噪声源的统计特征,进而自适应的对信号源附加高权重、噪声源附加低权重,滤去噪声源后得到滤波降噪信号;
[0008] 其中在上述步骤三中,将步骤二中得到的滤波降噪信号传输到信源解码模块中,利用指数哥伦布解码算法将滤波降噪信号转换成模拟视频信号,进而获得有序的模拟视频图像;
[0009] 其中在上述步骤四中,将步骤三在得到的实时模拟视频图像传输到帧序监测模块中,利用背景差分算法对实时模拟视频图像帧序中运动目标和静止背景的图像作灰度差分运算,得到目标运动区域灰度图;
[0010] 其中在上述步骤五中,将步骤四中得到的目标运动区域灰度图传输到帧间检验模块中,利用帧间差分算法对目标运动区域灰度图在相邻两帧目标图像和背景图像作差分运算,并进行阈值化处理,分析目标图像的运动特性,获得目标图像的运动轮廓和运动相关点,提取出目标的运动区域,进而得到目标运动区域的二值化黑白图像;
[0011] 其中在上述步骤六中,将步骤一中得到的冗余校验码和步骤五中得到二值化黑白图像传输到帧内校验模块中,利用循环冗余算法对二值化黑白图像每一帧对应的冗余校验码作取余运算,以存在帧数据缺失的为无效帧图像,以不存在帧数据缺失的为有效帧图像;
[0012] 其中在上述步骤七中,将步骤六中得到的有效帧图像传输到帧内补偿模块中,根据原始帧序,利用线性插值算法对相邻有效帧图像中目标的运动相关点作一维内插运算,生成位置与有效帧图像中相邻目标的运动相关点成线性关系的运动补偿点,并插入原始帧序的相应位置中单独排列成补偿帧序,得到补偿帧图像;
[0013] 其中在上述步骤八中,将步骤六中得到的无效帧图像和步骤七中得到的补偿帧图像传输到帧内重构模块中,根据原始帧序与补偿帧序的位置关系,利用遗传算法对帧序相近的无效帧图像和补偿帧图像作交叉变异运算,生成位置与有效帧图像中相邻目标的运动相关点成线性关系的运动重构点,并插入原始帧序的相应位置中单独排列成重构帧序,得到重构帧图像;
[0014] 其中在上述步骤九中,将步骤六中得到的有效帧图像和步骤八中得到的重构帧图像传输到图像整合模块中,根据原始帧序与重构帧序的位置关系,对图像进行依序拼接整合,即得实时视频图像。
[0015] 优选的,所述步骤二中,自适应滤波算法的公式为:
[0016] y(n)=∑w(k)x(n‑k)
[0017] 式中y(n)为滤波降噪信号,w(k)为过滤系数,数字视频信号x(n)=s(n)+u(n),s(n)为信号源,u(n)为噪声源。
[0018] 优选的,所述步骤三中,指数哥伦布解码算法的公式为:
[0019] CodeNum=2(m+k)‑2k+Value
[0020] 式中CodeNum为解码值,m为第一个非零比特前缀的零比特个数,k为编解码指数的阶数,Value为第一个非零比特后缀的m+k个二进制串的十进制值。
[0021] 优选的,所述步骤四中,背景差分算法的公式为:
[0022] Dk=|fk(x,y)‑bk(x,y)|
[0023] 式中Dk为差分灰度图像,fk为当前帧图像,bk为背景图像。
[0024] 优选的,所述步骤五中,帧间差分算法的公式为:
[0025]
[0026] 式中Rk(x,y)为二值化黑白图像,T为二值化设定阈值。
[0027] 优选的,所述步骤六中,循环冗余算法的公式为:
[0028] Mk=nCRCk+P
[0029] 式中Mk为冗余纠错码,冗余校验码CRC=x16+x15+x2+1且x取0或1,P为余数且不为0时表示存在帧数据缺失。
[0030] 优选的,所述步骤七中,线性插值算法的公式为:
[0031]
[0032] 式中a和c为两相邻有效帧图像中目标运动相关点的坐标,b为内插运动补偿点的坐标,且a
[0033] 优选的,所述步骤八中,遗传算法的变异概率为0.07,进化迭代次数为15000代。
[0034] 与现有技术相比,本发明的有益效果是:该实时视频传输的自适应动态抗网络丢包智能信源解码方法,通过自适应滤波,滤去了输入信号中的噪声源,减少了视频噪声,提高了传输的质量;通过在信源解码过程中进行帧序监测、帧间检验、帧内校验和帧内补偿,增加了大规模网络丢包时的有效收帧率,并对无效帧进行帧内重构,避免了实时视频画面卡顿、丢帧、丢幅问题的发生,使实时视频画面卡死在大规模网络丢包环境下变成了极小概率事件,减少了大规模网络丢包对实时视频传输的影响。

附图说明

[0035] 图1为本发明的方法流程图;
[0036] 图2为本发明的系统流程图;
[0037] 图3为本发明的工作原理图。

具体实施方式

[0038] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0039] 请参阅图1‑3,本发明提供的一种实施例:实时视频传输的自适应动态抗网络丢包智能信源解码方法,包括以下步骤:步骤一,信号接收;步骤二,滤波降噪;步骤三,信号转换;步骤四,帧序监测;步骤五,帧间检验;步骤六,帧内校验;步骤七,帧内补偿;步骤八,帧内重构;步骤九,图像整合;
[0040] 其中在上述步骤一中,根据通信加密协议,利用通信接收模块接收网络上实时传输来的冗余校验码以及经过编码的数字视频信号,同时利用网络监测模块获得当前网络的卡顿、抖动、延迟和波动等网络状态实时参数;
[0041] 其中在上述步骤二中,将步骤一中得到的数字视频信号和网络状态实时参数传输到滤波降噪模块中,利用自适应滤波算法实时地自动更新数字视频信号的时变系数,获得数字视频信号中离散时域信号和连续时域信号的时变特征,并获得数字视频信号中信号源和噪声源的统计特征,进而自适应的对信号源附加高权重、噪声源附加低权重,滤去噪声源后得到滤波降噪信号,自适应滤波算法的公式为:
[0042] y(n)=∑w(k)x(n‑k)
[0043] 式中y(n)为滤波降噪信号,w(k)为过滤系数,数字视频信号x(n)=s(n)+u(n),s(n)为信号源,u(n)为噪声源;
[0044] 其中在上述步骤三中,将步骤二中得到的滤波降噪信号传输到信源解码模块中,利用指数哥伦布解码算法将滤波降噪信号转换成模拟视频信号,进而获得有序的模拟视频图像,指数哥伦布解码算法的公式为:
[0045] CodeNum=2(m+k)‑2k+Value
[0046] 式中CodeNum为解码值,m为第一个非零比特前缀的零比特个数,k为编解码指数的阶数,Value为第一个非零比特后缀的m+k个二进制串的十进制值;
[0047] 其中在上述步骤四中,将步骤三在得到的实时模拟视频图像传输到帧序监测模块中,利用背景差分算法对实时模拟视频图像帧序中运动目标和静止背景的图像作灰度差分运算,得到目标运动区域灰度图,背景差分算法的公式为:
[0048] Dk=|fk(x,y)‑bk(x,y)|
[0049] 式中Dk为差分灰度图像,fk为当前帧图像,bk为背景图像;
[0050] 其中在上述步骤五中,将步骤四中得到的目标运动区域灰度图传输到帧间检验模块中,利用帧间差分算法对目标运动区域灰度图在相邻两帧目标图像和背景图像作差分运算,并进行阈值化处理,分析目标图像的运动特性,获得目标图像的运动轮廓和运动相关点,提取出目标的运动区域,进而得到目标运动区域的二值化黑白图像,帧间差分算法的公式为:
[0051]
[0052] 式中Rk(x,y)为二值化黑白图像,T为二值化设定阈值;
[0053] 其中在上述步骤六中,将步骤一中得到的冗余校验码和步骤五中得到二值化黑白图像传输到帧内校验模块中,利用循环冗余算法对二值化黑白图像每一帧对应的冗余校验码作取余运算,以存在帧数据缺失的为无效帧图像,以不存在帧数据缺失的为有效帧图像,循环冗余算法的公式为:
[0054] Mk=nCRCk+P
[0055] 式中Mk为冗余纠错码,冗余校验码CRC=x16+x15+x2+1且x取0或1,P为余数且不为0时表示存在帧数据缺失;
[0056] 其中在上述步骤七中,将步骤六中得到的有效帧图像传输到帧内补偿模块中,根据原始帧序,利用线性插值算法对相邻有效帧图像中目标的运动相关点作一维内插运算,生成位置与有效帧图像中相邻目标的运动相关点成线性关系的运动补偿点,并插入原始帧序的相应位置中单独排列成补偿帧序,得到补偿帧图像,线性插值算法的公式为:
[0057]
[0058] 式中a和c为两相邻有效帧图像中目标运动相关点的坐标,b为内插运动补偿点的坐标,且a
[0059] 其中在上述步骤八中,将步骤六中得到的无效帧图像和步骤七中得到的补偿帧图像传输到帧内重构模块中,根据原始帧序与补偿帧序的位置关系,利用遗传算法对帧序相近的无效帧图像和补偿帧图像作交叉变异运算,遗传算法的变异概率为0.07,进化迭代次数为15000代,生成位置与有效帧图像中相邻目标的运动相关点成线性关系的运动重构点,并插入原始帧序的相应位置中单独排列成重构帧序,得到重构帧图像;
[0060] 其中在上述步骤九中,将步骤六中得到的有效帧图像和步骤八中得到的重构帧图像传输到图像整合模块中,根据原始帧序与重构帧序的位置关系,对图像进行依序拼接整合,即得实时视频图像。
[0061] 基于上述,本发明的优点在于,本发明通过在信源解码过程中进行帧序监测、帧间检验、帧内校验和帧内补偿,增加了大规模网络丢包时的有效收帧率,并对无效帧进行帧内重构,避免了实时视频画面卡顿、丢帧、丢幅问题的发生,使实时视频画面卡死在大规模网络丢包环境下变成了极小概率事件,减少了大规模网络丢包对实时视频传输的影响,且通过自适应滤波,滤去了输入信号中的噪声源,减少了视频噪声,提高了传输的质量。
[0062] 对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。