一种适用于无线视频传输的自适应跨层前向纠错方法

摘要

本发明涉及一种适用于无线视频传输的自适应跨层前向纠错方法，包括：在视频数据的发送端，分别预测每个数据包若发生在接收端丢失的情况所可能引起的图像失真大小；根据每个数据包引起的失真大小判断数据包的优先级；选择使保护开销最小的编码码率；求出理想条件下的最优传输参数值；利用启发式搜索算法，从理想条件下的最优传输参数值附近找到在实际条件下可行的近似最优传输参数值；在启发式搜索算法中，以使最小接收端重建视频总失真最小为目标，确定最优传输参数值；在视频数据的发送端进行Raptor—RCPC编码和发送。本发明可以在带宽受限的情况下，获得最佳接收视频质量。

权利要求

1.一种适用于无线视频传输的自适应跨层前向纠错方法，包括下列步骤：

(1)在视频数据的发送端，分别预测每个数据包若发生在接收端丢失的情况所可能引起的图像失真大小，从而将数据包划分成两部分：第一部分数据包丢失只会引起其所在帧图像的失真，第二部分数据包的丢失不仅引起其所在帧图像的失真，还会对其他帧造成影响，要算其造成的总失真；

(2)对于第二部分的数据包求总失真，取误差传递系数为1；

(3)根据每个数据包引起的失真大小判断数据包的优先级，失真较大的优先级高，数据更重要；

(4)应用层采用Raptor编码，物理层采用RCPC编码，在码率集合

中选择使保护开销最小的编码码率，将这个编码码率作为RCPC编码码率r；

(5)用确定下来的编码码率r，求出理想条件下的最优传输参数值，即要传输的优先级高的重要数据包数目k1和丢弃不传的优先级低的非重要数据包数目k2，计算公式为：其中，pl,PHY(r)为RCPC编码经过信道的丢包率，Rc为信道符号速率，也即信道带宽，lp为信源数据包的长度，K为信源数据包的总数，floor函数为下取整函数；

(6)利用启发式搜索算法，从理想条件下的最优传输参数值附近找到在实际条件下可行的近似最优传输参数值，在启发式搜索算法中，以使最小接收端重建视频总失真Dall最小为目标，确定此时对应的k1、k2，最小接收端重建视频总失真Dall的计算公式为：其中，pj为可能丢失的第j个信源数据包数， 为数据包pj丢失造成的失真，这里，为实际条件下k1个要传输的优先级高的重要数据包， 为实际条件下k2个丢弃不传的优先级低的非重要数据包， 为编码数据包的总数，pl,AL(k1,N)为经Raptor解码后的丢包率, 为丢弃不传的k2个不重要的数据包的失真之和；

(7)根据求得的在实际条件下可行的近似最优传输参数值，在视频数据的发送端进行Raptor—RCPC编码和发送。

说明书

一种适用于无线视频传输的自适应跨层前向纠错方法

技术领域

[0001] 此发明属于无线视频通信技术领域，涉及视频数据的重要性等级划分和传输中的应用层和物理层前向纠错技术。

背景技术

[0002] 随着移动通信网络和各种智能移动终端的蓬勃发展，人们对于无线视频业务的需求越来越多。但是，伴随着各种通信业务井喷式的发展，带宽资源变得极其紧张，分配给每个业务的带宽资源都很有限。此外，无线信号在传输过程中会受到地形地貌、雨雪雾等天气因素及其它各种因素的影响，传输过程中的误码和丢包不可避免，导致有效传输带宽起伏波动较大。如何在带宽大范围波动的无线信道中高效提供视频流媒体服务，使观看者获得最佳的体验质量是亟待解决的问题。

[0003] 为了提高信息传输的可靠性，前向纠错(FEC)是数字通信系统采用的基本技术，前向纠错通过在发送端附加冗余校验信息，在接收端解码时利用冗余信息纠正错误或恢复丢失数据。前向纠错技术可以在物理层实施，称为物理层前向纠错(PHY-FEC)，用来纠正传输过程中的比特误码；也可以在应用层实施，称为应用层前向纠错(AL-FEC)，用来恢复丢失的数据包。

[0004] 目前，被广泛采用的视频编码标准，例如H.264和新一代视频编码标准H.265都采用预测编码技术来最大化压缩效率。这种固有的分层预测结构导致不同部分的数据对重建视频质量的重要性不同。在带宽受限情况下，优先传输重要数据包是视频传输系统常用方法。

发明内容

[0005] 本发明的目的是提供一种在带宽受限的情况下适用于无线视频传输的跨层自适应前向纠错方法。本发明的技术方案如下：

[0006] 一种适用于无线视频传输的自适应跨层前向纠错方法，包括下列步骤：

[0007] (1)在视频数据的发送端，分别预测每个数据包若发生在接收端丢失的情况所可能引起的图像失真大小，从而将数据包划分成两部分：第一部分数据包丢失只会引起其所在帧图像的失真，第二部分数据包的丢失不仅引起其所在帧图像的失真，还会对其他帧造成影响，要算其造成的总失真；

[0008] (2)对于第二部分的数据包求总失真，取误差传递系数为1；

[0009] (3)根据每个数据包引起的失真大小判断数据包的优先级，失真较大的优先级高，数据更重要；

[0010] (4)应用层采用Raptor编码，物理层采用RCPC编码，在码率集合中选择使保护开销最小的编码码率，将这个编码码率作为RCPC编码码率r；

[0011] (5)用确定下来的编码码率r，求出理想条件下的最优传输参数值，即要传输的优先级高的重要数据包数目k1和丢弃不传的优先级低的非数据包数目k2，计算公式为：

[0012]

[0013]

[0014] 其中，pl,PHY(r)为RCPC编码经过信道的丢包率，Rc为信道符号速率，也即信道带宽，lp为信源数据包的长度，K为信源数据包的总数，floor函数为下取整函数；

[0015] (6)利用启发式搜索算法，从理想条件下的最优传输参数值附近找到在实际条件下可行的近似最优传输参数值，在启发式搜索算法中，以使最小接收端重建视频总失真Dall最小为目标，确定此时对应的k1、k2，最小接收端重建视频总失真Dall的计算公式为：

[0016]

[0017] 其中，pj为可能丢失的第j个信源数据包数， 为数据包pj丢失造成的失真，这里，为实际条件下k1个要传输的优先级高的重要数据包， 为实际条件下k2个丢弃不传的优先级低的非重要数据包， 为编码数据包的总数，pl,AL(k1,N)为经Raptor解码后的丢包率, 为丢弃不传的k2个不重要的数据包的失真之和；

[0018] (7)根据求得的在实际条件下可行的近似最优传输参数值，在视频数据的发送端进行Raptor—RCPC编码和发送。

[0019] 本发明提供的适用于无线视频传输的跨层自适应前向纠错方案，可以在带宽受限的情况下，综合运用纠错技术，通过在信源bits和冗余bits间合理分配可用带宽，在AL-FEC和PHY-FEC间合理分配冗余bit，获得最佳接收视频质量。

附图说明

[0020] 图1为程序流程图

[0021] 图2为一个GOP结构帧间依赖关系图

具体实施方式

[0022] 本发明根据信道条件，如信道平均信噪比和载波带宽，给出一种结合AL-FEC和PHY-FEC的跨层前向纠错方法设计方法，并通过启发式搜索算法找到可以实施的最优传输参数值。本发明技术方案如下：

[0023] 本发明是以传输视频的一个GOP为一个优化单元，一个优化单元有N帧，但是这N帧图像的重要程度是不同的，GOP中帧之间的依赖关系如图2所示。其中，I帧不参考其他帧，B帧参考两边相邻的I帧或P帧，P帧只参考它前面的I帧和P帧。在这种GOP编码结构中，B帧的丢失不影响其他帧的解码恢复，P帧的丢失会影响与其相邻的B帧和其后面的P帧的解码恢复，I帧的丢失会影响相邻的B帧和之后所有的P帧。在每一帧中包含若干个数据包。在应用层视频传输是以一个数据包为单位进行AL-FEC编码的。通过计算每一个数据包丢失造成解码恢复图像与原图的失真损耗大小来划分优先等级。先根据信道信噪比计算编码参数时的误码率和丢包率，并根据信道符号传输速率求出理论上最佳的信源数据速率以及AL-FEC和PHY-FEC的冗余比特数量。最后用一种启发式搜索算法来获得一套可以实施的最优参数值，使得接收视频质量达到最优。实现最佳视频传输的充分必要条件是：第一，在接收端成功恢复信源数据包的数量最多；第二，这些数据包都是对接收端恢复视频最重要的数据包。其具体方法如下：

[0024] 1.视频数据包优先级划分

[0025] 在一个N帧的GOP中第i帧的第j个数据丢失引起的视频序列的总失真dj可以表示为：

[0026]

[0027] 其中，X和Y分别是帧的宽度和高度， 和 分别是像素点(x,y)在编码器和解码器的图像重建值。当这个数据像素属于B帧时，总失真就等于直接失真；当这个数据像素属于I帧或P帧时，总失真由直接失真和扩展失真两部分组成。最后按从大到小的顺序把所有的dj排序。

[0028] 2.计算最优跨层AL-FEC和PHY-FEC前向纠错方案理论值

[0029] 根据信道符号传输速率和信道信噪比计算不同调制编码参数时接收端可以获得的最大视频数据包数目。信道信噪比与PHY-FEC后的误码率关系可以通过仿真实验和理论分析相结合的方法获得。

[0030] 3.搜索实际条件可行的AL-FEC和PHY-FEC前向纠错方案

[0031] 从rset中选取使保护开销最小的码率，得到理想最优值。从最优值附近搜索在实际条件下可行的近似最优传输参数。实际条件下的近似最优的重要数据包个数比理想重要数据包数量要小，所以我们在进行搜索时逐渐减少重要数据包的数量，直到使得重建视频总失真最小。

[0032] 下面以H.264AVC作为视频编码，以Raptor码作为AL-FEC，以RCPC码作为PHY-FEC为例说明：

[0033] 一、视频数据包优先级划分方法

[0034] 每N帧组成一个GOP，将视频的每一帧压缩成若干个数据包。以一个GOP为一个优化单元，在发送端预测出每一个数据包丢失时造成的失真损耗d，以此来决定优先级。d由直接损耗和扩展损耗两部分组成

[0035] d＝ddir+dpro   (2)

[0036] ddir为直接损耗，为丢失的数据块所在帧的图像失真：

[0037]

[0038] 假设每一个数据包共有Q个像素值，其中，q代表丢失的数据包中的第q个像素值。表示发送端编码后直接解码得到的重建图像值， 表示经过无线信道传输后此数据包丢失时，接收端通过错误隐藏方法计算出来的重建图像值。

[0039] 当B帧中的数据包丢失时，失真损耗就是直接损耗，即：d＝ddir[0040] 扩展损耗dpro表示数据块丢失以后，对GOP中其它帧的影响：

[0041]

[0042] β为影响系数。后一部分中，n为当前I帧(或P帧)后面的P帧个数，当i＝1时，α1ddir是当前I帧(或P帧)对它后面第一个P帧的影响，α为影响系数，βα1ddir为当前I帧(或P帧)对它后面第一个P帧影响又对它周围所有B帧造成的影响，以此类推，αnddir为当前I帧(或P帧)对它后面第n个P帧的影响，βαnddir为当前I帧(或P帧)对它后面第n个P帧的影响又对第n个P帧的周围的B帧的影响，即用这样迭代的方法计算出当前I帧(或P帧)的扩展损耗。

[0043] 用最小二乘法拟合出公式(4)中的影响系数α和β。表一为5个H.264测试视频序列分别拟合出来的α和β值。

[0044] 表一 H.264测试视频序列α和β的拟合值

[0045]视频序列 α β
Ice 1.03 0.85
Crew 0.91 0.97
Harbour 0.99 1.11
Bus 0.89 1.03
Foreman 1.12 0.91

[0046] 二、理想条件下最优跨层Raptor—RCPC前向纠错方案

[0047] 首先，为了便于分析，我们定义了如下几个概念

[0048] (1)理想条件：只要接收端收到的编码数据包的数量等于应用层信源数据包的数量，所有的信源数据包都能成功恢复出来。

[0049] (2)实际条件：在实际情况下，使用Raptor编码，需要额外的解码开销才能将应用层的信源数据包全部恢复出来。

[0050] (3)最优方案参数值：最优方案参数值是传输参数在理想条件下使Raptor—RCPC前向纠错达到最佳效果。

[0051] (4)近似最优方案参数值：近似最优方案参数值是传输参数在实际条件下使Raptor—RCPC前向纠错达到近似最佳的效果。

[0052] (5)最优视频传输的状态：最优视频传输的状态是指在接收端收到的重建视频信源数据包最多，且它们对视频的重建最重要。

[0053] 1.计算物理层RCPC解码后的保护开销最小值及此时对应的RCPC编码码率r，在本实施范例中，编码效率从rset中选取，

[0054] 计算公式：

[0055]

[0056] 2.计算重要数据包的数目k1和要丢弃不予传输的数据包数k2。信道带宽用信道符号速率用Rc表示，信源数据包的长度用lp表示，信源数据包的总数为K个，在信道带宽固定的情况下，将经过分级的视频数据包分成两部分来实现最优方案。这两部分数据包分别是对于接收端恢复原视频最重要的数据包和丢弃不予传输的数据包。理想条件下最优跨层Raptor—RCPC前向纠错方案的重点是通过计算使保护开销最小，来确定重要数据包数目k1和要丢弃数据包的数目k2。

[0057] 计算公式：

[0058]

[0059]

[0060]

[0061]

[0062] 3.计算Raptor编码开销ε。

[0063] 计算公式：

[0064]

[0065] 三、实际条件下近似最优跨层Raptor—RCPC前向纠错启发式搜索方案[0066] 实际条件下，需要考虑Raptor编码的解码开销。本实施范例使用的是系统Raptor码，要满足接收到的数据包数量大于信源数据包的条件，才能在接收端把原视频信息全部恢复出来。故实际条件下不能直接利用在理想条件下的传输参数。但是，根据本发明中提出的简单高效的启发式搜索算法，我们能够从最优传输参数的理论值附近找到在实际条件下可行的近似最优传输参数值。

[0067] 搜索最小接收端重建视频总失真Dall及此时对应的k1、k2、N。在搜索的过程中主要的衡量指标是使接收端重建视频总失真Dall最小。显然，在实际的固定带宽无线信道中，由于存在Raptor码的解码开销，就需要减少理想条件下得到的重要数据包的数目k1并增加Raptor编码开销ε来保证所有被传输的信源数据包都能被恢复出来。

[0068] 最小收接端重建视频总失真Dall的计算公式：

[0069]

[0070] 其中，pj为可能丢失的第j个信源数据包数， 为数据包pj丢失造成的失真。这里，为最重要的那一部分信源数据包， 是编码数据包的总数，pl,AL(k1,N)经Raptor解码后的丢包率。

[0071] 本发明提出的启发式搜索算法就是从理想参数值开始搜索，直到找到一个使接收端重建视频总失真最小的一组参数值。即实现了实际条件下固定带宽无线信道中跨层Raptor—RCPC前向纠错近似最优方案。

[0072] 本发明所涵盖的内容不仅仅限于Raptor码和RCPC码，其它AL-FEC和PHY-FEC编码方案经过误码率和丢包率校正以后的组合方案也在本发明涵盖范围之内。