用于可伸缩视频流的多速率组播通信的优化传输方法

摘要

一种数据通信技术领域的用于可伸缩视频流的多速率组播通信的优化传输方法，结合多速率多径路由、中继节点的网络编码技术和网络流量控制等方法，同时兼顾了视频编码层的码流优先级问题，以满足可伸缩视频编码层间依赖性的需求，提供一种完全分布式的速率分配算法，最终实现混合异构网络环境中所有用户接收到视频整体质量的最大化。

权利要求

1.一种用于可伸缩视频流的多速率组播通信的优化传输方法，其特征在于，包括以下步骤：

第一步，源节点根据网络状况，利用可伸缩视频编码技术将视频流编码为多个可伸缩视频编码层，将每个视频编码层的码率从单一的码率点扩展到一个容忍区间；

第二步，分层的可伸缩视频流在经由网络中的中继节点进行多路径路由传输时，中继节点进行网络编码以提高网络的吞吐量，对应于有线和无线网络部分的中继节点分别采用对应的带宽约束；

第三步，每个无线接收节点结合可伸缩视频流的分层特性，将用户接收并解码某一层视频编码流之后视频失真的减少量视为用户的效用函数；

第四步，结合所述的网络中源节点、中继节点、无线接收节点的要求，以及多径路由技术，提出了混合网络中用于可伸缩视频流的多速率组播通信的联合优化问题；最后采用完全分布式的速率分配算法进行速率分配。

2.根据权利要求1所述的用于可伸缩视频流的多速率组播通信的优化传输方法，其特征是，所述的可伸缩视频编码层在网络中由不同的IP组播组通过多条路由路径传递到各个无线接收节点。

3.根据权利要求1所述的用于可伸缩视频流的多速率组播通信的优化传输方法，其特征是，所述的容忍区间利用可伸缩视频流允许接收端部分接收某一视频编码层的特性，由单一的固定码率点扩展而得到。

4.根据权利要求1所述的用于可伸缩视频流的多速率组播通信的优化传输方法，其特征是，所述的中继节点上的网络编码规定每条链路上的实际带宽消耗量为所有目的节点在该链路上消耗带宽的最大值。

5.根据权利要求1所述的用于可伸缩视频流的多速率组播通信的优化传输方法，其特征是，所述的带宽约束中，针对有线网络的带宽约束为有线链路分配给所有视频编码层的带宽消耗量之和不超过该有线链路的带宽；无线网络的带宽约束为无线链路以及在影响该无线链路范围以内的其它链路的带宽消耗量之和不超过共享无线传输媒质的带宽。

6.根据权利要求1所述的用于可伸缩视频流的多速率组播通信的优化传输方法，其特征是，所述的用户效用函数具体为：对传统的视频率失真函数进行泰勒多项式展开，得到视频失真减少量与码率增量之间的二阶近似关系式。

7.根据权利要求1所述的用于可伸缩视频流的多速率组播通信的优化传输方法，其特征是，在选择路由和进行流量分配时，保证所有接收者按照从低层到高层的递增顺序依次接收视频编码层，以满足接收端的解码要求。

8.根据权利要求1所述的用于可伸缩视频流的多速率组播通信的优化传输方法，其特征是，所述的联合优化问题为：以所有用户接收到视频整体质量最大化为目标函数，兼顾可伸缩视频流解码的层间依赖关系，以信息流平衡条件、链路容量限制、网络编码条件为约束函数，建立多速率组播通信的资源分配凸优化数学问题。

9.根据权利要求1所述的用于可伸缩视频流的多速率组播通信的优化传输方法，其特征是，所述的完全分布式速率分配算法是：运用优化分解理论将原始凸优化问题分解为高阶和低阶两个子优化问题，允许每个网络节点和每条链路利用本地局部信息进行速率的动态调整和更新，以分布式方式迭代求解从而实现链路传输速率的全局最优化分配。

说明书

用于可伸缩视频流的多速率组播通信的优化传输方法

技术领域

[0001] 本发明涉及的是一种数据通信技术领域的方法，具体是一种用于可伸缩视频流的多速率组播通信的优化传输方法。

背景技术

[0002] 多速率组播技术因其能适应不同用户的需求以及时变的网络环境，成为了异构网络中视频内容分发的重要技术之一。从源端编码的角度来看，原始数据的分层或分级编码，例如JVT/MPEG组织制定的可伸缩视频编码(SVC，Scalable Video Coding)标准，允许视频以多个速率进行传输和编码，逐步提高视频质量，通过在编、解码器以及网络中继节点的速率匹配，以得到更高效的率失真性能。

[0003] 可伸缩视频编码流包含了一个基本层和多个增强层，这些灵活多维的层结构在空间分辨率、时域帧速率以及视频的重建质量等维度上提供了多个接入点。在以多速率组播的方式传输可伸缩视频编码流时，由不同的IP组播组传递各可伸缩视频编码层，每个接收者按其不同的处理能力以及不同的链路容量加入一定数量的组播组，从而得到同一内容在不同尺度组合下的视频图像。

[0004] 有线、无线混合网络是在ad hoc无线网络中放置一些由高速有线网络连接的基站，以作为各无线节点的中继节点。混合网络提供了传统有线网络和ad hoc无线网络之间的一种平衡：一方面，混合网络可以引入有线网络无法达到的灵活性和可伸缩性，选择以无线方式或者高带宽的有线链路传输数据；另一方面，混合网络中有线基站的引入，可以降低ad hoc无线节点的传输负担和能耗，提高系统的吞吐量，以及扩展ad hoc无线网络的通信覆盖范围。有线、无线混合网络的异构特性使得混合网络中的多速率组播可以适应不同质量水平多媒体分发的要求。

[0005] 经过对现有技术的检索发现，X.Zhu等人在《SPIE Conference on Visual Communications and Image Processing，Jan.2008，pp.682205-1-682205-8，(国际光学工程学会视觉通信和图像处理会议，2008年1月，第682205-1-682205-8页)》上发表了题为“Video multicast over wireless mesh networks with scalable video coding(SVC)(在无线网状网络中用于可伸缩视频编码的视频组播)”的文章，该文以最小化所有网络节点的视频总失真为目标，提出了无线网状网络中可伸缩视频流视频组播的码率分配方案。但是该文没有考虑接收节点在接收可伸缩视频编码层时的层间依赖关系和优先级，因此得到的性能并不是最优的结果。

[0006] 经检索还发现，J.Zhao等在《IEEE Transactions on Multimedia，Oct.2006，pp.1021-1032，(电气电子工程师协会多媒体学报，2006年10月，第1021-1032页)》发表了题为“LION：Layered overlay multicast with network coding(LION：使用网络编码的分层覆盖组播)”的文章，该文将网络编码技术引入了分层数据流的组播中，提高了网络的吞吐量和传输性能。但是该文提出的启发式算法并没有严格的数学依据，无法实现网络传输性能的最优化。

发明内容

[0007] 本发明针对现有技术存在的上述不足，提供一种用于可伸缩视频流的多速率组播通信的优化传输方法，结合多速率多径路由、中继节点的网络编码技术和网络流量控制等方法，同时兼顾了视频编码层的码流优先级问题，以满足可伸缩视频编码层间依赖性的需求，提供一种完全分布式的速率分配算法，最终实现混合异构网络环境中所有用户接收到视频整体质量的最大化。

[0008] 本发明是通过以下技术方案实现的，本发明包括以下步骤：

[0009] 第一步，源节点根据网络状况，利用可伸缩视频编码技术将视频流编码为多个可伸缩视频编码层，将每个视频编码层的码率从单一的码率点扩展到一个容忍区间；

[0010] 第二步，分层的可伸缩视频流在经由网络中的中继节点进行多路径路由传输时，中继节点进行网络编码以提高网络的吞吐量，对应于有线和无线网络部分的中继节点分别采用对应的带宽约束；

[0011] 第三步，每个无线接收节点结合可伸缩视频编码流的分层特性，将用户接收并解码某一层视频编码流之后视频失真的减少量视为用户的效用函数；

[0012] 第四步，结合所述的网络中源节点、中继节点、无线接收节点的要求，以及多径路由技术，提出了混合网络中用于可伸缩视频流的多速率组播通信的联合优化问题；最后采用完全分布式的速率分配算法进行速率分配。

[0013] 所述的可伸缩视频编码层在网络中由不同的IP组播组通过多条路由路径传递到各个无线接收节点。

[0014] 所述的容忍区间利用可伸缩视频流允许接收端部分接收某一视频编码层的特性，由单一的固定码率点扩展而得到。

[0015] 所述的中继节点上的网络编码规定每条链路上的实际带宽消耗量为所有目的节点在该链路上消耗带宽的最大值。

[0016] 所述的带宽约束中，针对有线网络的带宽约束为有线链路分配给所有视频编码层的带宽消耗量之和不超过该有线链路的带宽；无线网络的带宽约束为无线链路以及在影响该无线链路范围以内的其它链路的带宽消耗量之和不超过共享无线传输媒质的带宽。

[0017] 所述的用户效用函数具体为：对传统的视频率失真函数进行泰勒多项式展开，得到视频失真减少量与码率增量之间的二阶近似关系式。

[0018] 所述的兼顾视频编码层的码流优先级问题是：在选择路由和进行流量分配时，保证所有接收者按照从低层到高层的递增顺序依次接收视频编码层，以满足接收端的解码要求。

[0019] 所述的联合优化问题为：以所有用户接收到视频整体质量最大化为目标函数，兼顾可伸缩视频流解码的层间依赖关系，以信息流平衡条件、链路容量限制、网络编码条件等为约束函数，建立多速率组播通信的资源分配凸优化数学问题。

[0020] 所述的完全分布式速率分配算法是：运用优化分解理论将原始凸优化问题分解为高阶和低阶两个子优化问题，允许每个网络节点和每条链路利用本地局部信息进行速率的动态调整和更新，以分布式方式迭代求解从而实现链路传输速率的全局最优化分配。

[0021] 本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明为适应有线、无线混合异构网络的需要，提供了一种完全分布式的速率分配算法，有效地利用了网络的带宽资源，并通过多路径路由以及网络编码的引入，提高了网络整体吞吐量，也为接收端提供更佳的视频质量。

附图说明

[0022] 图1是有线、无线混合网络示例图；

[0023] 图中：(a)有线网络部分为经典的蝶形网络拓扑结构，(b)无线网络部分为在50m×50m的区域内随机分布20个无线节点，选取其中的5个作为目的节点。

[0024] 图2是方法总流程图。

[0025] 图3是分布式凸优算法流程图。

[0026] 图4是步长对收敛的影响的示例图。

[0027] 图5是高阶子优化问题性能的示例图。

[0028] 图6是示出了目的节点d1和的d5的速率分配情况的示例图。

具体实施方式

[0029] 下面结合附图对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

[0030] 本实施例包括以下步骤：

[0031] 1、网络拓扑结构的设定

[0032] 本发明对图1所示的有线无线混合异构网络结构进行实例分析。图中s、ni、ti和di分别代表了源节点、有线网络中继节点、有线基站节点和无线目的节点，与有线链路对应的数字代表了该链路的带宽，并且假设无线共享传输媒质的带宽为10(数据单元/s)。假设视频流包含三层，基本层速率为3(数据单元/s)，第一增强层速率为2(数据单元/s)，第二增强层速率为1(数据单元/s)。图中，每个目的节点都有六条可选的路径。

[0033] 2、建立基于以上网络的联合凸优化问题

[0034] 图2给出了本发明具体实现时的方法总流程框图。在模块1中，将混合网络抽象为有向图G1∪G2，其中G1＝(V1，E1)表示有线网络部分，G2＝(V2，E2)表示无线网络部分。在有线网络G1中，E1是有线链路的集合，V1＝{s}∪N∪T是有线节点的集合，其中{s}、N、T分别表示源节点、中继节点和接收节点的集合。无线网络G2是由无线链路集合E2以及无线节点集合V2＝T∪R∪D组成，其中R和D分别表示中继节点和目的节点的集合，而T既表示了G2中的源节点集合，同时又是G1中的接收节点集合。因此，可以得到V＝{s}∪N∪T∪R∪D，以及E＝E1∪E2。对于每条有线链路l∈E1都对应有限的传输带宽Cl，而无线网络中的共享无线传输媒质带宽为C。

[0035] 假定可伸缩视频流在源节点编码为M(M＝3)层{L1，L2，...，LM}，其中第m层的传输码率位于容忍区间[bm，Bm]内。假设从源节点s到每个目的节点d∈D都有多条传输路径J(d)， 表示目的节点d在接收第m层数据时第j条路径上分配的信息流量大小， 表示第m层数据流在链路l上的带宽消耗量。对于每个目的节点d，使用矩阵 表示其传输路径与各链路之间的关系，且 表示链路l包含于接收节点d的第j条传输路径中，反之

[0036] 建立联合凸优化问题如下：

[0037] 目标优化问题P1：

[0038] 约束条件：

[0039]

[0040]

[0041]

[0042]

[0043]

[0044]

[0045]

[0046] 其中，优化目标为：

[0047] 使有线、无线混合异构网络环境中的用户效用总和最大化，所述的用户效用函数Um(·)为：对传统的视频率失真函数进行泰勒多项式展开，得到视频失真减少量与码率增量之间的二阶近似关系式，从而进一步将用户效用函数定义为用户接收并解码某一层视频编码流之后视频失真的减少量。因此，优化目标可以表述为使有线、无线混合异构网络环境中用户的整体接收视频质量最大化。

[0048] 约束条件为：

[0049] 1)规定每条链路上的实际带宽消耗量为所有目的节点在该链路上消耗带宽的最大值；该条件为在链路上采用网络编码的约束条件，实现了不同目的节点在同一链路上的资源共享；

[0050] 2)对应于有线网络中有线链路的带宽约束条件，即有线链路分配给所有视频编码层的带宽消耗量之和不超过该有线链路的带宽；

[0051] 3)对应于无线网络中无线链路的带宽约束条件，即无线链路以及在影响该无线链路范围以内的其它链路(集合Ψ(l)中的所有链路)的带宽消耗量之和不超过共享无线传输媒质的带宽，其中ρl为无线链路l上的丢包率；

[0052] 4)对应于视频编码层码率的容忍区间，给出了目的节点获取每层视频编码流码率的上下界；

[0053] 5)确保所有目的节点按照从低层到高层依次递增的顺序接收各视频编码层；

[0054] 6)规定各个目的节点在每条路径上为每个视频编码层分配的流量必须大于或等于零；

[0055] 7)规定每层数据流在每条链路上的带宽消耗量必须大于或等于零。

[0056] 上述原始凸优化问题可以分解为以下低阶和高阶两个子优化问题：

[0057] 低阶子优化问题P1-1：

[0058] 约束条件：

[0059]

[0060]

[0061]

[0062]

[0063] 高阶子优化问题P1-2：maxmize(f) U*(f)

[0064] 约束条件：

[0065]

[0066]

[0067]

[0068] 其中U*(f)是在低阶子优化问题P1-1中对于某一给定f值的最优目标函数值。

[0069] 3、两个子优化问题的分布式求解算法及执行过程

[0070] (1)低阶子优化问题——目标问题P1-1的求解步骤如下：

[0071] 步骤1：定义拉格朗日对偶(释限)：

[0072]

[0073]

[0074]

[0075] 其中， 和 是拉格朗日乘子；

[0076] 步骤2：定义拉格朗日对偶函数：

[0077]

[0078] 步骤3：定义对偶问题：

[0079] 步骤4：采用原始-对偶算法，同时更新原始变量和对偶变量，通过迭代逐步逼近+最优点，其中tL表示迭代次数，a(tL)、b(tL)、c(tL)和d(tL)是正的步长值，[·] 表示取正值的运算。

[0080]

[0081]

[0082]

[0083]

[0084] 其中，流量分配大小R以及拉格朗日乘子λ、μ和η的偏导数为：

[0085]

[0086]

[0087]

[0088]

[0089]

[0090] (2)高阶子优化问题——目标问题P1-2的求解过程如下：

[0091] 首先定义 为对应于低阶子优化问题P1-1中约束条件 的最优拉格朗日乘子。

[0092] 步骤1：定义拉格朗日对偶(释限)：

[0093]

[0094]

[0095] 其中，Ф(l)表示受到无线链路l影响的链路集合，即 而αl和βl是拉格朗日乘子；

[0096] 步骤2：定义拉格朗日对偶函数：

[0097]

[0098] 步骤3：定义对偶问题：

[0099] 步骤4：采用原始-对偶算法，同时更新原始变量和对偶变量，通过迭代逐步逼近最优点，其中tH表示迭代次数，a′(tH)、b′(tH)和c′(tH)是正的步长值。

[0100]

[0101]

[0102]

[0103] 其中，带宽消耗f以及拉格朗日乘子α和β的偏导数为：

[0104]

[0105]

[0106]

[0107] (3)完全分布式凸优化算法的执行

[0108] 下面依照图3，给出完全分布式的算法执行过程如下：

[0109] (a)初始化：设置tL＝0、tH＝0，并且对不同的d、m、l和j值分别设置对应的非负值 αl(0)和βl(0)。

[0110] (b)低阶子优化问题求解的执行(tL＝1，2，...，)

[0111] 对于链路l∈E：

[0112] ①接收所有使用链路l的目的节点d的 值；

[0113] ②从本地处理器中取出

[0114] ③更新拥塞代价

[0115] ④将新的 发送到所有使用链路l的目的节点。

[0116] 对于目的节点d∈D：

[0117] ①接收到总的网络拥塞代价值

[0118] ②从本地处理器中取出 和

[0119] ③更新速率

[0120] ④更新对偶变量 和

[0121] ⑤将新的 发送到该节点使用的所有链路。

[0122] 反复执行迭代步骤直到低阶子优化问题收敛到最优解或者达到最大低阶迭代次数为止，然后执行高阶子优化问题的求解。

[0123] (c)高阶子优化问题求解的执行(tH＝1，2，...，)

[0124] 对于有线链路l∈E1：

[0125] ①接收到低阶子优化问题得到的最优拥塞代价

[0126] ②从本地处理器中取出 和αl(tH)；

[0127] ③更新带宽消耗 和对偶变量αl(tH)。

[0128] 对于无线链路l∈E2：

[0129] ①接收到低阶子优化问题得到的最优拥塞代价

[0130] ②从集合{k|k∈Ψ(l)}处接收到

[0131] ③从集合{k|k∈Ф(l)}处接收到βk(tH)；

[0132] ④更新带宽消耗 和对偶变量βl(tH)；

[0133] ⑤将新的 发送到集合{k|k∈Ф(l)}；

[0134] ⑥将新的βl(tH+1)发送到集合{k|k∈Ψ(l)}；

[0135] 如果高阶子优化问题收敛到最优解或者达到最大高阶迭代次数，算法停止；否则返回低阶子优化问题的求解。

[0136] 低阶子优化和高阶子优化执行在不同的时间范围内，前者属于内循环，运行于高速的时间间隔；而后者则属于外循环，运行于低速时间间隔。直到在低阶子优化问题的求解中， 达到最佳值 或达到最大低阶迭代次数时，才转到高阶子优化问题求解的过程中去。

[0137] (4)采用上述算法后进行性能分析，实现组播通信最优化

[0138] ①步长对收敛的影响

[0139] 图4给出了在起始状态设置为固定步长，同时在结束阶段步长逐步减小的情况下，目的节点d2的速率收敛情况。可以看出，逐步减小的步长使收敛更为平滑，但是它的收敛速度比固定步长慢了许多。例如，要达到3(数据单元/s)的速率，固定步长的算法只需要55次迭代，而逐步减小的步长需要160次迭代。但是由于缓慢的码率变化对于视频质量的平滑性是至关重要的，因此逐渐减小的步长可以适应视频传输应用的需要。

[0140] ②高阶子优化问题性能

[0141] 图5给出了高阶子优化问题的收敛情况。由于篇幅有限，此处以有线链路(s，n1)、(n3，n4)以及无线链路(t2，d5)上的带宽消耗为例。可以看出，这三条链路都大致在60次迭代后收敛。

[0142] ③速率优化结果

[0143] 图6给出了执行图3所示算法后，目的节点d1和d5在每一个视频编码层所分配到的速率。可以看出，所有的速率分配在70次迭代后，都达到了最优状态。例如，在基本层，接收节点d5在60次迭代后就达到了最优速率的10％，并且在70次迭代后收敛于3.001。可见，本发明的速率分配算法有很快的收敛速度。