本发明涉及手机电视传输协议，公开了一种移动蜂窝网络中视频码流收发、转发方法及设备。本发明中，通过在视频数据包的网络适配层设置优先级标识、依赖性标识和类型标识，可以方便地在移动核心网发送端提取出具有不同等级的空域、时域、SNR、ROI质量、以及抗误码等特性的视频子码流，并发送到手机终端。在网络适配层的预留字段中设置这些标识，可以兼容不支持这些标识的标准设备。
视频码流收发、转发方法及设备
技术领域
[0001] 本发明涉及手机电视传输协议，特别涉及视频码流可拆分传输技术在手机电视中的应用。
背景技术
[0002] 在手机电视(包括2G，2.5G，3G等)等无线蜂窝应用中，基于无线网络的特性，需要根据无线信道的信号质量来及时调节视频的发送数据率，以适配当前的信道带宽，以最大程度地提高视频在无线蜂窝网络的传输和接收质量。
[0003] 然而，现有的手机视频码流传输方案都是把视频帧看做一个访问单元。由此带来的问题是只能以既定的编码速率进行视频码流的传输，而不同无线蜂窝网络的带宽可能不同，实际可用的带宽也常随时间发生变化。如果始终以最小的无线带宽进行视频码流的传输，则在实际可用带宽变大时无法充分利用带宽，只能忍受最低的视频质量；如果始终以较大的无线带宽进行视频码流的传输，则在实际可用带宽变小时视频会出现中断、跳帧等问题，严重影响手机电视用户的业务体验。
[0004] 为了能在变化的带宽下得到最佳的视频，有人提出了可伸缩视频编码(Scalable Video Coding，简称“SVC”)技术。在专利号为6275531的美国专利中，就提到一种可伸缩视频编码的方法和装置。SVC技术把视频信号编码成分层的形式，当带宽不足时只对基本层的码流进行传输和解码，但这时解码的视频质量不高。当带宽慢慢变大时，可以传输和解码增强层的码流来提高视频的解码质量。
[0005] SVC只是可拆分视频码流中的一种，其它的可拆分视频码流还有基于区域的编码、数据分割(DATA PARTIONING)等。
[0006] 基于区域的编码是指对感兴趣区域(Region Of Interest，简称“ROI”)采用较高的质量编码，而对其它区域采用较低的质量编码。其典型的应用是监控。
[0007] DATA PARTIONING是指将一个帧的数据分别封装在多个单元中传输，分割的方法有很多，例如同一帧的高频部分和低频部分可以分在不同的单元中传输，又如同一帧的运动矢量和纹理可以分在不同的单元中传输等等。
[0008] 各种的可拆分视频码流均有其特点，由此带来一个问题——如何采用一种统一的方式兼容不同类型可拆分视频码流的传输。另外，它们均没有阐述如何在实际应用中标记，识别并传输这些可拆分码流。
发明内容
[0009] 本发明的目的在于提供一种视频码流收发、转发方法及设备，支持各种可拆分视频码流的预先识别和标记。
[0010] 为解决上述技术问题，本发明的实施方式提供了一种视频码流发送方法，包括以下步骤：
[0011] 移动核心网设备在网络适配层为视频码流中的数据包设置以下标识：
[0012] 优先级标识，表示该数据包中数据的优先级；
[0013] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级；
[0014] 发送数据包。
[0015] 本发明的实施方式还提供了一种视频码流转发方法，包括以下步骤：
[0016] 移动核心网设备接收视频码流中的数据包；
[0017] 通过跨协议层探测识别网络适配层中以下标识，并根据这些标识提取符合指定条件的数据包形成子码流：
[0018] 优先级标识，表示该数据包中数据的优先级；
[0019] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级；
[0020] 转发子码流。
[0021] 本发明的实施方式还提供了一种视频码流接收方法，包括以下步骤：
[0022] 移动终端接收视频码流中的数据包；
[0023] 在网络适配层根据以下标识提取符合指定条件的数据包形成子码流输出：
[0024] 优先级标识，表示该数据包中数据的优先级；
[0025] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级。
[0026] 本发明的实施方式还提供了一种视频码流发送设备，包括：
[0027] 设置单元，用于在网络适配层为视频码流中的数据包设置以下标识：
[0028] 优先级标识，表示该数据包中数据的优先级；
[0029] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级；
[0030] 发送单元，用于发送经设置单元处理的数据包。
[0031] 本发明的实施方式还提供了一种视频码流转发设备，包括：
[0032] 接收单元，用于接收视频码流中的数据包；
[0033] 提取单元，用于从接收单元所收到的数据包中，通过跨协议层探测识别网络适配层中以下标识，并根据这些标识提取符合指定条件的数据包形成子码流：
[0034] 优先级标识，表示该数据包中数据的优先级；
[0035] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级；
[0036] 发送单元，用于转发提取单元所生成的子码流。
[0037] 本发明的实施方式还提供了一种视频码流接收设备，包括：
[0038] 接收单元，用于接收视频码流中的数据包；
[0039] 提取单元，用于从接收单元所收到的数据包中，在网络适配层根据以下标识提取符合指定条件的数据包形成子码流输出：
[0040] 优先级标识，表示该数据包中数据的优先级；
[0041] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级。
[0042] 本发明的实施方式还提供了一种视频码流传输方法，包括以下步骤：
[0043] 提供视频码流的移动核心网设备在网络适配层为视频码流中的数据包设置以下标识后向基站发送：
[0044] 优先级标识，表示该数据包中数据的优先级；
[0045] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级；
[0046] 视频码流到达基站前经过一个或多个具有转发作用的移动核心网设备，这些具有转发作用的移动核心网设备收到视频码流后，通过跨协议层探测识别网络适配层中各标识，并根据这些标识有选择地提取部分数据包形成子码流，转发该子码流；
[0047] 子码流经基站向移动终端发送。
[0048] 本发明实施方式与现有技术相比，主要区别及其效果在于：
[0049] 通过在网络适配层设置优先级标识和依赖性标识，可以区别出不同子码流的重要性，并保证了各子码流的完整性。
[0050] 在网络适配层根据优先级标识和依赖性标识，选择符合指定条件的数据包转发，可以方便地提取出具有不同等级的空域、时域、信噪比(Signal NoiseRatio，简称“SNR”)、ROI质量、以及抗误码等特性的视频子码流。
[0051] 进一步地，通过在网络适配层设置类别标识，可以支持各种类型的可拆分视频码流。
[0052] 进一步地，在预留字段中设置优先级标识、依赖性标识和类别标识，可以兼容不支持这些标识的标准设备。
[0053] 进一步地，根据网络的拥塞状态，在网络适配层根据优先级标识和依赖性标识，选择符合指定条件的数据包转发，可以在网络拥塞时完整地转发相对重要的视频子码流，既满足了视频用户最基本的需要，又缓解了网络的压力。
附图说明
[0054] 图1是本发明第一实施方式中视频码流发送方法流程示意图；
[0055] 图2是本发明第二实施方式中视频码流转发方法流程示意图；
[0056] 图3是本发明第三实施方式中视频码流接收方法流程示意图；
[0057] 图4是本发明第七实施方式中视频码流传输方法流程示意图。
具体实施方式
[0058] 在以下的叙述中，为了使读者更好地理解本申请而提出了许多技术细节。但是，本领域的普通技术人员可以理解，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各权利要求所要求保护的技术方案。
[0059] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。
[0060] 先说明本发明的原理。本发明的目的是支持可拆分视频码流的预先识别和标记，具体方法是使用网络适配层(Network Adaptation Layer，简称“NAL”)并在其预留字段添加字段来支持视频码流的拆分传输。这样，通过简单的网络丢包等操作提取出的子码流可以具有不同等级的空域，时域，SNR(信噪比)，ROI(感兴趣区域)质量，以及抗误码等特性的视频。
[0061] NAL(网络适配层)位于网络层和应用层之间，定义了不同应用中统一的协议接口以适配不同网络的传输需要。位于网络层的路由器可以通过跨协议层探测的方法来识别NAL中的优先级等标志位从而对网络包进行智能化处理。例如一个典型的协议栈为：应用层/NAL/RTP/UDP/IP，其中RTP为实时传输协议(RealTime Transfer Protocol)，UDP为用户数据报协议(UserDatagram Protocol)。
[0062] 在本发明中，我们首先提出可拆分视频码流的这一概念，以描述一些视频应用类别的共性。
[0063] 为了不和传统的scalable video coding的概念混淆，本提案采用可拆分来说明码流的可分拆性。可拆分码流是广义上的可伸缩性，其应用包括多码流，可伸缩性编码，基于ROI的编码，数据分割(data partitioning)等技术。
[0064] 这些应用都有一些共性：
[0065] 1)码流可按照一定规则和语义界限单独提取；
[0066] 2)单独提取的码流具有一定的优先级别；
[0067] 3)可单独提取的码流之间在空间，时间，SNR，ROI等层面上具有一定的关联性；
[0068] 表一：视频码流可拆分的类别总结
[0069]可拆分码流类型 合并过程 特点 典型例子
ROI可拆分码流 视频图像的不同部分的 实现简单 ROI多码流.
合并发生在解码之后 不需要改动编码技
术框架.
[0070]在没有SVC的情
况下，这是一个适用
在监控等应用中的
比较可行的方案.
伸缩性可拆分码流 视频图像的不同部分合 可分拆的灵活性大， Scalable video coding.
并发生在解码过程中. 颗粒度可调，但实现
复杂度高
语义可拆分码流 视频图像的不同部分的 如果发生丢失部分 data partitioning.
合并发生在解码之前. data partition，需要
ERROR
RESILIENCE
TOOL的帮助
[0071] 这些码流大多可以被合并成可以以一定质量等级(比如分辨率，帧率，ROI重要性等)播放的码流。而所有这些特性，需要在系统层的进行识别以方便提取和同步。
[0072] 本发明第一实施方式涉及一种视频码流发送方法，其流程如图1所示。
[0073] 在步骤101中，移动核心网设备在网络适配层为视频码流中的数据包设置以下标识：
[0074] 优先级标识，表示该数据包中数据的优先级；
[0075] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级；
[0076] 类别标识，表示不同码流的融合方式。类别标识所表示的不同码流的融合方式包括：解码前融合，解码中融合，解码后融合。
[0077] 通过在网络适配层设置优先级标识和依赖性标识，可以区别出不同子码流的重要性，并保证了各子码流的完整性。通过在网络适配层设置类别标识，可以支持各种类型的可拆分视频码流。
[0078] 依赖性标识可以是一个或多个数字，表示所依赖的具体的优先级，也可以是一个布尔量，表示是否依赖于所有更高优先级的数据。例如，存在1-5从高到低共5个优先级，一个数据包的优先级标识是4，其依赖性表识可经是3，表示依赖于第3优先级的数据，也可以表示为1或3，表示同时依赖于第1和第3优先级的数据，还可以表示为True，表示依赖于第1至第3优先级的数据。
[0079] 可以是先将视频码流分成多个子码流，再根据数据包所在的子码流进行各种标识的设定，也可以直接根据视频码流中数据包的数据的属性进行各种标识的设定。
[0080] 优先级标识、依赖性标识和类别标识设置在网络适配层的预留字段中。在预留字段中设置优先级标识、依赖性标识和类别标识，可以兼容不支持这些标识的标准设备。
[0081] 优先级标识所表示的优先级的应用层定义可以通过带外通知或协商的方式(例如会话描述协议SDP等)确定。例如，在监控应用中，可以根据ROI的重要性确定优先级；在伸缩性可拆分码流(如SVC)里，优先级别最高的是基本层码流数据；在DATA PARTITION等语义可拆分码流中优先级别最高的是帧头等高层语法数据等。
[0082] 在本发明的一个典型例子中，各标识的具体语法结构如下：
[0083]字段 长度
Priority 5
dependency 1
Type 2
[0084] 语义：
[0085] Priority：5比特字段，优先级识别号，值越大表示优先级别越高。
[0086] Dependency：1比特字段，表示依赖性。也就是是否该部分依赖于其它优先级别高的部分才能正确解码。
[0087] Type：2比特字段，表示应用类别和融合方式：
[0088] 0：解码前融合，
[0089] 1：解码中融合；
[0090] 2：解码后融合。
[0091] 通过Type方式的识别，系统层甚至网络层可以选择合适策略来支持不同的应用。
[0092] 此后进入步骤102，发送数据包。
[0093] 本发明第二实施方式涉及一种视频码流转发方法，其流程如图2所示。
[0094] 在步骤201中，移动核心网设备接收视频码流中的数据包。
[0095] 此后进入步骤202，判断当前流量是否超过预定门限，如果是则说明网络较为拥塞，进入步骤203，否则进入步骤204。
[0096] 在步骤203中，在网络适配层根据以下标识提取符合指定条件的数据包形成子码流：
[0097] 优先级标识，表示该数据包中数据的优先级；
[0098] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级；
[0099] 类别标识，表示不同码流的融合方式，该融合方式包括：解码前融合，解码中融合，解码后融合。
[0100] 依赖性标识可以是一个或多个数字，表示所依赖的具体的优先级，也可以是一个布尔量，表示是否依赖于所有更高优先级的数据。
[0101] 本实施方式中，指定条件为在网络流量超过预定门限时，只提取指定优先级的数据包及该优先级所依赖的各优先级的数据包。例如存在1-5从高到低共5个优先级，指定优先级为3，而根据依赖性标识，优先级为3的数据包依赖于优先级为1和2的数据，所以将优先级为1-3的数据包提取出来形成子码流。
[0102] 此后进入步骤204，转发所提取的子码流。
[0103] 在步骤205中，因为网络不拥塞，所以转发视频码流中所有的数据包。
[0104] 根据网络的拥塞状态，在网络适配层根据优先级标识和依赖性标识，选择符合指定条件的数据包转发，可以在网络拥塞时完整地转发相对重要的视频子码流，既满足了视频用户最基本的需要，又缓解了网络的压力。
[0105] 本发明第三实施方式涉及一种视频码流接收方法，其流程如图3所示。
[0106] 在步骤301中，移动终端接收视频码流中的数据包。
[0107] 此后进入步骤302，在网络适配层根据以下标识提取符合指定条件的数据包形成子码流：
[0108] 优先级标识，表示该数据包中数据的优先级；
[0109] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级；
[0110] 类别标识，表示不同码流的融合方式，该融合方式包括：解码前融合，解码中融合，解码后融合。
[0111] 此后进入步骤303，向上层(如应用层)或其它处理单元输出子码流。
[0112] 在网络适配层根据优先级标识和依赖性标识，选择符合指定条件的数据包，可以方便地提取出具有不同等级的空域、时域、SNR、ROI质量、以及抗误码等特性的视频子码流。
[0113] 依赖性标识可以是一个或多个数字，表示所依赖的具体的优先级，也可以是一个布尔量，表示是否依赖于所有更高优先级的数据。
[0114] 本发明的方法实施方式可以以软件、硬件、固件等等方式实现。不管本发明是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可是换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically Erasable Programmable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。
[0115] 本发明第四实施方式涉及一种视频码流发送设备，该设备包括：
[0116] 设置单元，用于在网络适配层为视频码流中的数据包设置以下标识：
[0117] 优先级标识，表示该数据包中数据的优先级；
[0118] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级；
[0119] 类别标识，表示不同码流的融合方式。该融合方式包括：解码前融合，解码中融合，解码后融合。
[0120] 发送单元，用于发送经设置单元处理的数据包。
[0121] 第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
[0122] 本发明第五实施方式涉及一种视频码流转发设备，该设备包括：
[0123] 接收单元，用于接收视频码流中的数据包。
[0124] 提取单元，用于从接收单元所收到的数据包中，在网络适配层根据以下标识提取符合指定条件的数据包形成子码流：
[0125] 优先级标识，表示该数据包中数据的优先级；
[0126] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级；
[0127] 类别标识，表示不同码流的融合方式，该融合方式包括：解码前融合，解码中融合，解码后融合。
[0128] 发送单元，用于转发提取单元所生成的子码流。
[0129] 流量监测单元，用于监测当前的网络流量，如果网络流量超过预定门限，说明网络较为拥塞，则通过设置指定条件控制提取单元只提取指定优先级的数据包及该优先级所依赖的各优先级的数据包。
[0130] 本实施方式中转发设备可以为路由器，也可以是其它具有中继转发功能的网络设备。
[0131] 第二实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第二实施方式互相配合实施。第二实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第二实施方式中。
[0132] 本发明第六实施方式涉及一种视频码流接收设备，该设备包括：
[0133] 接收单元，用于接收视频码流中的数据包。
[0134] 提取单元，用于从接收单元所收到的数据包中，在网络适配层根据以下标识提取符合指定条件的数据包形成子码流输出：
[0135] 优先级标识，表示该数据包中数据的优先级；
[0136] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级；
[0137] 类别标识，表示不同码流的融合方式，该融合方式包括：解码前融合，解码中融合，解码后融合。
[0138] 第三实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第三实施方式互相配合实施。第三实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第三实施方式中。
[0139] 需要说明的是，本发明各设备实施方式中提到的各单元都是逻辑单元，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合是才解决本发明所提出的技术问题的关键。此外，为了突出本发明的创新部分，本发明上述各设备实施方式并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。
[0140] 本发明的第七实施方式涉及一种视频码流传输方法，其流程如图4所示。
[0141] 无线网络具有信道条件变化较快的特性，所以需要根据无线信道的信号质量来及时调节视频的发送数据率，以适配当前的信道带宽，以最大程度地提高视频在无线蜂窝网络的传输和接收质量。
[0142] 在步骤401中，广播组播服务中心(Broadcast and Multicast ServiceCenter，简称“BMSC”)或流媒体服务器在网络适配层为视频码流中的数据包设置以下标识(全部或部分标识)后发送：
[0143] 优先级标识，表示该数据包中数据的优先级；
[0144] 依赖性标识，表示该数据包中数据的解码所依赖的数据的优先级；
[0145] 类别标识，表示不同码流的融合方式的。
[0146] 此后进入步骤402，路由器根据当前的流量和拥塞情况，通过跨协议层探测识别网络适配层中各标识，并按这些标识有选择地提取部分数据包形成子码流，转发该子码流。
[0147] 此外基站控制器也可以根据空中接口的信号质量选择地提取部分数据包形成子码流转发。
[0148] 此后进入步骤403，视频子码流由移动基站通过空中接口(简称“空口”)发送给移动终端(如手机)。
[0149] 此后进入步骤404，移动终端根据网络适配层中各标识进一步提取部分数据包形成子码流以适配该移动终端的解码显示要求。
[0150] 第七实施方式结合了第一至第三实施方式，在第一至第三实施方式中提到的各种相关技术细节在第七实施方式中也可以应用。
[0151] 虽然通过参照本发明的某些优选实施方式，已经对本发明进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
