一种在计算机网络中提供媒体内容的方法，包含：存储媒体内容，其中所述媒体内容包括具有帧组的段。该方法还包括：确定到客户端设备的业务的传输速率。所述方法进一步包括：基于下列来选择要从帧组中放弃的帧的子集：(i)传输速率和(ii)所述帧的子集中的每一帧的帧差失真(FDIFF)度量。该方法还包括：通过从所述帧组中放弃所选择的帧的子集来定型所述段，其中，所定型的段具有比所述段低的比特率。此外，该方法包括向客户端设备发送所定型的段。
1.一种用于在计算机网络中提供媒体内容的设备，所述设备包括：存储器，被配置成存储媒体内容，所述媒体内容包含包括帧组的段；和至少一个处理装置，被配置成：
基于下列来选择要从帧组中放弃的帧的子集：(i)传输速率和(ii)所述帧的子集中的每一帧的帧差失真FDIFF度量；
通过从所述帧组中放弃所选择的帧的子集来定型所述段，其中，所定型的段具有比所述段低的比特率；并且向所述客户端设备发送所定型的段，
其中，所述FDIFF度量基于将所述帧缩放成预定高度和宽度的缩略图的滤波和下采样函数以及在所述帧的子集中的每个帧的距离度量来确定。
2.如权利要求1所述的设备，其中，所述至少一个处理装置被进一步配置成计算指示在一个序列中帧组中的帧的相对重要性的帧重要性FSIG值。
3.如权利要求2所述的设备，其中，所述至少一个处理装置被进一步配置成从所述帧组中选择其FSIG值小于阈值重要性水平的帧。
4.如权利要求2所述的设备，其中，所述FSIG值根据下列数学式定义：vk＝d(fk，fk-1)＝(S·fk-S·fk-1)TATA(S·fk-S·fk-1)，其中，vk是FSIG值的矢量表示，fk表示第k帧，fk-1表示前一帧，S表示滤波和下采样函数，A表示距离度量。
5.如权利要求1所述的设备，其中，所述至少一个处理装置被进一步配置成根据下列数学式计算FDIFF度量：d(fj，fk)＝(S·fj-S·fk)TATA(S·fj-S·fk)，其中，fj表示实际上正被显示的帧，fk表示计划要显示的帧，S表示滤波和下采样函数，A表示距离度量。
6.如权利要求1所述的设备，其中，所述至少一个处理装置被进一步配置成从所述帧组中选择其FDIFF度量小于阈值失真水平的帧。
7.如权利要求1所述的设备，其中，所述至少一个处理装置被进一步配置成使用在所述帧组中的帧重要性FSIG值来确定在段中的序列活动水平。
帧损失时间失真FLTD度量是基于帧重要性FSIG值的FSIG加权的FLTD度量；和所述至少一个处理装置被配置成根据下列数学式计算FSIG加权的FLTD度量：其中，vk是FSIG值的矢量表示，fk-p表示所述帧组中的在第k帧前p个帧的帧，j表示在第k帧前的多个帧的索引，e是欧拉数，和a表示指数衰减率。
9.如权利要求8所述的设备，其中，所述至少一个处理装置被进一步配置成基于具有与编码帧的解码依赖性的依赖帧的数量计算FSIG加权的FLTD度量以便对于每个依赖帧增加FSIG加权的FLTD度量。
10.如权利要求1所述的设备，其中，所述至少一个处理装置被进一步配置成：接收被聚合为资产递送特性ADC的服务质量QoS描述和体验质量QoE描述，其包括多个比特率降低的操作点和与每个操作点关联的QoE参数集，每一QoE参数集包含：帧放弃索引集，其指示要从帧组中放弃以产生对应于所关联的操作点的比特率降低的帧的列表；
从通过放弃由帧放弃索引集指示的帧而获得的比特率降低得到的总比特率；
所述帧的子集中的每个帧的FDIFF度量；和基于帧重要性FSIG值的段的帧重要性加权的帧损失时间失真度量；并且选择其总比特率最接近传输速率的操作点，
其中，至少一个处理装置被配置成选择由所选择操作点的帧放弃索引集指示的帧列表作为帧子集，以及其中，所述ADC描述同一内容的多个资产，其可被所述设备用来选择合适的编码或执行比特流切换。
11.一种用于在计算机网络中提供媒体内容的设备，所述设备包括：存储器，被配置成存储媒体内容，所述媒体内容包括包含帧组的段；和至少一个处理装置，被配置成：
通过执行对每一操作点的梯度搜索来生成多个比特率降低的操作点；
生成每一操作点的体验质量QoE参数集；并且发送资产递送特性ADC，所述ADC包含操作点和与每一操作点对应的QoE参数集，其中，每一操作点的设置的OoE参数集包含在从所述帧组中放弃的帧的子集中的每个帧的帧差失真FDIFF度量，以及其中，所述FDIFF度量基于将所述帧缩放成预定高度和宽度的缩略图的滤波和下采样函数和在所述帧的子集中的每个帧的距离度量来确定。
12.如权利要求11所述的设备，其中，所述至少一个处理装置被进一步配置成对于在所述段中的每一帧，计算：帧速率降低；
13.如权利要求12所述的设备，其中，所述至少一个处理装置被进一步配置成在执行对每个操作点的梯度搜索时：通过帧损失梯度来对帧组分类；并且
生成当被从帧组中放弃时产生对应于操作点的总比特率降低的帧的列表，所述至少一个处理装置被配置成通过下列来生成帧的列表(i)添加具有最小帧损失梯度的帧到所述帧的列表中和(ii)重复地添加经分类的帧组中的下一帧到帧的列表中直到添加到所述帧的列表中的帧的帧速率降低之和至少是对应于所述操作点的比特率降低为止。
14.如权利要求11所述的设备，其中，每个操作点的QoE参数集包括：帧放弃索引集，指示当被从帧组中放弃时产生(i)对应于相关操作点的总比特率降低和(ii)包含剩余帧的定型的段的帧的列表；和下列中的至少一个：
放弃由帧放弃索引集指示的帧而产生的总比特率；和所述段的帧损失时间失真FLTD度量。
15.如权利要求14所述的设备，其中，帧放弃索引集包含下列之一：每个剩余帧的索引；和
16.如权利要求14所述的设备，其中，所述至少一个处理装置被进一步配置成计算指示在序列中帧组中的帧的相对重要性帧的帧重要性FSIG值，所述FSIG值根据下列数学式计算：vk＝d(fk，fk-1)＝(S·fk-S·fk-1)TATA(S·fk-S·fk-1)，其中，vk是FSIG值的矢量表示，fk表示第k帧，fk-1表示前一帧，S表示滤波和下采样函数，A表示距离度量。
17.如权利要求16所述的设备，其中，所述至少一个处理装置被进一步配置成从所述帧组中选择具有下列的至少一个的要添加到从所述帧组中放弃的帧的索引中的帧：小于阈值重要性水平的FSIG值；和
所述FLTD度量是FSIG加权的FLTD度量；以及所述至少一个处理装置被配置成根据下列数学式计算FSIG加权的FLTD度量：其中，fk-p表示在所述帧组中在第k帧前p个帧的帧，j表示在第k帧前的多个帧的索引，e是欧拉数，和a表示指数衰减率。
19.如权利要求18所述的设备，其中，所述至少一个处理装置被进一步配置成基于具有与编码帧的解码依赖性的依赖帧的数量来计算FSIG加权的FLTD度量以便增加每一依赖帧的FSIG加权的FLTD度量。
20.如权利要求11所述的设备，还包括：路由器，被配置成：接收ADC；
基于下述选择要从帧组中放弃的帧子集(i)传输速率和(ii)在帧子集中的每一帧的帧损失时间失真FLTD度量；
通过从帧组中放弃所选择的帧子集来定型所述段，其中经定型的段具有比所述段低的比特率；并且向客户端设备发送经定型的段。
所述路由器被进一步配置成选择其总比特率最接近传输速率的操作点；以及所述路由器被配置成选择由与所选择操作点相关联的帧放弃索引集指示的帧的列表作为所述帧子集。
22.一种由设备在计算机网络中提供媒体内容的方法，所述方法包括：通过存储器存储媒体内容，所述媒体内容包含包括帧组的段；
基于下列来选择要从帧组中放弃的帧的子集：(i)传输速率和(ii)所述帧的子集中的每一帧的帧差失真FDIFF度量；
通过从所述帧组中放弃所选择的帧的子集来定型所述段，其中，所定型的段具有比所述段低的比特率；并且向所述客户端设备发送所定型的段，
其中，所述FDIFF度量基于将所述帧缩放成预定高度和宽度的缩略图的滤波和下采样函数以及在所述帧的子集中的每个帧的距离度量来确定。
23.如权利要求22所述的方法，其中，所述方法还包括计算指示在一个序列中帧组中的帧的相对重要性的帧重要性FSIG值。
24.如权利要求23所述的方法，其中，所述方法还包括从所述帧组中选择其FSIG值小于阈值重要性水平的帧。
25.如权利要求23所述的方法，其中，所述FSIG值根据下列数学式定义：T T
vk＝d(fk，fk-1)＝(S·fk-S·fk-1) AA(S·fk-S·fk-1)，其中，vk是FSIG值的矢量表示，fk表示第k帧，fk-1表示前一帧，S表示滤波和下采样函数，A表示距离度量。
26.如权利要求22所述的方法，其中，所述方法还包括根据下列数学式计算FDIFF度量：d(fj，fk)＝(S·fj-S·fk)TATA(S·fj-S·fk)，其中，fj表示实际上正被显示的帧，fk表示计划要显示的帧，S表示滤波和下采样函数，A表示距离度量。
27.如权利要求22所述的方法，其中，所述方法还包括从所述帧组中选择其FDIFF度量小于阈值失真水平的帧。
28.如权利要求22所述的方法，其中，所述方法还包括使用在所述帧组中的帧重要性FSIG值来确定在段中的序列活动水平。
帧损失时间失真FLTD度量是基于帧重要性FSIG值的FSIG加权的FLTD度量；
其中，所述方法还包括根据下列数学式计算FSIG加权的FLTD度量：其中，vk是FSIG值的矢量表示，fk-p表示所述帧组中的在第k帧前p个帧的帧，j表示在第k帧前的多个帧的索引，e是欧拉数，和a表示指数衰减率。
30.如权利要求29所述的方法，其中，所述方法还包括基于具有与编码帧的解码依赖性的依赖帧的数量计算FSIG加权的FLTD度量以便对于每个依赖帧增加FSIG加权的FLTD度量。
31.如权利要求22所述的方法，其中，所述方法还包括：接收被聚合为资产递送特性ADC的服务质量QoS描述和体验质量QoE描述，其包括多个比特率降低的操作点和与每个操作点关联的QoE参数集，每一QoE参数集包含：帧放弃索引集，其指示要从帧组中放弃以产生对应于所关联的操作点的比特率降低的帧的列表；
从通过放弃由帧放弃索引集指示的帧而获得的比特率降低得到的总比特率；
所述帧的子集中的每个帧的FDIFF度量；和基于帧重要性FSIG值的段的帧重要性加权的帧损失时间失真度量；并且选择其总比特率最接近传输速率的操作点，
其中，所述方法还包括选择由所选择操作点的帧放弃索引集指示的帧列表作为帧子集，以及其中，所述ADC描述同一内容的多个资产，其可被所述设备用来选择合适的编码或执行比特流切换。
32.一种用于在计算机网络中提供媒体内容的方法，所述方法包括：通过存储器存储媒体内容，所述媒体内容包括包含帧组的段；
通过执行对每一操作点的梯度搜索来生成多个比特率降低的操作点；
生成每一操作点的体验质量QoE参数集；并且发送资产递送特性ADC，所述ADC包含操作点和与每一操作点对应的QoE参数集，其中，每一操作点的设置的OoE参数集包含在从所述帧组中放弃的帧的子集中的每个帧的帧差失真FDIFF度量，以及其中，所述FDIFF度量基于将所述帧缩放成预定高度和宽度的缩略图的滤波和下采样函数和在所述帧的子集中的每个帧的距离度量来确定。
33.如权利要求32所述的方法，其中，所述方法还包括对于在所述段中的每一帧，计算：帧速率降低；
34.如权利要求33所述的方法，其中，所述方法还包括在执行对每个操作点的梯度搜索时：通过帧损失梯度来对帧组分类；并且
生成当被从帧组中放弃时产生对应于操作点的总比特率降低的帧的列表，所述方法还包括通过下列来生成帧的列表(i)添加具有最小帧损失梯度的帧到所述帧的列表中和(ii)重复地添加经分类的帧组中的下一帧到帧的列表中直到添加到所述帧的列表中的帧的帧速率降低之和至少是对应于所述操作点的比特率降低为止。
35.如权利要求32所述的方法，其中，每个操作点的QoE参数集包括：帧放弃索引集，指示当被从帧组中放弃时产生(i)对应于相关操作点的总比特率降低和(ii)包含剩余帧的定型的段的帧的列表；和下列中的至少一个：
放弃由帧放弃索引集指示的帧而产生的总比特率；和所述段的帧损失时间失真FLTD度量。
36.如权利要求35所述的方法，其中，帧放弃索引集包含下列之一：每个剩余帧的索引；和
37.如权利要求35所述的方法，其中，所述方法还包括计算指示在序列中帧组中的帧的相对重要性帧的帧重要性FSIG值，所述FSIG值根据下列数学式计算：vk＝d(fk，fk-1)＝(S·fk-S·fk-1)TATA(S·fk-S·fk-1)，其中，vk是FSIG值的矢量表示，fk表示第k帧，fk-1表示前一帧，S表示滤波和下采样函数，A表示距离度量。
38.如权利要求37所述的方法，其中，所述方法还包括从所述帧组中选择具有下列的至少一个的要添加到从所述帧组中放弃的帧的索引中的帧：小于阈值重要性水平的FSIG值；和
所述FLTD度量是FSIG加权的FLTD度量；以及所述方法还包括根据下列数学式计算FSIG加权的FLTD度量：其中，fk-p表示在所述帧组中在第k帧前p个帧的帧，j表示在第k帧前的多个帧的索引，e是欧拉数，和a表示指数衰减率。
40.如权利要求39所述的方法，其中，所述方法还包括基于具有与编码帧的解码依赖性的依赖帧的数量来计算FSIG加权的FLTD度量以便增加每一依赖帧的FSIG加权的FLTD度量。
基于下述选择要从帧组中放弃的帧子集(i)传输速率和(ii)在帧子集中的每一帧的帧损失时间失真FLTD度量；
通过从帧组中放弃所选择的帧子集来定型所述段，其中经定型的段具有比所述段低的比特率；并且向客户端设备发送经定型的段。
由路由器选择其总比特率最接近传输速率的操作点；以及由路由器选择由与所选择操作点相关联的帧放弃索引集指示的帧的列表作为所述帧子集。
MMT资产和具有包含多个QOE操作点的改进的MMT QOS描述符
的ISOBMFF的增强的失真信令
技术领域
[0001] 本公开一般涉及视频内容递送系统。更具体地，本公开涉及运动图像专家组(MPEG)媒体传输(MMT)资产和具有包含多个(QOE)操作点的改进的MMT服务质量(QoS)描述
符的国际标准化组织(ISO)基础媒体文件格式(ISOBMFF)的增强的失真信令。
背景技术
[0002] 用户希望在因特网上接收高清晰(HD)或超高清(UHD)视频内容。因特网的当前状态支持HD或UHD质量的视频的流传输，但是通信链路的拥塞是有限带宽引起的许多问题之
一。因特网网络常常通过降低流传输到最终用户的客户端设备的视频内容的传输速率来加
速视频内容的递送。运动图像专家组 (MPEG)媒体传输(MMT)是支持高级特性(诸如内容感
知的流传输，内容感知的联网和层感知的前向纠错(FEC))的多媒体传输。当网络拥塞时，
MMT的高级特性使得发送装置能够通过放弃某些分组来降低传输速率，以及通过使用度量
以选择要放弃的不太重要的分组来控制质量劣化。峰值信噪比(PSNR) 和结构相似性
(SSIM)是表征量化引起的失真的度量。但是，PSNR和SSIM度量不表征由与量化引起的失真
不同的帧放弃引起的失真。
[0003] 在MMT中，资产递送特性(ADC)实体包括：服务质量(QoS)参数，其消除瓶颈并促进内容感知业务定型中的更好的网络路由器操作。因特网的当前状态发送在资产级别的ADC
(包括QoS信息)，但是路由器可以在不同级别的粒度(即，比所述资产级别细的段级别)操
作。此外，目前的ADC实体不包括指定在体验质量(QoE)中的流传输时间分组放弃决策和结
果的信息。
发明内容
[0004] 技术方案
[0005] 在第一个实施例，一种用于在计算机网络中提供媒体内容的设备包括：存储器，被配置成存储媒体内容，其中所述媒体内容包含具有帧组的段。所述设备还包括至少一个处理设备，被配置成确定在所述设备和客户端设备之间的业务的传输速率。所述至少一个处
理设备还被配置成基于下列来选择要从帧组中放弃的帧的子集：(i)传输速率和(ii)所述
帧的子集中的每一帧的帧差失真(FDIFF)度量。所述至少一个处理设备进一步被配置成通
过从所述帧组中放弃所选择的帧的子集来定型所述段，其中，所定型的段具有比所述段低
的比特率。而且，所述至少一个处理设备被配置成发起向客户端设备发送所定型的段。
[0006] 在第二实施例，一种用于在计算机网络中提供媒体内容的系统包括：存储器，被配置成存储媒体内容，其中所述媒体内容包括具有帧组的段。所述系统还包括：至少一个处理设备，被配置成通过执行对每一操作点的梯度搜索来生成多个比特率降低的操作点。所述至少一个处理设备还被配置成生成每一操作点的体验质量(QoE)参数集。所述至少一个处
理设备被进一步配置成发起资产递送特性(ADC)的发送，其中所述ADC包括操作点和与每一
操作点对应的QoE参数集。
[0007] 在第三实施例中，一种在计算机网络中提供媒体内容的方法包括存储媒体内容，其中所述媒体内容包括具有帧组的段。所述方法还包括确定到客户端设备的业务的传输速
率。所述方法进一步包括基于下列来选择要从帧组中放弃的帧的子集：(i)传输速率和(ii)所述帧的子集中的每一帧的帧差失真 (FDIFF)度量。所述方法还包括通过从所述帧组中放
弃所选择的帧的子集来定型所述段，其中，所定型的段具有比所述段低的比特率。而且，所述方法包括向客户端设备发送所定型的段。
[0008] 从下面附图、描述和权利要求，其它技术特征可以容易地被本领域技术人员理解。
[0009] 在进行下面的详细描述之前，阐述贯穿本专利文档使用的特定词语和短语的定义可能是有利的。术语“耦合”及其派生词是指两个或更多元件之间的任何直接或间接通信，无论这些元件是否彼此物理接触。术语“发送”、“接收”和“通信”及其派生词包括直接和间接通信。术语“包括”和“包含”及其派生词是指没有限制的包括。术语“或”是包含的，意味着和/或。“与…关联”及其派生词是指包括，被包括在内，互连，包含，被包含在内，连接到或与…连接，耦合到或与…耦合，可与…通信，与…合作，交织，并列，接近，被绑定到或与…绑定，具有，具有…的属性，有与…的关系或与…有关系或类似。术语“控制器”是指控制至少一个操作的任何装置、系统或其部分。这样的控制器可以以硬件或硬件和软件和/或固件的组合来实现。与任何特定控制器相关联的功能可以是集中式或分布式的，无论是本地还是
远程。短语“至少一个”当与项目的列表一起使用时意思是可以使用所列项的一个或多个的不同组合，并且可能仅需要在列表中的一个项目。例如，“A，B和C中的至少一个”包括下列任何组合：A，B，C，A和B，A和C，B和C，以及A和B和C。
[0010] 此外，以下描述的各种功能可以被由一个或多个计算机程序实现或支持，其中每一个由计算机可读程序代码形成并包含在计算机可读介质中。术语“应用”和“程序”指一个或多个计算机程序，软件组件，指令集，过程，函数，对象，类，实例，相关数据或其部分，适合于以合适的计算机可读程序代码来实施。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码，目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(ROM)，随机存取存储器(RAM)，硬盘驱动器，致密盘(CD)，数字视频盘(DVD)，或者任何其它类型的存储器。“非临时性”计算机可读介质不包括有线，无线，光学，或运输短暂电力或其它信号的其它通信链路。非临时性计算机可读介质包括其中数据可被永久地存储的媒体，其中数据可以被永久地存储并且以后可被覆盖的媒
体，诸如可重写光盘或可擦除存储装置。
[0011] 贯穿本专利文档提供了其它特定词语和短语的定义。本领域普通技术人员应当理解，即使不是在大部分情况下，也是在许多情况下，这样的定义适用于这样定义的词和短语的现有以及将来使用。
附图说明
[0012] 为了更完整地理解本公开，现在参考下面结合附图进行的描述，在其中：
[0013] 图1图解了根据本公开的示例计算系统；
[0014] 图2和3图解了根据本公开的在计算系统中的示例装置；
[0015] 图4图解了根据本公开的示例帧组的每帧的帧放弃引起的失真的图表；
[0016] 图5图解了根据本公开的另一示例帧组的每帧的帧放弃引起的失真的图像元素的数量的图表；
[0017] 图6a-6d图解了根据本公开的来自示例视频序列的帧；
[0018] 图7a-7d图解了来自图6a-6d的视频序列的每帧的帧重要性的图表，并且图 7e图解了根据本公开的来自图6b-6c的示例视频段的开头240个帧的帧重要性的图表；
[0019] 图8a-8c中图解了根据本公开的与示例视频序列对应的每帧的B帧引起的时间失真的图表；
[0020] 图9图解了根据本公开的用于计算帧损失时间失真(FLTD)度量的连续损失帧的帧重要性(FSIG)值的示例矢量图；
[0021] 图10图解了根据本公开的示例帧组；
[0022] 图11图解了根据本公开的示例分层B帧结构；
[0023] 图12图解了根据本公开的图7b的视频序列的时间失真的示例图表。
[0024] 图13a-13c图解了与根据本公开的与放弃在图6a-6c中的视频序列的B帧相关联的示例帧速率降低的图表。
[0025] 图14a-14c图解了根据本公开的作为与放弃在图6a-6c中的视频序列的B帧相关联的帧速率降低的函数的示例失真的图表；
[0026] 图15图解了根据本公开的用于在计算机网络中提供媒体内容的示例过程；和
[0027] 图16图解了根据本公开的用于从帧组中选择要放弃的帧的子集的示例过程。
具体实施方式
[0028] 在本专利文件中的下面讨论的图1到16和用于描述本发明的原理的各种实施例仅仅是通过举例说明，并且不应以任何方式曲解为限制本公开的范围。本领域技术人员将理
解，可以在任何适当布置的设备或系统中实施本公开的原理。
[0029] 下列文件和标准描述在此通过引用并入到本公开中，如同在这里完全阐述一样：
[0030] -ISO/IEC JTC 1/SC29 IS 23008-1，Info Technology-High efficiency coding and media delivery in heterogeneous environments-part 1:MPEG media transport
(MMT)(信息技术-在异构环境中的高效编码和媒体递送-第1部分： MPEG媒体传输(MMT))
(“REF1”)；
[0031] -ISO/IEC DIS 23008-10：Information technology-High efficiency coding and media delivery in heterogeneous environments-Part 10:MPEG Media Transport
Forward Error Correction(FEC)codes(信息技术-在异构环境中的高效编码和媒体递送-
第10部分：MPEG媒体传输前向纠错(FEC)码)(“REF2”)；
[0032] -Wang等，“Image quality assessment:from error visibility to structural similarity,”IEEE Transactions on Image Processing(“图像质量评价：从错误可见性到结构化相似性”，IEEE关于图像处理的事务)，第13卷，第4号，2004年 4月(“REF3”)；和[0033] -ISO/IEC JTC1/SC29/WG11/MPEG2013/N13992，“Reznik et al.,WD of ISO/IEC XXXXX-Y:Carriage of quality-related information in the ISO Based Media File
Format”(列兹尼克等，“ISO/IEC XXXXX-Y的WD：在基于ISO媒体文件格式中的质量相关信息的承载”)(“REF4”)。
[0034] 在MMT中，媒体片段单元(MFU)优先级字段使得能够进行单个流流传输优化，但不会捕捉到由帧放弃而引起的失真。此外，没有关于帧放弃的共同的体验质量(QoE)度量，计算机网络难以对业务定型进行内容感知的判决。即，资产递送特性(ADC)包括：位流描述和服务质量(QoS)描述，但缺少QoE描述。
[0035] 本公开修改了承载在损失失真引起时的视觉影响的信息的MMT提示轨道。帧损失失真度量(也被称为帧放弃失真度量)测度来自训练距离度量的帧放弃视觉冲击。帧损失失
真度量也可考虑解码依赖性。如下所述，表征视频序列的每个采样(诸如每帧，每段，或每个帧组)的时间失真的帧损失失真度量提供ADC信令的更细粒度的技术优势并且使得ADC信号
能够包括多个具有相关媒体片段单元(MFU)索引和比特率的QoE操作点。
[0036] 本公开提供了增加在流传输中的视频适配的自由度的系统和方法。本公开的实施例提供了在MMT提示轨道中的失真信令机制以表征来自帧放弃的失真。本公开的实施例提
供了表征帧放弃的组合对人的视觉感知的影响的分组损失引起的失真度量。分组损失引起
的失真度量用于在通信链路中优化处于瓶颈的多个流的流传输。例如，分组损失引起的失
真度量是用于优化流传输时间和用于支持在现代媒体传输中的内容感知的视频适配，特别
是用于对处于瓶颈的多个流的视频会话进行协调的工具。可以测度分组损失的后果的统一
的失真度量提供了对于在联网中的一组已良好建立的优化工具的技术优势。分组损失引起
的失真的度量可以是添加到REF4的ISOBMFF文档的作为质量信息的一部分的新字段。即，包括考虑解码依赖性的帧放弃引起的失真允许更先进的内容感知的视频联网解决方案。
[0037] 作为一个例子，针对操作的分组损失后果或延迟后果和(比资产级别) 精细的粒度的QoE度量标记更适合无状态路由器。所述QoE度量标记可用于支持在现代内容递送网络
(CDN)中的内容感知的视频业务定型和路由。为了便于更智能的视频队列修剪和更智能的
分组放弃操作，本公开修改MMT ADC 以在MOOF段级别操作，并修改MMT ADC以包括时空QoE
质量度量字段和 QoE操作点描述符。根据本公开，以更适合路由器的“无存储器”特性的更精细(更颗粒化)段级别发送ADC(包括QoE信息)。例如，MMT ADC(包括QoE信息)使得能够进
行具有不同时空失真水平的多QoS业务定型以允许对于给定服务质量的单个流的QoE优化
和在瓶颈处的多个流的QoE优化两者。
[0038] 图1图解了根据本公开的示例计算系统100。在图1示出的计算系统100的实施例仅仅用于图解说明。可以使用计算系统100的其它实施例而不脱离本公开的范围。
[0039] 如图1所示，系统100包括：网络102，其帮助在系统100中的各种组件之间的通信。例如，网络102可在网络地址之间传送因特网协议(IP)分组、帧中继帧、异步传输模式(ATM)单元或其它信息。网络102可包括一个或多个局域网(LAN)、城域网(MAN)、广域网(WAN)、全球网(诸如因特网)的全部或部分、或任何其它通信系统或在一个或多个地点的系统。
[0040] 网络102帮助至少一个服务器104和各种客户端设备106-114之间的通信。每个服务器104包括可以为一个或多个客户端设备提供计算服务的任何合适的计算或处理设备。
每个服务器104例如可以包括一个或多个处理装置、一个或多个存储指令和数据的存储器、和一个或多个帮助在网络102上的通信的网络接口。
[0041] 每个客户端设备106-114代表在网络102上与至少一个服务器或其它计算设备交互的任何合适的计算或处理装置。在这个例子中，客户端设备106-114 包括台式电脑106、移动电话机或智能手机108、个人数字助理(PDA)110、笔记本电脑112和平板电脑114。然而，在计算系统100中可使用任何其它的或额外的客户端设备。
[0042] 在这个例子中，一些客户端设备108-114与网络102间接通信。例如，客户端设备108-110经由一个或多个基站116(诸如蜂窝基站或演进节点B)通信。同时，客户端设备112-
114经由一个或多个无线接入点118(诸如IEEE 802.11无线接入点)通信。注意，这些仅仅用于图示说明，并且每个客户端设备可以直接与网络102通信或间接经由任何合适的中间设
备或网络与网络102通信。
[0043] 如在后面更详细描述的，计算系统100生成表征视频序列的每个采样的时间失真的度量。这例如可以被用来提供具有多个QoE操作点的改进的MMT Q oS描述符。
[0044] 虽然图1图解了计算系统100的一个例子，但是可以对图1进行各种变化。例如，系统100可以包括任意数量的任何合适配置的各个组件。通常，计算和通信系统有多种配置，并且图1不将本公开的范围限制于任何特定的配置。虽然图1图解了一个其中可以使用在本
专利文件中公开的各种特征的操作环境，但是，这些特证可用在任何其它合适的系统中。
[0045] 图2和图3图解了根据本公开的计算系统中的示例设备。特别是，图2图解了示例服务器200，而图3图解了示例客户端设备300。服务器200可以代表在图1中的服务器104，而客户端设备300可以代表在图1中的一个或多个客户端设备106-114。
[0046] 如图2所示，服务器200包括：总线系统205，其支持在至少一个处理设备 210、至少一个存储设备215、至少一个通信单元220和至少一个输入/输出(I/ O)单元225之间的通信。
[0047] 处理设备210执行可加载到存储器230中的指令。处理装置210可包括任何合适数量和类型的处理器或其它任何合适配置的设备。处理设备210的类型例子包括微处理器、微控制器、数字信号处理器、现场可编程门阵列，专用集成电路，分立电路。
[0048] 存储器230和持久性存储器235是存储设备215的示例，其代表能够存储和便利检索信息(诸如数据、程序代码和/或在临时或永久基础上的其它合适信息) 的任何结构。存
储器230可代表随机存取存储器或者其它合适的易失性或非易失性存储设备。持久性存储
器235可包含一个或多个支持数据的长期存储的组件或设备，诸如只读存储器，硬盘，闪存或光盘。
[0049] 通信单元220支持与其它系统或设备的通信。例如，通信单元220可包括便利在网络102上的通信的网络接口卡或无线收发器。通信单元220可支持通过任何合适的物理或无
线通信链路的通信。
[0050] I/O单元225允许数据的输入和输出。例如，I/O单元225可为通过键盘、鼠标、键盘、触摸屏或其它合适输入设备的用户输入提供连接。I/O 225单元也可向显示器、打印机或其它合适输出设备发送输出。
[0051] 注意，虽然图2被描述为代表图1的服务器104，但是相同或相似的结构可用在一个或多个客户端设备106-114中。例如，笔记本电脑或台式电脑可能有如图2所示的相同或相
似的结构。
[0052] 如图3所示，客户端设备300包括天线305、射频(RF)收发器310、发送(T X)处理电路315、麦克风320和接收(RX)处理电路325。客户端设备300还包括扬声器330、主处理器
340、输入/输出(I/O接口(IF)345、键盘350、显示器355 和存储器360。存储器360包括基本操作系统(OS)程序361和一个或多个应用程序362。
[0053] RF收发器310从天线305接收由系统中的另一组件发送的传入的RF信号。 RF收发器310将传入的RF信号下变频以生成中频(IF)或基带信号。所述IF或基带信号被发送到RX
处理电路325，其通过对所述基带或IF信号进行滤波、解码、和/或数字化而生成经处理的基带信号。RX处理电路325发送所述经处理的基带信号到扬声器330(诸如对于语音数据)或到
主处理器340以用于进一步的处理(诸如对于网页浏览数据)。
[0054] TX处理电路315从麦克风320接收模拟或数字语音数据或从主处理器340 接收其它输出的基带数据(诸如web数据、电子邮件或交互式视频游戏数据)。 TX处理电路315对输出基带数据进行编码、复用和/或数字化以产生经处理的基带或者IF信号。RF收发器310从
TX处理电路315接收输出的经处理的基带或 IF信号并且将所述基带或IF信号上变频成经
由天线305发送的RF信号。
[0055] 主处理器340可以包括一个或多个处理器或其它处理设备并且执行在存储器360中驻留的基本OS程序361以便控制客户端设备300的整体操作。例如，主处理器340可以按照公知原理控制通过射频收发器310、RX处理电路325、T X处理电路315的前向信道信号的接
收和反向信道信号的发送。在一些实施例中，主处理器340包括至少一个微处理器或微控制器。
[0056] 主处理器340还能够执行驻留在存储器360中的其它进程和程序，诸如用于生成表征视频序列的每个采样的时间失真的度量的操作。主处理器340可以按照执行过程的要求
而移动数据到存储器360中或将数据从存储器360移出。在一些实施例中，主处理器340被配置成基于OS程序361或响应于从外部设备或操作者接收的信号来执行应用程序362。主处理
器340也耦合到I/O接口345，其向客户端设备300提供连接到其它设备(诸如笔记本电脑和
掌上电脑)的能力。I/O接口345是这些配件和主控制器340之间的通信路径340。
[0057] 主处理器340也耦合到键盘350和显示单元355。客户端设备300的操作者可以使用键盘350输入数据到客户端设备300中。显示器355可能是液晶显示器或其它能够再现文本
和/或至少有限的图形(诸如来自网站)的显示器。
[0058] 存储器360耦合到主处理器340。存储器360的部分可能包括随机存取存储器(RAM)，而存储器360的另一部分可能包括闪存或其它只读存储器(ROM)。
[0059] 如在下面更详细描述的，计算系统生成帧损失时间失真(FLTD)度量，其表征视频序列的每个采样的时间失真。这可以例如用来支持具有多个QoE操作点的改进的MMT QoS描
述符。
[0060] 虽然图2和图3图解了在计算机系统中的设备的例子，但是可以对图2和图 3进行各种变化。例如，根据特定需要，图2和图3中的各个组件可以被组合，被进一步细分，或被省略，并且可以添加附加组件。作为一个特殊例子，主处理器340可被分为多个处理器，诸如一个或多个中央处理单元(CPU)和一个或多个图形处理单元(GPU)。同时，虽然图3图解了被配置成移动电话机或智能手机的客户端设备300，但是客户端设备可以被配置成作为其它类
型的移动或固定设备操作。此外，如同计算和通信网络一样，客户端设备和服务器可以有各种各样的配置，并且图2和图3不限制本公开于任何特定的客户端设备或服务器。
[0061] 图4图解了根据本公开的示例帧组(GOF)(也称为“图像组”或“GOP”)的每个帧的帧放弃引起的失真的图表。在图4中示出的图表仅仅用于图解说明。可以使用其它示例GOF的图表而不会脱离本公开的范围。
[0062] 在图4中，GOF包括15个帧的集合{f1，f2，…，f15}。所述帧的子集丢失，诸如当帧子集{f3，f4，f7}被放弃或丢失时。基于第0保持播放，用户将看到在回放时间戳{t1,t2,t3,t4,t5,t6,t7，t8，t9，…，t15}的定型的GOF{f1，f2，f2， f2、f5、f6，f6，f8，f9，…，f15}。如图4所示，横轴(x轴)代表在GOF的视频序列中的帧的帧索引k，和纵轴(y轴)代表作为放弃帧子集{f3，f4，f7}的后果而引起的帧损失时间失真(FLTD)。在回放时间戳t3引入的失真是d(f2、f3)，其是代表人类在帧差上感知到什么的函数。此外，失真在时间戳t4是d(f2，f4)，失真在时间戳t7是d(f6，f7)。FLTD函数d(fj，fk)代表在多少帧变化(即帧差)时人类感知到什么。
[0063] 时间失真的级别是内容相关的。例如，帧放弃在具有相对小的视频序列活跃性的平稳序列中将产生小级别的失真，然而帧放弃对于更活跃的视频序列将产生更大的失真。
均方误差(MSE)度量或SSIM度量并不是用于确定时间失真的好度量，因为简单的一半图像
元素(像素)全局运动偏移将导致大的MS E差，同时人感知的变化实际上非常小。REF3描述
了缩略图图像本征外观空间度量用于捕捉由人类感知到的这种失真。即本征外观空间度量
是用于表征人类感知和视觉冲击的有效度量。
[0064] 引起的FLTD是如下事件的结果：当帧fj(诸如没有被放弃的前一帧)实际显示给用户并且对应于时间戳tk的帧fk将显示给用户，除非帧fk被放弃时。对于帧fj以及fk引起的
FLTD可以是根据微分函数d(fj,fk)计算的帧差失真(FDIFF)，表达如下：
[0065] [数学式1]
[0066] d(fj，fk)＝(S·fj-S·fk)TATA(S·fj-S·fk)
[0067] 在数学式1中，S是将所述帧带入h×w缩略图的bi-cubicle平滑和下采样运算符，距离度量A是192×k的本征外观投影，其具有来自最大的k个特征值主成分的基点。例如，从在数学式1中的定标函数结合在数学式1中的投影函数计算8位的整数值。定标函数是其中
bi-cubicle平滑和下采样缩放所述帧到具有高度(h＝12)和宽(w＝16)的缩略图内。投影函
数是其中根据A度量的12×196子空间、通过本征外观投影来投影距离。
[0068] 图5图解了根据本公开的另一示例GOF的每一帧的帧放弃引起的失真的图像元素的数量(pels)的图表。在图5中所示的图表仅仅用于图解说明。可以使用其它示例GOF的图
表而不会脱离本公开的范围。
[0069] 在图5中，GOF包括10个帧的集合{f0，f1，...，f9}。所述帧的子集丢失，诸如当帧子集{f1，f2，f4，f6，f7，f9}被放弃或丢失时。在回放过程中，用户将看到在回放时间戳{t0，t1，t2，t3，t4，t5，t6，t7，t8，t9}的定型的GOF{f0， f0，f0，f3，f3，f5，f5，f5，f8，f8}。如图5中所示，上部横轴(x轴)表示原始GO F的视频序列中的帧的帧索引k和用于回放的时间戳。下部横轴表示该用户将在每个时间戳看到的帧索引j。纵轴(y轴)表示作为放弃帧子集{f1，f2，f4，f6， f7，f9}的后果发生的FLTD的图像元素的数量。在回放时间戳t1引入的失真是d (f0，f1)，这是人类在帧差上感知到什么的函数。该失真在时间戳t2是d(f0，f2)，所述失真是在时间戳t4是d(f3，f4)，以及对于时间戳t6，t7，和t9的失真等等。
[0070] 图6a-6d图解了根据本公开的来自示例视频序列的帧。在图6a-6d中，每个帧是来自在序列中的具有300个帧的段的帧。在图6a-6d中表示的视频的实施例仅仅用于图解说
明。可以使用其它实施例而不会脱离本公开的范围。
[0071] 图6a图解了来自标题为“dienbienphu”的纪录片中的视频的帧601。图6b图解了来自标题为“foreman”的纪录片中的视频的帧602。图6c图解了来自标题为“korolev”的纪录片中的视频的帧603。图6d图解了来自标题为“me-109”的纪录片中的视频的帧604。在每个示例段中的视频序列具有活动水平的不同的混合。
[0072] 图7a-7d图解了来自图6a-6d的示例视频序列的每帧的帧重要性的图表，图7e图解了根据本公开的来自图6b-6c的示例视频段的前240帧的帧重要性的图表。在图7a-7e中示
出的图表仅仅用于图解说明。可以使用其它实施例而不会脱离本公开的范围。
[0073] 帧重要性(FSIG)表征了在视频序列中的帧的相对重要性，来自帧损失的各种组合(诸如来自放弃时间层)的序列级别的视觉冲击可以从帧微分距离d (fk,fk-1)(其表示帧重
要性的表达)来估计。根据定义，帧序列{f1，f2，..fn)的帧重要性价值vk可以表示如下：
[0074] [数学式2]
[0075] vk＝d(fk，fk-1)
[0076] 在数学式2中，d(fk,fk-1)是在序列中的两个连续帧的帧差函数。它是数学式1的表示在序列中的变化率的微分函数d(fj，fk)，并且从帧的伸缩的缩略图的本征外观度量来计算。
[0077] 在图7a-7d中，帧的帧重要性由帧微分距离d(fk,fk-1)来测度。如在此所示，每个横轴代表在图6a-6d中表示的段的300个帧的帧索引k。即横轴具有帧指数域k＝{1，2，…300}。纵轴代表每一帧的重要性。尤其是，纵轴代表每一帧的微分距离d(fk,fk-1)。帧微分差d(fk,fk-1)在从0到128的范围上被量化，其中零对应于最小重要性和没有失真。帧微分差d(fk,
fk-1)提供了视频序列活跃性的良好概要。更具体地说，帧重要性(FSIG)值是示例度量，其测度对于在由于对应于时间戳tk的帧fk被放弃而紧接在前的帧fk-1实际显示给用户时的事件
的、在所述段中的一个帧及其紧接在前的帧之间的微分帧差。即，如果当前帧ft丢失，则 FSIG值是对应于时间戳t的帧(fk＝ft)的时间失真。帧fk的FSIG可以如下表示：
[0078] [数学式3]
[0079] vk＝d(fk，fk-1)＝(S·fk-S·fk-1)TATA(S·fk-S·fk-1)
[0080] 作为一个例子，在由图6b代表的段中，开始100帧对应于头部特写(talking head)，在接近帧150处，手正在挥舞，大相机平移运动发生，而在最后50 帧是静止的砖房。
因此，在开始100帧期间，每一帧比前一帧变化较少的量，如在图7b中由FSIG值所示的。在约帧150处，帧比前一帧变化较大的量，如在图7b中由线702的陡峭的向上上升和陡峭的深度
下跌所示。
[0081] 图7e图解了来自图6b的段和来自图6c的段的开始240个帧的帧重要性的图表。线702代表图6b的段的帧的帧重要性(诸如微分距离)。线703代表图6c的段的帧重要性。线703和704的对比示出了图6c的段除了大约在帧 90-97之外具有较小的视频序列活动性。图6b
的段包括比图6c的段高的水平的活动性，然而图6b的段具有较小的视频序列活动性直到大
约帧150为止(如上所述)。
[0082] 图8a-8c图解了根据本公开的对应于示例视频序列的每帧的B帧引起的时间失真。在图8a-8c中表示的图表的实施例仅仅用于图解说明。可以使用其它实施例而不会脱离本
公开的范围。
[0083] 为了符合在REF4中描述的质量相关信息格式，根据本公开实施例的 FLTD信息是基于时间重要性特征和微分帧差。即，在定型原始段以形成定型的段时，如果从GOF放弃的帧子集只包括非连续的B帧损失，则B帧损失的计算是只查找在帧损失时间戳的帧重要性概
要(如图7a-7e)的直接方法。如下参考图9和表1所述，如果从GOF放弃的帧子集只包括连续
帧损失，则实际损失可以通过对微分失真和指数衰减函数求和而从微分帧失真概要中近似
得到，如下表达。
[0084] [数学式4]
[0085]
[0086] 这里，核a反映了时间掩蔽效应并且可以从训练获得以适应不同的用户偏好，t代表显示给用户的帧的时间戳，p代表在第k帧之前的帧数，k代表将显示给用户的帧的帧索引(在相应的时间戳t＝k)，除非帧fk被放弃。
[0087] 表1示出了当其中帧{ft,ft+1,ft+3}丢失时，从微分概要来看的时间失真和近似时间失真的示例对比d(fk，fk-p)。
[0088] [表1]
[0089]
[0090] 表1：连续帧损失的失真和近似失真
[0091] 在一些实施例中，对于最近三帧的损失，加权集{1.0，0.5，0.25}代替指数衰减函数的值集{e0,e-a,e-2a}。
[0092] 图9图解了根据本公开的用于计算FLTD度量的连续损失帧的FSIG值的示例矢量图。在图9中示出的矢量图的实施例仅仅用于图解说明。可以使用其它实施例而不会脱离本公开的范围。
[0093] 如图9所示，帧{fk+1,fk+2}丢失。矢量905表示与帧(fk+2)对应的帧微分差，矢量910表示与帧(fk+1)对应的帧微分差。矢量915表示对于两个连续帧损失的情形的与帧(fk+2)对应的累积帧微分差。矢量905与矢量910相加以产生与矢量915对应的矢量和。
[0094] 可以根据各种方法计算在时间戳tk+2的时间失真，其中每个方法都有不同的精度水平。在一个例子中，在时间戳tk+2的时间失真可以使用数学式4来计算以如下表征在视频序列中的不同时间层的QoE影响。
[0095] [数学式5]
[0096] d(fk+2，fk)＝vk+2+e-avk+1，wherek＝k-p and p＝2.
[0097] 在另一例子中，可以根据与各个损失帧对应的时间失真之和来计算在时间戳tk+2的时间失真。即，FLTD可以根据下面的数学式6计算，其中vk代表第k帧的FSIG。根据数学式6计算的FLTD对应于具有由区域920表示的值的失真量(示出为在矢量910和905之下的阴影
五边多边形)。
[0098] [数学式6]
[0099] d(fk，fk+2)＝vk+2+vk+1
[0100] 在另一个例子，可以根据对应于与时间戳tk+2相关联的连续损失帧(fk+2) 和在时间戳tk+2实际显示的帧的时间失真的矢量和来计算在时间戳tk+2的时间失真。即，可以根据下面的数学式7计算FLTD，其中， 表示矢量905， 代表矢量910，d(fk，fk+2)代表矢量
915。根据数学式7计算的FLTD对应于具有由区域925表示的值的失真量(显示为在矢量915
下的阴影梯形)。
[0101] [数学式7]
[0102]
[0103] 在另一个例子，可以根据在数学式8中表达的投影函数的绝对值(诸如通过表达A(S·fj-S·fk))来定义)计算在时间戳tk+2的时间失真。这里，S是低通滤波器和下采样函数，而A是可以从QoE信息确定的距离度量。
[0104] [数学式8]
[0105] d(fj，fk)＝|A*S*fj-A*S*fk|
[0106] 使用数学式4计算的失真量非常接近人类在时间戳{tk，tk+1，tk+2}感知的失真量。通过对比，使用数学式6计算的失真量高估了人类在时间戳{tk，tk+1， tk+2}感知的失真量，其中由于帧子集{fk+1，fk+2}被放弃，所以向用户实际显示的帧是{fk，fk，fk}。通过进一步对比，使用数学式7计算的失真量比在使用数学式6时高估了较小的量。同时，区域925小于区域920，指示与数学式7 相关联的失真量小于与数学式6相关联的失真量。
[0107] 表2提供了根据本公开的携带时间失真信息的MMT提示轨道。可以通过如果帧从原始段GOP被放弃或丢失将发生的失真的量(诸如 if-loss-incurred-distortion)测度一个
帧的重要性或意义，其是帧的FSIG。根据本公开，FSIG可在使用仅八个比特的信号中来传
输，并且可以容易地融入现有的视频质量度量(VQME)方案中。例如，在REF1中描述的MMT提示轨道是包括FSIG的合适地方。更特别，关于“优先级”的字段的语义可以被重新解读为if-loss-incurred-distortion(FSIG)。if-loss-incurred-distortion可以被量化成 8位无
符号整数表示(表2示出为unsigned int(8)priority)。因此，FSIG信息在支持流传输应用
中的内容感知(content-aware)帧放弃判决中非常有用。
[0108] [表2]
[0109]
[0110] 表2：携带时间失真信息的MMT提示轨道
[0111] 表3示出了VQME框，其提供根据本公开的关于N13992的每个采样的空间质量信息。在表3中示出的VQME框包括从微分失真概要计算的 if-loss-incurred-distortion度量。
在表3中if-loss-incurred-distortion被示出为“unsigned int(8)priority”。
[0112]
[0113] 表3：携带时间失真信息的VQME框
[0114] 图10图解了根据本公开的示例帧组1000。在图10中示出的帧组1000 的实施例仅仅用于图解说明。可以使用其它帧组而不会脱离本公开的范围。
[0115] 现代视频编码工具提供B帧以促进作为适配速率约束的方式的帧放弃。选择将相同数量的B帧从不同的内容(诸如图6a-6d的不同纪录片)放弃将有不同的视觉影响，这取决
于内容本身。例如，图6b的静止的头部特写可以支持更多的帧放弃，而同时保持比更活跃的序列(诸如足球比赛)低的失真水平。
[0116] 如图10所示，帧序列1000以MPEG显示顺序示出。即，在第0回放，帧{f1，f2，f3，f4，f5、f6，f7，f8，f9}在它们各自的时间戳{t1,t2,t3,t4,t5,t6,t7,t8, t9}被显示。帧{f1，f2，f3，f4，f5，f6，f7，f8，f9}具有帧编码结构{I，B，B， B，P，B，B，B，P}。更特别的，P帧f5和B帧{f2、f3、f4}有与I帧f1的前向预测解码依赖性。如果I帧f1被放弃或丢失，则接收器将无法解码和向用户显示解码依赖帧{f2、f3、f4，f5}。因此，当网络设备定型帧序列1000时，选择放弃帧f1具有后果：放弃依赖于放弃的帧f1的子集帧{f1，f2，f3，f4，f5}，并且发送其余的帧{f1，f6，f7，f8，f9}作为定型的帧序列。用户将看到使用没有被放弃的帧的定型的序列的回放序列{f1，f1，f1，f1，f1，f6，f7，f8，f9}。作为放弃帧f1的结果而导致的失真可以由数学示1、4、6、7或8中的任何一个来表达，其中每个数学式具有代表人类的视觉感知的不同精度水平，如上所述。
[0117] 类似的结果也适用于P帧f5(B帧{f2，f3，f4}具有与其的反向预测解码依赖)和B帧{f6，f7，f8}和P帧f9(其具有前向预测解码依赖性)。同时，类似的结果也适用于P帧f9(B帧{f6，f7，f8}具有与其的反向预测解码依赖性)。因为不同的解码依赖性，不同类型的帧将有不同的视觉冲击。即放弃B帧(如帧f2和f3)的选择产生局部时间失真。
[0118] 图11图解了根据本公开的示例的分层B帧结构1100。在图11中的结构 1100的实施例仅仅用于图解说明。可以使用其它实施例而不会脱离本公开的范围。如图11所示，结构
1100包括三个GOP，每个有八个标有相应时间戳的帧。和图10相同，每个箭头表示一个解码依赖性。例如，箭头1105表示其中帧1110(f1)依赖于帧1115帧(f0)的前向预测解码关系。帧
1116–1130中的每一个具有与紧接在前的帧和紧接在后的帧的解码依赖性。
[0119] 图12图解了根据本公开的与图7b中的视频序列的时间失真的图表。该图表包括横轴上的帧索引k和纵轴上的失真量。图表1201示出B帧放弃引起的失真。图表1202示出了指
示I帧引起的失真的垂直线1205，并且也示出与具有与I帧的解码依赖性的帧的失真。
[0120] 如在下面更具体描述的，QoE操作点描述符可以被添加到MMT ADC中以使得能够进行对于给定QoS的单个流QoE优化和在瓶颈处的多个流QoE 优化两者的具有不同时空失真
级别的多QoS业务定型。对于流传输视频应用，视频编码工具在多个速率失真(R-D)点执行
操作流的流传输时间适应(诸如分组或MFU放弃的某些组合)，其将导致不同的失真结果。
[0121] 图13a-13c图解了根据本公开的与放弃图6a-6c中的视频序列的B帧相关联的帧速率降低的图表。该图表包括横轴上的帧索引k和纵轴上的每帧的比特率速率降低量r(k)。根据序列编码，B帧可以占视频序列中的比特速率的 20-40％。
[0122] 图14a-14c图解了根据本公开的作为与放弃在图6a-6c中的视频序列的B 帧相关联的帧速率降低的函数的示例失真的图表。在图14a-14c中的图表被称为R-D曲线，其用于
近似梯度搜索中的最优R-D点。梯度搜索包括根据FLTD与帧速率降低的比例来分类帧。因
此，没有必要为每个操作点生成信号。
[0123] 表4和表5提供了根据本公开修改的MMT ADC以包括速率降低的操作点和每个速率降低的操作点的QoE描述符的语法。表4提供了添加到MMT ADC中的操作点特征。表4中所示
的MMT ADC包括：多个操作点，利用被表示为“operationPointQuality”的相应QoE操作参数来指定；在“sampleGroupIndex”中指定的相关联MFU和由“operationPointBitrate”表示的产生的比特率。
[0124] [表4]
[0125]
[0126] 表4：包括操作点特征的MMT ADC
[0127] 表5提供了包括图4的操作点特征的MMT ADC的语法。
[0128] [表5]
[0129]
[0130] 表5：被修改以包含R-D操作点的MMT ADC语法
[0131] ADC描述了相同内容的多个资产，其可以被MMT发送实体用来选择合适的编码或在适当的时候执行位流切换。ADC连接到多个资产，其目的是作为彼此的替代。
[0132] 当视频质量随时间波动时，对位流特征的精确描述并不适用于资产的整个持续时间。根据本公开修改的ADC使用时间段来提供位流描述。时间段通过在资产内的相应开始时间和持续时间来描述。
[0133] 根据编码结构，可以根据部分传递来发送媒体数据，其中仅仅媒体数据的部分被递送给MMT接收设备(诸如用户设备)以便调整传输速率到可用信道带宽。使用在ISOBMFF文
件中的采样分组机制，特定操作点的媒体采样被分组到一起。当在特定操作点上操作时，每个采样组可与期望的质量的指示相关联。期望质量的指示可以被提供作为在所选择操作点
上操作时的得到的质量降低。sampleGroupIndex(采样组索引)携带来自对应于所描述的操
作点的“sbgp”框的group_description_index(组描述索引)。
[0134] 图15图解了根据本公开的用于在计算机网络中提供媒体内容的示例流程1500。在图15中示出的处理1500的实施例仅仅用于图解说明。可以使用其它实施例而不会脱离本公
开的范围。例如，处理1500可以由在实时流传输应用中发送视频序列的客户端设备执行。作为另一例子，处理1500可以由在非实时流传输应用中发送视频序列的服务器或服务器-路
由器执行。
[0135] 在块1505，该过程包括存储媒体内容。媒体内容包括至少一个段，其中每段至少有一个帧组。每一段可以存储在存储单元中。在块1510，该过程包括：确定到客户端设备的业务的传输速率。例如，客户端设备可以指示客户端设备能够以其在通信链路上接收数据的比特率。发送媒体内容的网络设备可以基于来自接收端设备的指示来确定传输速率。
[0136] 在块1515，该过程包括：基于下列从帧组中选择要放弃的帧子集(i)传输速率和(ii)在所述帧子集中的每个帧的FLTD度量。传输速率指示段的比特率将被降低至的比特
率。即，目标比特率降低量可被计算为在所述段的比特率和传输速率之间的差。对于要首先放弃的帧子集可以选择具有低FLTD度量的帧直到所述子集的帧速率降低之和上升到至少
目标比特率降低量为止。
[0137] 在块1520中，该过程包括：通过从帧组中放弃所选择的帧子集来定型所述段，其中经定型的段具有比所述段低的比特率。在块1525，该过程包括向接收客户端设备发送经定型的段。
[0138] 图16图解了根据本公开的从帧组中选择要放弃的帧的子集的示例过程 1515。在图16中所示的处理1515的实施例仅仅用来图解说明。可以使用其它实施例而不会脱离本公
开的范围。
[0139] 在块1605中，处理1515包括：计算一个段的每个帧的FLTD度量。例如，FLTD可以使用数学式1、4、6、7或8来计算。在块1610中，这个过程包括使用GOP中的帧的微分重要性来确定在段中的序列活动水平。例如，每一帧的帧重要性指示在段中的序列活动水平。在1610块，可以使用帧差函数计算FSIG值。在1615块，这个过程包括选择具有小于阈值失真水平的FLTD 度量的帧和/或具有小于阈值重要性水平的FSIG值的帧。
[0140] 尽管上述附图已描述各种系统、设备和方法，但是可以对所述附图进行各种变化。例如，各种设备和系统的设计可以根据需要改变或需要，例如当设备或系统的组件被结合，进一步细分，重新安排，或省略和添加附加组件时。作为另一个例子，虽然各种方法被示出为一系列步骤，但是在每个方法中的各种步骤可以重叠，并行发生，以不同顺序发生，或发生任何次数。此外，各种图仅仅用于图解说明，并且可以使用具有其它特性的内容。
[0141] 虽然已利用示范性实施例描述了本公开，但是可以向本领域技术人员暗示各种变化和修改。期望本公开包括落在所附权利要求的范围内的这样的变化和修改。
