一种评估视频体验质量的方法及装置转让专利

申请号 : CN201710141023.8

文献号 : CN108574840B

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : 江亮亮陈现迎柳亮亮

申请人 : 华为技术有限公司

摘要 :

本申请涉及通信技术领域,公开了一种评估视频体验质量的方法及装置,用以实现收端设备评估从发端设备到收端设备的视频业务体验质量。该方法为:收端设备接收控制网元发送的上行视频损伤参数,所述上行视频损伤参数用于表征发端设备发送到所述控制网元的上行视频数据的质量损伤程度;所述收端设备基于所述上行视频损伤参数和下行视频损伤参数,评估从所述发端设备到所述收端设备的视频体验质量,其中,所述下行视频损伤参数用于表征所述控制网元发送到所述收端设备的下行视频数据的质量损伤程度。

权利要求 :

1.一种评估视频体验质量的方法,其特征在于,包括:

收端设备接收控制网元发送的上行视频损伤参数,所述上行视频损伤参数用于表征发端设备发送到所述控制网元的上行视频数据的质量损伤程度;

所述收端设备基于所述上行视频损伤参数和下行视频损伤参数,评估从所述发端设备到所述收端设备的视频体验质量,其中,所述下行视频损伤参数用于表征所述控制网元发送到所述收端设备的下行视频数据的质量损伤程度;

所述上行视频损伤参数包括视频质量衰减因子和上行链路的传输时延,所述上行链路为所述发端设备到所述控制网元之间的传输链路;所述下行视频损伤参数包括下行链路的视频源质量、互动体验质量和下行链路的传输时延,所述下行链路为所述控制网元到所述收端设备之间的传输链路;

所述收端设备基于所述上行视频损伤参数和所述下行视频损伤参数,评估从所述发端设备到所述收端设备的视频体验质量,包括:所述收端设备结合所述下行链路的视频源质量与所述视频质量衰减因子,确定从所述发端设备到所述收端设备的视频源质量;

所述收端设备结合所述上行链路的传输时延和所述下行链路的传输时延,确定从所述发端设备到所述收端设备的传输时延,并根据确定的从所述发端设备到所述收端设备的传输时延确定观看体验质量;

所述收端设备根据确定的从所述发端设备到所述收端设备的视频源质量、所述互动体验质量和所述观看体验质量,确定从所述发端设备到所述收端设备的视频体验质量。

2.如权利要求1所述的方法,其特征在于,所述视频质量衰减因子符合以下公式:其中,F为所述视频质量衰减因子,所述sQualityc为所述上行链路的视频源质量,所述sQualityo为所述发端设备的视频源数据在未经视频编码损伤时的参考视频源质量;

所述收端设备结合所述下行链路的视频源质量与所述视频质量衰减因子,确定从所述发端设备到所述收端设备的视频源质量,包括:所述收端设备将所述下行链路的视频源质量与所述视频质量衰减因子相乘,将所得乘积确定为从所述发端设备到所述收端设备的视频源质量。

3.如权利要求1或2所述的方法,其特征在于,所述收端设备结合所述上行链路的传输时延和所述下行链路的传输时延,确定从所述发端设备到所述收端设备的传输时延,包括:所述收端设备将所述上行链路的传输时延与所述下行链路的传输时延相加,将所得之和确定为从所述发端设备到所述收端设备的传输时延。

4.如权利要求1或2所述的方法,其特征在于,所述发端设备包括第一发端设备和第二发端设备,所述上行视频数据包括第一上行视频数据和第二上行视频数据,所述控制网元为级联模式中的下级控制网元,所述下级控制网元与上级控制网元相连;

所述收端设备接收控制网元发送的上行视频损伤参数,包括:

所述收端设备接收所述下级控制网元发送的上行视频损伤参数,所述上行视频损伤参数由第一上行视频损伤参数和第二上行视频损伤参数所确定;其中,所述第一上行视频损伤参数用于表征所述第一发端设备发送到所述下级控制网元的第一上行视频数据的质量损伤程度,所述第二上行视频损伤参数用于表征所述第二发端设备经由所述上级控制网元发送到所述下级控制网元的第二上行视频数据的质量损伤程度。

5.一种评估视频体验质量的方法,其特征在于,包括:

控制网元接收发端设备发送的上行视频数据,并获取上行视频损伤参数,所述上行视频损伤参数用于表征所述上行视频数据的质量损伤程度;

所述控制网元将所述上行视频损伤参数发送给收端设备,用于所述收端设备评估从所述发端设备到所述收端设备的视频体验质量;

所述上行视频损伤参数包括视频质量衰减因子和上行链路的传输时延,所述上行链路为所述发端设备到所述控制网元之间的传输链路;

所述控制网元获取上行视频损伤参数,包括:

所述控制网元获取上行链路的视频源质量sQualityc以及所述上行视频数据的分辨率;

所述控制网元根据分辨率与参考视频源质量之间的对应关系,确定所述上行视频数据的分辨率相对应的参考视频源质量sQualityo,所述参考视频源质量表征所述发端设备的视频源数据在未经视频编码损伤时的质量;

所述控制网元根据以下公式计算视频质量衰减因子F:

所述控制网元根据所述上行视频数据,获取上行链路的传输时延。

6.如权利要求5所述的方法,其特征在于,所述方法还包括:

若所述发端设备的数量为一个,则所述上行视频损伤参数包括所述一个发端设备的视频质量衰减因子和所述一个发端设备与所述控制网元之间的一个上行链路的传输时延;且所述控制网元获取上行视频损伤参数,包括:所述控制网元根据所述一个发端设备发送的上行视频数据,获取所述一个发端设备与所述控制网元之间的上行链路的视频源质量sQualityc,以及获取所述上行视频数据的分辨率;

所述控制网元根据分辨率与参考视频源质量之间的对应关系,确定所述上行视频数据的分辨率相对应的参考视频源质量sQualityo,所述参考视频源质量表征所述发端设备的视频源数据在未经视频编码损伤时的质量;

所述控制网元根据以下公式计算视频质量衰减因子F:

所述控制网元根据所述上行视频数据,获取所述一个发端设备与所述控制网元之间的上行链路的传输时延。

7.如权利要求5所述的方法,其特征在于,所述方法还包括:

若所述发端设备的数量为至少两个,则所述上行视频损伤参数包括:所述至少两个发端设备发送的至少两路上行视频数据的视频质量衰减因子平均值,和所述至少两个发端设备与所述控制网元之间的至少两路上行链路的传输时延的最大值;

所述控制网元获取上行视频损伤参数,包括:

所述控制网元根据所述至少两个发端设备发送的至少两路上行视频数据,分别获取所述至少两个发端设备与所述控制网元之间的至少两路上行链路的视频源质量sQualityc,以及分别获取所述至少两路上行视频数据的分辨率;

所述控制网元根据分辨率与参考视频源质量之间的对应关系,确定各路上行视频数据的分辨率分别相对应的参考视频源质量sQualityo;

所述控制网元根据以下公式计算各路上行视频数据的视频质量衰减因子F:获得至少两个F,计算所述至少两个F的平均值

所述控制网元根据所述上行视频数据,分别获取至少两路上行链路的传输时延,并确定所述至少两路上行链路的传输时延的最大值。

8.如权利要求5或7所述的方法,其特征在于,所述发端设备包括第一发端设备和第二发端设备,所述上行视频数据包括第一上行视频数据和第二上行视频数据,所述控制网元为级联模式中的下级控制网元,所述下级控制网元与上级控制网元相连;

所述控制网元接收发端设备发送的上行视频数据,包括:

所述下级控制网元接收所述第一发端设备发送的所述第一上行视频数据;以及所述下级控制网元通过所述上级控制网元接收所述第二发端设备发送的所述第二上行视频数据;

相应的,所述控制网元获取上行视频损伤参数,包括:

所述下级控制网元根据第一上行视频数据,获取第一上行视频损伤参数,所述第一上行视频损伤参数用于表征所述第一上行视频数据的质量损伤程度;以及所述下级控制网元接收所述上级控制网元发送的上级上行视频损伤参数,所述上级上行视频损伤参数用于表征所述第二发端设备到所述上级控制网元的上级上行视频数据的质量损伤程度;所述下级控制网元基于所述上级上行视频损伤参数和上下级上行视频损伤参数,计算所述第二上行视频损伤参数,所述上下级上行视频损伤参数用于表征所述上级控制网元到所述下级控制网元的上下级上行视频数据的质量损伤程度,所述第二上行视频损伤参数用于表征所述第二上行视频数据的质量损伤程度;

所述下级控制网元根据所述第一上行视频损伤参数和所述第二上行视频损伤参数确定所述上行视频损伤参数。

9.一种评估视频体验质量的装置,其特征在于,包括:

接收单元,用于接收控制网元发送的上行视频损伤参数,所述上行视频损伤参数用于表征发端设备发送到所述控制网元的上行视频数据的质量损伤程度;

处理单元,用于基于所述接收单元所接收的所述上行视频损伤参数和下行视频损伤参数,评估从所述发端设备到所述装置的视频体验质量,其中,所述下行视频损伤参数用于表征所述控制网元发送到所述装置的下行视频数据的质量损伤程度;

所述上行视频损伤参数包括视频质量衰减因子和上行链路的传输时延,所述上行链路为所述发端设备到所述控制网元之间的传输链路;所述下行视频损伤参数包括下行链路的视频源质量、互动体验质量和下行链路的传输时延,所述下行链路为所述控制网元到所述装置之间的传输链路;

所述处理单元具体用于:

结合所述下行链路的视频源质量与所述视频质量衰减因子,确定从所述发端设备到所述装置的视频源质量;

结合所述上行链路的传输时延和所述下行链路的传输时延,确定从所述发端设备到所述装置的传输时延,并根据确定的从所述发端设备到所述装置的传输时延确定观看体验质量;

根据确定的从所述发端设备到所述装置的视频源质量、所述互动体验质量和所述观看体验质量,确定从所述发端设备到所述装置的视频体验质量。

10.如权利要求9所述的装置,其特征在于,所述视频质量衰减因子符合以下公式:其中,F为所述视频质量衰减因子,所述sQualityc为所述上行链路的视频源质量,所述sQualityo为所述发端设备的视频源数据在未经视频编码损伤时的参考视频源质量;

所述处理单元用于确定从所述发端设备到所述装置的视频源质量,具体包括:将所述下行链路的视频源质量与所述视频质量衰减因子相乘,将所得乘积确定为从所述发端设备到所述装置的视频源质量。

11.如权利要求9或10所述的装置,其特征在于,所述处理单元用于确定从所述发端设备到所述装置的传输时延,具体包括:将所述上行链路的传输时延与所述下行链路的传输时延相加,将所得之和确定为从所述发端设备到所述装置的传输时延。

12.如权利要求9或10所述的装置,其特征在于,所述发端设备包括第一发端设备和第二发端设备,所述上行视频数据包括第一上行视频数据和第二上行视频数据,所述控制网元为级联模式中的下级控制网元,所述下级控制网元与上级控制网元相连;

所述接收单元,具体用于:

接收所述下级控制网元发送的上行视频损伤参数,所述上行视频损伤参数由第一上行视频损伤参数和第二上行视频损伤参数所确定,所述第一上行视频损伤参数用于表征所述第一发端设备发送到所述下级控制网元的第一上行视频数据的质量损伤程度,所述第二上行视频损伤参数用于表征所述第二发端设备经由所述上级控制网元发送到所述下级控制网元的第二上行视频数据的质量损伤程度。

13.一种评估视频体验质量的装置,其特征在于,包括:

接收单元,用于接收发端设备发送的上行视频数据;

处理单元,用于获取上行视频损伤参数,所述上行视频损伤参数用于表征所述上行视频数据的质量损伤程度;

发送单元,用于将所述处理单元获取的上行视频损伤参数发送给收端设备,用于所述收端设备评估从所述发端设备到所述收端设备的视频体验质量;

所述上行视频损伤参数包括视频质量衰减因子和上行链路的传输时延,所述上行链路为所述发端设备到所述装置之间的传输链路;

所述处理单元具体用于:

获取上行链路的视频源质量sQualityc以及所述上行视频数据的分辨率;

根据分辨率与参考视频源质量之间的对应关系,确定所述上行视频数据的分辨率相对应的参考视频源质量sQualityo,所述参考视频源质量表征所述发端设备的视频源数据在未经视频编码损伤时的质量;

根据以下公式计算视频质量衰减因子F:

根据所述上行视频数据,获取上行链路的传输时延。

14.如权利要求13所述的装置,其特征在于,

若所述发端设备的数量为一个,则所述上行视频损伤参数包括所述一个发端设备的视频质量衰减因子和所述一个发端设备与所述装置之间的一个上行链路的传输时延;且所述处理单元具体用于:根据所述一个发端设备发送的上行视频数据,获取所述一个发端设备与所述装置之间的上行链路的视频源质量sQualityc,以及获取所述上行视频数据的分辨率;

根据分辨率与参考视频源质量之间的对应关系,确定所述上行视频数据的分辨率相对应的参考视频源质量sQualityo,所述参考视频源质量表征所述发端设备的视频源数据在未经视频编码损伤时的质量;

根据以下公式计算视频质量衰减因子F:

根据所述上行视频数据,获取所述一个发端设备与所述装置之间的上行链路的传输时延。

15.如权利要求13所述的装置,其特征在于,

若所述发端设备的数量为至少两个,则所述上行视频损伤参数包括:所述至少两个发端设备发送的至少两路上行视频数据的视频质量衰减因子平均值,和所述至少两个发端设备与所述装置之间的至少两路上行链路的传输时延的最大值;

所述处理单元具体用于:

根据所述至少两个发端设备发送的至少两路上行视频数据,分别获取所述至少两个发端设备与所述装置之间的至少两路上行链路的视频源质量sQualityc,以及分别获取所述至少两路上行视频数据的分辨率;

根据分辨率与参考视频源质量之间的对应关系,确定各路上行视频数据的分辨率分别相对应的参考视频源质量sQualityo;

根据以下公式计算各路上行视频数据的视频质量衰减因子F: 获得至少两个F,计算所述至少两个F的平均值

根据所述上行视频数据,分别获取至少两路上行链路的传输时延,并确定所述至少两路上行链路的传输时延的最大值。

16.如权利要求13或15所述的装置,其特征在于,所述发端设备包括第一发端设备和第二发端设备,所述上行视频数据包括第一上行视频数据和第二上行视频数据,所述装置为级联模式中的下级控制网元,所述下级控制网元与上级控制网元相连;

所述接收单元具体用于:接收所述第一发端设备发送的所述第一上行视频数据;接收所述上级控制网元发送的上级上行视频损伤参数,所述上级上行视频损伤参数用于表征所述第二发端设备到所述上级控制网元的上级上行视频数据的质量损伤程度;

所述发送单元具体用于:通过所述上级控制网元接收所述第二发端设备发送的所述第二上行视频数据;

所述处理单元具体用于:根据第一上行视频数据,获取第一上行视频损伤参数,所述第一上行视频损伤参数用于表征所述第一上行视频数据的质量损伤程度;基于所述上级上行视频损伤参数和上下级上行视频损伤参数,计算所述第二上行视频损伤参数,所述上下级上行视频损伤参数用于表征所述上级控制网元到所述下级控制网元的上下级上行视频数据的质量损伤程度,所述第二上行视频损伤参数用于表征所述第二上行视频数据的质量损伤程度;以及,根据所述第一上行视频损伤参数和所述第二上行视频损伤参数确定所述上行视频损伤参数。

说明书 :

一种评估视频体验质量的方法及装置

技术领域

[0001] 本申请实施例涉及通信技术领域,尤其涉及一种评估视频体验质量的方法及装置。

背景技术

[0002] 随着通信技术的发展,用户对视频业务的需求量日益增长,提升视频业务体验质量成为业界关注的重点。目前,业界提出了一些衡量视频业务体验质量的方案,通过测量一些影响视频业务体验质量的影响因子,评估出视频体验质量。业界较常采用视频平均主观评分(video Mean Opinion Score,vMOS)来表征视频体验质量,运营商通过提升vMOS这个指标来提高视频业务体验质量。
[0003] 在视频会议应用场景中,当与会的会场多于2个时,需要经过多点控制单元(Multipoint Control Unit,MCU)来进行控制,所有与会会场的终端都要通过标准接口连接到MCU。各个与会会场的终端通过MCU进行视频混合或切换。现有技术中,对于视频会议系统中视频体验质量的评估方法是:在视频会议系统的收端设备中集成用于评估视频体验质量的功能模块,该功能模块在视频会议进行过程中周期性地计算视频体验质量。
[0004] 在具有MCU的视频会议应用场景中,至少一路上行视频数据经过发端设备到MCU之间的上行链路到达MCU,MCU进行视频混合或切换后,通过MCU与收端设备之间的下行链路向收端设备发送下行视频数据。由于MCU在进行视频混合或切换时需要进行转码操作,而收端设备集成的该功能模块只能度量下行链路中影响视频业务体验质量的影响因子,从而导致收端设备集成的该功能模块所评估的视频体验质量并不能准确地反映从发端设备到收端设备的真实的视频体验质量。

发明内容

[0005] 本申请实施例提供一种评估视频体验质量的方法及装置,用以解决现有方法无法准确评估从发端设备到收端设备的真实的视频体验质量的问题。
[0006] 本申请实施例提供的具体技术方案如下:
[0007] 第一方面,提供一种评估视频体验质量的方法,收端设备接收控制网元发送的上行视频损伤参数,并基于所述上行视频损伤参数和下行视频损伤参数,评估从所述发端设备到所述收端设备的视频体验质量,其中,所述上行视频损伤参数用于表征发端设备发送到所述控制网元的上行视频数据的质量损伤程度,所述下行视频损伤参数用于表征所述控制网元发送到所述收端设备的下行视频数据的质量损伤程度。这样,可以综合上行链路和下行链路的视频损伤参数,正确评估从发端设备到收端设备的端到端的视频体验质量,提高视频通信系统中视频体验质量评估的准确性,以便于及时调整从而保障用户的视频通信体验。
[0008] 在一个可能的设计中,所述上行视频损伤参数包括视频质量衰减因子和上行链路传输时延,所述下行视频损伤参数包括下行链路的视频源质量、互动体验质量和下行链路的传输时延,其中,所述上行链路为所述发端设备到所述控制网元之间的传输链路,所述下行链路为所述控制网元到所述收端设备之间的传输链路。所述收端设备具体可通过以下方法来评估从所述发端设备到所述收端设备的视频体验质量:所述收端设备结合所述下行链路的视频源质量与所述视频质量衰减因子,确定从所述发端设备到所述收端设备的视频源质量,结合所述上行链路的传输时延和所述下行链路的传输时延,确定从所述发端设备到所述收端设备的传输时延,并根据确定的从所述发端设备到所述收端设备的传输时延确定观看体验质量,根据确定的从所述发端设备到所述收端设备的视频源质量、所述互动体验质量和所述观看体验质量,确定从所述发端设备到所述收端设备的视频体验质量。可选的,所述收端设备还可结合其他的更多的上行视频损伤参数和下行视频损伤参数来评估从所述发端设备到所述收端设备的视频体验质量,以上仅是一种示例。
[0009] 在一个可能的设计中,所述视频质量衰减因子符合以下公式: 其中,F为所述视频质量衰减因子,所述sQualityc为所述上行链路的视频源质量,所述sQualityo为所述发端设备的视频源数据在未经视频编码损伤时的参考视频源质量;一种可能的实施方式中,所述收端设备将所述下行链路的视频源质量与所述视频质量衰减因子相乘,将所得乘积确定为从所述发端设备到所述收端设备的视频源质量。
[0010] 在一个可能的设计中,所述收端设备将所述上行链路的传输时延与所述下行链路的传输时延相加,将所得之和确定为从所述发端设备到所述收端设备的传输时延。
[0011] 在一个可能的设计中,所述发端设备包括第一发端设备和第二发端设备,所述上行视频数据包括第一上行视频数据和第二上行视频数据,所述控制网元为级联模式中的下级控制网元,所述下级控制网元与上级控制网元相连;所述收端设备接收所述下级控制网元发送的上行视频损伤参数,所述上行视频损伤参数由第一上行视频损伤参数和第二上行视频损伤参数所确定,所述第一上行视频损伤参数用于表征所述第一发端设备发送到所述下级控制网元的第一上行视频数据的质量损伤程度,所述第二上行视频损伤参数用于表征所述第二发端设备经由所述上级控制网元发送到所述下级控制网元的第二上行视频数据的质量损伤程度。可选的,所述级联模式中可以包括至少两个上级控制网元,也可使用上述方法。其中,每一级控制网元获取当前控制网元与上一个网元之间的视频损伤参数,其中,该上一个网元可以为当前控制网元的上级控制网元,也可以为与当前控制网元连接的终端,当前控制网元综合各个视频损伤参数,将综合后的视频损伤参数发送到下一级控制网元或者收端设备,最终使得收端设备能够综合上行链路和下行链路的视频损伤参数,评估从发端设备到收端设备的视频体验质量。
[0012] 第二方面,提供一种评估视频体验质量的方法,控制网元接收发端设备发送的上行视频数据,并获取上行视频损伤参数,将所述上行视频损伤参数发送给收端设备,用于所述收端设备评估从所述发端设备到所述收端设备的视频体验质量,其中,所述上行视频损伤参数用于表征所述上行视频数据的质量损伤程度。这样,可以使得收端设备综合上行链路和下行链路的视频损伤参数,正确评估从发端设备到收端设备的端到端的视频体验质量,提高视频通信系统中视频体验质量评估的准确性,以便于及时调整从而保障用户的视频通信体验。
[0013] 在一个可能的设计中,所述上行视频损伤参数包括视频质量衰减因子和上行链路传输时延,所述上行链路为所述发端设备到所述控制网元之间的传输链路,所述控制网元获取上行链路的视频源质量sQualityc以及所述上行视频数据的分辨率,所述控制网元根据分辨率与参考视频源质量之间的对应关系,确定所述上行视频数据的分辨率相对应的参考视频源质量sQualityo,所述参考视频源质量表征所述发端设备的视频源数据在未经视频编码损伤时的质量,所述控制网元根据以下公式计算视频质量衰减因子F:所述控制网元根据所述上行视频数据,获取上行链路传输时延。
[0014] 在一个可能的设计中,若所述发端设备的数量为一个,则所述上行视频损伤参数包括所述一个发端设备的视频质量衰减因子和所述一个发端设备与所述控制网元之间的一个上行链路的传输时延;且所述控制网元根据所述一个发端设备发送的上行视频数据,获取所述一个发端设备与所述控制网元之间的上行链路的视频源质量sQualityc,以及获取所述上行视频数据的分辨率;所述控制网元根据分辨率与参考视频源质量之间的对应关系,确定所述上行视频数据的分辨率相对应的参考视频源质量sQualityo,所述参考视频源质量表征所述发端设备的视频源数据在未经视频编码损伤时的质量;所述控制网元根据以下公式计算视频质量衰减因子F: 所述控制网元根据所述上行视频数据,获取所述一个发端设备与所述控制网元之间的上行链路传输时延。
[0015] 在一个可能的设计中,若所述发端设备的数量为至少两个,则所述上行视频损伤参数包括:所述至少两个发端设备发送的至少两路上行视频数据的视频质量衰减因子平均值,和所述至少两个发端设备与所述控制网元之间的至少两路上行链路的传输时延的最大值。所述控制网元根据所述至少两个发端设备发送的至少两路上行视频数据,分别获取所述至少两个发端设备与所述控制网元之间的至少两路上行链路的视频源质量sQualityc,以及分别获取所述至少两路上行视频数据的分辨率;所述控制网元根据分辨率与参考视频源质量之间的对应关系,确定各路上行视频数据的分辨率分别相对应的参考视频源质量sQualityo;所述控制网元根据以下公式计算各路上行视频数据的视频质量衰减因子F:获得至少两个F,计算所述至少两个F的平均值 所述控制网元根据所述上
行视频数据,分别获取至少两路上行链路的传输时延,并确定所述至少两路上行链路的传输时延的最大值。
[0016] 在一个可能的设计中,所述发端设备包括第一发端设备和第二发端设备,所述上行视频数据包括第一上行视频数据和第二上行视频数据,所述控制网元为级联模式中的下级控制网元,所述下级控制网元与上级控制网元相连;所述下级控制网元接收所述第一发端设备发送的所述第一上行视频数据,以及通过所述上级控制网元接收所述第二发端设备发送的所述第二上行视频数据。所述下级控制网元根据第一上行视频数据,获取第一上行视频损伤参数,所述第一上行视频损伤参数用于表征所述第一上行视频数据的质量损伤程度;以及接收所述上级控制网元发送的上级上行视频损伤参数,所述上级上行视频损伤参数用于表征所述第二发端设备到所述上级控制网元的上级上行视频数据的质量损伤程度;所述下级控制网元基于所述上级上行视频损伤参数和上下级上行视频损伤参数,计算所述第二上行视频损伤参数,所述上下级上行视频损伤参数用于表征所述上级控制网元到所述下级控制网元的上下级上行视频数据的质量损伤程度,所述第二上行视频损伤参数用于表征所述第二上行视频数据的质量损伤程度;所述下级控制网元根据所述第一上行视频损伤参数和所述第二上行视频损伤参数确定所述上行视频损伤参数。
[0017] 第三方面,提供一种评估视频体验质量的装置,该装置具有实现上述第一方面和第一方面的任一种可能的实施方式中收端设备行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
[0018] 第四方面,提供一种评估视频体验质量的装置,该装置具有实现上述第二方面和第二方面的任一种可能的实施方式中控制网元行为的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
[0019] 第五方面,提供一种评估视频体验质量的装置,该装置包括收发器,处理器,存储器,所述处理器以及存储器之间通过总线系统相连,所述处理器用于执行所述存储器中的代码,当所述代码被执行时,该执行使得处理器执行第一方面或第一方面的任一可能的实施方式中的方法。
[0020] 第六方面,提供一种评估视频体验质量的装置,该装置包括收发器,处理器,存储器,所述处理器以及存储器之间通过总线系统相连,所述处理器用于执行所述存储器中的代码,当所述代码被执行时,该执行使得处理器执行第二方面或第二方面的任一可能的实施方式中的方法。
[0021] 第七方面,提供了一种评估视频体验质量的系统,该系统包括第三方面或第五方面所述的装置,和第四方面或第六方面所述的装置。
[0022] 第八方面,提供了一种计算机存储介质,用于存储计算机程序,该计算机程序包括用于执行第一方面、第二方面、第一方面的任一可能的实施方式或第二方面的任一可能的实施方式中的方法的指令。
[0023] 第九方面,本发明实施例提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。

附图说明

[0024] 图1为本申请实施例中评估视频体验质量的系统架构示意图;
[0025] 图2为本申请实施例中评估视频体验质量的方法流程示意图;
[0026] 图3为本申请实施例中级联模式架构示意图;
[0027] 图4为本申请实施例中视频会议系统架构示意图;
[0028] 图5为本申请实施例中场景一的评估视频体验质量的方法示意图;
[0029] 图6为本申请实施例中场景二的评估视频体验质量的方法示意图;
[0030] 图7为本申请实施例中场景三的评估视频体验质量的方法示意图;
[0031] 图8为本申请实施例中评估视频体验质量的信令流程和执行方法示意图之一;
[0032] 图9为本申请实施例中评估视频体验质量的信令流程和执行方法示意图之二;
[0033] 图10~图13为本申请实施例中评估视频体验质量的装置结构示意图。

具体实施方式

[0034] 下面将结合附图,对本申请实施例进行详细描述。
[0035] 如图1所示,本申请实施例中,评估视频体验质量的系统100中至少包括控制网元101和发端设备102和收端设备103。发端设备102通过上行链路向控制网元101发送上行视频数据,上行链路为发端设备102到控制网元101之间的传输链路。控制网元101通过下行链路向收端设备103发送下行视频数据,下行链路为控制网元101到收端设备103之间的传输链路。本申请实施例中,控制网元101和收端设备103中均集成了具有视频体验质量评估功能的模块,该模块可用于根据接收到的视频数据评估视频体验质量。
[0036] 基于图1所示的评估视频体验质量的系统100,如图2所示,本申请实施例中,评估视频体验质量的方法具有以下流程。
[0037] 步骤201、发端设备发送上行视频数据给控制网元,控制网元接收发端设备发送的上行视频数据。
[0038] 步骤202、控制网元根据接收到的上行视频数据,获取上行视频损伤参数。
[0039] 其中,上行视频损伤参数用于表征上行视频数据的质量损伤程度。上行视频损伤参数包括视频质量衰减因子和上行链路传输时延。
[0040] 步骤203、控制网元将上行视频损伤参数发送给收端设备,收端设备接收控制网元发送的上行视频损伤参数。
[0041] 步骤204、收端设备基于上行视频损伤参数和下行视频损伤参数,评估从发端设备到收端设备的视频体验质量。
[0042] 其中,下行视频损伤参数用于表征控制网元发送到收端设备的下行视频数据的质量损伤程度。下行视频损伤参数包括下行链路的视频源质量、互动体验质量和下行链路的传输时延。
[0043] 具体来说,视频质量衰减因子符合以下公式:
[0044] 其中,F为视频质量衰减因子,sQualityc为上行链路的视频源质量,sQualityo为发端设备的视频源数据在未经视频编码损伤时的参考视频源质量。
[0045] 在步骤201中,控制网元根据上行视频数据,获取上行链路传输时延;
[0046] 控制网元获取上行视频损伤参数,具体需要获取上行视频损伤参数中的视频质量衰减因子F和上行链路传输时延。其中:
[0047] 控制网元获取上行链路的视频源质量sQualityc以及上行视频数据的分辨率,根据分辨率与参考视频源质量之间的对应关系,确定上行视频数据的分辨率相对应的参考视频源质量sQualityo,再根据公式 计算视频质量衰减因子F。
[0048] 这里需要说明的是,发端设备的数量可能为一个或者至少两个。
[0049] 若发端设备的数量为一个,则上行视频损伤参数包括这一个发端设备的视频质量衰减因子和这一个发端设备与控制网元之间的一个上行链路的传输时延。控制网元根据上行视频数据,获取一个发端设备与控制网元之间的上行链路传输时延;并且控制网元根据这一个发端设备发送的上行视频数据,获取这一个发端设备与控制网元之间的上行链路的视频源质量sQualityc,以及获取上行视频数据的分辨率。控制网元根据分辨率与参考视频源质量之间的对应关系,确定上行视频数据的分辨率相对应的参考视频源质量sQualityo。控制网元根据公式 计算视频质量衰减因子F。
[0050] 若发端设备的数量为至少两个,则上行视频损伤参数包括:至少两个发端设备发送的至少两路上行视频数据的视频质量衰减因子平均值,和至少两个发端设备与控制网元之间的至少两路上行链路的传输时延的最大值。控制网元根据上行视频数据,分别获取至少两路上行链路的传输时延,并确定至少两路上行链路的传输时延的最大值;并且控制网元根据该至少两个发端设备发送的至少两路上行视频数据,分别获取该至少两个发端设备与控制网元之间的至少两路上行链路的视频源质量sQualityc,以及分别获取至少两路上行视频数据的分辨率,控制网元根据分辨率与参考视频源质量之间的对应关系,确定各路上行视频数据的分辨率分别相对应的参考视频源质量sQualityo,再根据公式计算各路上行视频数据的视频质量衰减因子F,获得至少两个F,然后计算至少两个F的平均值
[0051] 在步骤203中,收端设备具体通过以下S1~S3的方法评估从发端设备到收端设备的视频体验质量。
[0052] S1、收端设备结合下行链路的视频源质量与上行视频损伤参数中的视频质量衰减因子,确定从发端设备到收端设备的视频源质量。
[0053] 其中,收端设备将下行链路的视频源质量与视频质量衰减因子F相乘,将所得乘积确定为从发端设备到收端设备的视频源质量。
[0054] S2、收端设备结合上行链路的传输时延和下行链路的传输时延,确定从发端设备到收端设备的传输时延,并根据确定的从发端设备到收端设备的传输时延确定观看体验质量。
[0055] 其中,收端设备将上行链路的传输时延与下行链路的传输时延相加,将所得之和确定为从发端设备到收端设备的传输时延。
[0056] S3、收端设备根据确定的从发端设备到收端设备的视频源质量、互动体验质量和观看体验质量,确定从发端设备到收端设备的视频体验质量。
[0057] 实际应用中,若视频通信系统中参与通信的终端数量较少,各个终端只需要连接一个控制网元即可完成媒体交换。但是,对于参与通信的终端数据较多,尤其多个会场的应用场景中,往往需要级联模式的控制网元。在一种可能的实现方式中,级联模式的架构包括上级控制网元和下级控制网元。上级控制网元与下级控制网元连接,且上级控制网元和下级控制网元均可连接终端。下级控制网元可执行上述控制网元101所执行的方法。以与下级控制网元连接的任意一个终端作为收端设备为例,发端设备可包括两种:第一发端设备和第二发端设备。其中,第一发端设备是与下级控制网元连接的任一发送视频数据的终端,第二发端设备是与上级控制网元连接的任一发送视频数据的终端。相应地,图2所示方法中所述的上行视频数据可包括第一上行视频数据和第二上行视频数据。第一上行视频数据为收端设备接收到的第一发端设备发送的视频数据,第二上行视频数据为收端设备接收到的第二发端设备发送的视频数据。上级控制网元接收到的第二发端设备发送的视频数据可以称为上级上行视频数据,下级控制网元接收到的上级控制网元发送的视频数据可以称为上下级上行视频数据。
[0058] 上级控制网元中也集成了具有视频体验质量评估功能的模块,用于收集上级上行视频损伤参数,该上级上行视频损伤参数用于表征第二发端设备到上级控制网元的上级上行视频数据的质量损伤程度。
[0059] 具体地,基于图2所示的评估视频体验质量的方法,如图3所示,在上述级联模式下,评估视频体验质量的方法如下所述。
[0060] 步骤301、第一发端设备发送第一上行视频数据给下级控制网元,下级控制网元接收第一发端设备发送的第一上行视频数据;以及,第二发端设备发送第二上行视频数据给下级控制网元,下级控制网元接收第二发端设备发送的第二上行视频数据。
[0061] 其中,第二发端设备通过上级控制网元将第二上行视频数据发送给下级控制网元的。实际应用中,第二发端设备向上级控制网元发送上级上行视频数据,上级控制网元对第二发端设备发送的上级上行视频数据进行视频转码混合操作,将视频转码混合后的数据(可称为上下级上行视频数据)发送给下级控制网元。
[0062] 步骤302、下级控制网元根据第一上行视频数据获取第一上行视频损伤参数,以及下级控制网元接收上级控制网元发送的上级上行视频损伤参数。
[0063] 其中,第一上行视频损伤参数用于表征第一上行视频数据的质量损伤程度。
[0064] 步骤303、下级控制网元基于上级上行视频损伤参数和上下级上行视频损伤参数,计算第二上行视频损伤参数。其中,上下级上行视频损伤参数用于表征上级控制网元到下级控制网元的上下级上行视频数据的质量损伤程度,第二上行视频损伤参数用于表征第二上行视频数据的质量损伤程度。
[0065] 步骤304、下级控制网元向收端设备发送上行视频损伤参数,收端设备接收下级控制网元发送的上行视频损伤参数。
[0066] 其中,上行视频损伤参数由上述第一上行视频损伤参数和上述第二上行视频损伤参数所确定的。例如,上行视频损伤参数中包括上述第一上行频损伤参数和上述第二上行视频损伤参数;又例如,上行视频损伤参数是下级控制网元根据上述第一上行频损伤参数和上述第二上行视频损伤参数计算所得。
[0067] 步骤305、收端设备基于上行视频损伤参数和下行视频损伤参数,评估从发端设备到收端设备的视频体验质量。
[0068] 具体评估方法可参考上述图2所示的评估视频体验质量的方法,重复之处不再赘述。
[0069] 需要说明的是,在具体实现中,视频通信系统中也可包括至少两个上级控制网元,此种网络架构下,也可以采用上述方法。其中,每一级控制网元获取当前控制网元与上一个网元之间的视频损伤参数,其中,该上一个网元可以为当前控制网元的上级控制网元,也可以为与当前控制网元连接的终端,当前控制网元综合各个视频损伤参数,将综合后的视频损伤参数发送到下一级控制网元或者收端设备,最终使得收端设备能够综合上行链路和下行链路的视频损伤参数,评估从发端设备到收端设备的视频体验质量。
[0070] 综上所述,本申请实施例提供的评估视频体验质量的方法中,控制网元获取上行视频损伤参数后发送给收端设备,收端设备可以综合考量上行链路和下行链路的视频损伤参数,正确评估从发端设备到收端设备的视频体验质量。
[0071] 本申请实施例还提供了一种计算机存储介质,用于存储计算机程序,该计算机程序包括用于执行如图2所示的评估视频体验质量的方法的指令。
[0072] 本申请实施例提供的评估视频体验质量的方法可应用于存在控制网元的各种视频通信系统,该控制网元在视频通信系统中可用于执行视频转码操作。
[0073] 下面结合具体的应用场景对本申请实施例提供的评估视频体验质量的方法做进一步详细的说明。
[0074] 以应用于视频会议系统为例,如图4所示,在视频会议系统400中,终端407与网络侧建立信令通道和承载通道,通过网络侧调度终端接入视频会议,并进行数据传输。其中,图4中实线所示链路表征信令通道,信令通道负责媒体协商控制;虚线所示链路表征承载通道,承载通道负责媒体流的传输。主席终端401用于调度视频会议以及在视频会议中发送控制信令;会议应用服务器(Application Server,AS)402属于业务能力层网元,提供基于IP多媒体子系统(IP Multimedia Subsystem,IMS)网络的多媒体会议业务,完成语音会议、数据会议、或视频会议的调度,并提供网页界面化的配置和管理服务;多媒体资源功能控制器(Multimedia Resource Function Controller,MRFC)403通过H.248协议控制多媒体资源处理器(Multimedia Resource Function Processor,MRFP)上的媒体资源,MRFC403解析来自AS402的会话初始协议(Session Initiation Protocol,SIP)资源控制命令,转换为对MRFP的控制命令并产生相应计费信息;多点控制单元(Multipoint Control Unit,MCU)404在媒体流的承载通道上,处于核心交换的位置,在视频处理过程中,MCU404将从发端设备接收的视频码流进行解码,调整视频的分辨率,并将多路视频进行混合,重新编码后发送到相应的收端设备;呼叫控制网元405为呼叫会话控制执行信令操作,管理SIP会话以及与其它网络实体配合进行会话控制,服务控制和资源分配;接入网关(即Access Gateway)406提供模拟用户线接口,直接将用户数据及用户线信令封装在IP包中,用于将普通电话用户接入到软交换或者IMS网络中,可为用户提供如电话业务、拨号上网业务等业务。
[0075] 在视频会议系统400中,至少包括两个终端407,图4中以一个终端407为例示意。按照视频数据的传输方向,终端407可以分为发端设备和收端设备。发端设备和收端设备与网络侧的连接形式均符合图4所示的网络架构,且发端设备和收端设备与网络侧之间的工作方式均符合上述描述。以下描述中,控制网元可以是图4中MCU404,当然控制网元还可以是在视频通信系统中承担视频转码混合功能的其他网元形态,例如,通用媒体网元(Universal Media Gateway,UMG),本申请实施例中不作限定。
[0076] 下面以该评估视频体验质量的方法应用于视频会议系统400中为例,对评估视频体验质量的方法作更进一步详细介绍。
[0077] 在视频会议系统400中,控制网元为MCU,根据与会会场的数量及布局,视频会议系统会有不同的应用场景。以下分别以几种应用场景为例分别进行介绍。
[0078] 先介绍几种应用场景。
[0079] 场景一、
[0080] 参与视频会议的会场较少,各会场之间只需通过一个MCU就可以完成媒体交换,即各会场中的终端与终端之间的媒体流只需要经过一个MCU转换。各会场之间分主次。
[0081] 如图5所示,假设各会场之间分主次,一个主会场和多个分会场,则主会场即为发端设备,各个分会场即为收端设备。MCU将从主会场中的终端1接收到的视频进行解码,并按照各个分会场中终端2、终端3和终端4的需求调整分辨率,例如,终端1发送的视频数据的分辨率为1080P,将发往终端2、终端3和终端4的视频数据的分辨率分别调整为360P、480P和720P,将视频压缩后通过网络发送至各个分会场。本申请实施例中,MCU根据终端1发送的上行视频数据,获取上行视频损伤参数,通过控制报文地向各个分会场中的终端发送该上行视频损伤参数,便于终端2、终端3和终端4根据上行视频损伤参数和各自的下行视频损伤参数,计算从终端1到自身的视频体验质量。其中,MCU可以周期性的向各个分会场中的终端发送该上行视频损伤参数,也可以不采用周期性的,本申请不限定。
[0082] 场景二、参与视频会议的会场较少,各会场之间只需通过一个MCU就可以完成媒体交换,即各会场中的终端与终端之间的媒体流只需要经过一个MCU转换。
[0083] 如图6所示,各个会场之间不分主次,各个会场中的终端(终端1、终端2、终端3和终端4)均向MCU发送上行视频数据,MCU将接收到的各路上行视频数据先进行解码,调整视频分辨率,然后将各路上行视频数据进行组合,对组合的视频进行压缩,通过网络发送各个分会场。各个终端既是发端设备,又是收端设备。本申请实施例中,MCU将各路上行视频数据的综合上行视频损伤参数,通过控制报文周期性地向各个分会场中的终端发送该综合上行视频损伤参数,便于终端1、终端2、终端3和终端4根据该综合上行视频损伤参数和各自的下行视频损伤参数,计算从发端设备到收端设备的视频体验质量。
[0084] 场景三、参与视频会议的会场较多,一个MCU不足以完成各会场之间的媒体交换。需要MCU级联的方式来调度会议。假设MCU级联的模式中包括上级MCU和下级MCU。
[0085] 如图7所示,上级MCU连接终端A1、终端A2、终端A3和终端A4,下级MCU连接终端B1、终端B2、终端B3和终端B4。
[0086] 在MCU级联的方式中,每一个MCU均集成具有视频体验质量评估功能的模块。当前MCU获取该当前MCU与上一个网元之间的视频损伤参数,其中,该上一个网元可以为当前MCU的上级MCU,也可以为与当前MCU连接的终端。当前MCU综合各个视频损伤参数,将综合后的视频损伤参数发送到收端设备。最终,收端设备根据接收到的MCU发送的视频损伤参数和自身检测的视频损伤参数,综合评估从发端设备到收端设备的视频体验质量。
[0087] 假设终端B4为收端设备,其他终端均为发端设备。终端A1、终端A2、终端A3和终端A4分别向上级MCU发送上级上行视频数据,上级MCU根据这几个终端发送的上级上行视频数据,获取上级上行视频损伤参数,并将该上级上行视频损伤参数发送给下级MCU。上级MCU还将上下级上行视频数据发送给下级MCU,下级MCU根据上下级上行视频数据,获取上下级上行视频损伤参数。下级MCU还接收终端B1、终端B2和终端B3发送上行视频数据(记为第一上行视频数据),并获取第一上行视频数据的第一上行视频损伤参数。下级MCU根据该上级上行视频损伤参数和该上下级上行视频损伤参数,获取第二上行视频损伤参数。下级MCU将该第一上行视频损伤参数和第二上行视频损伤参数发送给终端B4;或者,下级MCU根据第一上行视频损伤参数和第二上行视频损伤参数计算上行视频损伤参数,将计算所得的上行视频损伤参数发送给终端B4。终端B4作为收端设备,接收下级MCU发送的下行视频数据,并根据下行视频数据获取下行视频损伤参数;终端B4根据接收到的第一上行视频损伤参数、第二上行视频损伤参数和下行视频损伤参数,评估从发端设备到收端设备的视频体验质量;或者,终端B4根据接收到的上行视频损伤参数和下行视频损伤参数,评估从发端设备到收端设备的视频体验质量。
[0088] 下面对场景一、场景二和场景三中评估视频体验质量的方法作更进一步详细介绍。
[0089] 对于场景一和场景二来说,如图8所示,在评估视频体验质量时,各网元之间的信令流程和执行方法如下。
[0090] 步骤801、会议应用服务器向呼叫控制网元发起SIP请求,邀请被叫号码对应的终端,控制网元接收会议应用服务器发送的SIP请求,控制网元通过接入网元将SIP请求发送给该终端。
[0091] 需要说明的是,终端可以为发端设备,也可以为收端设备,无论发端设备还是收端设备均符合相关接入会议过程的描述。
[0092] 该SIP请求中没有携带会话描述协议(Session Description Protocol,SDP),目的是先让终端提供SDP offer,然后根据该SDP offer与会议端口协商媒体能力。其中,SDP是用来描述多媒体会话通告、多媒体会话邀请和其他形式的多媒体会话初始化的协议,通常包括会话信息和媒体信息。
[0093] 步骤802、终端通过接入网元、呼叫控制网元,向会议应用服务器回复200OK,表征应答该SIP请求,并在200OK消息中携带SDP offer。会议应用服务器接收终端发来的200OK。
[0094] 本申请实施例中,在原有SDP offer中增加一个指示,是否支持视频体验质量周期性上报。以视频体验质量为vMOS为例,在SDP offer中增加如表1所示指示。该指示的参数名称为vMOS_report_flag,表征是否支持视频vMOS周期性上报,用TRUE来表征支持视频vMOS周期性上报,用FALSE表征不支持视频vMOS周期性上报。
[0095] 表1
[0096] 参数名 参数说明 示例vMOS_report_flag 是否支持视频vMOS周期性上报 TRUE OR FALSE
[0097] 步骤803、会议应用服务器收到200OK响应后,向多媒体资源功能控制器发起请求,并在该请求中携带SDP offer,多媒体资源功能控制器接收会议应用服务器发送的请求。
[0098] 步骤804、多媒体资源功能控制器收到请求后,向MCU发命令指示MCU增加该终端,MCU接收多媒体资源功能控制器发送的命令。
[0099] 步骤805、MCU接到该命令后,增加该终端,并为该终端分配媒体资源,向多媒体资源功能控制器返回200OK,表征为该终端成功分配媒体资源,多媒体资源功能控制器接收MCU返回的200OK。
[0100] 步骤806、多媒体资源功能控制器向会议应用服务器返回200OK,并在200OK中携带SDP应答(即SDP Answer),会议应用服务器接收多媒体资源功能控制器返回的200OK。
[0101] 步骤807、会议应用服务器通过呼叫控制网元和接入网关向终端回复ACK消息,并在ACK消息中携带SDP Answer,终端接收会议应用服务器返回的ACK消息。
[0102] 终端收到ACK消息后,MCU和终端之间开始建立媒体流。MCU将终端加入到视频会议的交互中。
[0103] 若在媒体协商的过程中,发端设备对应的终端支持视频体验质量周期性上报,则MCU开始周期性地获取发端设备到MCU的上行视频损伤参数,并发送给收端设备。
[0104] 具体过程为:
[0105] 步骤808、发端设备发送上行视频数据给MCU,MCU接收发端设备发送的上行视频数据。
[0106] 步骤809、MCU确定上行链路的视频源质量sQualityc和上行链路的视频质量衰减因子。
[0107] MCU解析上行视频数据,提取上行视频数据的视频分辨率、编码格式、并周期性地统计视频的码率、帧率等参数,根据这些参数计算上行链路的视频源质量sQualityc。计算sQualityc的方法可以采取现有技术中任意的方法。
[0108] 其中,对于场景一,MCU只需获取主会场中终端1到MCU的这一路上行链路的视频源质量。而对于场景二,MCU需要获取终端1、终端2、终端3和终端4各个终端到MCU的各路上行链路的视频源质量。
[0109] MCU会维护一个不同分辨率的视频在没有视频编码损伤情况下的参考视频源质量,假设以表格形式维护,如表2所示,CIF、360P、VGA、4CIF、720P和1080P是视频会议系统中常用的分辨率。每一种分辨率对应一个参考视频源质量,MCU根据上行视频数据的分辨率,查询对应的参考视频源质量sQualityo。根据公式 计算视频质量衰减因子。
[0110] 表2
[0111] 分辨率 sQualityoCIF 4.06
360P 4.12
VGA 4.24
4CIF 4.31
720P 4.58
1080P 4.78
[0112] 对于场景一,MCU只需计算主会场中终端1到MCU的这一路上行链路的视频质量衰减因子。而对于场景二,MCU需要计算终端1、终端2、终端3和终端4各个终端到MCU的各路上行链路的视频质量衰减因子,并计算各路上行链路的视频质量衰减因子的平均值F。
[0113] 步骤810、MCU检测上行链路传输时延。
[0114] 该上行链路传输时延可以是控制报文的往返传播时延,例如,控制报文为实时传输控制协议(Real-time Transport Control Protocol,RTCP)报文。对于场景一,上行链路传输时延为主会场中终端1到MCU的这一路上行链路的传输时延RTT。而对于场景二,上行链路传输时延为终端1、终端2、终端3和终端4各个终端到MCU的各路上行链路的传输时延中的最大值MaxRTT。
[0115] 需要说明的是,步骤810可以与步骤809的顺序交换,或者,步骤810可以与步骤809并行。
[0116] 步骤811、MCU向收端设备发送上行链路的视频质量衰减因子和上行链路传输时延,收端设备接收MCU发送的上行链路的视频质量衰减因子和上行链路传输时延。
[0117] 例如,MCU在向收端设备发送的RTCP报文的扩展信息中携带上述参数。具体如表3所示。
[0118] 表3
[0119]
[0120] 步骤812、收端设备评估从发端设备到收端设备的视频体验质量。
[0121] 具体地,收端设备根据下行视频数据的视频分辨率、编码格式、码率、帧率、屏幕尺寸等参数,计算下行链路的视频源质量sQuality;
[0122] 收端设备将上行链路的视频质量衰减因子和下行链路的视频源质量sQuality结合起来计算从发端设备到收端设备的视频源质量sQuality′。
[0123] 对于场景一、sQuality′=sQuality*F;对于场景二、
[0124] 收端设备计算互动体验质量sInteraction。
[0125] 收端设备将下行链路传输时延RTTd和上行链路传输时延结合起来,计算从发端设备到收端设备的传输时延RTTa。
[0126] 对于场景一,RTTa=RTTd+RTT;对于场景二,RTTa=RTTd+MaxRTT。
[0127] 收端设备根据RTTa计算观看体验质量sView。
[0128] 收端设备根据上述计算的视频质量sQuality′、互动体验质量sInteraction和观看体验质量sView计算从发端设备到收端设备的视频体验质量,例如计算vMOS。
[0129] 对于场景三来说,如图9所示,在评估视频体验质量时,各网元之间的信令流程和执行方法如下。
[0130] 图9中以终端包括发端设备和收端设备为例,发端设备和收端设备均采用图9所示的方法来接入视频会议。步骤901~步骤907与步骤801~步骤807类似,其他重复之处在此不再赘述。
[0131] 步骤901~步骤907的媒体协商过后,终端便与MCU1和MCU2建立了媒体流。若在步骤901~步骤907的媒体协商的过程中,发端设备对应的终端支持视频体验质量的上报,则上级MCU获取发端设备(包括终端A1、终端A2、终端A3和终端A4)到上级MCU的上级上行视频损伤参数,并发送给下级MCU,下级MCU获取发端设备(包括终端B1、终端B2、终端B3)到下级MCU的第一上行视频损伤参数,以及获取上级MCU到下级MCU的上下级上行视频损伤参数,根据上下级上行视频损伤参数和接收到的上级上行视频损伤参数计算第二上行视频损伤参数,并将第一上行视频损伤参数和第二上行视频损伤参数一并发送给收端设备(即终端B4);或者,根据第一上行视频损伤参数和第二上行视频损伤参数计算出上行视频损伤参数,将计算所得的上行视频损伤参数发送给收端设备(即终端B4)。
[0132] 具体过程为:
[0133] 步骤908、MCU1计算各个发端设备(包括终端A1、终端A2、终端A3和终端A4)到MCU1的各路上级上行链路的平均视频质量衰减因子,记为 以及,MCU1检测各路上级上行链路的传输时延中的最大值,记为MaxRTT1。
[0134] 其中,计算 和MaxRTT1的方法如步骤808~步骤811中所述,在此不再赘述。
[0135] 步骤909、MCU1将 和MaxRTT1发送给MCU2,MCU2接收MCU1发送的 和MaxRTT1。
[0136] 具体地,MCU1可以在RTCP报文的扩展信息中携带以上参数,一种示例如表4所示。
[0137] 表4
[0138]
[0139]
[0140] 步骤910、MCU2计算各个发端设备(包括终端A1、终端A2、终端A3、终端A4、终端B1、终端B2和终端B3)到MCU2之间的平均视频质量衰减因子。
[0141] 具体地,MCU2计算各个发端设备(包括终端B1、终端B2和终端B3)到MCU2的各路上行链路的视频质量衰减因子,分别记为以及FB1、FB2和FB3,以及计算MCU1到MCU2的上下级上行链路的视频质量衰减因子,记为FMCU1。
[0142] 其中,MCU2计算各个发端设备(包括终端B1、终端B2和终端B3)到MCU2的各路上行链路的视频质量衰减因子这一步骤与步骤908~步骤909的顺序可以互换或者并行。
[0143] MCU2计算各个发端设备(包括终端A1、终端A2、终端A3和终端A4)到MCU2之间的视频质量衰减因子,记为F′MCU1。其中,
[0144] 将各个发端设备到MCU2之间的平均视频质量衰减因子记为 则
[0145] 步骤911、MCU2计算各个发端设备(包括终端A1、终端A2、终端A3、终端A4、终端B1、终端B2和终端B3)到MCU2的传输时延的最大值。
[0146] 具体地,MCU2分别计算MCU1、终端B1、终端B2和终端B3到MCU2的传输时延,分别记为RTTMCU1、RTTB1、RTTB2、RTTB3。需要说明的是,MCU2分别计算MCU1、终端B1、终端B2和终端B3到MCU2的传输时延的步骤与步骤908~步骤910之间的顺序可以交换或者并行。
[0147] MCU2分别计算终端A1、终端A2、终端A3、终端A4到MCU2的传输时延,记为RTT′MCU1。其中,RTT′MCU1=RTTMCU1+MaxRTT1
[0148] 各个发端设备到MCU2的传输时延的最大值记为MaxRTT2,则MaxRTT2=MAX(RTT′MCU1,RTTB1,RTTB2,RTTB3),其中,MAX为取最大值计算。
[0149] 其中,步骤911和步骤910没有先后顺序之分。
[0150] 步骤912、MCU2向收端设备(即终端B4)发送 和MaxRTT2,收端设备接收MCU2发送的 和MaxRTT2。
[0151] 具体地,MCU2可以在RTCP报文的扩展信息中携带以上参数,一种示例如表5所示。
[0152] 表5
[0153]
[0154] 步骤913、收端设备接收到MCU2发送的 和MaxRTT2后,评估从发端设备到收端设备的视频体验质量。
[0155] 需要说明的是,场景一、场景二和场景三只是为了方便说明本申请实施例的方法而作的举例,本申请实施例的方法可以应用于类似的各种应用场景,比如,具有至少两个上级MCU的MCU级联场景。
[0156] 基于与图2所示的评估视频体验质量的方法的同一发明构思,如图10所示,本申请实施例还提供一种评估视频体验质量的装置1000,该评估视频体验质量的装置1000用于执行图2所示的评估视频体验质量的方法。其中,评估视频体验质量的装置1000包括:
[0157] 接收单元1001,用于接收控制网元发送的上行视频损伤参数,上行视频损伤参数用于表征发端设备发送到控制网元的上行视频数据的质量损伤程度;
[0158] 处理单元1002,用于基于接收单元1001所接收的上行视频损伤参数和下行视频损伤参数,评估从发端设备到装置的视频体验质量,其中,下行视频损伤参数用于表征控制网元发送到装置的下行视频数据的质量损伤程度。
[0159] 可选的,上行视频损伤参数包括视频质量衰减因子和上行链路传输时延,上行链路为发端设备到控制网元之间的传输链路;下行视频损伤参数包括下行链路的视频源质量、互动体验质量和下行链路的传输时延,下行链路为控制网元到装置之间的传输链路;
[0160] 处理单元1002具体用于:
[0161] 结合下行链路的视频源质量与视频质量衰减因子,确定从发端设备到装置的视频源质量;
[0162] 结合上行链路的传输时延和下行链路的传输时延,确定从发端设备到装置的传输时延,并根据确定的从发端设备到装置的传输时延确定观看体验质量;
[0163] 根据确定的从发端设备到装置的视频源质量、互动体验质量和观看体验质量,确定从发端设备到装置的视频体验质量。
[0164] 处理单元1002用于确定从所述发端设备到所述装置的视频源质量,具体包括:
[0165] 将下行链路的视频源质量与视频质量衰减因子相乘,将所得乘积确定为从发端设备到装置的视频源质量。
[0166] 可选的,处理单元1002用于确定从所述发端设备到所述装置的传输时延,具体包括:
[0167] 将上行链路的传输时延与下行链路的传输时延相加,将所得之和确定为从发端设备到装置的传输时延。
[0168] 可选的,发端设备包括第一发端设备和第二发端设备,上行视频数据包括第一上行视频数据和第二上行视频数据,控制网元为级联模式中的下级控制网元,下级控制网元与上级控制网元相连;
[0169] 接收单元1001具体用于:
[0170] 接收下级控制网元发送的上行视频损伤参数,上行视频损伤参数由第一上行视频损伤参数和第二上行视频损伤参数所确定,第一上行视频损伤参数用于表征第一发端设备发送到下级控制网元的第一上行视频数据的质量损伤程度,第二上行视频损伤参数用于表征第二发端设备经由上级控制网元发送到下级控制网元的第二上行视频数据的质量损伤程度。
[0171] 基于与图2所示的评估视频体验质量的方法的同一发明构思,如图11所示,本申请实施例还提供一种评估视频体验质量的装置1100,评估视频体验质量的装置1100用于执行图2所示的评估视频体验质量的方法,其中,评估视频体验质量的装置1100包括:
[0172] 接收单元1101,用于接收发端设备发送的上行视频数据;
[0173] 处理单元1102,用于获取上行视频损伤参数,上行视频损伤参数用于表征上行视频数据的质量损伤程度;
[0174] 发送单元1103,用于将处理单元1102获取的上行视频损伤参数发送给收端设备,用于收端设备评估从发端设备到收端设备的视频体验质量。
[0175] 可选的,上行视频损伤参数包括视频质量衰减因子和上行链路传输时延,上行链路为发端设备到装置之间的传输链路;
[0176] 处理单元1102具体用于:
[0177] 获取上行链路的视频源质量sQualityc以及上行视频数据的分辨率;
[0178] 根据分辨率与参考视频源质量之间的对应关系,确定上行视频数据的分辨率相对应的参考视频源质量sQualityo,参考视频源质量表征发端设备的视频源数据在未经视频编码损伤时的质量;
[0179] 根据以下公式计算视频质量衰减因子F:
[0180] 根据上行视频数据,获取上行链路传输时延。
[0181] 可选的,若发端设备的数量为一个,则上行视频损伤参数包括一个发端设备的视频质量衰减因子和一个发端设备与装置之间的一个上行链路的传输时延;且
[0182] 处理单元1102具体用于:
[0183] 根据一个发端设备发送的上行视频数据,获取一个发端设备与装置之间的上行链路的视频源质量sQualityc,以及获取上行视频数据的分辨率;
[0184] 根据分辨率与参考视频源质量之间的对应关系,确定上行视频数据的分辨率相对应的参考视频源质量sQualityo,参考视频源质量表征发端设备的视频源数据在未经视频编码损伤时的质量;
[0185] 根据以下公式计算视频质量衰减因子F:
[0186] 根据上行视频数据,获取一个发端设备与装置之间的上行链路传输时延;
[0187] 可选的,若发端设备的数量为至少两个,则上行视频损伤参数包括:至少两个发端设备发送的至少两路上行视频数据的视频质量衰减因子平均值,和至少两个发端设备与装置之间的至少两路上行链路的传输时延的最大值;
[0188] 处理单元1102具体用于:
[0189] 根据至少两个发端设备发送的至少两路上行视频数据,分别获取至少两个发端设备与装置之间的至少两路上行链路的视频源质量sQualityc,以及分别获取至少两路上行视频数据的分辨率;
[0190] 根据分辨率与参考视频源质量之间的对应关系,确定各路上行视频数据的分辨率分别相对应的参考视频源质量sQualityo;
[0191] 根据以下公式计算各路上行视频数据的视频质量衰减因子F: 获得至少两个F,计算至少两个F的平均值
[0192] 根据上行视频数据,分别获取至少两路上行链路的传输时延,并确定至少两路上行链路的传输时延的最大值。
[0193] 可选的,发端设备包括第一发端设备和第二发端设备,上行视频数据包括第一上行视频数据和第二上行视频数据,装置为级联模式中的下级控制网元,下级控制网元与上级控制网元相连;
[0194] 接收单元1101具体用于:接收第一发端设备发送的第一上行视频数据;
[0195] 发送单元1103具体用于:通过上级控制网元接收第二发端设备发送的第二上行视频数据;
[0196] 处理单元1102具体用于:根据第一上行视频数据,获取第一上行视频损伤参数,第一上行视频损伤参数用于表征第一上行视频数据的质量损伤程度;
[0197] 接收单元1101具体用于:接收上级控制网元发送的上级上行视频损伤参数,上级上行视频损伤参数用于表征第二发端设备到上级控制网元的上级上行视频数据的质量损伤程度;
[0198] 处理单元1102具体用于:基于上级上行视频损伤参数和上下级上行视频损伤参数,计算第二上行视频损伤参数,上下级上行视频损伤参数用于表征上级控制网元到下级控制网元的上下级上行视频数据的质量损伤程度,第二上行视频损伤参数用于表征第二上行视频数据的质量损伤程度;以及,根据第一上行视频损伤参数和第二上行视频损伤参数确定上行视频损伤参数。
[0199] 基于与图2所示的评估视频体验质量的方法的同一发明构思,如图11所示,本申请实施例还提供一种评估视频体验质量的装置1200,该评估视频体验质量的装置1200可用于执行图3所示的方法。其中,评估视频体验质量的装置1200包括收发器1201、处理器1202,存储器1203和总线1204,处理器1202以及存储器1203之间通过总线1204相连,处理器1202用于执行存储器1203中的代码,当代码被执行时,该执行使得处理器1202执行图2所示的评估视频体验质量的方法。
[0200] 处理器1202可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
[0201] 处理器1202还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:
field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic array logic,缩写:GAL)或其任意组合。
[0202] 存储器1203可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器1203也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard disk drive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器1203还可以包括上述种类的存储器的组合。
[0203] 基于与图2所示的评估视频体验质量的方法的同一发明构思,如图13所示,本申请实施例还提供一种评估视频体验质量的装置1300,该评估视频体验质量的装置1300可用于执行图3所示的方法。其中,评估视频体验质量的装置1300包括收发器1301、处理器1302,存储器1303和总线1304,处理器1302以及存储器1303之间通过总线1304相连,处理器1302用于执行存储器1303中的代码,当代码被执行时,该执行使得处理器1302执行图2所示的评估视频体验质量的方法。
[0204] 处理器1302可以是中央处理器(英文:central processing unit,缩写:CPU),网络处理器(英文:network processor,缩写:NP)或者CPU和NP的组合。
[0205] 处理器1302还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文:application-specific integrated circuit,缩写:ASIC),可编程逻辑器件(英文:programmable logic device,缩写:PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文:complex programmable logic device,缩写:CPLD),现场可编程逻辑门阵列(英文:
field-programmable gate array,缩写:FPGA),通用阵列逻辑(英文:generic array logic,缩写:GAL)或其任意组合。
[0206] 存储器1303可以包括易失性存储器(英文:volatile memory),例如随机存取存储器(英文:random-access memory,缩写:RAM);存储器1303也可以包括非易失性存储器(英文:non-volatile memory),例如快闪存储器(英文:flash memory),硬盘(英文:hard disk drive,缩写:HDD)或固态硬盘(英文:solid-state drive,缩写:SSD);存储器1303还可以包括上述种类的存储器的组合。
[0207] 需要说明的是,图10-11提供的装置,可用于实现图2所示的评估视频体验质量的方法。一个具体的实现方式中,图10中的处理单元1002可以用图12中的处理器1202实现,接收单元1001可以由图12中的收发器1201实现。图11中的处理单元1102可以用图13中的处理器1302实现,接收单元1101和发送单元1103均可以由图13中的收发器1301实现。
[0208] 本申请实施例图1所提供的评估视频体验质量的系统100中,收端设备103可以是图10、图12对应的实施例所提供的设备。控制网元101可以是图11、图13对应的实施例所提供的设备。所述评估视频体验质量的系统用于执行图2对应的实施例的方法。
[0209] 本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0210] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0211] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0212] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0213] 尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
[0214] 显然,本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请实施例的精神和范围。这样,倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。