本发明公开了一种评估多媒体质量的方法和装置。该方法包括：获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量；根据视频的基准质量和音频的基准质量，确定多媒体序列的基准质量；根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量，确定多媒体序列的失真值；根据多媒体序列的基准质量和多媒体序列的失真值，确定多媒体序列的多媒体质量。本发明实施例的评估多媒体质量的方法和装置，能够直接反映出多媒体序列的失真，符合人的主观感受，从而能够准确有效地评估多媒体质量。
评估多媒体质量的方法和装置
技术领域
[0001] 本发明涉及多媒体领域，并且更具体地，涉及评估多媒体质量的方法和装置。
背景技术
[0002] 随着网络技术的发展和多媒体新时代的到来，影视点播、网络电视、可视电话等已成为宽带网络的主要业务，并且这些业务也将成为第三代(3G，the 3rd Generation)无线网络的主要业务。各类多媒体处理和通信技术层出不穷，由于多媒体业务数据量大，实时性要求高，并且用户敏感性强，因此多媒体质量评估对于多媒体通信设备制造商和运营商有着非常重要的意义。如果设备商能够提供系统有说服力的多媒体质量评估结果，对于其产品的销售将会有很大推动作用；对于运营商，多媒体质量的评估数据可以用于其业务推广宣传。另外，如果能够开发出自动实时的多媒体质量评估方法，设备商和运营商都可以基于此实现对于多媒体设备进行实时监控，从而有助于问题的定位和故障诊断，以保证用户对多媒体业务的体验需求。
[0003] 多媒体质量是衡量数字多媒体相对于原始信号失真的一种度量。影响多媒体通信质量的关键因素是视频质量和音频质量以及视频失真程度和音频失真程度。多媒体序列中的视频信号和音频信号要经过对模拟信号的采样、量化、压缩编码、网络传输、解码以及还原等环节，其中在每个环节上都会引入误差和信息失真，导致用户满意度下降。由于音频和视频分别的损伤和失真都会导致多媒体的体验下降，因此如何根据视频质量和音频质量联合得到多媒体质量成为了一个关键问题。
[0004] 通常的多媒体质量评估方法是在有网络损伤条件下先分别评价多媒体序列中的音频序列质量和视频序列质量，然后用一个具体的多项式公式组合这两个质量来得到多媒体的质量。
[0005] 在网络无丢包时，音频和视频都有比较平稳的基准质量，人对多媒体的质量感受是直接联合了音频和视频的基准质量；但是，当有丢包时，人会感受到原本平稳的多媒体质量有一个突然的质量下降，即多媒体序列由于丢包而引起的失真，而不是在丢包情况下分别对视频和音频做各自的评价后再进行联合。现有的多媒体质量评估方法无法直接反映出丢包对多媒体序列的影响和多媒体序列的失真，不符合人的主观感受。
发明内容
[0006] 本发明实施例提供了一种评估多媒体质量的方法和装置，符合人的主观感受，能够准确有效地评估多媒体质量。
[0007] 一方面，本发明实施例提供了一种评估多媒体质量的方法，该方法包括：获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量；根据视频的基准质量和音频的基准质量，确定多媒体序列的基准质量；根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量，确定多媒体序列的失真值；根据多媒体序列的基准质量和多媒体序列的失真值，确定多媒体序列的多媒体质量。
[0008] 另一方面，本发明实施例提供了一种评估多媒体质量的方法，该方法包括：将多媒体序列分为N个多媒体段，其中N为正整数且N大于或等于2；评估该N个多媒体段中的每个多媒体段的多媒体质量；根据该N个多媒体段中的每个多媒体段的多媒体质量，确定该多媒体序列的多媒体质量。
[0009] 再一方面，本发明实施例提供了一种评估多媒体质量的装置，该装置包括：第一获取模块，用于获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量；基准质量确定模块，用于根据第一获取模块获取的视频的基准质量和音频的基准质量，确定多媒体序列的基准质量；失真值确定模块，用于根据第一获取模块获取的视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量，确定多媒体序列的失真值；多媒体质量确定模块，用于根据基准质量确定模块确定的多媒体序列的基准质量和失真值确定模块确定的多媒体序列的失真值，确定多媒体序列的多媒体质量。
[0010] 再一方面，本发明实施例提供了一种评估多媒体质量的装置，该装置包括：分段模块，用于将多媒体序列分为N个多媒体段，其中N为正整数且N大于或等于2；评估模块，用于评估N个多媒体段中的每个多媒体段的多媒体质量；处理模块，用于根据N个多媒体段中的每个多媒体段的多媒体质量，确定多媒体序列的多媒体质量。
[0011] 基于上述技术方案，本发明实施例的评估多媒体质量的方法和装置，通过根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量，能够直接反映出多媒体序列的失真，符合人的主观感受，从而能够准确有效地评估多媒体质量。
附图说明
[0012] 为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013] 图1是根据本发明实施例的评估多媒体质量的方法的示意性流程图。
[0014] 图2是根据本发明实施例的确定多媒体序列的失真值的方法的示意性流程图。
[0015] 图3是根据本发明实施例的评估多媒体质量的方法的另一示意性流程图。
[0016] 图4是根据本发明实施例的评估多媒体质量的方法的再一示意性流程图。
[0017] 图5是根据本发明另一实施例的评估多媒体质量的方法的示意性流程图。
[0018] 图6是根据本发明实施例的评估多媒体质量的装置的示意性框图。
[0019] 图7是根据本发明实施例的失真值确定模块的示意性框图。
[0020] 图8是根据本发明实施例的评估多媒体质量的装置的另一示意性框图。
[0021] 图9是根据本发明另一实施例的评估多媒体质量的装置的示意性框图。
具体实施方式
[0022] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
[0023] 图1示出了根据本发明实施例的评估多媒体质量的方法100的示意性流程图。如图1所示，该方法100包括：
[0024] S110，获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量；
[0025] S120，根据视频的基准质量和音频的基准质量，确定多媒体序列的基准质量；
[0026] S130，根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量，确定多媒体序列的失真值；
[0027] S140，根据多媒体序列的基准质量和多媒体序列的失真值，确定多媒体序列的多媒体质量。
[0028] 人对于多媒体质量的感受是在一个平稳的多媒体基准质量上叠加了失真。多媒体的基准质量描述的是由于多媒体中的视频和音频分别由于各自的编码压缩导致的多媒体的压缩质量。由于丢包或者是多媒体卡顿等因素，人会感受到多媒体序列的失真，失真是相对于基准质量的相对下降程度，即多媒体质量会在一个较平稳的基准质量上有所下降。本发明实施例在获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量后，根据视频的基准质量和音频的基准质量确定多媒体序列的基准质量，根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量确定多媒体序列的失真值，最后再根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量。这样，多媒体序列的失真是被综合理解的，而不是单独对视频和音频理解后的联合。
[0029] 因此，本发明实施例的评估多媒体质量的方法，通过根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量，能够直接反映出多媒体序列的失真，符合人的主观感受，从而能够准确有效地评估多媒体质量。
[0030] 在S110中，获取多媒体序列的视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量。视频的基准质量是由于视频编码压缩导致的视频压缩质量，具体可根据不同编码类型、分辨率的视频的编码码率计算得到；音频的基准质量是由于音频编码压缩导致的音频压缩质量，具体可根据不同编码类型、采样频率、声道数等的音频编码码率计算得到。视频的最终质量和音频的最终质量是获取到的多媒体序列的视频和音频分别在经过网络损伤(比如丢包、抖动等)后的最终体验质量，具体可以通过对多媒体序列进行音视频分析计算得到。
[0031] 在S120中，根据视频的基准质量和音频的基准质量，确定多媒体序列的基准质量。本发明实施例对确定多媒体序列的基准质量的具体方式并不限定。例如，多媒体序列的基准质量Qav′可由下面的等式(1)确定：
[0032] Qav′＝a1·Qv_coding+a2·Qa_coding+a3·Qv_coding·Qa_coding+a4 (1)[0033] 其中，Qv_coding和Qa_coding分别为视频的基准质量和音频的基准质量，a1，a2，a3和a4为与视频空间分辨率及显示模式相关的参数，其值是由数据训练得到，基本均为0到1之间的小数，比如分辨率为(128×96)时，a1＝0.207962，a2＝0.124365，a3＝0.179018，a4＝0.5456。
[0034] 在S130中，根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量，确定多媒体序列的失真值。如图2所示，S130又包括：
[0035] S131，根据视频的基准质量和视频的最终质量，确定视频的失真值；
[0036] S132，根据音频的基准质量和音频的最终质量，确定音频的失真值；
[0037] S133，根据视频的失真值和音频的失真值，确定多媒体序列的失真值。
[0038] 视频的失真值可以由视频的基准质量减去视频的最终质量得到，音频的失真值可以由音频的基准质量减去音频的最终质量得到。
[0039] 在S133中，根据视频的失真值和音频的失真值，确定多媒体序列的失真值。具体可通过如下方式得到。
[0040] 根据视频的基准质量和视频的失真值，确定视频的失真因子。视频的失真因子dv为视频的失真值Dv占视频的基准质量Qv_coding的比例，可选地，可由下面的等式(2)确定：
[0041]
[0042] 应理解，因为视频的失真值Dv为视频的基准质量减去视频的最终质量，因此，可选地，视频的失真因子dv还可以由下面的等式(3)确定：
[0043]
[0044] 根据音频的基准质量和音频的失真值，确定音频的失真因子。音频的失真因子da为音频的失真值Da占音频的基准质量Qa_coding的比例，可选地，可由下面的等式(4)确定：
[0045]
[0046] 同样地，因为音频的失真值Da为音频的基准质量减去音频的最终质量，因此，可选地，音频的失真因子da还可以由下面的等式(5)确定：
[0047]
[0048] 根据视频的失真因子和音频的失真因子，确定多媒体序列的失真因子。多媒体序列的失真因子dav由视频的失真因子dv和音频的失真因子da决定，视频的失真因子dv或音频的失真因子da增大都会使得多媒体序列的失真因子dav增大，其关系可以是线性的也可以是非线性的，也可以是线性与非线性的组合，本发明实施例对由视频的失真因子dv和音频的失真因子da计算多媒体序列的失真因子dav的具体方式并不限定，例如，可以由下面的等式(6)或(7)确定：
[0049]
[0050] dav＝a5+a6·dv+a7·da (7)
[0051] 其中，a5，a6，a7为常数，其值与编码类型和视频分辨率有关，并满足当dv或da增大时dav增大，具体数值可由实验得到。
[0052] 根据多媒体序列的基准质量和多媒体序列的失真因子，确定多媒体序列的失真值。例如，多媒体序列的失真值Dav可由下面的等式(8)确定：
[0053] Dav＝(Qav′-Qmin)·dav (8)
[0054] 其中，Qmin为常数，表示多媒体最低质量。比如，当评分为五分制时，最低质量为1。
[0055] 在S140中，根据多媒体序列的基准质量和多媒体序列的失真值，确定多媒体序列的多媒体质量。在确定了多媒体序列的基准质量Qav′和多媒体序列的失真值Dav后，多媒体序列的多媒体质量Qav由Qav′和Dav得到，其关系可由下面的等式(9)表示：
[0056] Qav＝f(Qav′，Dav) (9)
[0057] 例如，可以表示为下面的等式(10)：
[0058] Qav＝Qav′-Dav (10)
[0059] 公式(9)和(10)表示多媒体序列的多媒体质量是多媒体序列的基准质量叠加了失真后的结果，而人对于多媒体质量的感受正是在一个平稳的多媒体基准质量上叠加了失真。因此，本发明实施例的评估多媒体质量的方法，符合人的认知特性。
[0060] 这样，本发明实施例的评估多媒体质量的方法，通过根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量，能够直接反映出多媒体序列的失真，符合人的主观感受，从而能够准确有效地评估多媒体质量。
[0061] 可选地，将等式(1)、(3)、(5)、(6)和(8)代入等式(10)后便可得到多媒体序列的多媒体质量，在这种情况下，多媒体序列的多媒体质量Qav是视频的基准质量Qv_coding、音频的基准质量Qa_coding、视频的最终质量Qv和音频的最终质量Qa的函数。
[0062] 可选地，对于等式(1)，将其各个参数代入并整理，可得到下面的等式(11)：
[0063] Qav′＝a1·(Qv+Dv)+a2·(Qa+Da)+a3·(Qv+Dv)·(Qa+Da)+a4
[0064] ＝a1·Qv+a1·Dv+a2·Qa+a2·Da+a3·(Qv·Qa+Qv·Da+Dv·Qa+Dv·Da)+a4
[0065] (11)
[0066] ＝(a1·Qv+a2·Qa+a3·Qv·Qa+a4)+(a1·Dv+a2·Qa+a3·(Qv·Da+Dv·Qa+Dv·Da))[0067] ＝Q″+f1(Qv，Qa，Dv，Da)
[0068] 在等式(11)中，Q″表示a1·Qv+a2·Qa+a3·Qv·Qa+a4，即根据视频和音频的最终质量得到的一个质量分数。将a1·Dv+a2·Qa+a3·(Qv·Da+Dv·Qa+Dv·Da)表示成函数f1(Qv，Qa，Dv，Da)的形式，则计算多媒体质量的公式(10)可以表示成下面的等式(12)：
[0069] Qav＝(Q″+f1(Qv，Qa，Dv，Da))-(Q″+f1(Qv，Qa，Dv，Da)-Qmin)·dav(12)[0070] 其中，多媒体失真因子dav可以有多种函数表达形式，因此可以表示成f2(Qv，Qa，Dv，Da)的形式，则等式(12)可以展开为下面的等式(13)：
[0071] Qav＝Q″·(1-f2(Qv，Qa，Dv，Da))+
[0072] f1(Qv，Qa，Dv，Da)·(1-f2(Qv，Qa，Dv，Da))+Qmin·f2(Qv，Qa，Dv，Da)(13)[0073] ＝Q″·f3(Qv，Qa，Dv，Da)+f4(Qmin，Qv，Qa，Dv，Da)
[0074] 用函数f3(Qv，Qa，Dv，Da)来表示1-f2(Qv，Qa，Dv，Da)，用函数f4(Qmin，Qv，Qa，Dv，Da)来表示f1(Qv，Qa，Dv，Da)·(1-f2(Qv，Qa，Dv，Da))+Qmin·f2(Qv，Qa，Dv，Da)，则多媒体质量的计算方法可以展开成上述另一种表达形式，即多媒体质量Qav是视频的最终质量Qv、音频的最终质量Qa、视频的失真值Dv和音频的失真值Da的函数。
[0075] 本发明实施例的评估多媒体质量的方法，通过根据多媒体序列的基准质量和失真值确定多媒体序列的多媒体质量，能够直接反映出多媒体序列的失真，符合人的主观感受，从而能够准确有效地评估多媒体质量。
[0076] 当音视频不同步时，多媒体序列的多媒体质量会有可能下降，在这种场景下，需要考虑音视频不同步的问题。因此，如图3所示，本发明实施例的评估多媒体质量的方法100还包括：
[0077] S150，获取多媒体序列的音视频不同步影响因子；
[0078] S140又包括：
[0079] S141，根据多媒体序列的基准质量、多媒体序列的失真值和多媒体序列的音视频不同步影响因子，确定多媒体序列的多媒体质量。
[0080] 在S150中，获取多媒体序列的音视频不同步影响因子。多媒体序列的音视频不同步影响因子是音视频不同步时间差ΔTsyn的函数，反映音视频不同步对多媒体质量的影响。
[0081] 在S141中，根据多媒体序列的基准质量、多媒体序列的失真值和多媒体序列的音视频不同步影响因子，确定多媒体序列的多媒体质量。其关系可以表示为下面的等式(14)：
[0082] Qav＝f(Qav′，Dav，f5(ΔTsyn)) (14)
[0083] 其中，f5(ΔTsyn)为多媒体序列的音视频不同步影响因子，
[0084] 例如，可选地，多媒体序列的多媒体质量Qav可以由下面的等式(15)确定：
[0085] Qav＝Qav′-Dav·f5(ΔTsyn) (15)
[0086] 其中，f5(ΔTsyn)大于1，并且当|ΔTsyn|越大时，f5(ΔTsyn)越大，使得Qav越小，f5(ΔTsyn)形式不限，可以是线性也可以是非线性的，也可以是线性公式与非线性公式的组合。比如，其具体形式可以表示为下面的等式(16)：
[0087] f5(ΔTsyn)＝b1·|ΔTsyn|+c1(b1＞0)或
[0088] f5(ΔTsyn)＝b1·(|ΔTsyn|)2+c1·|ΔTsyn|+d1(b1＞0，c1≥0)或(16)
[0089]
[0090] 其中，b1，c1，d1为常数。
[0091] 可选地，多媒体序列的多媒体质量Qav还可以由下面的等式(17)确定：
[0092] Qav＝(Qav′-Dav)·f6(ΔTsyn)(17)
[0093] 其中，f6(ΔTsyn)为多媒体序列的音视频不同步影响因子，其值小于1且大于0，并且当|ΔTsyn|越大时，f6(ΔTsyn)越小，使得Qav越小，f6(ΔTsyn)形式不限，可以是线性也可以是非线性的，也可以是线性公式与非线性公式的组合。比如，其具体形式可以表示为下面的等式(18)：
[0094] f6(ΔTsyn)＝b2·|ΔTsyn|+c2(b2＜0)或
[0095] f6(ΔTsyn)＝b2·(|ΔTsyn|)2+c2·|ΔTsyn|+d2(b2＜0，c2≤0)或 (18)[0096]
[0097] 其中，b2，c2，d2为常数。
[0098] 公式(14)、(15)和(17)表示多媒体序列的多媒体质量是多媒体序列的基准质量叠加了失真以及音视频不同步影响后的结果，符合人的认知特性。
[0099] 因此，本发明实施例的评估多媒体质量的方法，通过根据多媒体序列的基准质量、多媒体序列的失真值和多媒体序列的音视频不同步影响因子确定多媒体质量，符合人的主观感受，从而能够准确有效地评估多媒体质量。
[0100] 下面结合图4，详细描述本发明实施例的评估多媒体质量的方法。
[0101] S410，由视频的基准质量和音频的基准质量计算多媒体序列的基准质量。例如，可以用上述等式(1)。
[0102] S420，由视频的基准质量和视频的最终质量计算视频的失真因子。例如，可以用上述等式(3)。
[0103] S430，由音频的基准质量和音频的最终质量计算音频的失真因子。例如，可以用上述等式(5)。
[0104] S440，由视频的失真因子和音频的失真因子计算多媒体序列的失真因子。例如，可以用上述等式(6)或(7)。
[0105] S450，计算多媒体序列的多媒体质量。在没有出现音视频不同步时，由多媒体序列的基准质量和多媒体序列的失真因子计算多媒体序列的多媒体质量，例如，可以用上述等式(8)和(10)；在音视频不同步时，由多媒体序列的基准质量、多媒体序列的失真因子和多媒体序列的音视频不同步影响因子计算多媒体序列的多媒体质量，例如，可以用上述等式(8)以及等式(15)或(17)。
[0106] 因此，本发明实施例的评估多媒体质量的方法，通过根据多媒体序列的基准质量和多媒体序列的失真因子确定多媒体序列的多媒体质量，符合人的主观感受，能够准确有效地评估多媒体质量。
[0107] 图5示出了根据本发明实施例的评估多媒体质量的方法500的示意性流程图。如图5所示，该方法500包括：
[0108] S510，将多媒体序列分为N个多媒体段，其中N为正整数且N大于或等于2；
[0109] S520，评估该N个多媒体段中的每个多媒体段的多媒体质量；
[0110] S530，根据该N个多媒体段中的每个多媒体段的多媒体质量，确定该多媒体序列的多媒体质量。
[0111] 对于一个多媒体序列，由于人的短时记忆性，对多媒体质量的理解也是在距当前较短时段里记忆较深。本发明实施例首先将多媒体序列分为多个多媒体段，再分别评估各多媒体段的多媒体质量，然后根据各多媒体段的多媒体质量确定多媒体序列的多媒体质量。
[0112] 因此，本发明实施例的评估多媒体质量的方法，通过将多媒体序列分段，根据各多媒体段的多媒体质量确定多媒体序列的多媒体质量，便于根据人对各多媒体段的关注程度确定多媒体序列的多媒体质量，符合人的认知特性，能够提高多媒体质量评估的准确性。
[0113] 在S510中，将多媒体序列分为N个多媒体段。N为正整数，且N大于或等于2，即，将多媒体序列分为至少两个多媒体段。
[0114] 可选地，可以按照时长将多媒体序列分为N个多媒体段。比如，从多媒体序列的第一帧开始，每L秒时长的多媒体序列被分为一段，L值可根据具体情况进行调整。
[0115] 可选地，还可以按照多媒体质量、视频质量或音频质量的高低，将多媒体序列分为N个多媒体段。人们容易关注多媒体序列中比较特殊的内容，比如受误码影响的视频画面和失真音频的声音等。因此多媒体分段以低质量的多媒体内容为中心，把整个多媒体序列分成时长大约为L秒的连续多媒体段，L值可根据具体情况进行调整。比如，可以按照如下方式进行分段：
[0116] 1、从第一帧开始，滑动0.8*L秒的窗口，计算每个窗口内的多媒体质量；
[0117] 2、选取质量最差的窗口位置确定为一个多媒体段；
[0118] 3、排除选定的多媒体段，重复步骤1、2得到一个新的多媒体段，新的多媒体段若与已确定的多媒体段相邻，则间隔控制在0-0.4*L秒；
[0119] 4、重复步骤3对整个多媒体序列进行划分；
[0120] 5、对多媒体段间隔处的多媒体帧采用平均分配的方式合并到邻近的多媒体段，实现对整个多媒体序列完整分段。
[0121] 应理解，上述按照多媒体质量进行分段的方式还可以替换为按照视频的质量或音频的质量进行分段，按照视频质量进行分段时，长度单位可以为视频的GOP(Group of Pictures，画面组)，即一个或多个GOP长度作为一个多媒体段。
[0122] 还应理解，对多媒体序列进行分段的方式还可以有其它方式，比如，每段的长度可以不同，又比如，按照多媒体质量进行分段时，可以先选择质量高的多媒体段等等，本发明实施例对将多媒体序列分为N个多媒体段的具体方式不做限定。
[0123] 在S520中，评估N个多媒体段中的每个多媒体段的多媒体质量。对每个多媒体段可以根据其音频和视频的质量、失真情况联合计算得到该多媒体段的多媒体质量。本发明实施例对评估每个多媒体段的多媒体质量的方式不做限定，具体方式可以采用现有技术，也可以采用上述本发明实施例的评估多媒体质量的方法100，在此不再赘述。
[0124] 在S530，根据N个多媒体段中的每个多媒体段的多媒体质量，确定多媒体序列的多媒体质量。在评估完N个多媒体段中的每个多媒体段的多媒体质量后，根据N个多媒体段的多媒体质量，得到多媒体序列的多媒体质量。
[0125] 可选地，可以通过对N个多媒体段的多媒体质量进行加权平均，确定多媒体序列的多媒体质量。可以基于相等的权重值对N个多媒体段的多媒体质量进行加权平均，也可以基于与N个多媒体段中的每个多媒体段的多媒体质量相关的权重值，对N个多媒体段的多媒体质量进行加权平均，比如，多媒体段的多媒体质量越低，权重越高。例如，多媒体序列的质量可以用下面的等式(19)确定：
[0126]
[0127] 其中，m表示多媒体序列中第m个多媒体段，Qav，m是第m个多媒体段的多媒体质量，Wm是其权重值，可以是相等的常数，或是针对多媒体质量高低所施加的权重。
[0128] 由于人的遗忘性，会对最近看到的多媒体段印象深刻，对较早看到的多媒体段记忆较模糊，因此还可以基于与N个多媒体段中的每个多媒体段的时刻相关的权重值，对N个多媒体段的多媒体质量进行加权平均，比如，多媒体段的时刻到当前评分时刻的时间距离越小，权重值越大。例如，多媒体序列的质量可以用下面的等式(20)确定：
[0129]
[0130] 其中，tm是第m个多媒体段的时刻到当前评分时刻的时间距离， 是与该时间距离相关的权重值。
[0131] 还可以基于与N个多媒体段中的每个多媒体段的多媒体质量和时刻相关的权重值，对N个多媒体段的多媒体质量进行加权平均。例如，多媒体序列的质量可以用下面的等式(21)确定：
[0132]
[0133] 其中，Wm是与多媒体质量相关的权重值， 是与时间距离相关的权重值，这两个权重值也可以合为一个权重值，它既与多媒体质量相关，也与时间距离相关。
[0134] 由于人眼容易注意到质量较差的多媒体段，较差的多媒体段可以反映整个多媒体序列的质量，因此，可选地，可以从N个多媒体段中选取多媒体质量最差的K个多媒体段，通过对该K个多媒体段的多媒体质量进行加权平均，确定多媒体序列的多媒体质量，其中，K为正整数并且K大于或等于1且小于N，具体的值可根据实际应用场景进行设置。对该K个多媒体段的多媒体质量进行加权平均的方式可以参照上述对N个多媒体段的多媒体质量进行加权平均的方式，即，可以基于相等的权重值，也可以基于与该K个多媒体段中的每个多媒体段的多媒体质量和/或时刻相关的权重值，对该K个多媒体段的多媒体质量进行加权平均。
[0135] 可选地，若基于相等的权重值加权平均，多媒体序列的质量可以用下面的等式(22)确定：
[0136]
[0137] 其中，k表示多媒体序列中第k个质量最差的多媒体段，Qav，k是多媒体序列中第k个质量最差的多媒体段的多媒体质量。
[0138] 可选地，若基于与该K个多媒体段中的每个多媒体段的多媒体质量相关的权重值加权平均，多媒体序列的质量可以用下面的等式(23)确定：
[0139]
[0140] 其中，Wk是与多媒体质量相关的权重值。
[0141] 可选地，若基于与该K个多媒体段中的每个多媒体段的时刻相关的权重值加权平均，多媒体序列的质量可以用下面的等式(24)确定：
[0142]
[0143] 其中， 是与时刻相关的权重值。
[0144] 可选地，若基于与该K个多媒体段中的每个多媒体段的多媒体质量和时刻相关的权重值加权平均，多媒体序列的质量可以用下面的等式(25)确定：
[0145]
[0146] 因此，本发明实施例的评估多媒体质量的方法，通过将多媒体序列分段，然后再根据各多媒体段的多媒体质量确定多媒体序列的多媒体质量，便于根据人对各多媒体段的关注程度确定多媒体序列的多媒体质量，符合人的认知特性，能够提高多媒体质量评估的准确性。
[0147] 应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0148] 上文结合图1至图5，详细描述了根据本发明实施例的评估多媒体质量的方法，下面结合图6至图9，对根据本发明实施例的评估多媒体质量的装置进行描述。
[0149] 图6示出了根据本发明实施例的评估多媒体质量的装置600的示意性框图。如图6所示，该装置600包括：
[0150] 第一获取模块610，用于获取多媒体序列的视频的基准质量、视频的最终质量、多媒体序列的音频的基准质量和音频的最终质量；
[0151] 基准质量确定模块620，用于根据第一获取模块610获取的视频的基准质量和音频的基准质量，确定多媒体序列的基准质量；
[0152] 失真值确定模块630，用于根据第一获取模块610获取的视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量，确定多媒体序列的失真值；
[0153] 多媒体质量确定模块640，用于根据基准质量确定模块620确定的多媒体序列的基准质量和失真值确定模块630确定的多媒体序列的失真值，确定多媒体序列的多媒体质量。
[0154] 本发明实施例的评估多媒体质量的装置，通过根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量，能够直接反映出多媒体序列的失真，符合人的主观感受，从而能够准确有效地评估多媒体质量。
[0155] 在本发明实施例中，如图7所示，可选地，该失真值确定模块630包括：
[0156] 第一确定单元631，用于根据视频的基准质量和视频的最终质量，确定视频的失真值；
[0157] 第二确定单元632，用于根据音频的基准质量和音频的最终质量，确定音频的失真值；
[0158] 第三确定单元633，用于根据视频的失真值和音频的失真值，确定多媒体序列的失真值。
[0159] 在本发明实施例中，可选地，该第三确定单元633包括：
[0160] 第一确定子单元，用于根据视频的基准质量和视频的失真值，确定所述视频的失真因子；
[0161] 第二确定子单元，用于根据音频的基准质量和音频的失真值，确定音频的失真因子；
[0162] 第三确定子单元，用于根据视频的失真因子和音频的失真因子，确定多媒体序列的失真因子；
[0163] 第四确定子单元，用于根据多媒体序列的基准质量和多媒体序列的失真因子，确定多媒体序列的失真值。
[0164] 在本发明实施例中，该第三确定子单元还用于根据以下等式确定多媒体序列的失真因子dav，
[0165] 或
[0166] dav＝a5+a6·dv+a7·da，
[0167] 其中，dv和da分别为视频的失真因子和音频的失真因子，a5、a6和a7为常数。
[0168] 在本发明实施例中，如图8所示，评估多媒体质量的装置600还包括：
[0169] 第二获取模块650，用于获取多媒体序列的音视频不同步影响因子。
[0170] 多媒体质量确定模块640还用于根据多媒体序列的基准质量、多媒体序列的失真值和第二获取模块650获取的多媒体序列的音视频不同步影响因子，确定多媒体序列的多媒体质量。
[0171] 在本发明实施例中，多媒体质量确定模块640还用于根据以下等式确定多媒体序列的多媒体质量Qav，
[0172] Qav＝Qav′-Dav·f5(ΔTsyn)或
[0173] Qav＝(Qav′-Dav)·f6(ΔTsyn)，
[0174] 其中，Qav′为多媒体序列的基准质量，Dav为多媒体序列的失真值，f5(ΔTsyn)和f6(ΔTsyn)为多媒体序列的音视频不同步影响因子，ΔTsyn为多媒体序列的音视频不同步时间差，|ΔTsyn|越大时，f5(ΔTsyn)越大，f6(ΔTsyn)越小。
[0175] 本发明实施例的评估多媒体质量的装置，通过根据多媒体序列的基准质量和多媒体序列的失真值确定多媒体序列的多媒体质量，能够直接反映出多媒体序列的失真，符合人的主观感受，从而能够准确有效地评估多媒体质量。
[0176] 图9示出了根据本发明实施例的评估多媒体质量的装置900的示意性框图。如图9所示，该装置900包括：
[0177] 分段模块910，用于将多媒体序列分为N个多媒体段，其中N为正整数且N大于或等于2；
[0178] 评估模块920，用于评估N个多媒体段中的每个多媒体段的多媒体质量；
[0179] 处理模块930，用于根据N个多媒体段中的每个多媒体段的多媒体质量，确定多媒体序列的多媒体质量。
[0180] 本发明实施例的评估多媒体质量的装置，通过将多媒体序列分段，根据各多媒体段的多媒体质量确定多媒体序列的多媒体质量，便于根据人对各多媒体段的关注程度确定多媒体序列的多媒体质量，符合人的认知特性，能够提高多媒体质量评估的准确性。
[0181] 在本发明实施例中，可选地，该分段模块910包括：
[0182] 第一分段单元，用于按照时长将多媒体序列分为N个多媒体段。
[0183] 在本发明实施例中，可选地，该分段模块910包括：
[0184] 第二分段单元，用于按照多媒体质量、视频质量或音频质量的高低将多媒体序列分为N个多媒体段。
[0185] 在本发明实施例中，该评估模块920包括：
[0186] 第一获取单元，用于获取每个多媒体段的视频的基准质量、视频的最终质量、每个多媒体段的音频的基准质量和音频的最终质量；
[0187] 基准质量确定单元，用于根据视频的基准质量和音频的基准质量，确定每个多媒体段的基准质量；
[0188] 失真值确定单元，用于根据视频的基准质量、视频的最终质量、音频的基准质量和音频的最终质量，确定每个多媒体段的失真值；
[0189] 评估单元，用于根据每个多媒体段的基准质量和每个多媒体段的失真值，确定每个多媒体段的多媒体质量。
[0190] 在本发明实施例中，可选地，该评估模块920还包括：
[0191] 第二获取单元，用于获取每个多媒体段的音视频不同步影响因子；
[0192] 评估单元还用于根据每个多媒体段的基准质量、每个多媒体段的失真值和每个多媒体段的音视频不同步影响因子，确定每个多媒体段的多媒体质量。
[0193] 在本发明实施例中，该处理模块930还用于，通过对N或K个多媒体段的多媒体质量进行加权平均，确定多媒体序列的多媒体质量，其中，该K个多媒体段为N个多媒体段中多媒体质量最差的K个多媒体段，K为正整数并且K大于或等于1且小于N。
[0194] 在本发明实施例中，可选地，该处理模块930包括：
[0195] 第一处理单元，用于基于相等的权重值，通过对N或K个多媒体段的多媒体质量进行加权平均，确定多媒体序列的多媒体质量。
[0196] 在本发明实施例中，可选地，该处理模块930包括：
[0197] 第二处理单元，用于基于与N或K个多媒体段中的每个多媒体段的多媒体质量相关的权重值，通过对N或K个多媒体段的多媒体质量进行加权平均，确定多媒体序列的多媒体质量。
[0198] 在本发明实施例中，可选地，该处理模块930包括：
[0199] 第三处理单元，用于基于与N或K个多媒体段中的每个多媒体段的时刻相关的权重值，通过对N或K个多媒体段的多媒体质量进行加权平均，确定多媒体序列的多媒体质量。
[0200] 在本发明实施例中，可选地，该处理模块930包括：
[0201] 第四处理单元，用于基于与N或K个多媒体段中的每个多媒体段的多媒体质量和时刻相关的权重值，通过对N或K个多媒体段的多媒体质量进行加权平均，确定多媒体序列的多媒体质量。
[0202] 本发明实施例的评估多媒体质量的装置，通过将多媒体序列分段，根据各多媒体段的多媒体质量确定多媒体序列的多媒体质量，便于根据人对各多媒体段的关注程度确定多媒体序列的多媒体质量，符合人的认知特性，能够提高多媒体质量评估的准确性。
[0203] 应理解，在本发明实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0204] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0205] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0206] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0207] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0208] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0209] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0210] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
