影像质量评价装置、方法以及程序

摘要

评价用户针对使用了立体影像的服务进行体验的影像质量的影像质量评价装置具有：2D影像质量导出单元，根据所输入的立体影像数据，导出包含于该立体影像数据中的作为左眼影像的质量的左眼影像质量和作为右眼影像的质量的右眼影像质量；以及立体影像质量导出单元，根据所述左眼影像质量和所述右眼影像质量导出立体影像的质量。

权利要求

1.一种影像质量评价装置，对用户针对使用了立体影像的服务进行体验的影像质量进行评价，其特征在于包括：

2D影像质量导出单元，根据所输入的立体影像数据，导出作为包含于该立体影像数据中的左眼影像的质量的左眼影像质量、和作为右眼影像的质量的右眼影像质量；以及立体影像质量导出单元，根据所述左眼影像质量和所述右眼影像质量，导出立体影像的质量，所述立体影像质量导出单元包括：

基础影像质量判定单元，在所述左眼影像质量和所述右眼影像质量内，将值高的一方作为基础影像质量，将值低的一方作为子影像质量；

立体影像质量计算单元，设定表示所述基础影像质量、所述子影像质量、以及立体影像质量的关系的模型式，基于模型式，根据所述基础影像质量和所述子影像质量，计算立体影像质量的值，其中，该模型式是将所述基础影像质量作为基础而计算所述立体影像质量的值。

2.根据权利要求1所述的影像质量评价装置，其特征在于：

所述2D影像质量导出单元包括：

左眼影像质量计算单元，根据包含于所输入的所述立体影像数据中的左眼影像数据，使用2D影像的质量评价算法，计算左眼影像质量；以及右眼影像质量计算单元，根据包含于所输入的所述立体影像数据中的右眼影像数据，使用2D影像的质量评价算法，计算右眼影像质量。

3.一种影像质量评价方法，是对用户针对使用了立体影像的服务进行体验的影像质量进行评价的装置中的影像质量评价方法，其特征在于包括：

2D影像质量导出步骤，2D影像质量导出单元根据所输入的立体影像数据，导出作为包含于该立体影像数据中的左眼影像的质量的左眼影像质量、和作为右眼影像的质量的右眼影像质量；以及立体影像质量导出步骤，立体影像质量导出单元根据所述左眼影像质量和所述右眼影像质量，导出立体影像的质量，在所述立体影像质量导出步骤中，包括：

基础影像质量判定步骤，在所述左眼影像质量和所述右眼影像质量内，将值高的一方作为基础影像质量，将值低的一方作为子影像质量；以及立体影像质量计算步骤，设定表示所述基础影像质量、所述子影像质量、以及立体影像质量的关系的模型式，基于模型式，根据所述基础影像质量和所述子影像质量，计算立体影像质量的值，其中，该模型式是将所述基础影像质量作为基础而计算所述立体影像质量的值。

4.根据权利要求3所述的影像质量评价方法，其特征在于：

在所述2D影像质量导出步骤中，包括：

左眼影像质量计算步骤，根据包含于所输入的所述立体影像数据中的左眼影像数据，使用2D影像的质量评价算法，计算左眼影像质量；以及右眼影像质量计算步骤，根据包含于所输入的所述立体影像数据中的右眼影像数据，使用2D影像的质量评价算法，计算右眼影像质量。

说明书

影像质量评价装置、方法以及程序

技术领域

[0001] 本发明涉及影像质量评价装置、方法以及程序，特别涉及对用户针对使用了立体影像的服务进行体验的立体影像质量进行定量化的影像质量评价装置、方法以及程序。

背景技术

[0002] 通过Blue-ray3D、HDMI1.4规格的制定、H.264/MVC的标准化等，整备了在一般家庭中也能够收看立体影像内容的环境。伴随于此，即使在影像配送服务、数据包媒体中，除了2D影像内容以外，开始提供立体影像内容。

[0003] 在影像配送服务、数据包媒体中，为了提高网络、存储设备的利用效率，抑制服务成本，进行使用了影像编码的影像内容的信息量压缩。通过使用了影像编码的信息量压缩，在2D影像、立体影像中发生马赛克状的失真(块尺寸)、模糊、渗透、生硬感等劣化，用户察觉的质量(用户体验质量：QoE(Quality of Experience))降低。

[0004] 另外，在经由网络的影像配送服务中，在由于网络的拥塞等而2D影像、立体影像的一部分的数据缺损·破损了的情况下，在2D影像、立体影像中发生劣化而QoE降低。

[0005] 为了高质量地提供上述服务，并且，在产生了质量降低的情况下为了迅速地探测，服务提供之前的质量设计、服务提供中的质量管理变得重要。为此，需要对用户享受的质量适当地进行定量化，而且简便并且高效的影像质量评价技术。

[0006] 以往，提出有根据包括2D影像的像素信息、2D影像的分组的头信息对2D影像的质量进行定量化的技术(例如，参照非专利文献1～4)。

[0007] 非专利文献1：ITU-T勧告J.144

[0008] 非专利文献2：ITU-T勧告J.247

[0009] 非专利文献3：河野太一，渡辺敬志郎，岡本淳，“No reference型ハイブリッド映像品質評価モデルの検討，”信学技報，CQ2010-66，Nov.2010.

[0010] 非专利文献4：K.Yamagishi and T.Hayashi,“Parametric Packet-Layer Model for Monitoring Video Quality of IPTV Services,”IEEE ICC2008,CQ04-3,May2008.[0011] 非专利文献5：堀田裕弘，河合良直，南陽子，村井忠邦，中嶋芳雄，“符号化されたステレオ静止画像における画質評価モデル，”情報処理学会研究報告，2000(24),31-36,Mar.2000

发明内容

[0012] 但是，由于非专利文献1～4记载的技术是以2D影像为对象的影像质量评价技术，所以无法直接对应于立体影像的质量评价。作为与立体影像的质量评价对应的方法，考虑将在立体影像数据中包含的左眼影像和右眼影像视为两个2D影像，使用2D影像质量评价算法(例如非专利文献1～4记载的技术)来计算各2D影像的质量，将该两个2D影像的质量的平均值计算为立体影像的质量的方法。图1示出左眼影像的2D影像质量和右眼影像的2D影像质量的平均值与立体影像质量的关系。描绘点的种类分类成左眼影像和右眼影像的2D影像质量的差大的影像和差小的影像。如图1所示，关于在左眼影像和右眼影像的2D影像质量中差大的影像，可知在使用了平均值的方法下，无法高精度地计算立体影像质量。

[0013] 本发明是鉴于上述而完成的，其目的在于提供一种根据左眼影像和右眼影像的2D影像质量高精度地计算立体影像质量的立体影像推测装置、方法以及程序。

[0014] 为了解决上述课题，本发明提供一种影像质量评价装置，评价用户针对使用了立体影像的服务进行体验的影像质量，其特征在于包括：2D影像质量导出单元，根据所输入的立体影像数据，导出包含于该立体影像数据中的作为左眼影像的质量的左眼影像质量、和作为右眼影像的质量的右眼影像质量；以及立体影像质量导出单元，根据所述左眼影像质量和所述右眼影像质量，导出立体影像的质量。

[0015] 根据本发明，通过使用基于与立体影像的左眼影像和右眼影像的2D影像质量对立体影像造成的影响有关的实验结果所定义的模型式，能够高精度地计算立体影像质量，实现使用了立体影像的服务的适合的质量设计、服务提供中的质量观察，能够对提高质量面中的服务价值作出贡献。

附图说明

[0016] 图1是示出左眼影像质量和右眼影像质量的平均值与立体影像质量的关系的图。

[0017] 图2是示出左眼影像质量、右眼影像质量、以及立体影像质量的关系的图。

[0018] 图3是示出立体影像质量和基础影像质量的差分值、与基础影像质量和子影像质量的差分值的关系的图。

[0019] 图4是本发明的一个实施方式中的影像质量评价装置的结构图。

[0020] 图5是本发明的一个实施方式中的2D影像质量导出部的结构图。

[0021] 图6是本发明的一个实施方式中的立体影像质量计算部的结构图。

[0022] 图7是本发明的一个实施方式中的影像质量评价的流程图。

[0023] (符号说明)

[0024] 1：2D影像数据抽出部；2：2D影像质量导出部；3：立体影像质量导出部；11：左眼影像数据抽出部；12：右眼影像数据抽出部；21：左眼影像质量计算部；22：右眼影像质量计算部；23：存储部；31：基础影像质量判定部；32：立体影像质量计算部；211、221：运算处理部；321：运算处理部；322：存储部。

具体实施方式

[0025] 以下，根据附图，说明本发明的实施方式。

[0026] 在本发明的实施方式中，首先使用既存的2D影像质量评价算法，计算在立体影像中包含的左眼影像的2D影像质量(左眼影像质量)和右眼影像的2D影像质量(右眼影像质量)。使用通过实验得到的左眼影像质量、右眼影像质量、以及立体影像质量的关系模型，根据左眼影像质量和右眼影像质量计算立体影像质量。

[0027] 说明左眼影像质量、右眼影像质量、以及立体影像质量的关系。

[0028] 首先，叙述左眼影像质量比右眼影像质量高的情况的关系。图2示出左眼影像质量、右眼影像质量、以及立体影像质量的关系，仅描绘了左眼影像质量比右眼影像质量高的条件的情况。描绘点的种类的差异表示左眼影像质量的差异，横轴表示右眼影像质量，纵轴表示立体影像质量。图中的线段意味着描绘点的每个种类的右眼影像质量和立体影像质量的回归直线。在左眼影像质量相同的情况下，存在右眼影像质量越低，立体影像质量越降低的关系，但可知其程度缓，质量高的左眼影像质量相比于右眼影像质量，对立体影像质量造成的影响更大(质量特性1)。

[0029] 接下来，叙述右眼影像质量比左眼影像质量高的情况的关系。根据非专利文献5「堀田裕弘，河合良直，南陽子，村井忠邦，中嶋芳雄，“符号化されたステレオ静止画像における画質評価モデル(被编码后的立体静止图像中的图像质量评价模式)”情報処理学会研究報告，2000(24),31-36,Mar.2000」，即使左眼影像和右眼影像的质量相逆，对立体影像质量造成的影响的规格没有变化，在右眼影像质量高于左眼影像质量的情况下，右眼影像质量相比于左眼影像质量，对立体影像质量造成的影响更大(质量特性2)。

[0030] 在图2中，导出了左眼影像限制为比右眼影像高的条件的情况的质量特性，除了立体影像质量与左眼影像质量有高的相关以外，还示出了由于右眼影像质量的降低而立体影像质量缓慢地降低的关系(质量特性1)。在该时刻，未考虑左右影像的质量相逆的情况。接下来，能够根据在非专利文献5中示出的即使右眼影像和左眼影像的质量逆转但立体影像质量仍不变化的特性(质量特性2)，导出即使在右眼影像比左眼影像高的条件的情况下，也有与质量特性1同样的特性(质量特性3)。根据质量特性1和质量特性3，可知立体影像质量在左眼影像和右眼影像内，大幅受到质量高的影像的影响，稍微受到质量低的影像的影响这样的关系。因此，通过将左眼影像和右眼影像分类为质量高的影像(基础影像)和质量低的影像(子影像)，并以基础影像的质量(基础影像质量)为基础而用子影像(子影像质量)的质量校正，能够计算立体影像质量。

[0031] 具体而言，

[0032] ·质量特性1

[0033] 立体影像质量＝A(左眼影像质量、右眼影像质量)if左眼影像质量≧右眼影像质量

[0034] 此处，A(M，N)表示将质量值M作为基础用质量值N校正而计算立体影像质量的函数。

[0035] ·质量特性2

[0036] 立体影像质量＝B(.左眼影像质量，右眼影像质量)＝B(右眼影像质量，左眼影像质量)

[0037] 此处，B(M、N)表示根据质量值M和质量值N计算立体影像质量的函数，A(M、N)是B(M、N)的一个形式。根据质量特性1和2，

[0038] ·质量特性3

[0039] 立体影像质量＝A(右眼影像质量、左眼影像质量)if右眼影像质量≧左眼影像质量

[0040] 根据质量特性1和3，得到

[0041] 立体影像质量＝A(基础影像质量、子影像质量)。

[0042] 图3示出立体影像质量与基础影像质量的差分值、和基础影像质量与子影像质量的差分值的关系，立体影像质量表示在基础影像质量与子影像质量的差分值中受到影响。在用于导出立体影像质量的校正中，进行从基础影像质量减去基础影像质量与子影像质量的差分值那样的校正(如果该差分值变大则相比于基础影像质量降低立体影像质量那样的校正)。另外，关于该校正的详细，通过式(1)～(6)后述。另外，如该图所示，在立体影像质量与基础影像质量的差分值和基础影像质量与子影像质量的差分值之间存在非线性的关系，所以能够通过导入考虑了非线性性的模型式，提高立体影像质量的推测精度。另外，关于该校正的详细，通过式(5)、(6)后述。

[0043] 本发明提供用于计算立体影像的质量的装置、方法，具体而言，个别地计算立体影像的左眼影像质量和右眼影像质量，根据这些质量计算立体影像质量。

[0044] 本申请发明的特征在于，根据依据与左眼影像质量和右眼影像质量对立体影像的质量造成的影响有关的实验结果定义了的模型式，计算立体影像质量的点。

[0045] 图4示出本发明的一个实施方式中的影像质量评价装置的结构。

[0046] 该图所示的影像质量评价装置包括2D影像数据抽出部1、2D影像质量导出部2、立体影像质量导出部3，将立体影像数据作为输入，将立体影像质量作为输出。此处，立体影像数据是指：包括立体影像信号或者信息处理(编码处理、传送处理等)之前的立体影像信号或者立体影像信号的分组或者它们的组合。

[0047] 2D影像数据抽出部1具有左眼影像数据抽出部11、右眼影像数据抽出部12。

[0048] 2D影像质量导出部2如图5所示，具有左眼影像质量计算部21、右眼影像质量计算部22以及储存2D影像质量评价算法(程序)的存储部23，左眼影像质量计算部21、右眼影像质量计算部22分别具有运算处理部211、221。

[0049] 立体影像质量导出部3具有基础影像质量判定部31、立体影像质量计算部32，立体影像质量计算部32如图6所示，具有运算处理部321和存储部322。

[0050] 向本影像质量评价装置输入的立体影像数据成为向2D影像数据抽出部1的左眼影像数据抽出部11和右眼影像数据抽出部12的输入。

[0051] 在2D影像数据抽出部1中，将立体影像数据作为输入，在左眼影像数据抽出部11中，根据所输入的立体影像数据，抽出左眼影像数据，作为向左眼影像质量计算部21的输入而输出，在右眼影像数据抽出部12中，根据所输入的立体影像数据，抽出右眼影像数据，作为向右眼影像质量计算部22的输入而输出。

[0052] 在左眼影像数据抽出部11中，抽出所输入的立体影像数据中包含的左眼影像数据。立体影像数据的数据构造依赖于所输入的立体影像数据的容器(container)的形式(AVI、MPEG等)。立体影像数据不限于一定形成为单一的数据，还有预先通过左眼影像和右眼影像将数据分开的情况。另外，抽出的左眼影像数据的形式也依赖于在2D影像质量导出部2中使用的影像质量评价算法，还有左眼影像的影像信号、分组头信息、分组比特流信息等。在所输入的立体影像数据中包含的影像信号被编码，并且将影像信号用作左眼影像数据的情况下，左眼影像数据抽出部11需要具有解码的功能，但作为实施方式，期望设想在输入之前对影像信号进行解码而安装。

[0053] 在右眼影像数据抽出部12中，抽出所输入的立体影像数据中包含的右眼影像数据。立体影像数据的数据构造依赖于所输入的立体影像数据的容器的形式(AVI、MPEG等)。立体影像数据不限于一定形成为单一的数据，还有预先通过左眼影像和右眼影像将数据分开的情况。另外，所抽出的右眼影像数据的形式也依赖于在2D影像质量导出部2中使用的影像质量评价算法，还有右眼影像的影像信号、分组头信息、分组比特流信息等。在所输入的立体影像数据中包含的影像信号被编码，并且将影像信号用作右眼影像数据的情况下，右眼影像数据抽出部12需要具有解码的功能，但作为实施方式，期望设想在输入之前对影像信号进行解码而安装。

[0054] 2D影像质量导出部2将左眼影像数据以及右眼影像数据作为输入，在左眼影像质量计算部21中，根据所输入的左眼影像数据，计算左眼影像质量，作为向基础影像质量判定部31的输入而输出，在右眼影像质量计算部22中，根据所输入的右眼影像数据，计算右眼影像质量，作为向基础影像质量判定部31的输入而输出。

[0055] 在左眼影像质量计算部21中，根据所输入的左眼影像数据，使用例如非专利文献1～4的既存的2D影像质量评价算法，计算左眼影像质量。将影像质量评价算法作为程序，如图5所示，积蓄到存储部23中，从左眼影像质量计算部21的运算处理部211参照。输入的立体影像数据的形式以及评价的单位(分组单位、帧单位、任意的时间单位(例如10秒单位)、影像整体等)依赖于所使用的影像质量评价算法。

[0056] 在右眼影像质量计算部22中，根据所输入的右眼影像数据，使用例如非专利文献1～4的既存的2D影像质量评价算法，计算右眼影像质量。将影像质量评价算法作为程序，如图5所示，积蓄到存储部23中，从运算处理部221参照。输入的立体影像数据的形式以及评价的单位(分组单位、帧单位、任意的时间单位(例如10秒单位)、影像整体等)依赖于所使用的影像质量评价算法。

[0057] 立体影像质量导出部3将左眼影像质量和右眼影像质量作为输入，在基础影像质量判定部31中，根据所输入的左眼影像质量和右眼影像质量，计算基础影像质量和子影像质量，作为向立体影像质量计算部32的输入而输出，在立体影像质量计算部32中，根据所输入的基础影像质量和子影像质量，使用根据与立体影像的左眼影像和右眼影像的2D影像质量对立体影像造成的影响有关的实验结果定义了的模型式，计算立体影像质量。

[0058] 在基础影像质量判定部31中，在所输入的左眼影像质量和右眼影像质量内，将值高的一方计算为基础影像质量，将值低的一方计算为子影像质量。在左眼影像质量和右眼影像质量的值相同的情况下，关于基础影像质量以及子影像质量，可以参照左眼影像质量以及右眼影像质量中的任意一个，在本实施方式中，将左眼影像质量计算为基础影像质量，将右眼影像质量计算为子影像质量。另外，考虑设想根据立体影像服务，左眼影像质量或者右眼影像质量相比于另一方的影像的质量变得非常高的情形，但在这样的情况下，也可以省略判定处理，唯一地将一方的影像的质量设定为基础影像质量、将另一方的影像的质量设定为子影像质量。

[0059] 在立体影像计算部32中，根据基础影像质量BQ和子影像质量SQ，使用以下的模型式(1)，计算立体影像质量VQ。

[0060] [式1]

[0061] VQ＝v1·BQ-v2·(BQ-SQ)+v3   (1)

[0062] 此处，v1、v2、v3是系数，需要使用事先在主观质量评价实验等中得到的立体影像质量、以及基础影像质量和子影像质量，通过最小二乘法等使模型式最佳化。该模型式(1)将基础影像质量作为基础而计算立体影像质量，对如果基础影像质量与子影像质量的差分值变大则立体影像质量缓慢地降低的关系进行模型化。

[0063] 另外，也可以代替使用接下来的某一个模型式。

[0064] [式2]

[0065] VQ＝v4·BQ·exp((BQ-SQ)/v5)   (2)

[0066] [式3]

[0067] VQ＝v6·BQ·exp((SQ/BQ)/v7)   (3)

[0068] [式4]

[0069] VQ＝v8·RQ-v9·(SQ/BQ)+v10   (4)

[0070] [式5]

[0071]

[0072] [式6]

[0073]

[0074] 此处，N1以及N2是任意的正数，v12[j]以及v15[j]是要素数为N1以及N2的阵列。关于N1以及N2的值意味着的公式的次数，通过实验确认了通过正数2得到充分期待的高的推测精度。v4、v5、v6、v7、v8、v9、v10、v11、v13、v14、v16以及v12[j]以及v15[j]的各要素是系数，需要使用事先在主观质量评价实验等中得到的立体影像质量、以及基础影像质量和子影像质量，通过最小二乘法等使模型式最佳化。这些模型式(2)～(6)将基础影像质量作为基础而计算立体影像质量，对如果基础影像质量与子影像质量的差分值变大或者如果基础影像质量与子影像质量的比变小，则立体影像质量缓慢地降低的关系进行了模型化。另外，在模型式(5)、(6)中，如果图3所示那样的基础影像质量与子影像质量的差分值或者基础影像质量与子影像质量的比变小，则立体影像质量与基础影像质量的差分值非线性地向负的方向变大的关系，能够以比模型式(1)～(4)高的精度，推测立体影像质量。将模型式以及模型系数作为例如程序以及程序利用的数据，如图6所示，积蓄到存储部322中，从运算处理部321参照。

[0075] 接下来，使用图7的流程图，说明本实施方式的处理流程。

[0076] 左眼影像数据抽出部11从所输入的立体影像数据抽出左眼影像数据(左眼的影像信号、分组头信息、分组流信息)，输入到左眼影像质量计算部21(步骤1)。

[0077] 右眼影像数据抽出部12从所输入的立体影像数据，抽出右眼影像数据(右眼的影像信号、分组头信息、分组流信息)，输入到右眼影像质量计算部22(步骤2)。

[0078] 左眼影像质量计算部21根据所输入的左眼影像数据，使用2D影像评价算法，计算左眼影像质量，输入到基础影像质量判定部31(步骤3)。

[0079] 接下来，右眼影像质量计算部22根据所输入的立体影像数据，使用2D影像评价算法，计算右眼影像质量，输入到基础影像质量判定部31(步骤4)。

[0080] 然后，基础影像质量判定部31将所输入的左眼影像质量和右眼影像质量中的、值高的一方作为基础影像质量、将值低的一方作为子影像质量，输入到立体影像质量计算部32(步骤5)。

[0081] 最后，立体影像质量计算部32根据所输入的基础影像质量和子影像质量，使用规定的模型式，计算立体影像质量(步骤6)。

[0082] 另外，能够将上述图4所示的影像质量评价装置的构成要素的各动作构筑为程序，安装到用作影像处理装置的计算机来执行，或者，经由网络流通。

[0083] 即，图4所示的影像质量评价装置能够通过例如使一个或者多个计算机执行记述了在本实施方式中说明的处理内容的程序来实现。更详细而言，影像质量评价装置的各部具有的功能能够通过使用在构成该影像质量评价装置的计算机中内置的CPU、存储器、硬盘等硬件资源来执行与由各部实施的处理对应的程序而实现。

[0084] 即，作为本发明的一个实施方式，提供一种使计算机作为评价用户针对使用了立体影像的服务体验的影像质量的影像质量评价装置而发挥功能的程序，其特征在于，使程序作为如下单元而发挥功能：2D影像质量导出部2，根据作为所输入的立体影像数据的输入立体影像数据，导出作为该输入立体影像数据中包含的左眼影像的质量的左眼影像质量、和作为右眼影像的质量的右眼影像质量；以及立体影像质量导出部3，根据所述左眼影像质量和所述右眼影像质量，导出立体影像质量。另外，在使用既存技术来实现2D影像质量导出部2的情况下，作为本发明的一个实施方式，也可以提供一种使计算机作为根据所述左眼影像质量和所述右眼影像质量导出立体影像质量的立体影像质量导出部3而发挥功能的程序。

[0085] 在上述中说明了的程序能够记录于计算机可读取的记录介质中而保存或则分发。另外，还能够经由因特网、电子邮件等网络提供上述程序。作为上述记录介质，例如，有RAM(Random Access Memory)、闪存存储器、ROM(Read Only Memory)、EPROM(Erasable 
Programmable ROM)、EEPROM(Electronically Erasable and Programmable ROM)、寄存器、硬盘、SD卡、移动盘、CD-ROM等。

[0086] 本发明不限于上述实施方式，能够在权利要求的范围内实现各种变更·应用。

[0087] 本国际申请主张基于在2011年12月5日申请了的日本专利申请2011-265991号、以及在2012年6月29日申请了的日本专利申请2012-147276号的优先权，将日本专利申请2011-265991号、以及日本专利申请2012-147276号的全部内容援用到本国际申请中。