运动图像编码和解码方法以及设备转让专利
申请号 : CN200680012739.8
文献号 : CN101160970B
文献日 : 2010-07-21
发明人 : 金祐湜 , 金铉文 , 赵大星 , 蒂米特亚·伯英诺夫
申请人 : 三星电子株式会社
摘要 :
提供了一种具有提高的编码效率的运动图像编码/解码方法和设备。所述运动图像编码方法包括：从多个颜色空间中选择一个颜色空间；选择将被共同应用到构成选择的颜色空间的所有颜色分量的预测模式；根据选择的预测模式来为每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；产生与第一残差数据之间的差相应的第二残差数据；对产生的第二残差数据进行编码。
权利要求 :
1.一种运动图像编码方法，包括：
(a)选择将被共同应用到构成颜色空间的所有颜色分量的预测模式；
(b)根据在操作(a)中选择的预测模式来为每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；
(c)产生与每一颜色分量的第一残差数据之间的差相应的第二残差数据；
(d)对产生的第二残差数据进行编码。
2.如权利要求1所述的运动图像编码方法，其中，操作(a)包括选择将被共同应用到所有颜色分量的帧间预测模式，操作(b)包括根据选择的帧间预测模式产生第一残差数据。
3.如权利要求1所述的运动图像编码方法，其中，操作(a)包括选择将被共同应用到所有颜色分量的帧内预测模式，操作(b)包括根据选择的帧内预测模式来产生第一残差数据。
4.如权利要求1所述的运动图像编码方法，其中，操作(a)包括选择将被共同应用到所有颜色分量的块大小，操作(b)包括以与选择的块大小相应的块为单位来产生第一残差数据。
5.如权利要求1所述的运动图像编码方法，其中，操作(a)包括选择将被共同应用到所有颜色分量的运动矢量；操作(b)包括使用选择的运动矢量来从参考图像产生预测图像，以及为每一颜色分量产生与产生的预测图像和当前图像之间的差相应的第一残差数据。
6.如权利要求1所述的运动图像编码方法，其中，操作(a)包括选择将被共同应用到所有颜色分量的预测方向；操作(b)包括从由选择的预测方向所指示的相邻像素来产生预测图像，以及为每一颜色分量产生与当前图像和产生的预测图像之间的差相应的第一残差数据。
7.一种运动图像编码设备，包括：
选择单元，选择将被共同应用到构成颜色空间的所有颜色分量的预测模式；
减法器，根据选择单元选择的预测模式来为每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；
变换单元，产生与减法器产生的第一残差数据之间的差相应的第二残差数据；
编码单元，对变换单元产生的第二残差数据进行编码。
8.一种运动图像编码方法，包括：
(a)从多个颜色空间中选择一个颜色空间；
(b)为构成所选择的颜色空间的每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；
(c)产生与产生的第一残差数据之间的差相应的第二残差数据；
(d)对产生的第二残差数据进行编码。
9.如权利要求8所述的运动图像编码方法，其中，操作(a)包括基于当前图像的特性适应性地选择所述多个颜色空间之一。
10.如权利要求8所述的运动图像编码方法，其中，操作(a)包括选择YCgCo颜色空间和RGB颜色空间之一。
11.一种运动图像编码设备，包括：
选择单元，从多个颜色空间中选择一个颜色空间；
减法器，为构成选择单元所选择的颜色空间的每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；
变换单元，产生与减法器产生的第一残差数据之间的差相应的第二残差数据；
编码单元，对变换单元产生的第二残差数据进行编码。
12.一种运动图像编码方法，包括：
(a)从多个颜色空间中选择一个颜色空间；
(b)选择将被共同应用到构成所选择的颜色空间的所有颜色分量的预测模式；
(c)根据选择的预测模式为构成所选择的颜色空间的每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；
(d)产生与产生的第一残差数据之间的差相应的第二残差数据；
(e)对产生的第二残差数据进行编码。
13.一种运动图像编码设备，包括：
第一选择单元，从多个颜色空间中选择一个颜色空间；
第二选择单元，选择将被共同应用到构成第一选择单元所选择的颜色空间的所有颜色分量的预测模式；
减法器，根据第二选择单元选择的预测模式为每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；
变换单元，产生与减法器产生的第一残差数据之间的差相应的第二残差数据；
编码单元，对变换单元产生的第二残差数据进行编码。
14.一种运动图像编码方法，包括：
(a)在多个颜色空间中选择一个颜色空间；(b)选择将被独立应用到构成选择的颜色空间的颜色分量的第一预测模式或者将被共同应用到选择的颜色空间的所有颜色分量的第二预测模式；
(c)根据在操作(b)中选择的第一预测模式或者第二预测模式为每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据。
15.如权利要求14所述的运动图像编码方法，还包括：(d)产生与每一颜色分量的第一残差数据之间的差相应的第二残差数据；
(e)对产生的第二残差数据进行编码。
16.一种运动图像编码设备，包括：
第一选择单元，从多个颜色空间中选择一个颜色空间；
第二选择单元，选择将被独立应用到构成被第一选择单元选择的颜色空间的颜色分量的第一预测模式或者将被共同应用到选择的颜色空间的所有颜色分量的第二预测模式；
减法器，根据选择单元选择的第一预测模式或者第二预测模式为每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据。
17.一种运动图像解码方法，包括：
(a)通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；
(b)在颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；
(c)根据被共同应用到所有颜色分量的预测模式为构成颜色空间的每一颜色分量产生预测图像；
(d)产生与产生的第一残差数据和产生的预测图像之和相应的重构的图像。
18.如权利要求17所述的运动图像解码方法，其中，操作(a)包括对从运动图像编码设备接收的比特流进行解码，操作(c)包括根据在运动图像编码设备中使用的预测模式产生预测图像。
19.如权利要求17所述的运动图像解码方法，其中，操作(c)包括根据被共同应用到所有颜色分量的帧间预测模式来为每一颜色分量产生预测图像。
20.如权利要求17所述的运动图像解码方法，其中，操作(c)包括根据被共同应用到所有颜色分量的帧内预测模式来为每一颜色分量产生预测图像。
21.如权利要求17所述的运动图像解码方法，其中，操作(c)包括以与被共同应用到所有颜色分量的块大小相应的块为单位为每一颜色分量产生预测的图像。
22.如权利要求17所述的运动图像解码方法，其中，操作(c)包括使用被共同应用到所有颜色分量的运动矢量从参考图像为每一颜色分量产生预测图像。
23.如权利要求17所述的运动图像解码方法，其中，操作(c)包括从被共同应用到所有颜色分量的预测方向所指示的相邻像素来为每一颜色分量产生预测图像。
24.一种运动图像解码设备，包括：
解码单元，通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；
逆变换单元，在颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；
预测单元，根据被共同应用到所有颜色分量的预测模式为构成颜色空间的每一颜色分量产生预测图像；
加法器，产生与逆变换单元产生的第一残差数据和预测单元产生的预测图像之和相应的重构的图像。
25.一种运动图像解码方法，包括：
(a)通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；
(b)在从多个颜色空间中选择的颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；
(c)产生与产生的第一残差数据和预测图像之和相应的重构的图像。
26.如权利要求25所述的运动图像解码方法，其中，操作(a)包括对从运动图像编码设备接收的比特流进行解码，操作(b)包括在运动图像编码设备使用的颜色空间中产生第一残差数据。
27.如权利要求25所述的运动图像解码方法，其中，操作(b)包括在YCgCo颜色空间和RGB颜色空间之一中产生第一残差数据。
28.一种运动图像解码设备，包括：
解码单元，通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；
逆变换单元，在从多个颜色空间中选择的颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；
加法器，产生与逆变换单元产生的第一残差数据和预测图像之和相应的重构的图像。
29.一种运动图像解码方法，包括：
(a)通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；
(b)在从多个颜色空间中选择的颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；
(c)根据被共同应用到所有颜色分量的预测模式为颜色空间的每一颜色分量产生预测图像；
(d)产生与产生的第一残差数据和产生的预测图像之和相应的重构的图像。
30.一种运动图像解码设备，包括：
解码单元，通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；
逆变换单元，在从多个颜色空间中选择的颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；
预测单元，根据被共同应用到所有颜色分量的预测模式为构成颜色空间的每一颜色分量产生预测图像；
加法器，产生与逆变换单元产生的第一残差数据和预测单元产生的预测图像之和相应的重构的图像。
31.一种运动图像解码方法，包括：
(a)根据被独立地应用到构成多个颜色空间中的在运动图像编码设备中使用的颜色空间的颜色分量的第一预测模式或者被共同应用到所有颜色分量的第二预测模式为构成颜色空间的每一颜色分量产生预测图像；
(b)基于产生的预测图像来产生重构的图像。
32.如权利要求31所述的运动图像解码方法，还包括：(c)通过对比特流进行解码产生与第一残差数据之间的差相应的第二残差数据；
(d)在颜色空间中产生与产生的第二残差数据的和相应的第一残差数据，其中，操作(b)包括产生与产生的第一残差数据和产生的预测图像之和相应的重构的图像。
33.如权利要求31所述的运动图像解码方法，其中，操作(a)包括基于从运动图像编码设备发送的标志根据第一预测模式或第二预测模式来产生预测图像。
34.一种运动图像解码设备，包括：
预测单元，根据被独立地应用到构成多个颜色空间中的在运动图像编码设备中使用的颜色空间的颜色分量的第一预测模式或者被共同应用到构成颜色空间的所有颜色分量的第二预测模式为构成颜色空间的每一颜色分量产生预测图像；
加法器，基于预测单元产生的预测图像来产生重构的图像。
说明书 :
技术领域
本发明涉及一种运动图像编码/解码方法和设备，更具体地讲，涉及一种使用H.264/MPEG-4 AVC FRExt(高级视频编码保真度范围扩展)标准的运动图像编码/解码方法和设备。
背景技术
在开发H.264/MPEG-4 AVC FRExt标准期间开发了一种被称作“残差颜色变换”的新RGB编码技术。这种技术用于防止在执行从RGB颜色空间到YCbCr颜色空间的变换时出现的图像品质的劣化。然而，根据H.264/MPEG-4AVC FRExt的RGB编码技术还不能确保应用到运动图像再现设备的足够高的编码效率。
因此，需要确保应用到运动图像再现设备的足够高的编码效率的根据H.264/MPEG-4 AVC FRExt的编码技术。
因此，需要确保应用到运动图像再现设备的足够高的编码效率的根据H.264/MPEG-4 AVC FRExt的编码技术。
发明内容
技术方案
本发明的一方面提供了一种可使用根据H.264/MPEG-4 AVC FRExt的RGB编码技术增加运动图像的编码效率的运动图像编码/解码方法和设备。
本发明的一方面还提供了一种其上实现有用于所述运动图像编码/解码方法的计算机程序的计算机可读记录介质。
有益效果
根据本发明，由于根据被共同应用到所有颜色分量的一种预测模式产生残差数据，所以残差数据之间的相关性高。结果，运动图像的编码效率增加。另外，根据本发明，可使用根据运动图像的特性从多个颜色空间中适应性地选择的单个颜色空间来增加运动图像的编码效率。此外，根据本发明，可通过应用根据本发明的所有方法来使得运动图像的编码效率最大化。
本发明的一方面提供了一种可使用根据H.264/MPEG-4 AVC FRExt的RGB编码技术增加运动图像的编码效率的运动图像编码/解码方法和设备。
本发明的一方面还提供了一种其上实现有用于所述运动图像编码/解码方法的计算机程序的计算机可读记录介质。
有益效果
根据本发明，由于根据被共同应用到所有颜色分量的一种预测模式产生残差数据，所以残差数据之间的相关性高。结果，运动图像的编码效率增加。另外，根据本发明，可使用根据运动图像的特性从多个颜色空间中适应性地选择的单个颜色空间来增加运动图像的编码效率。此外，根据本发明，可通过应用根据本发明的所有方法来使得运动图像的编码效率最大化。
附图说明
图1是根据本发明实施例的运动图像编码设备的框图；
图2示出在图1的运动图像编码设备中的块大小的选择；
图3示出在图1的运动图像编码设备中的运动矢量的选择；
图4示出在图1的运动图像编码设备中预测方向的选择；
图5示出在根据本发明的实施例中当一种预测模式被应用到不同颜色分量时残差数据之间的相关性的改变；
图6示出在根据本发明的实施例中当一种预测模式被应用到所有颜色分量时颜色分量之间的相关性；
图7是根据本发明实施例的运动图像解码设备的框图；
图8A和图8B是根据本发明实施例的运动图像编码方法的流程图；
图9是根据本发明实施例的运动图像解码方法的流程图；
图10是根据本发明实施例的仿真测试的结果；
图11是对比显示在根据本发明实施例中在无损模式下的编码效率的示图；
图12A和图12B是通过本发明实施例的仿真获得的率失真(RD)曲线。
最佳方式
根据本发明的一方面，提供了一种运动图像编码方法，包括：(a)选择将被共同应用到构成颜色空间的所有颜色分量的预测模式；(b)根据在操作(a)中选择的预测模式来为每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；(c)产生与每一颜色分量的第一残差数据之间的差相应的第二残差数据；(d)对产生的第二残差数据进行编码。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像编码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像编码设备，包括：选择单元，选择将被共同应用到构成颜色空间的所有颜色分量的预测模式；减法器，根据选择单元选择的预测模式来为每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；变换单元，产生与减法器产生的第一残差数据之间的差相应的第二残差数据；编码单元，对变换单元产生的第二残差数据进行编码。
根据本发明的另一方面，提供了一种运动图像编码方法，包括：(a)从多个颜色空间中选择一个颜色空间；(b)为构成所选择的颜色空间的每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；(c)产生与产生的第一残差数据之间的差相应的第二残差数据；(d)对产生的第二残差数据进行编码。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像编码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像编码设备，包括：选择单元，从多个颜色空间中选择一个颜色空间；减法器，为构成选择单元所选择的颜色空间的每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；变换单元，产生与减法器产生的第一残差数据之间的差相应的第二残差数据；编码单元，对变换单元产生的第二残差数据进行编码。
根据本发明的另一方面，提供了一种运动图像编码方法，包括：(a)从多个颜色空间中选择一个颜色空间；(b)选择将被共同应用到构成所选择的颜色空间的所有颜色分量的预测模式；(c)根据选择的预测模式为构成所选择的颜色空间的每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；(d)产生与产生的第一残差数据之间的差相应的第二残差数据；(e)对产生的第二残差数据进行编码。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像编码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像编码设备，包括：第一选择单元，从多个颜色空间中选择一个颜色空间；第二选择单元，选择将被共同应用到构成第一选择单元选择的颜色空间的所有颜色分量的预测模式；减法器，根据第二选择单元选择的预测模式为每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；变换单元，产生与减法器产生的第一残差数据之间的差相应的第二残差数据；编码单元，对变换单元产生的第二残差数据进行编码。
根据本发明的另一方面，提供了一种运动图像编码方法，包括：(a)选择将被独立应用到构成颜色空间的颜色分量的第一预测模式或者将被共同应用到所述颜色空间的所有颜色分量的第二预测模式；(b)根据在操作(a)中选择的第一预测模式或者第二预测模式为每一颜色分量产生与当前图像和预测图像相应的第一残差数据。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像编码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像编码设备，包括：选择单元，选择将被独立应用到构成颜色空间的颜色分量的第一预测模式或者将被共同应用到所述颜色空间的所有颜色分量的第二预测模式；减法器，根据选择单元选择的第一预测模式或者第二预测模式为每一颜色分量产生与当前图像和预测图像相应的第一残差数据。
根据本发明的另一方面，提供了一种运动图像解码方法，包括：(a)通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；(b)在颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；(c)根据被共同应用到所有颜色分量的预测模式为构成颜色空间的每一颜色分量产生预测图像；(d)产生与产生的第一残差数据和产生的预测图像之和相应的重构的图像。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像解码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像解码设备，包括：解码单元，通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；逆变换单元，在颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；预测单元，根据被共同应用到所有颜色分量的预测模式为构成颜色空间的每一颜色分量产生预测图像；加法器，产生与逆变换单元产生的第一残差数据和预测单元产生的预测图像之和相应的重构的图像。
根据本发明的另一方面，提供了一种运动图像解码方法，包括：(a)通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；(b)在从多个颜色空间中选择的颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；(c)产生与产生的第一残差数据和预测图像之和相应的重构的图像。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像解码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像解码设备，包括：解码单元，通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；逆变换单元，在从多个颜色空间中选择的颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；加法器，产生与逆变换单元产生的第一残差数据和预测图像之和相应的重构的图像。
根据本发明的另一方面，提供了一种运动图像解码方法，包括：(a)通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；(b)在从多个颜色空间中选择的颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；(c)根据被共同应用到所有颜色分量的预测模式为颜色空间的每一颜色分量产生预测图像；(d)产生与产生的第一残差数据和产生的预测图像之和相应的重构的图像。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像解码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像解码设备，包括：解码单元，通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；逆变换单元，在从多个颜色空间中选择的颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；预测单元，根据被共同应用到所有颜色分量的预测模式为颜色空间的每一颜色分量产生预测图像；加法器，产生与逆变换单元产生的第一残差数据和预测单元产生的预测图像之和相应的重构的图像。
根据本发明的另一方面，提供了一种运动图像解码方法，包括：(a)根据被独立地应用到构成颜色空间的颜色分量的第一预测模式或者被共同应用到所有颜色分量的第二预测模式为构成颜色空间的每一颜色分量产生预测图像；(b)基于产生的预测图像来产生重构的图像。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像解码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像解码设备，包括：预测单元，根据被独立地应用到构成颜色空间的颜色分量的第一预测模式或者被共同应用到构成颜色空间的所有颜色分量的第二预测模式为构成颜色空间的每一颜色分量产生预测图像；加法器，基于预测单元产生的预测图像来产生重构的图像。
本发明的另外和/或其他方面和优点将在下面的描述中部分地阐述，部分地，从下面的描述中它们将是清楚的，或者通过实施本发明而被了解。
图2示出在图1的运动图像编码设备中的块大小的选择；
图3示出在图1的运动图像编码设备中的运动矢量的选择；
图4示出在图1的运动图像编码设备中预测方向的选择；
图5示出在根据本发明的实施例中当一种预测模式被应用到不同颜色分量时残差数据之间的相关性的改变；
图6示出在根据本发明的实施例中当一种预测模式被应用到所有颜色分量时颜色分量之间的相关性；
图7是根据本发明实施例的运动图像解码设备的框图；
图8A和图8B是根据本发明实施例的运动图像编码方法的流程图；
图9是根据本发明实施例的运动图像解码方法的流程图；
图10是根据本发明实施例的仿真测试的结果；
图11是对比显示在根据本发明实施例中在无损模式下的编码效率的示图；
图12A和图12B是通过本发明实施例的仿真获得的率失真(RD)曲线。
最佳方式
根据本发明的一方面，提供了一种运动图像编码方法，包括：(a)选择将被共同应用到构成颜色空间的所有颜色分量的预测模式；(b)根据在操作(a)中选择的预测模式来为每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；(c)产生与每一颜色分量的第一残差数据之间的差相应的第二残差数据；(d)对产生的第二残差数据进行编码。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像编码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像编码设备，包括：选择单元，选择将被共同应用到构成颜色空间的所有颜色分量的预测模式；减法器，根据选择单元选择的预测模式来为每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；变换单元，产生与减法器产生的第一残差数据之间的差相应的第二残差数据；编码单元，对变换单元产生的第二残差数据进行编码。
根据本发明的另一方面，提供了一种运动图像编码方法，包括：(a)从多个颜色空间中选择一个颜色空间；(b)为构成所选择的颜色空间的每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；(c)产生与产生的第一残差数据之间的差相应的第二残差数据；(d)对产生的第二残差数据进行编码。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像编码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像编码设备，包括：选择单元，从多个颜色空间中选择一个颜色空间；减法器，为构成选择单元所选择的颜色空间的每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；变换单元，产生与减法器产生的第一残差数据之间的差相应的第二残差数据；编码单元，对变换单元产生的第二残差数据进行编码。
根据本发明的另一方面，提供了一种运动图像编码方法，包括：(a)从多个颜色空间中选择一个颜色空间；(b)选择将被共同应用到构成所选择的颜色空间的所有颜色分量的预测模式；(c)根据选择的预测模式为构成所选择的颜色空间的每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；(d)产生与产生的第一残差数据之间的差相应的第二残差数据；(e)对产生的第二残差数据进行编码。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像编码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像编码设备，包括：第一选择单元，从多个颜色空间中选择一个颜色空间；第二选择单元，选择将被共同应用到构成第一选择单元选择的颜色空间的所有颜色分量的预测模式；减法器，根据第二选择单元选择的预测模式为每一颜色分量产生与当前图像和预测图像之间的差相应的第一残差数据；变换单元，产生与减法器产生的第一残差数据之间的差相应的第二残差数据；编码单元，对变换单元产生的第二残差数据进行编码。
根据本发明的另一方面，提供了一种运动图像编码方法，包括：(a)选择将被独立应用到构成颜色空间的颜色分量的第一预测模式或者将被共同应用到所述颜色空间的所有颜色分量的第二预测模式；(b)根据在操作(a)中选择的第一预测模式或者第二预测模式为每一颜色分量产生与当前图像和预测图像相应的第一残差数据。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像编码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像编码设备，包括：选择单元，选择将被独立应用到构成颜色空间的颜色分量的第一预测模式或者将被共同应用到所述颜色空间的所有颜色分量的第二预测模式；减法器，根据选择单元选择的第一预测模式或者第二预测模式为每一颜色分量产生与当前图像和预测图像相应的第一残差数据。
根据本发明的另一方面，提供了一种运动图像解码方法，包括：(a)通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；(b)在颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；(c)根据被共同应用到所有颜色分量的预测模式为构成颜色空间的每一颜色分量产生预测图像；(d)产生与产生的第一残差数据和产生的预测图像之和相应的重构的图像。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像解码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像解码设备，包括：解码单元，通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；逆变换单元，在颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；预测单元，根据被共同应用到所有颜色分量的预测模式为构成颜色空间的每一颜色分量产生预测图像；加法器，产生与逆变换单元产生的第一残差数据和预测单元产生的预测图像之和相应的重构的图像。
根据本发明的另一方面，提供了一种运动图像解码方法，包括：(a)通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；(b)在从多个颜色空间中选择的颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；(c)产生与产生的第一残差数据和预测图像之和相应的重构的图像。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像解码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像解码设备，包括：解码单元，通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；逆变换单元，在从多个颜色空间中选择的颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；加法器，产生与逆变换单元产生的第一残差数据和预测图像之和相应的重构的图像。
根据本发明的另一方面，提供了一种运动图像解码方法，包括：(a)通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；(b)在从多个颜色空间中选择的颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；(c)根据被共同应用到所有颜色分量的预测模式为颜色空间的每一颜色分量产生预测图像；(d)产生与产生的第一残差数据和产生的预测图像之和相应的重构的图像。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像解码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像解码设备，包括：解码单元，通过对比特流解码产生与第一残差数据之间的差相应的第二残差数据；逆变换单元，在从多个颜色空间中选择的颜色空间中产生与产生的第二残差数据的和相应的第一残差数据；预测单元，根据被共同应用到所有颜色分量的预测模式为颜色空间的每一颜色分量产生预测图像；加法器，产生与逆变换单元产生的第一残差数据和预测单元产生的预测图像之和相应的重构的图像。
根据本发明的另一方面，提供了一种运动图像解码方法，包括：(a)根据被独立地应用到构成颜色空间的颜色分量的第一预测模式或者被共同应用到所有颜色分量的第二预测模式为构成颜色空间的每一颜色分量产生预测图像；(b)基于产生的预测图像来产生重构的图像。
根据本发明的另一方面，提供了一种其上实现了上述的运动图像解码方法的计算机程序的计算机可读记录介质。
根据本发明的另一方面，提供了一种运动图像解码设备，包括：预测单元，根据被独立地应用到构成颜色空间的颜色分量的第一预测模式或者被共同应用到构成颜色空间的所有颜色分量的第二预测模式为构成颜色空间的每一颜色分量产生预测图像；加法器，基于预测单元产生的预测图像来产生重构的图像。
本发明的另外和/或其他方面和优点将在下面的描述中部分地阐述，部分地，从下面的描述中它们将是清楚的，或者通过实施本发明而被了解。
具体实施方式
现在将详细描述其示例在附图中表示的本发明的实施例，其中，相同的标号始终指相同的部件。下面将参照附图来描述这些实施例以解释本发明。
图1是根据本发明实施例的运动图像编码设备的框图。
参照图1，根据本发明实施例的运动图像编码设备包括颜色空间选择单元101、帧间预测模式选择单元102、运动估计单元103、运动补偿单元104、帧内预测模式选择单元105、帧内预测单元106、减法器107、残差变换单元108、频域变换单元109、量化单元110、熵编码单元111、去量化单元112、频域逆变换单元113、残差逆变换单元114、加法器115和滤波器116。
颜色空间选择单元101基于当前图像的特性适应性地从多个颜色空间中选择某个颜色空间。颜色空间的非限制性的示例包括YCgCo颜色空间和RGB颜色空间。在YCgCo颜色空间中，Y表示亮度分量，Co表示橘色色度分量，Cg表示绿色色度分量。在RGB颜色空间中，R表示红色分量，G表示绿色分量，B表示蓝色分量。
下面对当前图像编码的方案在YCgCo颜色空间中称作“残差颜色变换”或RCT，而在RGB颜色空间中称作“平面间预测”(inter-plane prediction)或IPP。
所述RGB颜色空间包括可被人感知的R分量、G分量和B分量。因此，在YCgCo颜色空间执行了编码之后，当颜色空间选择单元101选择另一颜色空间，例如，YCgCo颜色空间，而非RGB颜色空间时，应该执行从YCgCo颜色空间到RGB颜色空间的变换。
根据使用多组高品质图像(比如高清晰度(HD)运动图像、胶片扫描图像、Thompson Viper序列等)执行的大量实验的结果，不存在用于具有各种特性和比特率的图像的万能方法。一些图像在颜色分量上包含严重的胶片颗粒噪声，其他图像包含热噪声，其他图像具有饱和颜色特性。RCT在特定情况下有效，而IPP在另一情况下有效。因此，在本实施例中，根据图像特性适应性地使用RCT和IPP之一。可根据H.264/MPEG-4 AVC FRExt通过单个比特的标志来通知运动图像解码设备在运动图像编码设备中使用了RCT和IPP中的哪一个。
在高比特率的环境下，采用RCT的运动图像的编码效率比采用IPP的高。然而，在RCT中，由于不同颜色空间之间的变换，导致图像品质劣化。具体地讲，当很多噪声分量存在于当前图像或者当当前图像的构造复杂时，这种图像品质的劣化是严重的。当很多噪声分量存在于当前图像或者当当前图像的构造复杂时，颜色空间选择单元101选择RGB颜色空间；而当在当前图像中几乎没有噪声分量或者当当前图像的构造简单时，颜色空间选择单元101选择YCgCo颜色空间。换句话说，颜色空间选择单元101基于运动图像的特性(比如比特率、编码的序列等)来适应性地选择颜色空间。
帧间预测模式选择单元102选择将被独立地应用到构成由颜色空间选择单元101选择的颜色空间的颜色分量的多种帧间预测模式，或者被共同应用到构成由颜色空间选择单元101选择的颜色空间的所有颜色分量的单个帧间预测模式。通常，当所有的颜色分量在帧间预测模式中具有不同的运动矢量时，所有的颜色分量的残差数据具有不同的特性，因此，在不同的颜色分量的残差数据之间几乎不存在相关性。因此，在本实施例中，建议对所有颜色分量使用一种预测模式(例如，单个块大小、单个运动矢量等)以增加不同颜色分量的残差数据之间的相关性。一种预测模式的使用比在RGB分量具有相似纹理特性时提供更自然的图像。另外，可根据H.264/MPEG-4 AVC FRExt通过单个比特的标志通知运动图像解码设备在运动图像编码设备中使用了一种模式和传统独立模式中的哪一个。
将详细描述帧间预测模式选择单元102选择一种模式的情况。帧间预测模式选择单元102选择将被共同应用到构成由颜色空间选择单元101选择的颜色空间的所有颜色分量的块大小。构成当前图像的块大小可以是16×16、16×8、8×1、8×8、8×4、4×8、4×4等。通常，16×16块被称作“宏块”，通过将宏块划分成各种大小而获得的块被称作“子块”。以这种块为单位来执行运动图像的编码和解码。需要更精确的编码和解码的运动图像的一部分以较小的块为单位进行编码和解码。
具体地讲，帧间预测模式选择单元102选择被共同应用到所有颜色分量的块大小。例如，帧间预测模式选择单元102从Y分量的块大小、Co分量的块大小和Cg分量的块大小中选择将被共同应用到Y分量、Co分量和Cg分量的块大小。作为选择，帧间预测模式选择单元102从R分量的块大小、G分量的块大小和B分量的块大小中来选择将被共同应用到R分量、G分量和B分量的块大小。
图2示出在图1的运动图像编码设备中块大小的选择。
参照图1和图2，帧间预测模式选择单元102从构成R分量的宏块的块大小、构成G分量的宏块的块大小和构成B分量的宏块的块大小中选择对所有颜色分量的宏块都是最佳的并且被共同应用到所有颜色分量的块大小。这种选择可应用于YCgCo颜色空间。
接下来，帧间预测模式选择单元102以与选择的块大小相应的块为单位从所有颜色分量的运动矢量中选择将被共同应用到构成所述颜色空间的所有颜色分量的单个运动矢量。具体地讲，帧间预测模式选择单元102从由运动估计单元103计算的颜色分量的运动矢量之中选择将被共同应用到所有颜色分量的单个运动矢量。例如，帧间预测模式选择单元102从运动估计单元103计算的Y分量的运动矢量、Co分量的运动矢量和Cg分量的运动矢量中选择被共同应用到所有的Y分量、Co分量和Cg分量的单个运动矢量。作为选择，帧间预测模式选择单元102从由运动估计单元103计算的R分量的运动矢量、G分量的运动矢量和B分量的运动矢量之中选择被共同应用到所有的R分量、G分量和B分量的单个运动矢量。
图3示出在图1的运动图像编码设备中的运动矢量的选择。
参照图1和图3，帧间预测模式选择单元102从R分量的块的运动矢量、G分量的块的运动矢量和B分量的块的运动矢量中选择对所有颜色分量的块均为最佳的单个运动矢量。这种选择可用于YCgCo颜色空间。
运动估计单元103根据帧间预测模式选择单元102选择的帧间预测模式基于参考图像来对每个颜色分量估计在当前图像中的运动。具体地讲，根据帧间预测模式选择单元102选择的帧间预测模式，运动估计单元103以对于构成颜色空间的颜色分量独立的块为单位来选择将被独立地应用到所述颜色分量的多个运动矢量，或者以对所有的颜色分量都是共同的块为单位来选择将被共同应用到构成颜色空间的颜色分量的单个运动矢量。
将描述运动估计单元103根据一种模式来估计运动的情况。运动估计单元103以与帧间预测模式选择单元102选择的块大小相应的块为单位计算与当前图像中相对于参考图像的位移相应的运动矢量。在本实施例中，当前图像是指对其执行编码和解码的目标图像。参考图像指示当对当前图像进行编码解码时所参考的图像。通常，当前图像之前的图像被用作参考图像。然而，当前图像之后的图像也可被用作参考图像。作为选择，可使用多个参考图像。
例如，运动估计单元103根据由帧间预测模式选择单元102选择的帧间预测模式，通过基于参考图像对Y分量、Co分量和Cg分量的每一分量估计在当前图像中的运动来计算Y分量的运动矢量和Co分量的运动矢量、Cg分量的运动矢量。作为选择，运动估计单元103根据由帧间预测模式选择单元102选择的帧间预测模式基于参考图像对R分量、G分量和B分量中的每一分量估计在当前图像中的运动来计算R分量的运动矢量、G分量的运动矢量和B分量的运动矢量。
运动补偿单元104根据帧间预测模式选择单元102选择的帧间预测模式来补偿当前图像和参考图像之间的运动。具体地讲，运动补偿单元104使用由帧间预测模式选择单元102选择的运动矢量以与帧间预测模式选择单元102选择的块大小相应的块为单位从参考图像中产生当前图像的预测图像。由运动估计单元103和运动补偿单元104执行的帧间预测用于去除当前图像和参考图像之间的时间冗余。
例如，运动补偿单元104通过根据帧间预测模式选择单元102选择的帧间预测模式补偿当前图像和参考图像之间的运动来产生Y分量的预测图像、Co分量的预测图像和Cg分量的预测图像。作为选择，运动补偿单元104通过根据帧间预测模式选择单元102选择的帧间预测模式补偿当前图像和参考图像之间的运动来产生R分量的预测图像、G分量的预测图像和B分量的预测图像。
帧内预测模式选择单元105选择将被独立应用到构成由颜色空间选择单元101选择的颜色空间的颜色分量的多种帧内预测模式或将被共同应用到构成由颜色空间选择单元101选择的颜色空间的所有颜色分量的一种帧内预测模式。根据MPEG-4 AVC/H.264视频编码方案，对于亮度分量，有以4×4块为单位的9种帧内预测模式和以16×16块为单位的4种帧内预测模式；而对于色度分量，有以8×8块为单位的4种帧内预测模式。通常，由于亮度分量的预测模式和色度分量的预测模式不同，所以颜色分量之间的相关性低，这在RCT、IPP或其他相似变换中是不利的。可通过将一种帧内预测模式应用到所有的颜色分量来增加运动图像的编码效率。因此，在本实施例中，对亮度分量以4×4、8×8或16×16块为单位的帧内预测模式被应用到色度分量。
帧内预测模式选择单元105根据由帧内预测模式选择单元105选择的帧内预测模式选择将被独立应用到构成颜色空间的颜色分量的多种预测方向，或者从构成颜色空间的颜色分量的多种预测方向中选择将被共同应用到构成颜色空间的所有颜色分量的一种预测方向。将详细描述帧内预测模式选择单元105选择一种模式的情况。帧内预测模式选择单元105选择将被共同应用到构成由颜色空间选择单元101选择的颜色空间的所有颜色分量的块的大小。构成当前图像的块大小可以是16×16、8×8、4×4等。以与图2所示的帧间预测相同的方式来执行用于帧内预测的块大小的选择。
接下来，帧内预测模式选择单元105以与上述选择的块大小相应的块为单位从构成颜色空间的颜色分量的多种预测方向之中选择将被共同应用到构成颜色空间的所有颜色分量的一种预测方向。例如，帧内预测模式选择单元105从Y分量的预测方向、Co分量的预测方向和Cg分量的预测方向中选择将被共同应用到Y分量、Co分量和Cg分量的一种预测方向。作为选择，帧内预测模式选择单元105从R分量的预测方向、G分量的预测方向和B分量的预测方向中选择将被共同应用到R分量、G分量和B分量的一种预测方向。
图4示出在图1的运动图像编码设备中的预测方向的选择。
参照图4和图1，帧内预测模式选择单元105从R分量中的块的预测方向、G分量中的块的预测方向和B分量中的块的预测方向之中选择对所有颜色分量的块都是最佳并且将被共同应用到所有颜色分量的一种预测方向。这种选择可被应用到YCgCo颜色空间。
帧内预测单元106根据帧内预测模式选择单元105选择的帧内预测模式从由加法器115重构的图像中的相邻像素来估计构成当前图像的块，并产生由预测的块构成的预测图像。具体地讲，帧内预测单元106以对颜色分量独立的块为单位从被独立地应用到颜色空间的颜色分量的预测方向所指示的相邻像素来估计构成当前图像的块，并产生由预测的块构成的预测图像。作为选择，帧内预测单元106以对所有颜色分量共同的块为单位从被共同应用到颜色空间的所有颜色分量的预测方向所指示的相邻像素来估计构成当前图像的块，并产生由预测块构成的预测图像。由帧内预测单元106执行的帧内预测用于去除当前图像中的空间冗余。
例如，帧内预测单元106从由帧内预测模式选择单元105选择的预测方向所指示的Y分量、Co分量和Cg分量的每一分量的相邻像素预测构成当前图像的块，并产生Y分量的预测图像、Co分量的预测图像和Cg分量的预测图像。作为选择，帧内预测单元106从由帧内预测模式选择单元105选择的预测方向所指示的R分量、G分量和B分量的每一分量的相邻像素预测构成当前图像的块，并产生R分量的预测图像、G分量的预测图像和B分量的预测图像。
减法器107产生与当前图像和为运动补偿单元104或帧内预测单元106所产生的每一颜色分量的预测图像之间的差相应的第一残差数据。例如，减法器107通过计算当前图像和通过运动补偿单元104或帧内预测单元106所产生的Y分量、Co分量和Cg分量的每一分量的预测图像之间的差来产生Y分量的第一残差数据、Co分量的第一残差数据和Cg分量的第一残差数据。作为选择，减法器107通过计算当前图像和由运动补偿单元104或帧内预测单元106所产生的R分量、G分量和B分量的每一分量的预测图像之间的差来产生R分量的第一残差数据、G分量的第一残差数据和B分量的第一残差数据。
图5示出了在根据本发明的实施例中当一种预测模式被应用到不同颜色分量时残差数据之间的相关性的改变。
参照图5，图示501和图示502示出了通过将多种独立预测模式应用到颜色分量而获得的残差数据之间的相关性。具体地讲，501示出了R分量和G分量的残差数据之间的相关性，502示出了B分量和G分量的残差数据之间的相关性。同时，图示503和图示504示出了通过将一种预测模式应用到所有颜色分量而获得的残差数据之间的相关性。具体地讲，503示出了R分量和G分量的残差数据之间的相关性，图示504示出了B分量和G分量的残差数据之间的相关性。从图5中的图示501到图示504显然得知，当一种预测模式被应用到所有颜色分量时颜色分量的残差数据之间的相关性比当多个独立预测模式被应用到所有颜色分量时颜色分量的残差数据之间的相关性高。
图1的残差变换单元108产生与由图1的减法器107产生的第一残差数据之间的差相应的第二残差数据。在本实施例中，为了增加运动图像的编码效率，利用在所述预测或者帧内预测之后依然存在的颜色分量之间的冗余。帧间预测利用时间冗余，帧内预测利用空间冗余。然而，颜色分量之间的冗余在帧间或帧内预测后依然会存在。
图6示出了当一种预测模式被应用到本发明实施例中的所有颜色分量时颜色分量之间的相关性。
参照图1和图6，图示601指示在帧内预测后R分量和G分量之间的相关性。图示602指示在帧内预测后B分量和G分量之间的相关性。图示603指示在帧间预测后R分量和G分量之间的相关性，而图示604指示在帧间预测后B分量和G分量之间的相关性。从图6中的图示601至图示604可显然得知，在帧间预测或帧内预测之后颜色分量的残差数据之间依然保持着高的相关性。
换句话说，残差变换单元108使用下面的方程组(1)产生与YCgCo颜色空间中的Y分量、Co分量和Cg分量的每一分量的第一残差数据之间的差相应的第二残差数据。具体地讲，Y＝(R+2G+B)＞＞2，Co＝(R-B)＞＞1，并且Cg＝(-R+2G-B)＞＞2。
方程组(1)
Δ2B＝ΔR-ΔB
t＝ΔB+(Δ2B＞＞1)
Δ2R＝ΔG-t
Δ2G＝t+(Δ2R＞＞1)
这里，ΔX表示第一残差数据，Δ2X表示第二残差数据，符号“＞＞”表示右移运算(这相似于除以2)，而变量t被用于临时计算的目的。
作为选择，残差变换单元108使用下面的方程组(2)产生与RGB颜色空间中的R分量、G分量和B分量的每一分量的第一残差数据之间的差相应的第二残差数据。
方程组(2)
Δ2G＝ΔG’
Δ2R＝ΔR-ΔG’
Δ2B＝ΔB-ΔG’
这里，ΔX表示第一残差数据，Δ2X表示第二残差数据，ΔX’表示重构的第一残差数据。当G分量具有大量的图像信息时方程(2)是高效的。使用作为主要分量的R分量或B分量来计算第二残差数据。
频域变换单元109将残差变换单元108产生的颜色空间中的第二残差数据变换为频域中的第二残差数据。根据H.264/MPEG-4 AVC，离散hadamard变换(DHT)、基于离散余弦变换(DCT)的整数变换等被用作从颜色空间到频域的变换方案。
量化单元110对由频域变换单元109变换的频率分量值进行量化。具体地讲，量化单元110将由频域变换单元109变换的频率分量值除以量化参数并将相除后的结果近似到整数值。
熵编码单元111通过对由量化单元110获得的量化值执行熵编码来产生比特流并输出该比特流。根据H.264/MPEG-4 AVC，上下文适应性可变长度编码(CAVLC)、上下文适应性二进制算术编码(CABAC)等被用作熵编码方案。
去量化单元112对由量化单元110获得的量化值进行去量化。具体地讲，去量化单元112通过将量化单元110近似的整数值乘以所述量化参数来重构频域值。
频域逆变换单元113通过将去量化单元112重构的频域中的频率分量值变换到颜色空间中的数据来重构第二残差数据。
残差逆变换单元114产生与频域逆变换单元113重构的第二残差数据的和相应的第一残差数据。具体地讲，残差逆变换单元114使用下面的方程组(3)为YCgCo颜色空间中的Y分量、Co分量和Cg分量的每一分量来产生与第二残差数据的和相应的第一残差数据。
方程组(3)
t＝Δ2G’-(Δ2R’＞＞1)
ΔG’＝Δ2R’+t
ΔB’＝t-(Δ2B’＞＞1)
ΔR’＝ΔB’+Δ2B’
这里，ΔX’表示重构的第一残差数据，Δ2X’表示重构的第二残差数据。
作为选择，残差逆变换单元114使用下面的方程组(4)为RGB颜色空间的R分量、G分量和B分量的每一分量来产生与第二残差数据的和相应的第一残差数据。
方程组(4)
ΔG’＝Δ2G’
ΔR’＝Δ2R’+ΔG’
ΔB’＝Δ2B’+△G’
这里，ΔX’表示重构的第一残差数据，Δ2X’表示重构的第二残差数据。
加法器115产生与运动补偿单元104或帧内预测单元106产生的预测图像和残差逆变换单元114产生的第一残差数据之和相应的重构的图像。例如，加法器115通过计算运动补偿单元104或帧内预测单元106产生的Y分量、Co分量和Cg分量的预测图像和残差逆变换单元114产生的第一残差数据之和来产生YCgCo颜色空间中的重构的图像。作为选择，加法器115通过计算运动补偿单元104或帧内预测单元106产生的R分量、B分量和G分量的预测图像和残差逆变换单元114产生的第一残差数据之和来产生RGB颜色空间中的重构的图像。
滤波器116通过对在加法器115产生的重构的图像中的块边界处的失真进行平滑处理来提高重构的图像的品质。然而，由于高频分量可能会有损失，所以滤波器116不用于高比特率的运动图像。
尽管图1的运动图像编码设备使用了适应性地应用颜色空间的方案和一种模式方案，但是应该理解，使用这两种方案中的一种方案的运动图像编码设备也是可行的。
图7是根据本发明实施例的运动图像解码设备的框图。
参照图7，根据本发明实施例的运动图像解码设备包括熵解码单元701、去量化单元702、频域逆变换单元703、残差逆变换单元704、运动补偿单元705、帧内预测单元706、加法器707和滤波器708。
熵解码单元701通过对从作为非限制性示例的图1的运动图像编码设备输出的输入比特流进行熵解码来重构整数值。
去量化单元702对熵解码单元701重构的整数值进行去量化以重构频率分量值。具体地讲，去量化单元702通过将熵解码单元701重构的整数值乘以量化参数来重构频率分量值。
频域逆变换单元703将由去量化单元702重构的频域中的频率分量值变换到在运动图像编码设备中使用的颜色空间中的数据，以重构与构成颜色空间的颜色分量的每一分量的残差数据之间的差相应的第二残差数据。
残差逆变换单元704产生与由频域逆变换单元703重构的在运动图像编码设备中使用的颜色空间中的第二残差数据的和相应的第一残差数据。具体地讲，残差逆变换单元704使用方程组(3)为YCgCo颜色空间中的Y分量、Co分量和Cg分量的每一分量产生与第二残差数据的和相应的第一残差数据。作为选择，残差逆变换单元704使用方程组(4)为RGB颜色空间中的R分量、G分量和B分量的每一分量产生与第二残差数据的和相应的第一残差数据。
运动补偿单元705根据在运动编码设备中使用的帧间预测模式来补偿当前图像和参考图像之间的运动。换句话说，运动补偿单元705根据独立地应用到颜色空间的颜色分量的多种帧间预测模式或者被共同应用到颜色空间的所有颜色分量的一种帧间预测模式来补偿当前图像和参考图像之间的运动。
换句话说，运动补偿单元705根据被共同应用到所有颜色分量的一种帧间预测模式来补偿当前图像和参考图像之间的运动。具体地讲，运动补偿单元705以对颜色分量独立的块为单位使用被独立地应用到颜色分量的运动矢量来产生当前图像的预测图像。作为选择，运动补偿单元705以对颜色分量共同的块为单位使用被共同应用到所有颜色分量的单个运动矢量来产生当前图像的预测图像。换句话说，运动补偿单元705使用被共同应用到所有颜色分量的运动矢量以与被共同应用到所有颜色分量的块大小相应的块为单位从参考图像产生当前图像的预测图像。
帧内预测单元706根据在运动图像编码设备中使用的帧内预测模式从加法器707重构的图像中的相邻像素预测构成当前图像的块，并产生由预测的块构成的预测图像。换句话说，帧内预测单元706根据被独立地应用到颜色分量的多种帧内预测模式或被共同应用到所有颜色分量的一种帧内预测模式从加法器707重构的图像的相邻像素预测构成当前图像的块，并产生由预测的块构成的预测图像。具体地讲，帧内预测单元706从在运动图像编码设备中使用的预测方向所指示的相邻像素来预测构成当前图像的块，并产生由预测块构成的预测图像。换句话说，帧内预测单元706以对颜色分量独立的块为单位从被独立地应用到颜色分量的预测方向所指示的相邻像素预测构成当前图像的块，并产生由预测的块构成的预测图像。作为选择，帧内预测单元706以与被共同应用到所有颜色分量的块大小相应的块为单位从由共同应用到所有颜色分量的预测方向指示的每一颜色分量的相邻像素来预测构成当前图像的块。
加法器707产生与运动补偿单元705或者帧内预测单元706产生的预测图像和残差逆变换单元704产生的第一残差数据之和相应的重构的图像。例如，加法器707通过计算运动补偿单元705或帧内预测单元706产生的Y分量、Co分量和Cg分量的预测图像和残差逆变换单元704产生的第一残差数据之和来产生YCgCo颜色空间中的重构的图像。作为选择，加法器707通过计算运动补偿单元705或帧内预测单元706产生的R分量、G分量和B分量的预测图像和残差逆变换单元704产生的第一残差数据之和来产生RGB颜色空间中的重构的图像。
滤波器708通过对加法器707产生的重构的图像中的块边界处的失真进行平滑处理来提高重构的图像的品质。然而，因为高频分量可能会有损失，所以滤波器708不用于高比特率运动图像。
图8A和图8B是根据本发明实施例的运动图像编码方法的流程图。
参照图8A和图8B，根据本发明实施例的运动图像编码方法包括在图1的运动图像编码设备中按时间顺序执行的操作。将参照图1对运动图像编码设备的描述应用于本实施例中的运动图像编码方法，因此在这里将不对其进行重复描述。
在操作801，运动图像编码设备基于当前图像的特性从多个颜色空间中选择颜色空间。
在操作802，运动图像编码设备确定是执行帧间预测还是帧内预测。对于帧间预测执行操作803，而对于帧内预测执行操作806。
在操作803，运动图像编码设备选择被独立地应用到构成操作801中选择的颜色空间的颜色分量的多种帧间预测模式或将被共同应用到构成操作801中选择的颜色空间的所有颜色分量的一种帧间预测模式。
在操作804，运动图像编码设备根据在操作803中选择的帧间预测模式选择将被独立地应用到构成颜色空间的颜色分量的多个运动矢量，或者选择将被共同应用到构成颜色空间的所有颜色分量的一个运动矢量。
在操作805，运动图像编码设备使用在操作804中选择的运动矢量从参考图像产生当前图像的预测图像。
在操作806，运动图像编码设备选择被独立地应用到构成操作801中选择的颜色空间的颜色分量的多种帧内预测模式或将被共同应用到构成操作801中选择的颜色空间的所有颜色分量的一种帧内预测模式。
在操作807，运动图像编码设备根据在操作806中选择的帧内预测模式从颜色分量的多种预测方向中选择将被独立地应用到构成颜色空间的颜色分量的多种预测方向，或者选择将被共同应用到构成颜色空间的所有颜色分量的一种预测方向。
在操作808，运动图像编码设备从在操作807中选择的预测方向指示的相邻像素预测构成当前图像的块，并产生由预测的块构成的预测图像。
在操作809中，运动图像编码设备产生与当前图像和在操作805或808中产生的每一颜色分量的预测图像之间的差相应的第一残差数据。
在操作810，运动图像编码设备产生与第一残差数据之间的差相应的第二残差数据。
在操作811，运动图像编码设备将在操作810中产生的颜色空间中的第二残差数据变换到频域中的值。
在操作812，运动图像编码设备对在操作811中变换的值进行量化。
在操作813，运动图像编码设备通过对操作812中量化的值进行熵编码来产生比特流并输出该比特流。
在操作814，运动图像编码设备通过对在操作812中量化的值进行去量化来重构频率分量值。
在操作815，运动图像编码设备通过将在操作814中重构的频率分量值变换到颜色空间中的数据来重构第二残差数据。
在操作816，运动图像编码设备产生与在操作815中重构的第二残差数据的和相应的第一残差数据。
在操作817，运动图像编码设备产生与在操作805或808中产生的颜色分量的预测图像和在操作816中产生的第一残差数据之和相应的重构的图像。
在操作818，运动图像编码设备通过对在操作816中产生的重构的图像的块边界处的失真进行平滑处理来提高重构的图像的质量。
图9是根据本发明实施例的运动图像解码方法的流程图。
参照图9，根据本发明实施例的运动图像解码方法包括在图7的运动图像解码设备中按时间顺序执行的操作。将参照图7进行的对运动图像解码设备的描述应用于本实施例的运动图像解码方法，因此将不在这里重复对它的描述。
在操作901，运动图像解码设备通过对从作为非限制性示例的比如图1的运动图像编码设备输出的比特流进行熵解码来重构整数值。
在操作902，运动图像解码设备通过对在操作901中重构的整数值执行去量化来重构频率分量值。
在操作903，运动图像解码设备通过将在操作902中重构的频域中的频率分量值变换到在运动图像编码设备中使用的颜色空间中的数据来重构与构成多个颜色空间中的在运动图像编码设备中使用的颜色空间的第一残差数据之间的差相应的第二残差数据。
在操作904，运动图像解码设备产生在运动图像编码设备中使用的颜色空间中的与操作903中重构的第二残差数据的和相应的第一残差数据。
在操作905，运动图像解码设备确定是执行帧间预测还是执行帧内预测。对于帧间预测执行操作906，或者对于帧内预测执行操作907。
在操作906，运动图像解码设备根据被独立地应用到构成颜色空间的颜色分量的多种帧间预测模式或者被共同应用到所有颜色分量的一种帧间预测模式来补偿当前图像和参考图像之间的运动。
在操作907，运动图像解码设备根据被独立地应用到颜色分量的多种帧内预测模式或者被共同应用到颜色分量的一种帧内预测模式来从重构的图像中的相邻像素预测构成当前图像的块，并产生由预测的块构成的预测图像。
在操作908，运动图像解码设备产生与在操作906或907中产生的预测图像和由残差逆变换单元704产生的第一残差数据之和相应的重构的图像。
在操作909，运动图像解码设备通过对在重构的图像中的块边界处的失真进行平滑处理来提高在操作908中产生的重构的图像的品质。
图10示出根据本发明实施例的仿真测试结果。
从图10中的表1001和1002可显然得知，在仿真测试中，在一种预测模式中执行RCT和IPP。这些结果与根据H.264/MPEG-4 AVC FRExt的编码结果相比较。JM9.3参考软件被用于仿真测试。测试条件如下。胶片和Viper序列(1920×1088@24Hz，渐进的(progressive))被用作测试材料，搜索范围是64，量化参数是12、18、24、30和36，参考图像(即参考帧)的数量是3，熵编码方案是CABAC，RD-最优化模式选择是“ON”，GOP(图像组)结构是IBBP，片组(slice group)的数量是1。
下面是在仿真测试中使用的方法。IPP是根据本发明实施例的使用IPP和一种模式预测的方法，RCT是根据本发明实施例的使用RCT和一种模式预测的方法，RCT(FREXT)是用于残差颜色变换的使用YCgCo的RGB编码，YCgCo是在编码前RGB输入数据被转换到YCgCo的外部YCgCo编码。具体地讲，为了评估重构的RGB图像的保真度，测量所有的颜色分量的峰值信噪比(PSNR)的平均值，即RGB分量的平均值。在图10的表1001中显示结果。另外，在表1001中表示在两种高比特率(20Mbps或者60Mbps)除了YCgCo方法的每种方法的PSNR增益。如表1002所示，比较对于色度通道具有大致相同的保真度的YCgCo域中的Y PSNR的结果以隔离亮度通道(最重要的通道)上的效果。
图11是对比显示在无损模式下根据本发明实施例的各种方法的编码效率的示图。
在不远的将来，支持无损以及接近于无损的视频压缩将变得越来越重要。在H.264/MPEG-4 AVC FRExt中，能够通过跳过频域变换和量化来实现无损编码。当跳过频域变换和量化时，根据本发明实施例的方法可被应用到无损编码。从图11清楚的是，使用IPP和一种模式预测的方法的效率在无损编码中最高。
图12A和图12B是通过对本发明实施例的仿真而获得的率失真(RD)曲线。
在这种仿真中，只执行了帧内编码。具体地讲，为了评估在使用独立的帧内预测模式时的编码性能，所有的颜色分量都被看作单色图像。
本发明实施例可被编写为计算机程序并可在使用计算机可读记录介质执行所述程序的通用数字计算机上实现。另外，在本发明实施例中使用的数据结构可通过各种手段被编写入计算机可读介质。
计算机可读记录介质的示例包括磁存储介质(例如ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)和比如载波(例如通过互联网的传输)的存储介质。
尽管已经显示并描述了本发明的若干实施例，但是本发明并不限于描述的实施例。相反，本领域的技术人员应该理解，在不脱离本发明的原理和精神的情况下可以对这些实施例进行各种改变，本发明的范围由权利要求和其等同物所限定。
图1是根据本发明实施例的运动图像编码设备的框图。
参照图1，根据本发明实施例的运动图像编码设备包括颜色空间选择单元101、帧间预测模式选择单元102、运动估计单元103、运动补偿单元104、帧内预测模式选择单元105、帧内预测单元106、减法器107、残差变换单元108、频域变换单元109、量化单元110、熵编码单元111、去量化单元112、频域逆变换单元113、残差逆变换单元114、加法器115和滤波器116。
颜色空间选择单元101基于当前图像的特性适应性地从多个颜色空间中选择某个颜色空间。颜色空间的非限制性的示例包括YCgCo颜色空间和RGB颜色空间。在YCgCo颜色空间中，Y表示亮度分量，Co表示橘色色度分量，Cg表示绿色色度分量。在RGB颜色空间中，R表示红色分量，G表示绿色分量，B表示蓝色分量。
下面对当前图像编码的方案在YCgCo颜色空间中称作“残差颜色变换”或RCT，而在RGB颜色空间中称作“平面间预测”(inter-plane prediction)或IPP。
所述RGB颜色空间包括可被人感知的R分量、G分量和B分量。因此，在YCgCo颜色空间执行了编码之后，当颜色空间选择单元101选择另一颜色空间，例如，YCgCo颜色空间，而非RGB颜色空间时，应该执行从YCgCo颜色空间到RGB颜色空间的变换。
根据使用多组高品质图像(比如高清晰度(HD)运动图像、胶片扫描图像、Thompson Viper序列等)执行的大量实验的结果，不存在用于具有各种特性和比特率的图像的万能方法。一些图像在颜色分量上包含严重的胶片颗粒噪声，其他图像包含热噪声，其他图像具有饱和颜色特性。RCT在特定情况下有效，而IPP在另一情况下有效。因此，在本实施例中，根据图像特性适应性地使用RCT和IPP之一。可根据H.264/MPEG-4 AVC FRExt通过单个比特的标志来通知运动图像解码设备在运动图像编码设备中使用了RCT和IPP中的哪一个。
在高比特率的环境下，采用RCT的运动图像的编码效率比采用IPP的高。然而，在RCT中，由于不同颜色空间之间的变换，导致图像品质劣化。具体地讲，当很多噪声分量存在于当前图像或者当当前图像的构造复杂时，这种图像品质的劣化是严重的。当很多噪声分量存在于当前图像或者当当前图像的构造复杂时，颜色空间选择单元101选择RGB颜色空间；而当在当前图像中几乎没有噪声分量或者当当前图像的构造简单时，颜色空间选择单元101选择YCgCo颜色空间。换句话说，颜色空间选择单元101基于运动图像的特性(比如比特率、编码的序列等)来适应性地选择颜色空间。
帧间预测模式选择单元102选择将被独立地应用到构成由颜色空间选择单元101选择的颜色空间的颜色分量的多种帧间预测模式，或者被共同应用到构成由颜色空间选择单元101选择的颜色空间的所有颜色分量的单个帧间预测模式。通常，当所有的颜色分量在帧间预测模式中具有不同的运动矢量时，所有的颜色分量的残差数据具有不同的特性，因此，在不同的颜色分量的残差数据之间几乎不存在相关性。因此，在本实施例中，建议对所有颜色分量使用一种预测模式(例如，单个块大小、单个运动矢量等)以增加不同颜色分量的残差数据之间的相关性。一种预测模式的使用比在RGB分量具有相似纹理特性时提供更自然的图像。另外，可根据H.264/MPEG-4 AVC FRExt通过单个比特的标志通知运动图像解码设备在运动图像编码设备中使用了一种模式和传统独立模式中的哪一个。
将详细描述帧间预测模式选择单元102选择一种模式的情况。帧间预测模式选择单元102选择将被共同应用到构成由颜色空间选择单元101选择的颜色空间的所有颜色分量的块大小。构成当前图像的块大小可以是16×16、16×8、8×1、8×8、8×4、4×8、4×4等。通常，16×16块被称作“宏块”，通过将宏块划分成各种大小而获得的块被称作“子块”。以这种块为单位来执行运动图像的编码和解码。需要更精确的编码和解码的运动图像的一部分以较小的块为单位进行编码和解码。
具体地讲，帧间预测模式选择单元102选择被共同应用到所有颜色分量的块大小。例如，帧间预测模式选择单元102从Y分量的块大小、Co分量的块大小和Cg分量的块大小中选择将被共同应用到Y分量、Co分量和Cg分量的块大小。作为选择，帧间预测模式选择单元102从R分量的块大小、G分量的块大小和B分量的块大小中来选择将被共同应用到R分量、G分量和B分量的块大小。
图2示出在图1的运动图像编码设备中块大小的选择。
参照图1和图2，帧间预测模式选择单元102从构成R分量的宏块的块大小、构成G分量的宏块的块大小和构成B分量的宏块的块大小中选择对所有颜色分量的宏块都是最佳的并且被共同应用到所有颜色分量的块大小。这种选择可应用于YCgCo颜色空间。
接下来，帧间预测模式选择单元102以与选择的块大小相应的块为单位从所有颜色分量的运动矢量中选择将被共同应用到构成所述颜色空间的所有颜色分量的单个运动矢量。具体地讲，帧间预测模式选择单元102从由运动估计单元103计算的颜色分量的运动矢量之中选择将被共同应用到所有颜色分量的单个运动矢量。例如，帧间预测模式选择单元102从运动估计单元103计算的Y分量的运动矢量、Co分量的运动矢量和Cg分量的运动矢量中选择被共同应用到所有的Y分量、Co分量和Cg分量的单个运动矢量。作为选择，帧间预测模式选择单元102从由运动估计单元103计算的R分量的运动矢量、G分量的运动矢量和B分量的运动矢量之中选择被共同应用到所有的R分量、G分量和B分量的单个运动矢量。
图3示出在图1的运动图像编码设备中的运动矢量的选择。
参照图1和图3，帧间预测模式选择单元102从R分量的块的运动矢量、G分量的块的运动矢量和B分量的块的运动矢量中选择对所有颜色分量的块均为最佳的单个运动矢量。这种选择可用于YCgCo颜色空间。
运动估计单元103根据帧间预测模式选择单元102选择的帧间预测模式基于参考图像来对每个颜色分量估计在当前图像中的运动。具体地讲，根据帧间预测模式选择单元102选择的帧间预测模式，运动估计单元103以对于构成颜色空间的颜色分量独立的块为单位来选择将被独立地应用到所述颜色分量的多个运动矢量，或者以对所有的颜色分量都是共同的块为单位来选择将被共同应用到构成颜色空间的颜色分量的单个运动矢量。
将描述运动估计单元103根据一种模式来估计运动的情况。运动估计单元103以与帧间预测模式选择单元102选择的块大小相应的块为单位计算与当前图像中相对于参考图像的位移相应的运动矢量。在本实施例中，当前图像是指对其执行编码和解码的目标图像。参考图像指示当对当前图像进行编码解码时所参考的图像。通常，当前图像之前的图像被用作参考图像。然而，当前图像之后的图像也可被用作参考图像。作为选择，可使用多个参考图像。
例如，运动估计单元103根据由帧间预测模式选择单元102选择的帧间预测模式，通过基于参考图像对Y分量、Co分量和Cg分量的每一分量估计在当前图像中的运动来计算Y分量的运动矢量和Co分量的运动矢量、Cg分量的运动矢量。作为选择，运动估计单元103根据由帧间预测模式选择单元102选择的帧间预测模式基于参考图像对R分量、G分量和B分量中的每一分量估计在当前图像中的运动来计算R分量的运动矢量、G分量的运动矢量和B分量的运动矢量。
运动补偿单元104根据帧间预测模式选择单元102选择的帧间预测模式来补偿当前图像和参考图像之间的运动。具体地讲，运动补偿单元104使用由帧间预测模式选择单元102选择的运动矢量以与帧间预测模式选择单元102选择的块大小相应的块为单位从参考图像中产生当前图像的预测图像。由运动估计单元103和运动补偿单元104执行的帧间预测用于去除当前图像和参考图像之间的时间冗余。
例如，运动补偿单元104通过根据帧间预测模式选择单元102选择的帧间预测模式补偿当前图像和参考图像之间的运动来产生Y分量的预测图像、Co分量的预测图像和Cg分量的预测图像。作为选择，运动补偿单元104通过根据帧间预测模式选择单元102选择的帧间预测模式补偿当前图像和参考图像之间的运动来产生R分量的预测图像、G分量的预测图像和B分量的预测图像。
帧内预测模式选择单元105选择将被独立应用到构成由颜色空间选择单元101选择的颜色空间的颜色分量的多种帧内预测模式或将被共同应用到构成由颜色空间选择单元101选择的颜色空间的所有颜色分量的一种帧内预测模式。根据MPEG-4 AVC/H.264视频编码方案，对于亮度分量，有以4×4块为单位的9种帧内预测模式和以16×16块为单位的4种帧内预测模式；而对于色度分量，有以8×8块为单位的4种帧内预测模式。通常，由于亮度分量的预测模式和色度分量的预测模式不同，所以颜色分量之间的相关性低，这在RCT、IPP或其他相似变换中是不利的。可通过将一种帧内预测模式应用到所有的颜色分量来增加运动图像的编码效率。因此，在本实施例中，对亮度分量以4×4、8×8或16×16块为单位的帧内预测模式被应用到色度分量。
帧内预测模式选择单元105根据由帧内预测模式选择单元105选择的帧内预测模式选择将被独立应用到构成颜色空间的颜色分量的多种预测方向，或者从构成颜色空间的颜色分量的多种预测方向中选择将被共同应用到构成颜色空间的所有颜色分量的一种预测方向。将详细描述帧内预测模式选择单元105选择一种模式的情况。帧内预测模式选择单元105选择将被共同应用到构成由颜色空间选择单元101选择的颜色空间的所有颜色分量的块的大小。构成当前图像的块大小可以是16×16、8×8、4×4等。以与图2所示的帧间预测相同的方式来执行用于帧内预测的块大小的选择。
接下来，帧内预测模式选择单元105以与上述选择的块大小相应的块为单位从构成颜色空间的颜色分量的多种预测方向之中选择将被共同应用到构成颜色空间的所有颜色分量的一种预测方向。例如，帧内预测模式选择单元105从Y分量的预测方向、Co分量的预测方向和Cg分量的预测方向中选择将被共同应用到Y分量、Co分量和Cg分量的一种预测方向。作为选择，帧内预测模式选择单元105从R分量的预测方向、G分量的预测方向和B分量的预测方向中选择将被共同应用到R分量、G分量和B分量的一种预测方向。
图4示出在图1的运动图像编码设备中的预测方向的选择。
参照图4和图1，帧内预测模式选择单元105从R分量中的块的预测方向、G分量中的块的预测方向和B分量中的块的预测方向之中选择对所有颜色分量的块都是最佳并且将被共同应用到所有颜色分量的一种预测方向。这种选择可被应用到YCgCo颜色空间。
帧内预测单元106根据帧内预测模式选择单元105选择的帧内预测模式从由加法器115重构的图像中的相邻像素来估计构成当前图像的块，并产生由预测的块构成的预测图像。具体地讲，帧内预测单元106以对颜色分量独立的块为单位从被独立地应用到颜色空间的颜色分量的预测方向所指示的相邻像素来估计构成当前图像的块，并产生由预测的块构成的预测图像。作为选择，帧内预测单元106以对所有颜色分量共同的块为单位从被共同应用到颜色空间的所有颜色分量的预测方向所指示的相邻像素来估计构成当前图像的块，并产生由预测块构成的预测图像。由帧内预测单元106执行的帧内预测用于去除当前图像中的空间冗余。
例如，帧内预测单元106从由帧内预测模式选择单元105选择的预测方向所指示的Y分量、Co分量和Cg分量的每一分量的相邻像素预测构成当前图像的块，并产生Y分量的预测图像、Co分量的预测图像和Cg分量的预测图像。作为选择，帧内预测单元106从由帧内预测模式选择单元105选择的预测方向所指示的R分量、G分量和B分量的每一分量的相邻像素预测构成当前图像的块，并产生R分量的预测图像、G分量的预测图像和B分量的预测图像。
减法器107产生与当前图像和为运动补偿单元104或帧内预测单元106所产生的每一颜色分量的预测图像之间的差相应的第一残差数据。例如，减法器107通过计算当前图像和通过运动补偿单元104或帧内预测单元106所产生的Y分量、Co分量和Cg分量的每一分量的预测图像之间的差来产生Y分量的第一残差数据、Co分量的第一残差数据和Cg分量的第一残差数据。作为选择，减法器107通过计算当前图像和由运动补偿单元104或帧内预测单元106所产生的R分量、G分量和B分量的每一分量的预测图像之间的差来产生R分量的第一残差数据、G分量的第一残差数据和B分量的第一残差数据。
图5示出了在根据本发明的实施例中当一种预测模式被应用到不同颜色分量时残差数据之间的相关性的改变。
参照图5，图示501和图示502示出了通过将多种独立预测模式应用到颜色分量而获得的残差数据之间的相关性。具体地讲，501示出了R分量和G分量的残差数据之间的相关性，502示出了B分量和G分量的残差数据之间的相关性。同时，图示503和图示504示出了通过将一种预测模式应用到所有颜色分量而获得的残差数据之间的相关性。具体地讲，503示出了R分量和G分量的残差数据之间的相关性，图示504示出了B分量和G分量的残差数据之间的相关性。从图5中的图示501到图示504显然得知，当一种预测模式被应用到所有颜色分量时颜色分量的残差数据之间的相关性比当多个独立预测模式被应用到所有颜色分量时颜色分量的残差数据之间的相关性高。
图1的残差变换单元108产生与由图1的减法器107产生的第一残差数据之间的差相应的第二残差数据。在本实施例中，为了增加运动图像的编码效率，利用在所述预测或者帧内预测之后依然存在的颜色分量之间的冗余。帧间预测利用时间冗余，帧内预测利用空间冗余。然而，颜色分量之间的冗余在帧间或帧内预测后依然会存在。
图6示出了当一种预测模式被应用到本发明实施例中的所有颜色分量时颜色分量之间的相关性。
参照图1和图6，图示601指示在帧内预测后R分量和G分量之间的相关性。图示602指示在帧内预测后B分量和G分量之间的相关性。图示603指示在帧间预测后R分量和G分量之间的相关性，而图示604指示在帧间预测后B分量和G分量之间的相关性。从图6中的图示601至图示604可显然得知，在帧间预测或帧内预测之后颜色分量的残差数据之间依然保持着高的相关性。
换句话说，残差变换单元108使用下面的方程组(1)产生与YCgCo颜色空间中的Y分量、Co分量和Cg分量的每一分量的第一残差数据之间的差相应的第二残差数据。具体地讲，Y＝(R+2G+B)＞＞2，Co＝(R-B)＞＞1，并且Cg＝(-R+2G-B)＞＞2。
方程组(1)
Δ2B＝ΔR-ΔB
t＝ΔB+(Δ2B＞＞1)
Δ2R＝ΔG-t
Δ2G＝t+(Δ2R＞＞1)
这里，ΔX表示第一残差数据，Δ2X表示第二残差数据，符号“＞＞”表示右移运算(这相似于除以2)，而变量t被用于临时计算的目的。
作为选择，残差变换单元108使用下面的方程组(2)产生与RGB颜色空间中的R分量、G分量和B分量的每一分量的第一残差数据之间的差相应的第二残差数据。
方程组(2)
Δ2G＝ΔG’
Δ2R＝ΔR-ΔG’
Δ2B＝ΔB-ΔG’
这里，ΔX表示第一残差数据，Δ2X表示第二残差数据，ΔX’表示重构的第一残差数据。当G分量具有大量的图像信息时方程(2)是高效的。使用作为主要分量的R分量或B分量来计算第二残差数据。
频域变换单元109将残差变换单元108产生的颜色空间中的第二残差数据变换为频域中的第二残差数据。根据H.264/MPEG-4 AVC，离散hadamard变换(DHT)、基于离散余弦变换(DCT)的整数变换等被用作从颜色空间到频域的变换方案。
量化单元110对由频域变换单元109变换的频率分量值进行量化。具体地讲，量化单元110将由频域变换单元109变换的频率分量值除以量化参数并将相除后的结果近似到整数值。
熵编码单元111通过对由量化单元110获得的量化值执行熵编码来产生比特流并输出该比特流。根据H.264/MPEG-4 AVC，上下文适应性可变长度编码(CAVLC)、上下文适应性二进制算术编码(CABAC)等被用作熵编码方案。
去量化单元112对由量化单元110获得的量化值进行去量化。具体地讲，去量化单元112通过将量化单元110近似的整数值乘以所述量化参数来重构频域值。
频域逆变换单元113通过将去量化单元112重构的频域中的频率分量值变换到颜色空间中的数据来重构第二残差数据。
残差逆变换单元114产生与频域逆变换单元113重构的第二残差数据的和相应的第一残差数据。具体地讲，残差逆变换单元114使用下面的方程组(3)为YCgCo颜色空间中的Y分量、Co分量和Cg分量的每一分量来产生与第二残差数据的和相应的第一残差数据。
方程组(3)
t＝Δ2G’-(Δ2R’＞＞1)
ΔG’＝Δ2R’+t
ΔB’＝t-(Δ2B’＞＞1)
ΔR’＝ΔB’+Δ2B’
这里，ΔX’表示重构的第一残差数据，Δ2X’表示重构的第二残差数据。
作为选择，残差逆变换单元114使用下面的方程组(4)为RGB颜色空间的R分量、G分量和B分量的每一分量来产生与第二残差数据的和相应的第一残差数据。
方程组(4)
ΔG’＝Δ2G’
ΔR’＝Δ2R’+ΔG’
ΔB’＝Δ2B’+△G’
这里，ΔX’表示重构的第一残差数据，Δ2X’表示重构的第二残差数据。
加法器115产生与运动补偿单元104或帧内预测单元106产生的预测图像和残差逆变换单元114产生的第一残差数据之和相应的重构的图像。例如，加法器115通过计算运动补偿单元104或帧内预测单元106产生的Y分量、Co分量和Cg分量的预测图像和残差逆变换单元114产生的第一残差数据之和来产生YCgCo颜色空间中的重构的图像。作为选择，加法器115通过计算运动补偿单元104或帧内预测单元106产生的R分量、B分量和G分量的预测图像和残差逆变换单元114产生的第一残差数据之和来产生RGB颜色空间中的重构的图像。
滤波器116通过对在加法器115产生的重构的图像中的块边界处的失真进行平滑处理来提高重构的图像的品质。然而，由于高频分量可能会有损失，所以滤波器116不用于高比特率的运动图像。
尽管图1的运动图像编码设备使用了适应性地应用颜色空间的方案和一种模式方案，但是应该理解，使用这两种方案中的一种方案的运动图像编码设备也是可行的。
图7是根据本发明实施例的运动图像解码设备的框图。
参照图7，根据本发明实施例的运动图像解码设备包括熵解码单元701、去量化单元702、频域逆变换单元703、残差逆变换单元704、运动补偿单元705、帧内预测单元706、加法器707和滤波器708。
熵解码单元701通过对从作为非限制性示例的图1的运动图像编码设备输出的输入比特流进行熵解码来重构整数值。
去量化单元702对熵解码单元701重构的整数值进行去量化以重构频率分量值。具体地讲，去量化单元702通过将熵解码单元701重构的整数值乘以量化参数来重构频率分量值。
频域逆变换单元703将由去量化单元702重构的频域中的频率分量值变换到在运动图像编码设备中使用的颜色空间中的数据，以重构与构成颜色空间的颜色分量的每一分量的残差数据之间的差相应的第二残差数据。
残差逆变换单元704产生与由频域逆变换单元703重构的在运动图像编码设备中使用的颜色空间中的第二残差数据的和相应的第一残差数据。具体地讲，残差逆变换单元704使用方程组(3)为YCgCo颜色空间中的Y分量、Co分量和Cg分量的每一分量产生与第二残差数据的和相应的第一残差数据。作为选择，残差逆变换单元704使用方程组(4)为RGB颜色空间中的R分量、G分量和B分量的每一分量产生与第二残差数据的和相应的第一残差数据。
运动补偿单元705根据在运动编码设备中使用的帧间预测模式来补偿当前图像和参考图像之间的运动。换句话说，运动补偿单元705根据独立地应用到颜色空间的颜色分量的多种帧间预测模式或者被共同应用到颜色空间的所有颜色分量的一种帧间预测模式来补偿当前图像和参考图像之间的运动。
换句话说，运动补偿单元705根据被共同应用到所有颜色分量的一种帧间预测模式来补偿当前图像和参考图像之间的运动。具体地讲，运动补偿单元705以对颜色分量独立的块为单位使用被独立地应用到颜色分量的运动矢量来产生当前图像的预测图像。作为选择，运动补偿单元705以对颜色分量共同的块为单位使用被共同应用到所有颜色分量的单个运动矢量来产生当前图像的预测图像。换句话说，运动补偿单元705使用被共同应用到所有颜色分量的运动矢量以与被共同应用到所有颜色分量的块大小相应的块为单位从参考图像产生当前图像的预测图像。
帧内预测单元706根据在运动图像编码设备中使用的帧内预测模式从加法器707重构的图像中的相邻像素预测构成当前图像的块，并产生由预测的块构成的预测图像。换句话说，帧内预测单元706根据被独立地应用到颜色分量的多种帧内预测模式或被共同应用到所有颜色分量的一种帧内预测模式从加法器707重构的图像的相邻像素预测构成当前图像的块，并产生由预测的块构成的预测图像。具体地讲，帧内预测单元706从在运动图像编码设备中使用的预测方向所指示的相邻像素来预测构成当前图像的块，并产生由预测块构成的预测图像。换句话说，帧内预测单元706以对颜色分量独立的块为单位从被独立地应用到颜色分量的预测方向所指示的相邻像素预测构成当前图像的块，并产生由预测的块构成的预测图像。作为选择，帧内预测单元706以与被共同应用到所有颜色分量的块大小相应的块为单位从由共同应用到所有颜色分量的预测方向指示的每一颜色分量的相邻像素来预测构成当前图像的块。
加法器707产生与运动补偿单元705或者帧内预测单元706产生的预测图像和残差逆变换单元704产生的第一残差数据之和相应的重构的图像。例如，加法器707通过计算运动补偿单元705或帧内预测单元706产生的Y分量、Co分量和Cg分量的预测图像和残差逆变换单元704产生的第一残差数据之和来产生YCgCo颜色空间中的重构的图像。作为选择，加法器707通过计算运动补偿单元705或帧内预测单元706产生的R分量、G分量和B分量的预测图像和残差逆变换单元704产生的第一残差数据之和来产生RGB颜色空间中的重构的图像。
滤波器708通过对加法器707产生的重构的图像中的块边界处的失真进行平滑处理来提高重构的图像的品质。然而，因为高频分量可能会有损失，所以滤波器708不用于高比特率运动图像。
图8A和图8B是根据本发明实施例的运动图像编码方法的流程图。
参照图8A和图8B，根据本发明实施例的运动图像编码方法包括在图1的运动图像编码设备中按时间顺序执行的操作。将参照图1对运动图像编码设备的描述应用于本实施例中的运动图像编码方法，因此在这里将不对其进行重复描述。
在操作801，运动图像编码设备基于当前图像的特性从多个颜色空间中选择颜色空间。
在操作802，运动图像编码设备确定是执行帧间预测还是帧内预测。对于帧间预测执行操作803，而对于帧内预测执行操作806。
在操作803，运动图像编码设备选择被独立地应用到构成操作801中选择的颜色空间的颜色分量的多种帧间预测模式或将被共同应用到构成操作801中选择的颜色空间的所有颜色分量的一种帧间预测模式。
在操作804，运动图像编码设备根据在操作803中选择的帧间预测模式选择将被独立地应用到构成颜色空间的颜色分量的多个运动矢量，或者选择将被共同应用到构成颜色空间的所有颜色分量的一个运动矢量。
在操作805，运动图像编码设备使用在操作804中选择的运动矢量从参考图像产生当前图像的预测图像。
在操作806，运动图像编码设备选择被独立地应用到构成操作801中选择的颜色空间的颜色分量的多种帧内预测模式或将被共同应用到构成操作801中选择的颜色空间的所有颜色分量的一种帧内预测模式。
在操作807，运动图像编码设备根据在操作806中选择的帧内预测模式从颜色分量的多种预测方向中选择将被独立地应用到构成颜色空间的颜色分量的多种预测方向，或者选择将被共同应用到构成颜色空间的所有颜色分量的一种预测方向。
在操作808，运动图像编码设备从在操作807中选择的预测方向指示的相邻像素预测构成当前图像的块，并产生由预测的块构成的预测图像。
在操作809中，运动图像编码设备产生与当前图像和在操作805或808中产生的每一颜色分量的预测图像之间的差相应的第一残差数据。
在操作810，运动图像编码设备产生与第一残差数据之间的差相应的第二残差数据。
在操作811，运动图像编码设备将在操作810中产生的颜色空间中的第二残差数据变换到频域中的值。
在操作812，运动图像编码设备对在操作811中变换的值进行量化。
在操作813，运动图像编码设备通过对操作812中量化的值进行熵编码来产生比特流并输出该比特流。
在操作814，运动图像编码设备通过对在操作812中量化的值进行去量化来重构频率分量值。
在操作815，运动图像编码设备通过将在操作814中重构的频率分量值变换到颜色空间中的数据来重构第二残差数据。
在操作816，运动图像编码设备产生与在操作815中重构的第二残差数据的和相应的第一残差数据。
在操作817，运动图像编码设备产生与在操作805或808中产生的颜色分量的预测图像和在操作816中产生的第一残差数据之和相应的重构的图像。
在操作818，运动图像编码设备通过对在操作816中产生的重构的图像的块边界处的失真进行平滑处理来提高重构的图像的质量。
图9是根据本发明实施例的运动图像解码方法的流程图。
参照图9，根据本发明实施例的运动图像解码方法包括在图7的运动图像解码设备中按时间顺序执行的操作。将参照图7进行的对运动图像解码设备的描述应用于本实施例的运动图像解码方法，因此将不在这里重复对它的描述。
在操作901，运动图像解码设备通过对从作为非限制性示例的比如图1的运动图像编码设备输出的比特流进行熵解码来重构整数值。
在操作902，运动图像解码设备通过对在操作901中重构的整数值执行去量化来重构频率分量值。
在操作903，运动图像解码设备通过将在操作902中重构的频域中的频率分量值变换到在运动图像编码设备中使用的颜色空间中的数据来重构与构成多个颜色空间中的在运动图像编码设备中使用的颜色空间的第一残差数据之间的差相应的第二残差数据。
在操作904，运动图像解码设备产生在运动图像编码设备中使用的颜色空间中的与操作903中重构的第二残差数据的和相应的第一残差数据。
在操作905，运动图像解码设备确定是执行帧间预测还是执行帧内预测。对于帧间预测执行操作906，或者对于帧内预测执行操作907。
在操作906，运动图像解码设备根据被独立地应用到构成颜色空间的颜色分量的多种帧间预测模式或者被共同应用到所有颜色分量的一种帧间预测模式来补偿当前图像和参考图像之间的运动。
在操作907，运动图像解码设备根据被独立地应用到颜色分量的多种帧内预测模式或者被共同应用到颜色分量的一种帧内预测模式来从重构的图像中的相邻像素预测构成当前图像的块，并产生由预测的块构成的预测图像。
在操作908，运动图像解码设备产生与在操作906或907中产生的预测图像和由残差逆变换单元704产生的第一残差数据之和相应的重构的图像。
在操作909，运动图像解码设备通过对在重构的图像中的块边界处的失真进行平滑处理来提高在操作908中产生的重构的图像的品质。
图10示出根据本发明实施例的仿真测试结果。
从图10中的表1001和1002可显然得知，在仿真测试中，在一种预测模式中执行RCT和IPP。这些结果与根据H.264/MPEG-4 AVC FRExt的编码结果相比较。JM9.3参考软件被用于仿真测试。测试条件如下。胶片和Viper序列(1920×1088@24Hz，渐进的(progressive))被用作测试材料，搜索范围是64，量化参数是12、18、24、30和36，参考图像(即参考帧)的数量是3，熵编码方案是CABAC，RD-最优化模式选择是“ON”，GOP(图像组)结构是IBBP，片组(slice group)的数量是1。
下面是在仿真测试中使用的方法。IPP是根据本发明实施例的使用IPP和一种模式预测的方法，RCT是根据本发明实施例的使用RCT和一种模式预测的方法，RCT(FREXT)是用于残差颜色变换的使用YCgCo的RGB编码，YCgCo是在编码前RGB输入数据被转换到YCgCo的外部YCgCo编码。具体地讲，为了评估重构的RGB图像的保真度，测量所有的颜色分量的峰值信噪比(PSNR)的平均值，即RGB分量的平均值。在图10的表1001中显示结果。另外，在表1001中表示在两种高比特率(20Mbps或者60Mbps)除了YCgCo方法的每种方法的PSNR增益。如表1002所示，比较对于色度通道具有大致相同的保真度的YCgCo域中的Y PSNR的结果以隔离亮度通道(最重要的通道)上的效果。
图11是对比显示在无损模式下根据本发明实施例的各种方法的编码效率的示图。
在不远的将来，支持无损以及接近于无损的视频压缩将变得越来越重要。在H.264/MPEG-4 AVC FRExt中，能够通过跳过频域变换和量化来实现无损编码。当跳过频域变换和量化时，根据本发明实施例的方法可被应用到无损编码。从图11清楚的是，使用IPP和一种模式预测的方法的效率在无损编码中最高。
图12A和图12B是通过对本发明实施例的仿真而获得的率失真(RD)曲线。
在这种仿真中，只执行了帧内编码。具体地讲，为了评估在使用独立的帧内预测模式时的编码性能，所有的颜色分量都被看作单色图像。
本发明实施例可被编写为计算机程序并可在使用计算机可读记录介质执行所述程序的通用数字计算机上实现。另外，在本发明实施例中使用的数据结构可通过各种手段被编写入计算机可读介质。
计算机可读记录介质的示例包括磁存储介质(例如ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)和比如载波(例如通过互联网的传输)的存储介质。
尽管已经显示并描述了本发明的若干实施例，但是本发明并不限于描述的实施例。相反，本领域的技术人员应该理解，在不脱离本发明的原理和精神的情况下可以对这些实施例进行各种改变，本发明的范围由权利要求和其等同物所限定。