图像编码装置及解码装置、图像编码方法及解码方法

摘要

一种使用帧内预测对图像进行编码的方法，从多个倾斜候补中选择成为预测对象的图像信号表示的像素值的倾斜，基于该倾斜，与从预测参照像素起的距离对应地附加倾斜而生成预测信号，基于该预测信号，对成为预测对象的图像信息进行帧内编码，对表示所述选择的倾斜的大小的信息进行编码。或者基于已经编码完成的图像信号，对成为预测对象的图像信号表示的像素值的倾斜进行推定，基于该倾斜与从预测参照像素起的距离对应地附加倾斜而生成预测信号，基于该预测信号对成为预测对象的图像信号进行帧内编码。

权利要求

1.一种图像编码装置，使用帧内预测对图像进行编码，其特征在于，具备：从多个倾斜候补与预测对象像素所属的编码对象块能够采用的预测模式的组合中，对成为预测对象的图像信号表示的像素值的倾斜与预测模式的最适合的组合进行选择的单元；

基于所述选择的倾斜及预测模式，与从预测参照像素起的距离对应地附加倾斜而生成预测信号的单元，所述预测参照像素是位于所述编码对象块的最附近的像素；

基于所述生成的预测信号，对成为预测对象的图像信号进行帧内编码的单元；以及对表示所述选择的倾斜的大小及预测模式的信息进行编码的单元。

2.根据权利要求1所述的图像编码装置，其特征在于，

所述选择倾斜的单元基于所述多个倾斜候补，生成倾斜不同的多个预测信号候补，从这些预测信号候补中特别指定编码开销变得最小的预测信号候补，由此从所述多个倾斜候补中对成为预测对象的图像信号表示的倾斜进行选择。

3.一种图像编码装置，使用帧内预测对图像进行编码，其特征在于，具备：基于已经编码完成的图像信号，对成为预测对象的图像信号表示的像素值的倾斜进行推定，沿着推定所述倾斜的方向，针对与预测对象像素所属的编码对象块邻接配置的多个像素的排列分别求取倾斜，获得求取的倾斜的平均值，将所述平均值推定为成为所述预测对象的图像信号表示的像素值的倾斜的单元；

基于所述推定的倾斜，与从预测参照像素起的距离对应地附加倾斜而生成预测信号的单元；

基于所述生成的预测信号，对成为预测对象的图像信号进行帧内编码的单元；以及对表示所述推定的倾斜的大小的信息进行编码的单元。

4.一种图像解码装置，对使用帧内预测被编码后的图像的编码数据进行解码，其特征在于，具备：通过对用于与从预测参照像素起的距离对应地对预测信号附加像素值的倾斜的、包含从多个倾斜候补与预测对象像素所属的编码对象块能采用的预测模式的组合中选择的倾斜与预测模式的最适合的组合的信息进行解码，从而获得在图像编码侧使用的倾斜及预测模式的信息的单元；

基于所述获得的倾斜及预测模式，对在图像编码侧生成的预测信号进行复原的单元，所述预测参照像素是位于所述编码对象块的最附近的像素；以及对在图像编码侧编码后的残差信号进行解码，基于该解码后的残差信号和所述复原后的预测信号而生成解码图像信号的单元。

5.一种图像编码方法，由图像编码装置执行，该图像编码装置使用帧内预测对图像进行编码，其特征在于，具备：从多个倾斜候补与预测对象像素所属的编码对象块能够采用的预测模式的组合中，对成为预测对象的图像信号表示的像素值的倾斜与预测模式的最适合的组合进行选择的步骤；

基于所述选择的倾斜及预测模式，与从预测参照像素起的距离对应地附加倾斜而生成预测信号的步骤，所述预测参照像素是位于所述编码对象块的最附近的像素；

基于所述生成的预测信号，对成为预测对象的图像信号进行帧内编码的步骤；以及对表示所述选择的倾斜的大小及预测模式的信息进行编码的步骤。

6.根据权利要求5所述的图像编码方法，其特征在于，

在所述选择倾斜的步骤中，基于所述多个倾斜候补，生成倾斜不同的多个预测信号候补，从这些预测信号候补中特别指定编码开销变得最小的预测信号候补，由此从所述多个倾斜候补中对成为预测对象的图像信号表示的倾斜进行选择。

7.一种图像编码方法，由图像编码装置执行，该图像编码装置使用帧内预测对图像进行编码，其特征在于，具备：基于已经编码完成的图像信号，对成为预测对象的图像信号表示的像素值的倾斜进行推定，沿着推定所述倾斜的方向，针对与预测对象像素所属的编码对象块邻接配置的多个像素的排列分别求取倾斜，获得求取的倾斜的平均值，将所述平均值推定为成为所述预测对象的图像信号表示的像素值的倾斜的步骤；

基于所述推定的倾斜，与从预测参照像素起的距离对应地附加倾斜而生成预测信号的步骤；

基于所述生成的预测信号，对成为预测对象的图像信号进行帧内编码的步骤；以及对表示所述推定的倾斜的大小的信息进行编码的步骤。

8.一种图像解码方法，由图像解码装置执行，该图像解码装置对使用帧内预测被编码后的图像的编码数据进行解码，其特征在于，具备：通过对用于与从预测参照像素起的距离对应地对预测信号附加像素值的倾斜的、包含从多个倾斜候补与预测对象像素所属的编码对象块能采用的预测模式的组合中选择的倾斜与预测模式的最适合的组合的信息进行解码，从而获得在图像编码侧使用的倾斜及预测模式的信息的步骤；

基于所述获得的倾斜及预测模式，对在图像编码侧生成的预测信号进行复原的步骤，所述预测参照像素是位于所述编码对象块的最附近的像素；以及对在图像编码侧编码后的残差信号进行解码，基于该解码后的残差信号和所述复原后的预测信号而生成解码图像信号的步骤。

9.一种图像编码装置，使用帧内预测对图像进行编码，其特征在于，所述帧内预测的预测模式是视频图像编码标准H.264/MPEG-4AVC中的DC预测，该图像编码装置具备：从表示加到像素值的值的多个倾斜候补中，选择对成为预测对象的图像信号附加的倾斜的单元，所述倾斜基于预测参照像素而被决定，所述预测参照像素是位于预测对象像素所属的编码对象块的最附近的像素；

生成被附加了所述选择的倾斜的预测信号的单元；

基于所述生成的预测信号，对成为预测对象的图像信号进行帧内编码的单元；以及对表示所述选择的倾斜的大小的信息进行编码的单元。

10.根据权利要求9所述的图像编码装置，其特征在于，

所述选择倾斜的单元基于所述多个倾斜候补，生成倾斜不同的多个预测信号候补，从这些预测信号候补中特别指定编码开销变得最小的预测信号候补，由此从所述多个倾斜候补中对成为预测对象的图像信号表示的倾斜进行选择。

11.一种图像编码装置，使用帧内预测对图像进行编码，其特征在于，所述帧内预测的预测模式是视频图像编码标准H.264/MPEG-4AVC中的DC预测，该图像编码装置具备：基于已经编码完成的图像信号，对倾斜进行推定的单元，其中，该倾斜表示加到成为预测对象的图像信号的像素值的值，与所述已经编码完成的图像信号对应的像素是位于预测对象像素所属的编码对象块的最附近的像素；

生成被附加了所述推定的倾斜的预测信号的单元；以及

基于所述生成的预测信号，对成为预测对象的图像信号进行帧内编码的单元。

12.根据权利要求11所述的图像编码装置，其特征在于，

还具备：对表示所述推定的倾斜的大小的信息进行编码的单元。

13.一种图像解码装置，对使用帧内预测被编码后的图像的编码数据进行解码，其特征在于，所述帧内预测的预测模式是视频图像编码标准H.264/MPEG-4AVC中的DC预测，该图像解码装置具备：通过对用于附加倾斜的信息进行解码，从而获得在图像编码侧使用的倾斜的信息的单元，其中，该倾斜表示向预测信号的像素值的加法值，所述倾斜基于预测参照像素而被决定，所述预测参照像素是位于预测对象像素所属的编码对象块的最附近的像素；

基于所述获得的倾斜，对在图像编码侧生成的预测信号进行复原的单元；以及对在图像编码侧编码后的残差信号进行解码，基于该解码后的残差信号和所述复原后的预测信号而生成解码图像信号的单元。

14.一种图像解码装置，对使用帧内预测被编码后的图像的编码数据进行解码，其特征在于，所述帧内预测的预测模式是视频图像编码标准H.264/MPEG-4AVC中的DC预测，该图像解码装置具备：基于已经解码完成的图像信号，对倾斜进行推定的单元，其中，该倾斜表示加到成为预测对象的图像信号的像素值的值，与所述已经解码完成的图像信号对应的像素是位于预测对象像素所属的编码对象块的最附近的像素；

生成被附加了所述推定的倾斜的预测信号的单元；以及

对在图像编码侧编码后的残差信号进行解码，基于该解码后的残差信号和所述生成的预测信号而生成解码图像信号的单元。

15.一种图像编码方法，使用帧内预测对图像进行编码，其特征在于，所述帧内预测的预测模式是视频图像编码标准H.264/MPEG-4AVC中的DC预测，该图像编码方法具备：从表示加到像素值的值的多个倾斜候补中，选择对成为预测对象的图像信号附加的倾斜的步骤，所述倾斜基于预测参照像素而被决定，所述预测参照像素是位于预测对象像素所属的编码对象块的最附近的像素；

生成被附加了所述选择的倾斜的预测信号的步骤；

基于所述生成的预测信号，对成为预测对象的图像信号进行帧内编码的步骤；以及对表示所述选择的倾斜的大小的信息进行编码的步骤。

16.根据权利要求15所述的图像编码方法，其特征在于，

在所述选择倾斜的步骤中，基于所述多个倾斜候补，生成倾斜不同的多个预测信号候补，从这些预测信号候补中特别指定编码开销变得最小的预测信号候补，由此从所述多个倾斜候补中对成为预测对象的图像信号表示的倾斜进行选择。

17.一种图像编码方法，使用帧内预测对图像进行编码，其特征在于，所述帧内预测的预测模式是视频图像编码标准H.264/MPEG-4AVC中的DC预测，该图像编码方法具备：基于已经编码完成的图像信号，对倾斜进行推定的步骤，其中，该倾斜表示加到成为预测对象的图像信号的像素值的值，与所述已经编码完成的图像信号对应的像素是位于预测对象像素所属的编码对象块的最附近的像素；

生成被附加了所述推定的倾斜的预测信号的步骤；以及

基于所述生成的预测信号，对成为预测对象的图像信号进行帧内编码的步骤。

18.根据权利要求17所述的图像编码方法，其特征在于，

还具备：对表示所述推定的倾斜的大小的信息进行编码的步骤。

19.一种图像解码方法，对使用帧内预测被编码后的图像的编码数据进行解码，其特征在于，所述帧内预测的预测模式是视频图像编码标准H.264/MPEG-4AVC中的DC预测，该图像解码方法具备：通过对用于附加倾斜的信息进行解码，从而获得在图像编码侧使用的倾斜的信息的步骤，其中，该倾斜表示向预测信号的像素值的加法值，所述倾斜基于预测参照像素而被决定，所述预测参照像素是位于预测对象像素所属的编码对象块的最附近的像素；

基于所述获得的倾斜，对在图像编码侧生成的预测信号进行复原的步骤；以及对在图像编码侧编码后的残差信号进行解码，基于该解码后的残差信号和所述复原后的预测信号而生成解码图像信号的步骤。

20.一种图像解码方法，对使用帧内预测被编码后的图像的编码数据进行解码，其特征在于，所述帧内预测的预测模式是视频图像编码标准H.264/MPEG-4AVC中的DC预测，该图像解码方法具备：基于已经解码完成的图像信号，对倾斜进行推定的步骤，其中，该倾斜表示加到成为预测对象的图像信号的像素值的值，与所述已经解码完成的图像信号对应的像素是位于预测对象像素所属的编码对象块的最附近的像素；

生成被附加了所述推定的倾斜的预测信号的步骤；以及

对在图像编码侧编码后的残差信号进行解码，基于该解码后的残差信号和所述生成的预测信号而生成解码图像信号的步骤。

说明书

图像编码装置及解码装置、图像编码方法及解码方法

技术领域

[0001] 本发明涉及使用帧内预测(intraframe prediction)对图像进行编码的图像编码装置及其方法，对通过该图像编码技术编码的编码数据进行解码的图像解码装置及其方法，用于实现该图像编码装置的图像编码程序和记录有该程序的计算机能够读取的记录介质、用于实现该图像解码装置的图像解码程序和记录有该程序的计算机能够读取的记录介质。

[0002] 本申请基于2007年10月15日申请的日本专利申请特愿2007-267614号要求优先权，并在这里引用其内容。

背景技术

[0003] 在同一帧内执行预测的帧内预测编码由于不能够实现在不同帧间执行预测的帧间预测编码那样程度的大的压缩效率，所以期待着压缩效率高的帧内预测编码方式。此外，帧内编码的压缩效率的提高，对参照该图像的帧间编码的压缩效率提高也有做出贡献的可能性，从这一点出发，帧内预测编码方式的压缩效率的提高也是被期待的领域。 [0004] 在空间维数的同一帧内进行预测的帧内预测，从视频图像编码标准H.264/MPEG-4AVC导入(例如，参照非专利文献1的pp.106)。

[0005] 帧内预测以块单位进行，在H.264/MPEG-4AVC中，对于亮度信号能够利用3种块尺寸(4×4、8×8、16×16)。此外，在各块尺寸中能够分别选择多个预测模式。在4×4或8×8的块尺寸的情况下准备有9种预测模式，在16×16的块尺寸的情况下准备有4种预测模式。

[0006] 对于色度信号仅能够利用8×8的块尺寸，关于预测方向与相对于亮度信号的16×16块的情况相同。但是，预测模式编号与预测方向的对应方式不同(例如，参照非专利文献1的pp.106-112，非专利文献2的pp.116-135)。

[0007] 就这些各种块尺寸和预测模式而言，在任何情况下都没有例外地，在帧内预测中生成的像素，不使邻接于编码对象块的块上的、位于最接近于编码对象块的位置的像素值变化，而复制相同的值。

[0008] 在图36中，作为具体例子，表示编码对象块是亮度信号的4×4块、预测模式时垂直预测(预测模式0)的情况。以下，在没有特别指出的情况下，以亮度信号为前提进行说明。

[0009] 在该图36所示的具体例子中，在预测中使用：位于编码对象块的左上方的块所具有的像素X的值，和位于编码对象块的上方的块所具有的像素A、B、C、D的值，和位于编码对象块的右上方的块所具有的像素E、F、G、H的值，和位于编码对象块的左方的块所具有的像素I、J、K、L的值。

[0010] 由于预测模式0是垂直方向的预测，所以将像素A的值(73)复制到其正下方接着的4像素。以下同样地，将像素B的值(79)、像素C的值(86)、像素D的值(89)分别复制到其正下方接着的4像素。

[0011] 像这样，在现有技术中，在帧内预测中生成的像素，不使邻接于编码对象块的块上的、位于最接近编码对象块的位置的像素值变化，而复制相同的值。

[0012] 在该情况下，根据编码对象块存在的位置，存在没有要参照的块的情况。在该情况下代入128的值，或者代入相邻的像素的值，从而实现预测。例如，在包含帧的最上方的行的块中，不能总是参照从X到H的9像素，所以使用128。此外，在虽然存在左上方和上方的块、但不存在右上方的块的情况下，将像素D具有的值代入像素E、F、G、H来生成预测像素。

[0013] 此外，作为帧内预测的改良技术，提出有以下方案，即通过变更宏块内的块的扫描顺序，从而能从位于块的右方或下方的像素进行内插预测的方法(例如，参照非专利文献3)。

[0014] 在该方法中，提出如下方案，即，从多个预测模式候补中选择2种预测模式A、B，如果将应用到像素位置(i，j)的情况下的预测值分别以sA(i，j)，sB(i，j)表示的话，将像素位置(i，j)的像素的预测值sbipred(i，j)按照

[0015] sbipred(i，j)＝a·sA(i，j)+b·sB(i，j)其中，a，b是权重的计算式进行计算。 [0016] 非专利文献1：大久保榮，角野眞也，菊池義浩，鈴木輝彦：“改訂版H.264/AVC教科書”，pp.106-112，2006

[0017] 非 专 利 文 献 2：ITU-T Study Group 16-Question 6/16： ″ Draft newCorrigendum 1 to H.264 ″ Advanced video coding for genericaudiovisualservices″，pp.116-135，2005

[0018] 非专利文献3：塩寺太一郎，谷沢昭行，中條健：“ブロツクベ一ス外挿/内挿予測に基づくイントラ符号化”，画像符号化シンポジウム第21回シンポジウム資料，pp.123-124，2006

[0019] 本发明要解决的课题

[0020] 如在非专利文献1中记载的那样，在现有的帧内预测中，在生成预测像素的情况下，不改变参照像素具有的像素值而直接进行复制。

[0021] 在原信号相对于预测方向不使其值变化的情况下，利用现有的帧内预测没有问题。可是，通常原信号具有相对于预测方向依次使其值变化的性质。

[0022] 由此，当按照现有的帧内预测时，存在不能避免残差信号的增加，压缩效率恶化的问题。

[0023] 因此，在现有的帧内预测中，当应用到原信号的值空间地变化的图像、即包含许多层次的图像(这样的图像是通常的)时，存在导致残差信号的增加、压缩效率恶化的问题。 [0024] 另一方面，在非专利文献3中记述的方法中，使用基于应用了2种预测模式时的预测值进行帧内预测的方法，但该方法并不是利用原信号所具有的层次的性质进行预测。由此，不能期待使压缩效率大幅提高。

发明内容

[0025] 本发明正是鉴于这样的情况而完成的，其目的在于提供一种在对对包含许多层次的图像以帧内预测进行编码时，能够使压缩效率提高的新的图像编码技术。 [0026] 用于解决课题的方法

[0027] [1]第一方式

[0028] 为了实现上述目的，本发明提供一种图像编码装置，在采用使用帧内预测对图像进行编码的结构时，具备：(i)选择单元，从多个倾斜候补中对成为预测对象的图像信号表示的像素值的倾斜进行选择；(ii) 生成单元，基于选择单元选择的倾斜，与从预测参照像素起的距离对应地附加倾斜而生成预测信号；(iii)帧内编码单元，基于生成单元生成的预测信号，对成为预测对象的图像信号进行帧内编码；以及(iv)倾斜信息编码单元，对选择单元选择的表示倾斜的大小的信息(大小本身的信息，或能够特别指定大小的索引等的信息)进行编码。

[0029] 以上的各处理单元以计算机程序也能够实现，该计算机程序记录在适当的计算机能够读取的记录介质中而被提供，或经由网络而被提供，在实施本发明时被安装并通过在CPU等的控制单元上工作，从而实现本发明。

[0030] 对应于本发明的图像编码装置，本发明提供一种图像解码装置，在采用对使用帧内预测被编码后的图像的编码数据进行解码的结构时，具备：(i)获得单元，对用于与从预测参照像素起的距离对应地对预测信号附加像素值的倾斜的信息进行解码；(ii)复原单元，基于获得单元获得的倾斜，对在图像编码侧生成的预测信号进行复原；以及(iii)生成单元，对在图像编码侧编码后的残差信号进行解码，基于该解码后的残差信号与复原单元复原后的预测信号，生成解码图像信号。

[0031] 以上的各处理单元以计算机程序也能够实现，该计算机程序记录在适当的计算机能够读取的记录介质中而被提供，或经由网络而被提供，在实施本发明时被安装并通过在CPU等的控制单元上工作，从而实现本发明。

[0032] 在这样构成的本发明的第一方式中，图像编码装置例如基于多个倾斜候补生成倾斜不同的多个预测信号候补，从这些预测信号候补中特别指定编码开销变得最小的预测信号候补，由此从多个倾斜候补中选择成为预测对象的图像信号表示的倾斜。 [0033] 接着，基于选择的倾斜，与从预测参照像素的起的距离对应地附加倾斜而生成预测信号，基于该生成的预测信号，对成为预测对象的图像信号进行帧内编码。然后，为了对图像解码装置通知选择的倾斜的大小，对表示选择的倾斜的大小的信息进行编码。 [0034] 接受该图像编码装置生成的编码数据，图像解码装置通过对表示被编码的倾斜的大小的信息进行解码，从而获得在图像编码侧使用的倾斜的信息。接着，基于获得的倾斜，对在图像编码侧生成的预测信号进行复原。然后，对在图像编码侧编码后的残差信号进行解码，基于该解码 后的残差信号和复原后的预测信号生成解码图像信号。

[0035] [2]第二方式

[0036] 此外，为了实现上述目的，本发明提供一种图像编码装置，在采用使用帧内预测对图像进行编码的结构时，具备：(i)推定单元，基于已经编码完成的图像信号，对成为预测对象的图像信号表示的像素值的倾斜进行推定；(ii)生成单元，基于推定单元推定的倾斜，与从预测参照像素的起的距离对应地附加倾斜而生成预测信号；以及(iii)帧内编码单元，基于生成单元生成的预测信号，对成为预测对象的图像信号进行帧内编码。 [0037] 以上的各处理单元以计算机程序也能够实现，该计算机程序记录在适当的计算机能够读取的记录介质中而被提供，或经由网络而被提供，在实施本发明时被安装并通过在CPU等的控制单元上工作，从而实现本发明。

[0038] 此外，对应于本发明的图像编码装置，本发明提供一种图像解码装置，在采用对使用帧内预测被编码后的图像的编码数据进行解码的结构时，具备：(i)推定单元，基于已经解码完成的图像信号，对成为预测对象的图像信号表示的像素值的倾斜进行推定；(ii)生成单元，基于推定单元推定的倾斜，与从预测参照像素起的距离对应地附加倾斜而生成预测信号；以及(iii)解码图像信号单元，对在图像编码侧编码后的残差信号进行解码，基于该解码后的残差信号和预测信号生成单元生成的预测信号来生成解码图像信号。 [0039] 以上的各处理单元以计算机程序也能够实现，该计算机程序记录在适当的计算机能够读取的记录介质中而被提供，或经由网络而被提供，在实施本发明时被安装并通过在CPU等的控制单元上工作，从而实现本发明。

[0040] 在这样构成的本发明的第二方式中，图像编码装置基于已经编码完成的图像信号，对成为预测对象的图像信号表示的倾斜进行推定。接着，基于推定的倾斜，与从预测参照像素起的距离对应地附加倾斜而生成预测信号，基于该生成的预测信号，对成为预测对象的图像信号进行帧内编码。

[0041] 接受该图像编码装置生成的编码数据，图像解码装置基于已经解码完成的图像信号，对成为预测对象的图像信号表示的倾斜进行推定。接 着，基于该推定的倾斜，与从预测参照像素的起的距离对应地附加倾斜而生成预测信号。然后，对在编码侧编码的残差信号进行解码，基于该解码后的残差信号和该生成的预测信号生成解码图像信号。 [0042] 在本发明的第二方式中，因为图像编码装置和图像解码装置按照同一算法进行推定倾斜的处理，所以图像编码装置不需要对图像解码装置通知推定的倾斜的大小。由此，图像编码装置生成的编码数据的数据量也减少相应的量，但图像解码装置必须执行对倾斜进行推定的运算。

[0043] 因此，在需要削减图像解码装置的运算量的情况下，图像编码装置具备对表示推定的倾斜的大小的信息进行编码的倾斜信息编码单元(关于该单元也能够以计算机程序来实现)也可。

[0044] 在该情况下，图像解码装置与上述第一方式同样地，对图像编码装置生成的编码数据进行解码。

[0045] 像这样，本发明的第二方式也与本发明的第一方式同样地，不是直接将参照像素的信号值作为预测信号，而是通过附加倾斜，来实现预测误差更少的帧内预测。即，通过对参照像素的值附加倾斜，能够生成可进一步降低预测误差的像素，结果，能够实现作为本发明的目的的有效率的帧内预测。

[0046] 再有，在帧内预测的预测模式是视频图像编码标准H.264/MPEG-4AVC中的DC预测的情况下，本发明提供一种图像编码装置，具备：(i)选择单元，从对加到像素值的值进行表示的多个倾斜候补中，选择对成为预测对象的图像信号附加的倾斜的单元；(ii)对附加了所述选择的倾斜的预测信号进行生成的单元；(iii)基于上述生成的预测信号，对成为预测对象的图像信号进行帧内编码的单元；以及(iv)对表示上述选择的倾斜的大小的信息进行编码的单元。

[0047] 同样地，在是视频图像编码标准H.264/MPEG-4AVC中的DC预测的情况下，本发明提供一种图像编码装置，具备：(i)推定单元，基于已经编码完成的图像信号，推定对加到成为预测对象的图像信号的像素值的值进行表示的倾斜的单元；(ii)生成被附加了上述推定的倾斜的预测信号的单元；以及(iii)基于上述生成的预测信号，对成为预测对象的图像信号进行帧内编码的单元。

[0048] 这些编码装置分别对应于上述的第一和第二方式，“倾斜”的设定(特性)与DC预测匹配。

[0049] 即，对倾斜进行选择或推定，基于倾斜生成预测信号等的基本工作，第一和第二方式是共同的。

[0050] 本发明分别提供与对应于这些DC预测的图像编码装置对应的、以下的图像解码装置。

[0051] (i)一种图像解码装置，具备：通过对用于附加倾斜的信息进行解码，从而获得在图像编码侧使用的倾斜的信息的单元，其中，倾斜表示向预测信号的像素值的加法值；基于所述获得的倾斜，对在图像编码侧生成的预测信号进行复原的单元；以及对在图像编码侧编码后的残差信号进行解码，基于该解码后的残差信号和上述复原后的预测信号，生成解码图像信号的单元。

[0052] (ii)一种图像解码装置，具备：基于已经解码完成的图像信号，对倾斜进行推定的单元，其中，该倾斜表示对成为预测对象的图像信号的像素值加上的值；对附加了上述推定的倾斜的预测信号进行生成的单元；以及对在图像编码侧编码后的残差信号进行解码，基于该解码后的残差信号和上述生成的预测信号，生成解码图像信号的单元。 [0053] 发明的效果

[0054] 如以上说明的那样，根据本发明，能够对被认为在现有的帧内预测中预测误差增大、编码效率恶化的包含层次的图像，执行有效率的帧内预测，能够使压缩效率提高。 附图说明

[0055] 图1是说明本发明的帧内预测和现有的帧内预测的差异的图。

[0056] 图2是本发明的帧内预测编码装置的一个实施方式例。

[0057] 图3是同实施方式的帧内预测编码装置执行的帧内预测的说明图。

[0058] 图4是同实施方式的帧内预测编码装置执行的流程图。

[0059] 图5是本发明的帧内预测解码装置的一个实施方式例。

[0060] 图6是同实施方式的帧内预测解码装置执行的流程图。

[0061] 图7是本发明的帧内预测编码装置的另一个实施方式例。

[0062] 图8是同实施方式的帧内预测编码装置执行的帧内预测的说明图。

[0063] 图9是同实施方式的帧内预测编码装置执行的流程图。

[0064] 图10是本发明的帧内预测解码装置的另一个实施方式例。

[0065] 图11是同实施方式的帧内预测解码装置执行的流程图。

[0066] 图12是本发明的帧内预测编码装置的另一个实施方式例。

[0067] 图13是同实施方式的帧内预测编码装置执行的流程图。

[0068] 图14是验证图2的帧内预测编码装置的有效性的实验结果的说明图。 [0069] 图15同样地是实验结果的说明图。

[0070] 图16同样地是实验结果的说明图。

[0071] 图17A同样地是实验结果的说明图。

[0072] 图17B同样地是实验结果的说明图。

[0073] 图18A同样地是实验结果的说明图。

[0074] 图18B同样地是实验结果的说明图。

[0075] 图19A同样地是实验结果的说明图。

[0076] 图19B同样地是实验结果的说明图。

[0077] 图20A同样地是实验结果的说明图。

[0078] 图20B同样地是实验结果的说明图。

[0079] 图21A同样地是实验结果的说明图。

[0080] 图21B同样地是实验结果的说明图。

[0081] 图22A同样地是实验结果的说明图。

[0082] 图22B同样地是实验结果的说明图。

[0083] 图23A同样地是实验结果的说明图。

[0084] 图23B同样地是实验结果的说明图。

[0085] 图24A同样地是实验结果的说明图。

[0086] 图24B同样地是实验结果的说明图。

[0087] 图25A同样地是实验结果的说明图。

[0088] 图25B同样地是实验结果的说明图。

[0089] 图26A同样地是实验结果的说明图。

[0090] 图26B同样地是实验结果的说明图。

[0091] 图27A同样地是实验结果的说明图。

[0092] 图27B同样地是实验结果的说明图。

[0093] 图28A同样地是实验结果的说明图。

[0094] 图28B同样地是实验结果的说明图。

[0095] 图29A同样地是实验结果的说明图。

[0096] 图29B同样地是实验结果的说明图。

[0097] 图30A同样地是实验结果的说明图。

[0098] 图30B同样地是实验结果的说明图。

[0099] 图31A同样地是实验结果的说明图。

[0100] 图31B同样地是实验结果的说明图。

[0101] 图32A同样地是实验结果的说明图。

[0102] 图32B同样地是实验结果的说明图。

[0103] 图33A同样地是实验结果的说明图。

[0104] 图33B同样地是实验结果的说明图。

[0105] 图34A同样地是实验结果的说明图。

[0106] 图34B同样地是实验结果的说明图。

[0107] 图35同样地是实验结果的说明图。

[0108] 图36是现有技术的说明图。

[0109] 图20A是H.264/MPEG-4AVC中的DC预测的说明图。

[0110] 附图标记说明

[0111] 10 帧内预测编码装置

[0112] 101 倾斜选择部

[0113] 102 预测模式选择部

[0114] 103 帧内预测部

[0115] 104 率失真开销计算部

[0116] 105 开销最小值存储部

[0117] 106 开销最小值初始化部

[0118] 107 开销判定部

[0119] 108 最优编码信息存储部

[0120] 109 循环结束判定部

[0121] 110 最优编码信息编码部

[0122] 111 帧内编码部

具体实施方式

[0123] 在本发明中，不是将参照像素的信号值直接作为预测信号，而是附加倾斜，由此能够实现预测误差更少的帧内预测。

[0124] 即，如图1所示，设想编码对象块包含层次(gradation)的情况。 在该情况下，在本发明中，如图1的下级所示那样，通过对预测信号附加一定的倾斜，从而生成接近于原信号的预测信号，由此能够减小残差信号，能够实现帧内预测的效率提高。

[0125] 在现有的帧内预测中，如图1的上级所示，由于将参照像素具有的值直接应用到全部的预测方向的预测像素，所以在原信号具有空间地变化的层次的情况下，不能回避预测误差的增大。

[0126] 相对于此，在本发明中，通过对参照像素的值附加倾斜，能够生成可进一步降低预测误差的像素，结果，能够实现作为本发明的目的的有效率的帧内预测。

[0127] 下面，按照实施方式对本发明进行详细地说明。

[0128] 图2中图示有作为本发明的一个实施方式例的帧内预测编码装置10。 [0129] 本发明的帧内预测编码装置10，将静止图像作为处理对象，或将视频图像中包含的内部(帧内)编码对象的图像作为处理对象，使用帧内预测对处理对象的图像进行编码，如图2所示，具备：倾斜选择部101、预测模式选择部102、帧内预测部103、率失真开销计算部104、开销最小值存储部105、开销最小值初始化部106、开销判定部107、最优编码信息存储部108、循环结束判定部109、最优编码信息编码部110、以及帧内编码部111。 [0130] 该倾斜选择部101选择用于对预测信号附加的倾斜(在倾斜选择部101进行选择的阶段，正确地表现的话，应是这样的倾斜的候补)。

[0131] 预测模式选择部102对帧内预测的预测模式进行选择。

[0132] 帧内预测部103基于倾斜选择部101选择的倾斜、和预测模式选择部102选择的预测模式，生成在帧内预测中使用的带有倾斜的预测信号。

[0133] 率失真开销计算部104基于帧内预测部103生成的预测信号，对作为编码开销的率失真开销进行计算。

[0134] 开销最小值存储部105对率失真开销计算部104计算出的率失真开销的最小值进行存储。

[0135] 开销最小值初始化部106在进入帧内预测编码的时刻，将表示大的值的率失真开销的初始值对开销最小值存储部105写入。

[0136] 开销判定部107对率失真开销计算部104计算出的率失真开销、和开销最小值存储部105存储的率失真开销进行比较，在率失真开销计算 部104计算出的一方较小的情况下，使用率失真开销计算部104计算出的率失真开销，对开销最小值存储部105存储的率失真开销进行更新，进而，按照该时刻的倾斜和预测模式，对最优编码信息存储部108存储的倾斜和预测模式的信息进行更新。

[0137] 最优编码信息存储部108对通过开销判定部107而被更新的最优的倾斜和预测模式的信息进行存储。

[0138] 循环结束判定部109对倾斜选择部101指示接下来的倾斜的选择，并对预测模式选择部102指示接下来的预测模式的选择，由此以选择全部的倾斜和预测模式的组合的方式进行控制，并且在全部的倾斜和预测模式的组合的选择结束时，对最优编码信息编码部110和帧内编码部111指示进行编码。

[0139] 最优编码信息编码部110当有来自循环结束判定部109的编码指示时，从最优编码信息存储部108读出倾斜和预测模式的信息，对其进行编码。

[0140] 帧内编码部111当存在来自循环结束判定部109的编码指示时，从最优编码信息存储部108读出倾斜和预测模式的信息，按照该读出的倾斜和预测模式生成带有倾斜的预测信号，对编码对象块的图像信号和该生成的预测信号的残差信号进行编码。 [0141] 接着，按照图3对本实施方式的帧内预测编码装置10执行的帧内预测进行说明。在这里，在图3中设想编码对象块是4×4块的情况。

[0142] 在本发明的帧内预测编码装置10中，将成为倾斜的基准的大小定义为倾斜常数Δ，将可以采用的倾斜的范围定义为倾斜调整系数gradient[n]。在这里，将Δ作为常数，n的值是整数，表示可以采用的倾斜的(种类的)数量。

[0143] 图3表示Δ＝1、n＝3、在垂直预测下的例子。此外，将距离1像素时的倾斜α以α＝Δ×gradient[i](0≤i＜n)进行定义。

[0144] 即，在n＝3的情况下，每距离1像素，得到1×gradient[0]、1×gradient[1]、1×gradient[2]的3种倾斜。

[0145] gradient[0]、gradient[1]、gradient[2]的值能够任意设定，在图3的例子中设定为“-1，0，1”。

[0146] 如上所述，当将预测像素的像素值作为y，将从参照像素到预测像素的距离作为x，将参照像素的像素值作为β时，预测像素的像素值y 能够以

[0147] y＝αx+β····式(1)

[0148] 定义。即，对从参照像素到预测像素的距离附加倾斜α。

[0149] 在图2那样构成的本实施方式的帧内预测编码装置10中，按照该式(1)生成预测信号。

[0150] 图4中图示有本实施方式的帧内预测编码装置10执行的流程图。接着，按照该流程图对帧内预测编码装置10执行的工作进行说明。

[0151] 本实施方式的帧内预测编码装置10当被赋予成为帧内预测编码的处理对象的编码对象块时，如图4的流程图所示，首先在最初，在步骤S101中，以表示充分大的值(实际上率失真开销Ji，j不可能取得的值)的MAXcost对在后述的步骤S107中使用的率失真开销Ji，j的最小值Jmin进行初始化。

[0152] 接着，在步骤S102中，以预先决定的值对倾斜常数Δ的值进行初始化。 [0153] 接着，在步骤S103中，开始指定倾斜的大小的循环1(变量i)。即，成为作为倾斜的种类数量的n次的循环。在初次中，作为初始值代入i＝0。

[0154] 接着，在步骤S104中，根据Δ和gradient[i]计算倾斜α，进行保存。如果以图3所示的例子进行说明的话，在i＝0时，计算出“α＝-1”。

[0155] 接着，在步骤S105中，开始指定编码对象块采用的预测模式的循环2(变量j)。 [0156] 由于编码对象块根据其在图像内存在的位置而可采用的预测模式不同，所以在这里将φ定义为编码对象块可以采用的全部预测模式的集合。作为初始值代入j＝γ(γ是在可以采用的模式中预测模式编号最小的数值)。

[0157] 接着，在步骤S106中，使用在步骤S104中得到的倾斜α，按照式(1)生成带有倾斜的预测信号。

[0158] 接着，在步骤S107中，求取率失真开销Ji，j。在率失真开销的计算中，使用下述的式(2)。

[0159] Ji，j＝SSD+λ(Rblock+Rgradient) ····式(2)

[0160] 在这里，SSD表示预测误差的绝对值的平方和，λ表示相对于预测模式判定的拉格朗日未定乘子，Rblock表示在以选择的预测模式j对编码 对象块进行编码的情况下的产生码量，Rgradient表示在对倾斜信息i进行编码的情况下的产生码量。

[0161] 接着，在步骤S108中，通过判断

[0162] Ji，j＜Jmin ····式(3)

[0163] 是否成立，进行在步骤S107中计算出的开销Ji，j是否最小的判定。 [0164] 按照该步骤S108的判断处理，在判断为在步骤S107中计算出的开销Ji，j比最小开销Jmin小时，进入步骤S109，对这时的倾斜信息i和预测模式j的值进行记录，并且也更新Jmin。

[0165] 即、作为

[0166] best_gradient＝i ····式(4)

[0167] best_mode＝j ····式(5)

[0168] Jmin＝Ji，j ····式(6)

[0169] 另一方面，在按照步骤S108的判断处理，判断为在步骤S107中计算出的开销Ji，j不小于最小开销Jmin时，不进行步骤S109的处理，不进行式(4)～式(6)表示的更新处理。 [0170] 使循环2在j∈φ的范围内(即，针对可以采用的全部的预测模式)反复进行以上的开销计算处理，当循环2结束时，转移到接下来的gradient[i]，在0≤i＜n的范围内反复循环1。

[0171] 通过执行该2种循环结构，得到实现最小率失真开销的best_gradient、best_mode。

[0172] 接着，在步骤S110中，对得到的best_gradient、best_mode的信息进行编码。编码方法使用算术编码等的通常使用的方法。编码后的信息插入到报头(header)等中。 [0173] 接着，在步骤S111中，使用得到的best_gradient、best_mode生成带有倾斜的预测信号，对编码对象块进行编码。

[0174] 通过以上的流程，与在现有的帧内预测中在编码对象块中的在预测方向的全部预测信号固定为相同值的状态相比，能够生成附加了倾斜的预测信号，能够减小误差。 [0175] 再有，在以上的说明中，针对4×4块进行了说明，但在4×4块以外的大小中也能够应用本发明的概念。此外，不仅是亮度信号，对色度信号也能够同样地应用。 [0176] 图5中图示有对如图2那样构成的帧内预测编码装置10生成编码数据进行解码的、作为本发明的一个实施方式的帧内预测解码装置20。

[0177] 如该图所示，帧内预测解码装置20为了对帧内预测编码装置10生成的编码数据进行解码，具备：倾斜/预测模式解码部201、预测信号复原部202、残差信号解码部203、解码图像生成部204。

[0178] 该倾斜/预测模式解码部201对插入到编码数据的报头等中的倾斜和预测模式的信息进行解码。

[0179] 预测信号复原部202基于倾斜/预测模式解码部201解码后的倾斜和预测模式，对在帧内预测编码装置10中生成的带有倾斜的预测信号进行复原。

[0180] 残差信号解码部203根据编码数据对帧内预测编码装置10编码的残差信号进行解码。

[0181] 解码图像生成部204基于预测信号复原部202复原后的预测信号、和残差信号解码部203解码后的残差信号，生成解码图像信号。

[0182] 图6中图示有本实施方式的帧内预测解码装置20执行的流程图。接着，按照该流程图对帧内预测解码装置20执行的处理进行说明。

[0183] 当输入帧内预测编码装置10生成的编码数据时，本实施方式的帧内预测解码装置20如图6的流程图所示，首先在最初，在步骤S201中对插入在输入的编码数据的报头等中的best_gradient、best_mode的信息进行解码。

[0184] 接着，在步骤S202中，按照解码后的best_gradient、best_mode，对在帧内预测编码装置10中生成的带有倾斜的预测信号进行复原。

[0185] 接着在步骤S203中，根据输入的编码数据对帧内预测编码装置10的编码后的残差信号((原来的)图像信号和预测信号的差分值)进行解码。

[0186] 接着，在步骤S204中，基于复原后的带有倾斜的预测信号、与解码后的残差信号，生成解码图像信号。

[0187] 像这样，如图5那样构成的帧内预测解码装置20，对如图2那样构成的帧内预测编码装置10生成的编码数据进行解码。

[0188] 图7中图示有作为本发明的另一个实施方式的、帧内预测编码装置100。 [0189] 如该图所示，帧内预测编码装置100具备：预测模式选择部301、 倾斜计算部302、帧内预测部303、率失真开销计算部304、开销最小值存储部305、开销最小值初始化部306、开销判定部307、最优编码信息存储部308、循环结束判定部309、最优预测模式编码部310、帧内编码部311。

[0190] 该预测模式选择部301对帧内预测的预测模式进行选择。

[0191] 倾斜计算部302基于预测模式选择部301选择的预测模式，计算出用于对预测信号附加斜度的倾斜。

[0192] 帧内预测部303基于预测模式选择部301选择的预测模式、和倾斜计算部302计算的倾斜，生成在帧内预测中使用的带有倾斜的预测信号。

[0193] 率失真开销计算部304基于帧内预测部303生成的预测信号，对作为编码开销的率失真开销进行计算。

[0194] 开销最小值存储部305对率失真开销计算部304计算出的率失真开销的最小值进行存储。

[0195] 开销最小值初始化部306在进入帧内预测编码的时刻，将表示大的值的率失真开销的初始值对开销最小值存储部305写入。

[0196] 开销判定部307对率失真开销计算部304计算出的率失真开销、和开销最小值存储部305存储的率失真开销进行比较，在率失真开销计算部304计算出的一方较小的情况下，使用率失真开销计算部304计算出的率失真开销，对开销最小值存储部305存储的率失真开销进行更新，进而，按照该时刻的预测模式和倾斜的信息，对最优编码信息存储部308存储的预测模式和倾斜的信息进行更新。

[0197] 最优编码信息存储部308对通过开销判定部307而被更新的最优预测模式和倾斜的信息进行存储。

[0198] 循环结束判定部309通过对预测模式选择部301指示接下来的预测模式的选择，以选择全部的预测模式的方式进行控制，并且在全部的预测模式的选择结束时，对最优预测模式编码部310和帧内编码部311指示进行编码。

[0199] 最优预测模式编码部310当存在来自循环结束判定部309的编码指示时，从最优编码信息存储部308读出预测模式的信息，对其进行编码。

[0200] 帧内编码部311当存在来自循环结束判定部309的编码指示时，从最优编码信息存储部308读出预测模式和倾斜的信息，按照该读出的预测模式和倾斜生成带有倾斜的预测信号，对编码对象块的图像信号和该 生成的预测信号的残差信号进行编码。 [0201] 接着，按照图8对这样构成的本实施方式的帧内预测编码装置100执行的帧内预测进行说明。在这里，在图8中设想编码对象块是4×4块的情况。

[0202] 在本实施方式的帧内预测编码装置100中，如果将垂直预测的预测模式作为具体例子进行说明的话，如图8所示，如果以A0～D0表示编码对象块最附近的参照像素，随着从编码对象块离开，将参照像素以A1、A2、A3、····、Ak，B1、B2、B3、····、Bk，C1、C2、C3、····、Ck，D1、D2、D3、····、Dk表示的话，根据这些参照像素的像素值表示的倾斜α’，当将预测像素的像素值作为y、将从参照像素到预测像素的距离作为x、将参照像素的像素值作为β时，将预测像素的像素值推定为：

[0203] y＝α’x+β ····式(7)

[0204] 这时，例如可以针对A、B、C、D的4个分别求取倾斜α’，分别独立地作为推定结果，也可以通过取得它们的平均值等而求取共同的倾斜α’，将其作为推定结果。 [0205] 在图7那样构成的帧内预测编码装置100中，按照该式(7)生成预测信号。 [0206] 关于该倾斜α’的推定处理，由于也能够在图像解码侧执行，所以在如图7那样构成的本发明的帧内预测编码装置100中，不需要对图像解码侧通知倾斜α’。由此，与如图2那样构成的帧内预测编码装置10相比，不需要附加信息，能够相应地削减编码数据的数据量。

[0207] 图9中图示有本实施方式的帧内预测编码装置100执行的流程图。接着，按照该流程图对帧内预测编码装置100执行的处理进行说明。

[0208] 帧内预测编码装置100当被赋予成为帧内预测编码的处理对象的编码对象块时，如图9的流程图所示，首先在最初，在步骤S301中，以表示充分大的值(实际上率失真开销Ji不可能取得的值)的MAXcost对在后述的步骤S306中使用的率失真开销Ji的最小值Jmin进行初始化。

[0209] 接着，在步骤S303中，开始指定编码对象块采用的预测模式的循环(变量i)。 [0210] 由于编码对象块根据在图像内存在的位置而可采用的预测模式不同，所以在这里将φ定义为编码对象块可以采用的全部预测模式的集 合。作为初始值代入i＝γ(γ是在可以采用的模式中预测模式编号最小的数值)。

[0211] 接着，在步骤S304中，如在图8中说明了的那样，使用选择的预测模式i规定的预测方向的k个参照像素，推定距离1像素时的倾斜αi’。关于该推定使用最小二乘法等来进行。

[0212] 接着，在步骤S305中，使用在步骤S304中得到的倾斜αi’，按照上述式(7)生成带有倾斜的预测信号。

[0213] 接着，在步骤S306中，求取率失真开销Ji。在率失真开销的计算中，使用下述的式(8)。

[0214] Ji＝SSD+λ×Rblock ····式(8)

[0215] 在这里，SSD表示预测误差的绝对值的平方和，λ表示相对于预测模式判定的拉格朗日未定乘子，Rblock表示以选择的预测模式i对编码对象块进行编码的情况下的产生码量。

[0216] 再有，因为不需要针对倾斜信息进行编码，所以在该式(8)中，不需要针对在上述式(2)中考虑的Rgradient进行考虑。

[0217] 接着，在步骤S307中，通过判断

[0218] Ji＜Jmin ····式(9)

[0219] 是否成立，进行在步骤S306中计算出的开销Ji是否最小的判定。

[0220] 按照该步骤S307的判断处理，在判断为在步骤S306中计算出的开销Ji比最小开销Jmin小时，进入步骤S308，对这时的预测模式i的值和倾斜信息αi’进行记录，并且也更新Jmin。

[0221] 即、成为：

[0222] best_mode＝i ····式(10)

[0223] gradient＝αi’····式(11)

[0224] Jmin＝Ji ····式(12)

[0225] 另一方面，在按照步骤S307的判断处理，判断为在步骤S306中计算出的步骤Ji不小于最小开销Jmin时，不进行步骤S308的处理，不进行式(10)～式(12)表示的更新处理。 [0226] 使与预测模式相关的循环在i∈φ的范围内(即，针对可以采用的全部预测模式)反复进行以上的开销计算处理。

[0227] 通过执行该循环，得到实现最小率失真开销的best_mode、和该预 测模式中的倾斜α’。

[0228] 接着，在步骤S309中，仅对得到的best_mode的信息进行编码。编码方法利用算术编码等的通常使用的方法。编码后的信息插入到报头等中。

[0229] 接着，在步骤S310中，使用得到的best_mode、倾斜α’生成带有倾斜的预测信号，对编码对象块进行编码。

[0230] 通过以上的流程，与现有的全部预测信号相对于预测方向固定为相同值的状态相比，能够生成附加了倾斜的预测信号，能够减小误差。

[0231] 再有，在以上的说明中，针对4×4块进行了说明，但在4×4块以外的大小中也能够应用本发明的概念。此外，不仅是亮度信号，对色度信号也能够同样地应用。 [0232] 图10中图示有对如图7那样构成的本实施方式的帧内预测编码装置100生成的编码数据进行解码的、作为本发明的一个实施方式的帧内预测解码装置200。 [0233] 如该图所示，帧内预测解码装置200为了对帧内预测编码装置100生成的编码数据进行解码，具备：预测模式解码部401、倾斜推定部402、预测信号生成部403、残差信号解码部404、和解码图像生成部405。

[0234] 该预测模式解码部401对插入到编码数据的报头等中的预测模式的信息进行解码。

[0235] 倾斜推定部402基于预测模式解码部401解码的预测模式规定的参照像素，执行与帧内预测编码装置100相同的推定算法，由此推定在帧内预测编码装置100中推定的预测信号的倾斜。

[0236] 预测信号生成部403基于预测模式解码部401解码后的预测模式、和倾斜推定部402推定的倾斜，生成在帧内预测编码装置100中生成的带有倾斜的预测信号。 [0237] 残差信号解码部404根据编码数据对帧内预测编码装置100编码的残差信号进行解码。

[0238] 解码图像生成部405基于预测信号生成部403生成的预测信号、和残差信号解码部404解码的残差信号，生成解码图像信号。

[0239] 图11中图示有本实施方式的帧内预测解码装置200执行的流程图。接着，按照该流程图对帧内预测解码装置200执行的处理进行说明。

[0240] 当输入帧内预测编码装置100生成的编码数据时，本实施方式的帧 内预测解码装置200如图11的流程图所示方式，在步骤S401中对插入到输入的编码数据的报头等中的best_mode的信息进行解码。

[0241] 接着，在步骤S402中，基于解码后的best_mode规定的参照像素，执行与帧内预测编码装置100相同的推定算法，由此推定在帧内预测编码装置100中推定的预测信号的倾斜。

[0242] 接着，在步骤S403中，按照解码后的best_mode、和推定的倾斜，对在帧内预测编码装置100中生成的带有倾斜的预测信号进行生成。

[0243] 接着在步骤S404中，根据输入的编码数据对帧内预测编码装置100的编码后的残差信号((原来的)图像信号和预测信号的差分值)进行解码。

[0244] 接着，在步骤S405中，基于生成的带有倾斜的预测信号、与解码后的残差信号，生成解码图像信号。

[0245] 像这样，如图10那样构成的帧内预测解码装置200，对如图7那样构成的帧内预测编码装置100生成的编码数据进行解码。

[0246] 在图7所示的帧内预测编码装置100中，具备最优预测模式编码部310，如图9的流程图的步骤309中记述的那样，该最优预测模式编码部310采用仅从最优编码信息存储部308中读出best_mode，对其进行编码的结构，但也可以采用从最优编码信息存储部308中读出best_mode和倾斜α’，对它们进行编码的结构。

[0247] 在采用该结构的情况下，如图12所示，代替最优预测模式编码部310，而具备最优编码信息编码部312，(对应于图9的流程图)如图13的流程图的步骤S309p所记载的那样，该最优编码信息编码部312从最优编码信息存储部308读出best_mode和倾斜α’，对它们进行编码即可。

[0248] 此外，在采用该结构的情况下，因为对图像解码侧通知倾斜α’的值，所以代替图10所示的帧内预测解码装置200，使用图5所示的帧内预测解码装置20。

[0249] 接着，针对为了验证如图2那样构成的帧内预测编码装置10的有效性而进行的实验，进行说明。

[0250] 在该实验中，准备5种倾斜常数Δ＝2，4，6，8，10，对其分别决定11种倾斜调整系数gradient[11]＝{-1.0，-0.8，-0.6，-0.4，-0.2，0，0.2，0.4，0.6，0.8，1.0}，各倾斜被选择多少，是通过求取其选择概率分布来进行的。

[0251] 在图14和图15中，图示其实验结果。在这里，实验条件如下述所示。 [0252] ·使用软件：KTA(Key Technical Area)ver.1.4

[0253] ·KTA是用于下一代编码方式的参照软件

[0254] ·http://iphome.hhi.de/suehring/tml/download/KTA/

[0255] ·简档(profile)(规定编码工具的功能)

[0256] ：High简档

[0257] ·编码帧枚数：各图像的前头1枚(帧内预测编码，I图像)

[0258] ·QP(量化参数)值

[0259] ：12，27

[0260] ·图像种类：Foreman(标准图像)

[0261] ·图像尺寸：QCIF(176×144像素)

[0262] ·使用块尺寸：4×4

[0263] 图14和图15的横轴表示判断为最优的倾斜调整系数，纵轴表示其选择概率。 [0264] 在这里，图14是QP＝12的实验结果，图15是QP＝27的实验结果。

[0265] 在图14和图15中，由于gradient＝0的部分中不附加倾斜，所以相当于现有的方法。现有方法被采用的概率根据Δ而变化。

[0266] 在Δ＝8，10的情况下，现有方法的选择率是80％左右。此外，在Δ＝4，6的情况下是50％左右，在Δ＝2的情况下是20％左右。

[0267] 即，在Δ＝2是大约80％，在Δ＝4，6是大约一半，在Δ＝8，10的情况下是大约20％而选择本发明的方法。图14和图15的倾向中没有大的差异，因此即使改变QP，可知该倾向也不变化。

[0268] 通过以上所示的实验结果，可以认为QP的值不对现有方法和本发明的方法的选择率造成大的影响，而依赖于采用的Δ。

[0269] 即使改变Δ，也能够确认本发明的方法从20％到80％左右而被选择。在不考虑倾斜信息的码量的情况下，可知能够可靠地提高率失真特性。

[0270] 接着，在以图2方式构成的帧内预测编码装置10中，比较(1)现有方法、(2)掺加倾斜信息量之前的本发明的方法(不考虑倾斜信息的码量的情况)、(3)掺加倾斜信息量之后的本发明的方法(考虑倾斜信息的码量的情况)的共3种编码性能。

[0271] 图16图示其实验结果。在这里，关于倾斜常数Δ＝10、QP＝12，17，22，27，32，37以外的实验条件与上述相同。

[0272] 在图16中，KTA orginal表示是现有方法的实验结果，Δ＝10withoutOH是表示掺加倾斜信息量之前的本发明的方法的实验结果，Δ＝10withOH是表示掺加倾斜信息量之后的本发明的方法。

[0273] 再有，在这里求取的倾斜信息量根据图14和图15所示的各编码对象图像的选择概率分布测定0次熵(不损失该信息而进行编码所需要的下限(理想的)位数)来进行计算。

[0274] 在这里，针对上述方法的每一个求取PSNR(Peak Signal to NoiseRatio，峰值信噪比)和比特率，对其进行比较(“Y PSNR”表示亮度信号的PSNR)。

[0275] 在这里，针对PSNR，使用上述KTA的软件的日志(log)的值(处理结果)。 [0276] 从该实验结果可知，掺加倾斜信息量之前的本发明的方法，总是比现有方法性能好。但是，掺加倾斜信息量之后的本发明的方法虽然与现有方法相比性能提高的情况较多，但也有稍微劣化的情况。

[0277] 在编码整体的信息量(横轴)增加的情况(即，在高比特率的条件下)时，本发明的效果变大。这可以认为是倾斜信息量所占的比率相对变小的缘故。

[0278] 根据以上结果，与现有方法相比，本发明在高比特率条件下，显示了能够获得率失真特性的改善。

[0279] 进而，为了使用各种各样的图像，验证以图2的方式构成的帧内预测编码装置10的有效性，准备倾斜常数Δ＝2，10，对其每一个决定11种倾斜调整系数gradient[11]＝{-1.0，-0.8，-0.6，-0.4，-0.2，0，0.2，0.4，0.6，0.8，1.0}，在

[0280] ·使用软件：KTA(Key Technical Area)ver.1.4

[0281] ·简档：High简档

[0282] ·编码帧枚数：各图像的前头1枚(帧内预测编码，I图像)

[0283] ·QP值：7，12，17，22

[0284] ·图像种类：Container，Foreman，Silent，Paris，Mobile，Tempete，WhaleShow，CrowdedCrosswalk(均是标准图像)

[0285] ·图像尺寸：QCIF，CIF(352×288像素)，SD(720×480像素)

[0286] ·使用块尺寸：4×4，8×8的实验条件下，针对本发明和现有方法分别求取上述的PSNR、和比特率，进行比较它们的实验。

[0287] 在图17A～图35中，图示其实验结果。再有，在该试验中，在本发明中掺加倾斜信息量来求取比特率。此外，实线表示本发明的实验结果，虚线(″Original″)表示现有方法的实验结果。

[0288] 此外，表示本发明的方法和现有方法的结果的差的平均的ΔPSNR和ΔBitrate，使用在下述的参考文献中记载的标准计算过程进行计算。

[0289] [ 参 考 文 献 ]G.Bjontegaard， ″ Calculation of average PSNR differencesbetween RD-Curves，″ITU-TQ.6/SG16 VCEG，VCEG-M33，March，2001. [0290] (1)图17A、17B的实验结果

[0291] 图17A、17B是图像种类为Container、图像尺寸为QCIF、块尺寸为4×4的实验结果，图17A是Δ＝10的实验结果，图17B是Δ＝2的实验结果。

[0292] 图17A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.114dB，针对比特率，产生码量平均削减0.873％。

[0293] 此外，图17B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.246dB，针对比特率，产生码量平均削减1.69％。

[0294] (2)图18A、18B的实验结果

[0295] 图18A、18B是图像种类为Foreman、图像尺寸为QCIF、块尺寸为4×4的实验结果，图18A是Δ＝10的实验结果，图18B是Δ＝2的实验结果。

[0296] 图18A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.273dB，针对比特率，产生码量平均削减2.20％。

[0297] 此外，图18B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.417dB，针对比特率，产生码量平均削减3.06％。

[0298] (3)图19A、19B的实验结果

[0299] 图19A、19B是图像种类为Silent、图像尺寸为QCIF、块尺寸为4×4的实验结果，图19A是Δ＝10的实验结果，图19B是Δ＝2的实验结果。

[0300] 图19A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.223dB，针对比特率，产生码量平均削减1.62％。

[0301] 此外，图19B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.337dB，针对比特率，产生码量平均削减2.12％。

[0302] (4)图20A、20B的实验结果

[0303] 图20A、20B是图像种类为Paris、图像尺寸为CIF、块尺寸为4×4的实验结果，图20A是Δ＝10的实验结果，图20B是Δ＝2的实验结果。

[0304] 图20A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.167dB，针对比特率，产生码量平均削减1.28％。

[0305] 此外，图20B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.347dB，针对比特率，产生码量平均削减2.32％。

[0306] (5)图21A、21B的实验结果

[0307] 图21A、21B是图像种类为Foreman、图像尺寸为CIF、块尺寸为4×4的实验结果，图21A是Δ＝10的实验结果，图21B是Δ＝2的实验结果。

[0308] 图21A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.147dB，针对比特率，产生码量平均削减1.32％。

[0309] 此外，图21B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.280dB，针对比特率，产生码量平均削减2.28％。

[0310] (6)图22A、22B的实验结果

[0311] 图22A、22B是图像种类为Mobile、图像尺寸为CIF、块尺寸为4×4的实验结果，图22A是Δ＝10的实验结果，图22B是Δ＝2的实验结果。

[0312] 图22A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.395dB，针对比特率，产生码量平均削减2.70％。

[0313] 此外，图22B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.546dB，针对比特率，产生码量平均削减3.47％。

[0314] (7)图23A、23B的实验结果

[0315] 图23A、23B是图像种类为Tempete、图像尺寸为CIF、块尺寸为4×4的实验结果，图23A是Δ＝10的实验结果，图23B是Δ＝2的实验结果。

[0316] 图23A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.282dB，针对比特率，产生码量平均削减2.04％。

[0317] 此外，图23B的实验结果表示，根据本发明，与现有方法相比，针 对PSNR画质平均改善0.405dB，针对比特率，产生码量平均削减3.60％。

[0318] (8)图24A、24B的实验结果

[0319] 图24A、24B是图像种类为WhaleShow、图像尺寸为SD、块尺寸为4×4的实验结果，图24A是Δ＝10的实验结果，图24B是Δ＝2的实验结果。

[0320] 图24A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.254dB，针对比特率，产生码量平均削减1.99％。

[0321] 此外，图24B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.376dB，针对比特率，产生码量平均削减2.62％。

[0322] (9)图25A、25B的实验结果

[0323] 图25A、25B是图像种类为CrowdedCrosswalk、图像尺寸为SD、块尺寸为4×4的实验结果，图25A是Δ＝10的实验结果，图25B是Δ＝2的实验结果。

[0324] 图25A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.118dB，针对比特率，产生码量平均削减1.06％。

[0325] 此外，图25B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.201dB，针对比特率，产生码量平均削减1.72％。

[0326] (10)图26A、26B的实验结果

[0327] 图26A、26B是图像种类为Container、图像尺寸为QCIF、块尺寸为8×8的实验结果，图26A是Δ＝10的实验结果，图26B是Δ＝2的实验结果。

[0328] 图26A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.0794dB，针对比特率，产生码量平均削减0.688％。

[0329] 此外，图26B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.188dB，针对比特率，产生码量平均削减1.60％。

[0330] (11)图27A、27B的实验结果

[0331] 图27A、27B是图像种类为Foreman、图像尺寸为QCIF、块尺寸为8×8的实验结果，图27A是Δ＝10的实验结果，图27B是Δ＝2的实验结果。

[0332] 图27A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.179dB，针对比特率，产生码量平均削减1.61％。

[0333] 此外，图27B的实验结果表示，根据本发明，与现有方法相比，针 对PSNR画质平均改善0.368dB，针对比特率，产生码量平均削减3.23％。

[0334] (12)图28A、28B的实验结果

[0335] 图28A、28B是图像种类为Silent、图像尺寸为QCIF、块尺寸为8×8的实验结果，图28A是Δ＝10的实验结果，图28B是Δ＝2的实验结果。

[0336] 图28A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.234dB，针对比特率，产生码量平均削减1.99％。

[0337] 此外，图28B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.369dB，针对比特率，产生码量平均削减3.07％。

[0338] (13)图29A、29B的实验结果

[0339] 图29A、29B是图像种类为Paris、图像尺寸为CIF、块尺寸为8×8的实验结果，图29A是Δ＝10的实验结果，图29B是Δ＝2的实验结果。

[0340] 图29A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.157dB，针对比特率，产生码量平均削减1.29％。

[0341] 此外，图29B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.313dB，针对比特率，产生码量平均削减2.49％。

[0342] (14)图30A、30B的实验结果

[0343] 图30A、30B是图像种类为Foreman、图像尺寸为CIF、块尺寸为8×8的实验结果，图30A是Δ＝10的实验结果，图30B是Δ＝2的实验结果。

[0344] 图30A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.0956dB，针对比特率，产生码量平均削减0.939％。

[0345] 此外，图30B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.283dB，针对比特率，产生码量平均削减2.71％。

[0346] (15)图31A、31B的实验结果

[0347] 图31A、31B是图像种类为Mobile、图像尺寸为CIF、块尺寸为8×8的实验结果，图31A是Δ＝10的实验结果，图31B是Δ＝2的实验结果。

[0348] 图31A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.202dB，针对比特率，产生码量平均削减1.39％。

[0349] 此外，图31B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.285dB，针对比特率，产生码量平均削减1.94％。

[0350] (16)图32A、32B的实验结果

[0351] 图32A、32B是图像种类为Tempete、图像尺寸为CIF、块尺寸为8×8的实验结果，图32A是Δ＝10的实验结果，图32B是Δ＝2的实验结果。

[0352] 图32A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.210dB，针对比特率，产生码量平均削减1.69％。

[0353] 此外，图32B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.330dB，针对比特率，产生码量平均削减2.60％。

[0354] (17)图33A、33B的实验结果

[0355] 图33A、33B是图像种类为WhaleShow、图像尺寸为SD、块尺寸为8×8的实验结果，图33A是Δ＝10的实验结果，图33B是Δ＝2的实验结果。

[0356] 图33A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.183dB，针对比特率，产生码量平均削减1.70％。

[0357] 此外，图33B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.333dB，针对比特率，产生码量平均削减3.00％。

[0358] (18)图34A、34B的实验结果

[0359] 图34A、34B是图像种类为CrowdedCrosswalk、图像尺寸为SD、块尺寸为8×8的实验结果，图34A是Δ＝10的实验结果，图34B是Δ＝2的实验结果。

[0360] 图34A的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.101dB，针对比特率，产生码量平均削减1.08％。

[0361] 此外，图34B的实验结果表示，根据本发明，与现有方法相比，针对PSNR画质平均改善0.225dB，针对比特率，产生码量平均削减2.32％。

[0362] 图35中表示图17A～图34B的实验结果的一览表。

[0363] 观察图17A～图34B的实验结果、和该图35的一览表可知，根据本发明，与现有方法相比，能够改善PSNR，并且能够使产生码量减少。

[0364] 接着，针对将本发明的“适应地对预测信号附加倾斜”的方法应用到帧内预测的预测模式为H.264/MPEG-4AVC中的DC预测(预测模式2(平均值预测)：对相应块，参照上侧块的邻接像素和左侧块的邻接像素，在倾斜方向上内插像素值作为预测值的模式)的情况下的例子进行说明。

[0365] 在上述的帧内预测编码装置10执行的帧内预测中，如式(1)所示，在实施例1中，当将预测像素的像素值作为y，将从参照像素到预测像素的距离作为x，将参照像素的像素值作为β时，预测像素的像素值y定义为：

[0366] y＝αx+β

[0367] 相对于此，在上述DC预测中，以能够利用的参照像素的平均值生成预测对象块。即，由于在DC预测中没有“预测方向”这一概念，所以使用下述的式(13)生成预测信号。 [0368] y(DC)＝(∑Ri)/m+α (13)

[0369] 在这里，Ri表示在DC预测使用时能够利用的第i个的参照像素的信号值，m是能够利用的参照像素的总数。

[0370] 具体地，如图37所示，在预测对象块的上侧和左侧能够利用的情况下(m＝8的情况下)，在H.264/AVC中，以

[0371] y(DC of H.264)＝(∑Ri)/m

[0372] ＝(A+B+C+D+I+J+K+L+4)＞＞5

[0373] ＝(69+76+73+82+71+70+70+68+4)＞＞5

[0374] ＝72

[0375] 来计算。在这里，＞＞表示位移位处理。

[0376] 上述的计算、即与求取8像素的平均值进行四舍五入的处理同义((69+76+...+70+68)/8＝72.375≈72)。

[0377] 在本实施例中，通过对其进一步加入α，能够获得与使预测误差进一步降低的倾斜相当的量，将其作为倾斜信息进行编码(α是本发明中的“加到像素值的值”，是正负哪一个的值均可)。

[0378] 此外，在上述的帧内预测编码装置10的例子中表示的Δ＝1、n＝3、gradient＝“-1、0、1”的情况下，该块的预测信号不仅是图37所示的72，而且以在

[0379] gradient[0]的情况下，y(DC)＝72+(-1)＝71

[0380] gradient[1]的情况下，y(DC)＝72+(0)＝72(相当于现有的H.264/AVC) [0381] gradient[2]的情况下，y(DC)＝72+(+1)＝73

[0382] 的方式，获得71、72、73的3种候补，从其中选择实现最优开销的候补。这一点是与其它的预测模式相比较的情况下的、在DC预测中应用 本发明的情况下的特长。 [0383] 再有，在图37中，在不能利用上侧像素的情况下，在H.264/AVC中，通过左侧的像素计算“(I+J+K+L+2)＞＞4”，相反地，在不能利用左侧的像素的情况下，通过上侧的像素计算“(A+B+C+D+2)＞＞4”。

[0384] 这与使4像素相加，在除以4之后进行四舍五入的处理相同。

[0385] 在本实施例中，针对该各情况，通过同样地进一步加上α，能够实现基于图像的性质灵活地减少残差信号的预测。

[0386] 此外，在日本专利特开平10-224804中，公开了一种基于先行的图像数据块执行倾斜度(gradient)预测的方法。

[0387] 在该方法中，在针对新的图像数据块的预测中，决定来自与新的块相比位于对角线方向的上方的1个块的水平倾斜度和垂直倾斜度，基于这些倾斜度，编码器预测基于相对于新的块在水平方向上邻接的块或垂直地邻接的块、或在垂直方向上邻接的块的任何一个的图像处理的图像信息，这与本申请发明的方法根本不同。

[0388] 产业上的利用可能性

[0389] 本发明能够在使用帧内预测对图像进行编码的情况下应用，通过与实际的图像配合地以附加倾斜的方式生成预测信号，能够使预测误差减少，由此，能够使压缩效率提高。