图像解码方法和图像处理设备

摘要

公开了一种图像解码方法和图像处理设备。该图像解码方法包括：如果与当前块左侧相邻的块的量化参数和与当前块上方相邻的块的量化参数能够被使用，则设置从与左侧相邻的块的量化参数和与上方相邻的块的量化参数的平均值得到的预测量化参数；如果与左侧相邻的块的量化参数和与上方相邻的块的量化参数不能够被使用，则设置从片的量化参数的初始值得到的预测量化参数；以及基于从预测量化参数和差得到的当前块的量化参数来进行逆量化，该差是从比特流得到的、当前块的量化参数与预测量化参数之间的差。

权利要求

1.一种图像解码方法，包括：

如果与当前块左侧相邻的块的量化参数和与所述当前块上方相邻的块的量化参数能够被使用，则设置从与所述左侧相邻的块的量化参数和与所述上方相邻的块的量化参数的平均值得到的预测量化参数；

如果与所述左侧相邻的块的量化参数和与所述上方相邻的块的量化参数不能够被使用，则设置从片的量化参数的初始值得到的预测量化参数；以及基于从所述预测量化参数和差得到的所述当前块的量化参数来进行逆量化，所述差是从比特流得到的、所述当前块的量化参数与所述预测量化参数之间的差。

2.根据权利要求1所述的图像解码方法，其中，当与所述左侧相邻的块和与所述上方相邻的块不能够被使用时，得到在前块的量化参数，以设置所述预测量化参数。

3.根据权利要求1所述的图像解码方法，其中，所述块是编码单元，并且所述编码单元具有由层次深度定义的层次结构。

4.根据权利要求3所述的图像解码方法，其中，基于所述当前块的量化参数，通过包括在所述编码单元中的变换单元进行所述逆量化。

5.一种图像处理设备，包括：

电路，所述电路被配置成：

如果与当前块左侧相邻的块的量化参数和与所述当前块上方相邻的块的量化参数能够被使用，则设置从与所述左侧相邻的块的量化参数和与所述上方相邻的块的量化参数的平均值得到的预测量化参数；

如果与所述左侧相邻的块的量化参数和与所述上方相邻的块的量化参数不能够被使用，则设置从片的量化参数的初始值得到的预测量化参数；以及基于从所述预测量化参数和差得到的所述当前块的量化参数来进行逆量化，所述差是从比特流得到的、所述当前块的量化参数与所述预测量化参数之间的差。

6.根据权利要求5所述的图像处理设备，其中，当与所述左侧相邻的块和与所述上方相邻的块不能够被使用时，得到在前块的量化参数，以设置所述预测量化参数。

7.根据权利要求5所述的图像处理设备，其中，所述块是编码单元，并且所述编码单元具有由层次深度定义的层次结构。

8.根据权利要求7所述的图像处理设备，其中，所述电路还被配置成：基于所述当前块的量化参数，通过包括在所述编码单元中的变换单元进行逆量化。

9.根据权利要求5所述的图像处理设备，其中，所述电路包括视频信号处理电路，其中，所述电路还被配置成根据所述当前块的量化参数解码所述当前块，并且获取视频数据，以及其中，所述视频信号处理电路被配置成对所述视频数据进行视频处理。

10.根据权利要求9所述的图像处理设备，其中，对所述视频数据进行的所述视频处理包括对所述视频数据的降噪。

11.根据权利要求10所述的图像处理设备，其中，所述电路还包括显示电路，所述显示电路被配置成驱动显示装置以显示所述视频数据。

12.根据权利要求9所述的图像处理设备，其中，所述电路还包括显示电路，所述显示电路被配置成驱动显示装置以显示所述视频数据。

13.根据权利要求5所述的图像处理设备，其中，所述电路包括解复用器电路，所述解复用器电路被配置成从所述比特流中提取经编码的视频数据和经编码的音频数据，其中，所述经编码的视频数据包括关于所述当前块的量化参数与所述预测量化参数之间的差的比特流信息。

14.根据权利要求13所述的图像处理设备，其中，所述电路还包括调谐器电路，所述调谐器电路被配置成通过从在天线处接收到的广播波信号中选择期望的频道来进行解调，并且获得包括所述经编码的视频数据和所述经编码的音频数据的比特流。

15.根据权利要求13所述的图像处理设备，其中，所述电路还包括音频信号处理电路，所述音频信号处理电路被配置成对通过解码所述经编码的音频数据而获得的音频数据进行预定处理。

16.根据权利要求15所述的图像处理设备，其中，所述音频信号处理电路对所述音频数据进行的所述预定处理包括对所述音频数据的降噪。

17.根据权利要求16所述的图像处理设备，其中，所述电路还包括音频编解码器电路，所述音频编解码器电路被配置成将所述音频数据转换为模拟音频信号。

18.根据权利要求15所述的图像处理设备，其中，所述电路还包括音频编解码器电路，所述音频编解码器电路被配置成将所述音频数据转换为模拟音频信号。

19.一种图像处理设备，包括：

用于如果与当前块左侧相邻的块的量化参数和与所述当前块上方相邻的块的量化参数能够被使用，则设置从与左侧相邻的块的量化参数和与上方相邻的块的量化参数的平均值得到的预测量化参数的装置；

用于如果与所述左侧相邻的块的量化参数和与所述上方相邻的块的量化参数不能够被使用，则设置从片的量化参数的初始值得到的预测量化参数的装置；以及用于基于从所述预测量化参数和差得到的所述当前块的量化参数来进行逆量化的装置，所述差是从比特流获得的、所述当前块的量化参数与所述预测量化参数之间的差。

说明书

图像解码方法和图像处理设备

[0001] 本申请是申请日为2012年1月12日、发明名称为“图像解码装置、图像编码装置及其方法”以及申请号为201280005652.3的发明专利申请的分案申请。

技术领域

[0002] 本技术涉及图像解码装置、图像编码装置及其方法。更具体地，提高了量化参数的编码效率。

背景技术

[0003] 近年来，将图像信息处理成数字的以便在下述情况下进行高效信息传输和存储的装置在广播和一般家用二者中都得到广泛使用：例如，适用如MPEG等的格式以通过正交变换(如离散余弦变换等)和运动补偿来压缩图像。

[0004] 具体地，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码格式，并且现在广泛用于专业用途和消费者用途的广泛应用范围。通过应用MPEG2压缩格式，在具有例如720×480像素的标准分辨率的隔行扫描图像的情况下，分配4至8Mbps的代码量(比特率)，从而可以实现高压缩和好的图像质量。此外，在具有例如1920×1088像素的高分辨率的隔行扫描图像的情况下，分配18至22Mbps的代码量(比特率)，从而可以实现高压缩和好的图像质量。

[0005] 此外，标准化被执行作为增强的压缩视频编码的联合模型(Joint Model of Enhanced-Compression Video Coding)，虽然对增强的压缩视频编码的联合模型进行编码和解码需要较大的计算量，但是它可以实现较高的编码效率，并且增强的压缩视频编码的联合模型成为了被称为H.264和MPEG-4Part 10的国际标准(在下文中被写为“H.264/AVC(高级视频编码)”)。

[0006] 关于该MPEG和H.264/AVC，在量化宏块时，可以改变量化步长的尺寸，以使得压缩率恒定。此外，关于MPEG，使用与量化步长成比例的量化参数，并且关于H.264/AVC，使用其中当量化步长加倍时参数值增加“6”的量化参数。在MPEG和H.264/AVC中，编码量化参数(参见专利文献1)。

[0007] 引用列表

[0008] 专利文献

[0009] 专利文献1：日本未审查专利申请公开No.2006-094081

发明内容

[0010] 技术问题

[0011] 现在，关于量化参数的编码处理，在解码顺序例如为如图1所示的光栅扫描(raster scan)顺序的情况下，具有初始值的量化参数SliceQPY被用于片的头宏块。随后，按由箭头所指示的解码顺序进行处理，并且关于位于左侧的宏块(mb_qp_delta)，该宏块的量化参数由量化参数的差值来更新。因此，存在下述情况：当解码顺序从右边缘处的块转变到左边缘处的块时，由于图像是不同的，所以差值变得很大，并且编码效率变差。此外，在关于位于左侧的宏块的差值也很大的情况下，编码效率变差。

[0012] 此外，关于图像压缩技术，正在针对实现比H.264/AVC格式更高的编码效率的HEVC(高效视频编码)的标准化进行研究。关于该HDVC，被称为编码单元(CU：编码单元)的基本单元是宏块的概念的扩展。在图2中所示的每个块是编码单元的情况下，解码顺序是其编号从“0”依次增加的块的顺序。在解码顺序以这种方式不是光栅扫描顺序的情况下，由于空间距离大，所以例如从块“7”至块“8”移动或者从块“15”至块“16”移动可以想象会导致较大的差值。

[0013] 因此，本技术的目的是提高量化参数的编码效率。

[0014] 解决方案

[0015] 根据本公开的一方面，提供了一种图像解码方法，包括：如果与当前块左侧相邻的块的量化参数和与当前块上方相邻的块的量化参数能够被使用，则设置从与左侧相邻的块的量化参数和与上方相邻的块的量化参数的平均值得到的预测量化参数；如果与左侧相邻的块的量化参数和与上方相邻的块的量化参数不能够被使用，则设置从片的量化参数的初始值得到的预测量化参数；以及基于从预测量化参数和差得到的当前块的量化参数来进行逆量化，该差是从比特流得到的、当前块的量化参数与预测量化参数之间的差。

[0016] 根据本公开的另一方面，还提供了一种图像处理设备，包括电路，该电路被配置成：如果与当前块左侧相邻的块的量化参数和与当前块上方相邻的块的量化参数能够被使用，则设置从与左侧相邻的块的量化参数和与上方相邻的块的量化参数的平均值得到的预测量化参数；如果与左侧相邻的块的量化参数和与上方相邻的块的量化参数不能够被使用，则设置从片的量化参数的初始值得到的预测量化参数；以及基于从预测量化参数和差得到的当前块的量化参数来进行逆量化，该差是从比特流得到的、当前块的量化参数与预测量化参数之间的差。

[0017] 根据本公开的又一方面，还提供了一种图像处理设备，包括：用于如果与当前块左侧相邻的块的量化参数和与当前块上方相邻的块的量化参数能够被使用，则设置从与左侧相邻的块的量化参数和与上方相邻的块的量化参数的平均值得到的预测量化参数的装置；用于如果与左侧相邻的块的量化参数和与上方相邻的块的量化参数不能够被使用，则设置从片的量化参数的初始值得到的预测量化参数的装置；以及用于基于从预测量化参数和差得到的当前块的量化参数来进行逆量化的装置，该差是从比特流得到的、当前块的量化参数与预测量化参数之间的差。

[0018] 根据本公开的又一方面，还提供了一种非暂态计算机可读介质，该非暂态计算机可读介质具有程序，该程序当由计算机执行时使得计算机执行方法，该方法包括：如果与当前块左侧相邻的块的量化参数和与当前块上方相邻的块的量化参数能够被使用，则设置从与左侧相邻的块的量化参数和与上方相邻的块的量化参数的平均值得到的预测量化参数；如果与左侧相邻的块的量化参数和与上方相邻的块的量化参数不能够被使用，则设置从片的量化参数的初始值得到的预测量化参数；以及基于从预测量化参数和差得到的当前块的量化参数来进行逆量化，该差是从比特流得到的、当前块的量化参数与预测量化参数之间的差。

[0019] 该技术的第一方面是一种图像解码装置，所述图像解码装置包括：信息获取单元，被配置成将与待解码的块在空间上或时间上相邻的经解码的块的量化参数作为选择候选，并且从流信息中提取用于指示关于从选择候选中选择的预测量化参数的差的差信息；以及量化参数计算单元，被配置成根据预测量化参数和差信息来计算待解码的块的量化参数。

[0020] 关于该技术，从流信息中提取用于指示关于从选择候选中所选择的预测量化参数的差的差信息，该选择候选是与待解码的块在空间上或时间上相邻的经解码的块的量化参数。此外，关于图像解码装置，从与待解码的块在空间上或时间上相邻的经解码的块的量化参数中排除至少其中量化参数是冗余的块或其中不进行使用量化参数的逆量化的块，并且获取选择候选。例如，关于具有预定顺序的相邻的经解码的块，针对预测量化参数的设定，按照由流信息中所包括的标识信息所指示的顺序来选择量化参数。可替选地，按照提前设定的顺序对选择候选进行确定，并且基于确定结果来对预测量化参数进行设定。可替选地，基于流信息中所包括的确定结果来选择下述处理中的一个处理或另一个处理：按照由流信息中包括的标识信息所指示的顺序，将量化参数设定成预测量化参数的处理，以及按提前设定的顺序对选择候选进行确定并且对预测量化参数进行设定的处理。此外，关于图像解码装置，通过将差信息指示的差添加到预测量化参数，来计算待解码的块的量化参数。此外，在没有选择候选的情况下，将片中初始值的量化参数作为预测量化参数。此外，还将最近更新的量化参数包括在选择候选中。

[0021] 该技术的第二方面是一种图像解码方法，该图像解码方法包括：将与待解码的块在空间上或时间上相邻的经解码的块的量化参数作为选择候选，并且从流信息中提取用于指示关于从选择候选中选择的预测量化参数的差的差信息的处理；以及根据预测量化参数和差信息来计算待解码的块的量化参数的处理。

[0022] 该技术的第三方面是一种图像编码装置，该图像编码装置包括：控制单元，被配置成针对待编码的块设定量化参数；信息生成单元，被配置成将与待编码的块在空间上或时间上相邻的经编码的块的量化参数作为选择候选，根据所设定的量化参数从选择候选中选择预测量化参数，并且生成用于指示预测量化参数与所设定的量化参数之间的差的差信息；以及编码单元，被配置成将差信息包括在通过使用所设定的量化参数对待编码的块进行编码处理而生成的流信息中。

[0023] 关于该技术，从与待编码的块在空间上或时间上相邻的经编码的块的量化参数中，排除至少其中量化参数是冗余的块或其中不进行使用量化参数的量化的块，并且获取选择候选。此外，选择候选中还包括最近更新的量化参数等。将其对于根据这些选择候选而设定的量化参数的差为最小的量化参数选择作为预测量化参数，并且生成用于从选择候选中选择预测量化参数的标识信息。例如，标识信息是在相邻的经编码的块为预定顺序的情况下、与所选择的量化参数对应的块的顺序。此外，预定阵列是其中将优先权给予与左侧相邻的经编码的块、与上方相邻的经编码的块以及在时间上相邻的经编码的块中之一的阵列的顺序。此外，可以切换相邻的经编码的块的阵列的顺序。此外，在所选择的量化参数的顺序作为标识信息的情况下，可以根据参数值来记录在时间上相邻的经编码的块的量化参数。此外，在预测量化参数基于预定结果被选择出来的情况下，可以以提前设定的顺序对选择候选进行确定。此外，关于图像编码装置，生成了用于指示预测量化参数和设定的量化参数之差的差信息。此外，在没有选择候选的情况下，生成了用于指示片中初始值的量化参数与设定的量化参数之差的差信息。此外，可以在下述处理之间进行选择，所述处理是将其关于设定的量化参数的差为最小的量化参数设定为预测量化参数的处理，以及以提前设定的顺序对选择候选进行确定并且基于确定结果选择预测量化参数的处理，并且生成指示所选择的处理的确定信息。所生成的差信息、标识信息和确定信息包括在通过使用设定的量化参数对待编码的块进行编码处理而生成的流信息中。

[0024] 该技术的第四方面是一种图像编码方法，所述图像编码方法包括：针对待编码的块设定量化参数的处理；将与待编码的块在空间上或时间上相邻的经编码的块的量化参数作为选择候选，根据所设定的量化参数从所述选择候选中选择预测量化参数，并且生成用于指示所述预测量化参数与所设定的量化参数之间的差的差信息的处理；以及将所述差信息包括在通过使用所设定的量化参数对所述待编码的块进行编码处理而生成的流信息中的处理。

[0025] 发明的有益效果

[0026] 根据该技术，将与待编码的块在空间上或时间上相邻的经编码的块的量化参数作为选择候选，并且根据设定给待编码的块的量化参数从选择候选中选择预测量化参数。生成用于指示预测量化参数与设定给待编码的块的量化参数之间的差的差信息。因此，可以防止量化参数的差变成很大的值，并且可以提高量化参数的编码效率。

[0027] 此外，在对其中包括有差信息的流信息进行解码的情况下，从与待解码的块在空间上或时间上相邻的经解码的块的量化参数中选择预测量化参数，并且根据预测量化参数和差信息计算待解码的块的量化参数。因此，即使流信息在量化参数的编码效率提高的情况下生成，也可以在解码该流信息时，基于预测量化参数和差信息来恢复量化参数，并且可以正确地进行解码处理。

附图说明

[0028] 图1是示出了解码顺序是光栅扫描顺序的情况的图。

[0029] 图2是示出了解码顺序不是光栅扫描顺序的情况的图。

[0030] 图3是示出了图像编码装置的配置的图。

[0031] 图4是示出了信息生成单元的配置的图。

[0032] 图5是示例性地示出了编码单元的层次结构的图。

[0033] 图6是示出了图像编码装置的操作的流程图。

[0034] 图7是示出了预测处理的流程图。

[0035] 图8是示出了帧内预测处理的流程图。

[0036] 图9是示出了帧间预测处理的流程图。

[0037] 图10是用于描述信息生成单元的操作的图。

[0038] 图11是示例性地示出了信息生成单元的操作的图。

[0039] 图12是示出了编码中关于量化参数的处理的流程图。

[0040] 图13是示例性地示出了序列参数集的图。

[0041] 图14是示出了帧编码处理的流程图。

[0042] 图15是示例性地示出了图片参数集的图。

[0043] 图16是示例性地示出了片头的图。

[0044] 图17是示出了片编码处理的流程图。

[0045] 图18是示出了图像解码装置的配置的图。

[0046] 图19是示出了量化参数计算单元的配置的图。

[0047] 图20是示出了图像解码装置的操作的流程图。

[0048] 图21是示出了预测图像生成处理的流程图。

[0049] 图22是示出了解码中关于量化参数的处理的流程图。

[0050] 图23是用于描述图像编码装置的其他操作的流程图。

[0051] 图24是示出了在对量化参数进行隐式预测的情况下的操作实例的图。

[0052] 图25是对量化参数进行隐式预测的情况的流程图实例。

[0053] 图26示出了在对量化参数进行隐式预测的情况下的另一个操作实例。

[0054] 图27是示例性地示出了程序的图。

[0055] 图28是用于描述图像解码装置的其他操作的流程图。

[0056] 图29是例示了计算机装置的示意性配置的图。

[0057] 图30是例示了电视接收器的示意性配置的图。

[0058] 图31是例示了蜂窝电话的示意性配置的图。

[0059] 图32是例示了记录/重放装置的示意性配置的图。

[0060] 图33是例示了成像设备的示意性配置的图。

具体实施方式

[0061] 在下文中，将对本发明的实施方式进行描述。注意，描述将按下述顺序进行。

[0062] 1.图像编码装置的配置

[0063] 2.图像编码装置的操作

[0064] 3.基于量化参数的标识信息和差信息的生成操作

[0065] 4.图像解码装置的配置

[0066] 5.图像解码装置的操作

[0067] 6.图像编码装置和图像解码装置的其他操作

[0068] 7.软件处理的实例

[0069] 8.电子设备的应用的实例

[0070] <1.图像编码装置的配置>

[0071] 图3示出了图像编码装置的配置。图像编码装置10包括模拟/数字转换单元(A/D转换单元)11、画面重置缓冲器12、减法单元13、正交变换单元14、量化单元15、无损编码单元16、存储缓冲器17和速率控制单元18。此外，图像编码装置10还包括逆量化单元21、逆正交变换单元22、加法单元23、去块滤波器24、帧存储器26、帧内预测单元31、运动预测/补偿单元32和预测图像/最佳模式选择单元33。

[0072] A/D转换单元11将模拟图像信号转换成数字图像数据并且将经转换的数字图像数据输出到画面重置缓冲器12。

[0073] 画面重置缓冲器12对于由A/D转换单元11输出的图像数据的帧进行重置。画面重置缓冲器12根据与编码处理相关的GOP(画面组)结构对帧进行重置，并且将重置之后的图像数据输出到减法单元13、速率控制单元18、帧内预测单元31和运动预测/补偿单元32。

[0074] 由画面重置缓冲器12输出的图像数据和在稍后描述的预测图像/最佳模式选择单元33处选择的预测图像数据被提供给减法单元13。减法单元13计算预测误差数据并将其输出到正交变换单元14，该预测误差数据是由画面重置缓冲器12输出的图像数据与由预测图像/最佳模式选择单元33提供的预测图像数据之间的差。

[0075] 正交变换单元14对于由减法单元13输出的预测误差数据进行正交变换处理，例如离散余弦变换(DCT：离散余弦变换)、Karhunen-Loéve变换等。正交变换单元14将通过进行正交变换处理所获得的变换系数数据输出到量化单元15。

[0076] 由正交变换单元14输出的变换系数数据和来自稍后描述的信息生成单元19的量化参数(量化比例)被提供给量化单元15。量化单元15对变换系数数据进行量化并且将经量化的数据输出到无损编码单元16和逆量化单元21。此外，量化单元15基于在速率控制单元18设定的量化参数来改变经量化的数据的比特率。

[0077] 由量化单元15输出的经量化的数据、来自稍后描述的信息生成单元19的标识信息和差信息、来自帧内预测单元31的预测模式信息以及来自运动预测/补偿单元32的预测模式信息和差运动向量信息等被提供给无损编码单元16。此外，用于指示最佳模式是帧内预测还是帧间预测的信息由预测图像/最佳模式选择单元33提供。注意，根据是帧内预测还是帧间预测，预测模式信息包括运动预测单元的块尺寸信息和预测模式等等。

[0078] 无损编码单元16例如通过使用可变长度编码、算术编码等来对经量化的数据进行无损编码处理，以生成流信息并且将流信息输出到存储缓冲器17。此外，在最佳模式是帧内预测的情况下，无损编码单元16对由帧内预测单元31提供的预测模式信息进行无损编码。此外，在最佳模式是帧间预测的情况下，无损编码单元16对由运动预测/补偿单元32提供的预测模式信息和差运动向量等进行无损编码。此外，无损编码单元16例如对与量化参数相关的信息(如差信息)进行无损编码。无损编码单元16将无损编码后的信息包括在流信息中。

[0079] 存储缓冲器17存储来自无损编码单元16的经编码的流。此外，存储缓冲器17以根据传输路径的传输速度输出所存储的经编码的流。

[0080] 速率控制单元18对存储缓冲器17的可用容量进行监测，并且设定量化参数，使得在有很小的可用容量的情况下，经量化的数据的比特率下降，而在有足够的容量的情况下，经量化的数据的比特率上升。此外，速率控制单元18通过使用由画面重置缓冲器12提供的图像数据来检测图像的复杂度，例如作为用于指示像素值的变化的信息的活动度。速率控制单元18基于对图像的复杂度的检测结果来设定量化参数，使得例如针对其中像素的变化值小的图像部分实现粗量化并且针对其他部分实现细量化。速率控制单元18将已经被设定的量化参数输出到信息生成单元19。

[0081] 信息生成单元19将由速率控制单元18提供的量化参数输出到量化单元15。信息生成单元19还将与待编码的块在空间上或时间上相邻的经编码的块的量化参数作为选择候选。信息生成单元19根据在速率控制单元18设定的量化参数从选择候选中选择量化参数，并且将其作为预测量化参数。此外，信息生成单元19生成与所选择的量化参数对应的标识信息(即用于从选择候选中选择预测量化参数的标识信息)和用于指示预测量化参数与所设定的量化参数之间的差的差信息。

[0082] 图4示出了信息生成单元的配置。信息生成单元19具有量化参数存储器单元191和差计算单元192。信息生成单元19将由速率控制单元18提供的量化参数输出到量化单元15。此外，信息生成单元19将由速率控制单元18提供的量化参数提供给量化参数存储器单元
191和差计算单元192。

[0083] 量化参数存储器单元191存储所提供的量化参数。差计算单元192从量化参数存储器单元191中所存储的经编码的块的量化参数中读出与待编码的块在空间上或时间上相邻的经编码的块的量化参数作为选择候选。此外，从选择候选中排除至少其中量化参数是冗余的块和其中不进行使用量化参数的量化的块，例如其中待在量化单元15量化的变换系数数据全都为“0”的块。此外，差计算单元192从选择候选中排除下述块，所述块是基于来自稍后描述的运动预测/补偿单元32和预测图像/最佳模式选择单元33的信息确定对于其进行跳过处理的块(下文中被称为“跳过块”)。

[0084] 差计算单元192根据待编码的块的量化参数(即由速率控制单元18提供的量化参数)，从量化参数中选择作为预测量化参数的量化参数。差计算单元192还生成了用于指示用于从选择候选中选择预测量化参数的标识信息与待编码的块的量化参数之间的差的差信息，并且将该差信息输出到无损编码单元16。

[0085] 返回图3，逆量化单元21对由量化单元15提供的经量化的数据进行逆量化处理。逆量化单元21将通过进行逆量化处理所获得的变换系数数据输出到逆正交变换单元22。

[0086] 逆正交变换单元22对由逆量化单元21提供的变换系数数据进行逆变换处理，并且将所获得的数据输出到加法单元23。

[0087] 加法单元23将由逆正交变换单元22提供的数据与由预测图像/最佳模式选择单元33提供的预测图像数据相加以生成经解码的图像数据，并且将经解码的图像数据输出到去块滤波器24和帧存储器26。注意，经解码的图像数据被用作为参考图像的图像数据。

[0088] 去块滤波器24进行滤波处理以减少在图像编码时出现的块失真。去块滤波器24进行滤波处理以从由加法单元23提供的经解码的图像数据中去除块失真，并且将滤波处理之后的经解码的图像数据输出在帧存储器26中。

[0089] 帧存储器26保存由去块效应滤波器24提供的滤波处理之后的经解码的图像数据。帧存储器26中保存的经解码的图像数据被提供给运动预测/补偿单元32作为参考图像数据。

[0090] 帧内预测单元31通过使用由画面重置缓冲器12提供的、待编码的图像的输入的图像数据和由加法单元23提供的参考图像数据，以所有候选帧内预测模式中的帧内预测处理来进行预测，并且确定最佳帧内预测模式。帧内预测单元31例如针对每种帧内预测模式计算成本函数值，并且基于所计算的成本函数值，将其中编码效率最好的帧内预测模式作为最佳帧内预测模式。帧内预测单元31将以最佳帧内预测模式生成的预测图像数据和最佳帧内预测模式的成本函数值输出到预测图像/最佳模式选择单元33。此外，帧内预测单元31将指示帧内预测模式的预测模式信息输出到无损编码单元16。

[0091] 运动预测/补偿单元32通过使用由画面重置缓冲器12提供的、待编码的图像的输入的图像数据和由帧存储器26提供的参考图像数据，以所有候选帧间预测模式进行预测，并且决定最佳帧间预测模式。运动预测/补偿单元32计算例如每种帧间预测模式的成本函数值，并且基于所计算的成本函数值，将其中编码效率最好的帧间预测模式作为最佳帧间预测模式。运动预测/补偿单元32将以最佳帧间预测模式生成的预测图像数据和最佳帧间预测模式的成本函数值输出到预测图像/最佳模式选择单元33。此外，运动预测/补偿单元32将与最佳帧间预测模式相关的预测模式信息输出到无损编码单元16和信息生成单元19。

[0092] 预测图像/最佳模式选择单元33将帧内预测单元31提供的成本函数值与由运动预测/补偿单元32提供的成本函数值比较，并且选择其成本函数值小于另外的成本函数值的模式作为其中编码效率是最好的最佳模式。此外，预测图像/最佳模式选择单元33将以最佳模式所生成的预测图像数据输出到减法单元13和加法单元23。此外，预测图像/最佳模式选择单元33将用于指示最佳模式是帧内预测模式还是帧间预测模式的信息输出到无损编码单元16和信息生成单元19。注意，预测图像/最佳模式选择单元33以片为单位进行帧内预测或帧间预测的切换。

[0093] <2.图像编码装置的操作>

[0094] 关于图像编码装置，例如以这样的宏块尺寸进行编码处理：该宏块尺寸扩展超过H.264/AVC格式的宏块尺寸。图5示例性地示出了编码单元的层次结构。注意，图5示出了其中最大尺寸为128像素×128像素并且层次深度(深度)为“5”的情况。例如，在层次深度为“0”的情况下，2N×2N(N＝64像素)块为编码单元CU0。此外，当拆分标记＝1时，编码单元CU0被划分成四个独立的N×N块，其中N×N块是一个较低层次水平中的块。换言之，层次深度为“1”，并且2N×2N(N＝32像素)块为编码单元CU1。同样地，当拆分标记＝1时，该编码单元CU1被划分成四个独立块。此外，当深度为最深的层次水平“4”时，2N×2N(N＝4像素)块为编码单元CU4，并且8像素×8像素是针对编码单元CU的最小的尺寸。此外，关于HEVC，定义了作为用于划分编码单元和预测的基本单元的预测单元(PU：预测单元)以及作为用于变换和量化的基本单元的变换单元(TU：变换单元)。

[0095] 接下来，将参考图6中的流程图来描述图像编码装置的操作。在步骤ST11中，A/D转换单元11对输入图像信号进行A/D转换。

[0096] 在步骤ST12中，画面重置缓冲器12进行图像重置。画面重置缓冲器12存储由A/D转换单元11提供的图像数据并且进行从用于显示图片的顺序到用于编码的顺序的重置。

[0097] 在步骤ST13中，减法单元13生成预测误差数据。减法单元13计算在步骤ST12中重置的图像的图像数据与在预测图像/最佳模式选择单元33选择的预测图像数据之间的差以生成预测误差数据。预测误差数据的数据量小于原始图像数据的数据量。因此，与按照原样对图像进行编码的情况相比，可以压缩数据量。

[0098] 在步骤ST14中，正交变换单元14进行正交变换处理。正交变换单元14对由减法单元13提供的预测误差数据进行正交变换。具体地，但对于预测误差数据进行如离散余弦变换、Karhunen-Loéve变换等的正交变换，以输出变换系数数据。

[0099] 在步骤ST15中，量化单元15进行量化处理。量化单元15对变换系数数据进行量化。在量化时进行在稍后描述的步骤ST25中的处理中所示的速率控制。

[0100] 在步骤ST16中，逆量化单元21进行逆量化处理。逆量化单元21以与量化单元15的性质相对应的性质对由量化单元15量化的变换系数数据进行逆量化。

[0101] 在步骤ST17中，逆正交变换单元22进行逆正交变换处理。逆正交变换单元22以与正交变换单元14的性质相对应的性质，对受到逆量化单元21的逆量化的变换系数数据进行逆正交变换。

[0102] 在步骤ST18中，加法单元23生成参考图像数据。加法单元23将由预测图像/最佳模式选择单元33提供的预测图像数据与在相应于该预测图像的位置的逆正交变换之后的数据相加，以生成经解码的数据(参考图像数据)。

[0103] 在步骤ST19中，去块滤波器24进行滤波处理。去块滤波器24对由加法单元23输出的经解码的图像数据进行滤波并且去除块失真。

[0104] 在步骤ST20中，帧存储器26存储参考图像数据。帧存储器26存储滤波处理之后的经解码的图像数据(参考图像数据)。

[0105] 在步骤ST21中，帧内预测单元31和运动预测/补偿单元32分别进行预测处理。换言之，帧内预测单元31进行帧内预测模式的帧内预测处理，而运动预测/补偿单元32进行帧间预测模式的运动预测/补偿处理。下面将参考图7对预测处理进行描述，其中，分别进行所有候选预测模式的预测处理，并且通过该处理分别计算所有候选预测模式的成本函数值。此外，基于所计算的成本函数值，选择最佳帧内预测模式和最佳帧间预测模式，并且将以所选择的预测模式生成的预测图像和成本函数以及预测模式信息提供给预测图像/最佳模式选择单元33。

[0106] 在步骤ST22中，预测图像/最佳模式选择单元33选择预测图像数据。预测图像/最佳模式选择单元33基于由帧内预测单元31和运动预测/补偿单元32输出的各个成本函数值决定其编码效率为最好的最佳模式。也就是说，预测图像/最佳模式选择单元33决定：例如图5中所示出的层次水平的每一个层次水平中编码效率最好的编码单元、在该编码单元中预测单元的块尺寸、以及进行帧内预测和帧间预测中的哪一个。此外，预测图像/最佳模式选择单元33将所决定的最佳模式的预测图像数据输出到减法单元13和加法单元23。如上所述，该预测图像数据被用于步骤ST13和步骤ST18的计算。

[0107] 在步骤ST23中，无损编码单元16进行无损编码处理。无损编码单元16对由量化单元15输出的量化数据进行无损编码。换言之，关于待进行数据压缩的量化数据进行如可变长编码或算术编码的无损编码。此外，无损编码单元16对与步骤ST22中所选择的预测图像数据对应的预测模式信息等进行无损编码，并且将如预测模式信息等经无损编码的数据包括在通过对量化数据进行无损编码所生成的流信息中。

[0108] 在步骤ST24中，存储缓冲器17进行存储处理。存储缓冲器17存储由无损编码单元16输出的流信息。存储在该存储缓冲器17中的流信息被适当读出并且经由传输路径被传输到解码侧。

[0109] 在步骤ST25中，速率控制单元18进行速率控制。速率控制单元18在将流信息存储在缓冲器17中的情况下控制量化单元15的量化操作的速率，以使得在存储缓冲器17中不出现上溢或下溢。

[0110] 接下来，将参考图7中的流程图来描述图6中步骤ST21中的预测处理。

[0111] 在步骤ST31中，帧内预测单元31进行帧内预测处理。帧内预测单元31以所有候选帧内预测模式、对待编码的预测单元的图像进行帧内预测。注意，针对帧内预测中参考的经解码的图像的图像数据，使用在受到去块滤波器24的去块滤波处理之前的经解码的图像数据。由于该帧内预测处理，帧内预测以所有候选帧内预测模式进行，并且针对所有候选帧内预测模式计算成本函数值。然后，基于所计算的成本函数值从所有帧内预测模式中选择其编码效率为最好的一个帧内预测模式。

[0112] 在步骤ST32中，运动预测/补偿单元32进行帧间预测处理。运动预测/补偿单元32通过使用存储在帧存储器26中的在去块滤波处理之后的经解码的图像数据来进行所有候选帧间预测模式的帧间预测处理。由于该帧间预测处理，预测处理以所有候选帧间预测模式进行，并且针对所有候选帧间预测模式计算成本函数值。然后，基于所计算的成本函数值从所有帧间预测模式中选择其编码效率为最好的一个帧间预测模式。

[0113] 将参考图8中的流程图来描述图7中步骤ST31中的帧内预测处理。

[0114] 在步骤ST41中，帧内预测单元31进行每种预测模式的帧内预测。帧内预测单元31通过使用块滤波处理之前和块滤波处理之后的经解码的图像数据，来生成每种帧内预测模式的预测图像数据。

[0115] 在步骤ST42中，帧内预测单元31以每种预测模式计算成本函数值。如作为以H.264/AVC格式的参考软件的JM(联合模型)中所规定的那样，基于高复杂度模式或低复杂度模式的技术来计算成本函数值。

[0116] 换言之，在高复杂度模式中，直到对于所有候选预测模式试验性地进行了无损编码处理，并且对于每种预测模式计算由下述表达式(1)表示的成本函数值。

[0117] Cost(Mode∈Ω)＝D+λ·R...(1)

[0118] Ω表示编码该预测单元的图像的候选预测模式的全集。D表示在以预测模式进行编码的情况下经解码的图像与输入图像之间的差能量(失真)。R是包括正交变换系数、预测模式信息等的所生成的代码量，而λ是作为量化参数QP的函数给出的拉格朗日乘数。换言之，在高复杂度模式中，如步骤ST42的处理那样，直到针对所有候选预测模式试验性地进行了无损编码处理，并且针对每种预测模式计算由上述表达式(1)表示的成本函数值。

[0119] 另一方面，在低复杂度模式中，针对所有候选预测模式生成预测图像并且生成包括不同的运动向量和预测模式信息等的头比特，并且计算由下述表达式(2)表示的成本函数值。

[0120] Cost(Mode∈Ω)＝D+QP2Quant(QP)·Header_Bit...(2)

[0121] Ω表示编码该预测单元的图像的候选预测模式的全集。D表示在以预测模式进行编码的情况下经解码的图像与输入图像之间的差能量(失真)。Header_Bit是针对预测模式的头比特，而QP2Quant是作为量化参数QP的函数而给出的函数。换言之，在低复杂度模式中，如步骤ST42的处理那样，通过使用生成预测图像和如运动向量以及预测模式信息等的头比特，针对每个预测模式计算由上述表达式(2)表示的成本函数值。

[0122] 在步骤ST43中，帧内预测单元31决定最佳帧内预测模式。帧内预测单元31基于在步骤ST42中计算的成本函数值来选择其成本函数值为最小的帧内预测模式，所选择的帧内预测模式被决定成最佳预测模式。

[0123] 接下来，将参考图9中的流程图来描述图7中步骤ST32的帧间预测处理。

[0124] 在步骤ST51中，运动预测/补偿单元32进行运动检测处理。运动预测/补偿单元32检测运动向量并且前进到步骤ST52。

[0125] 在步骤ST52中，运动预测/补偿单元32进行运动补偿处理。运动预测/补偿单元32基于在步骤ST51中检测到的运动向量、通过使用参考图像数据来进行运动补偿，并且生成预测图像数据。

[0126] 在步骤ST53中，运动预测/补偿单元32对成本函数值进行计算。运动预测/补偿单元32通过使用待编码的预测图像的输入图像数据以及在步骤ST52中生成的预测图像数据等，来如上所述地计算成本函数值，并且前进到步骤ST54。

[0127] 运动预测/补偿单元32决定最佳帧间预测模式。运动预测/补偿单元32针对每种帧间预测模式进行从步骤ST51到步骤ST53的处理。运动预测/补偿单元32辨别其中针对每种预测模式所计算的成本函数值为最小值的参考索引、编码单元的块尺寸以及在该编码单元中预测单元的块尺寸，并且解码最佳帧间预测模式。注意，针对其中成本函数值为最小的模式的决定，还使用了以跳过模式进行了帧间预测的情况下的成本函数值。

[0128] 此外，在预测图像/最佳模式选择单元33已经选择了最佳帧间预测模式作为最佳预测模式的情况下，运动预测/补偿单元32生成预测图像数据，使得最佳帧间预测模式的预测图像数据可以被提供给减法单元13和加法单元23。

[0129] <3.基于量化参数的标识信息和差信息的生成操作>

[0130] 在上述图像编码处理中，图像编码装置10设定量化参数以使得根据图像的复杂度对于每个块进行合适的量化。此外，图像编码装置10生成标识信息和差信息，并且将这些信息包括在流信息中，以提高步骤ST15的量化处理中所使用的量化参数的编码效率。

[0131] 接下来，将针对标识信息和差信息的生成进行描述。速率控制单元18通过使用例如由MPEG2中的TM5规定的代码量控制格式来设定量化参数。

[0132] 关于由MPEG2中的TM5规定的代码量控制格式，示出了步骤1到步骤3的处理。

[0133] 在步骤1中，待分配给GOP(画面组)中的每个图片的代码量基于分配比特数量R被分布给包括用于分配的图片的未编码的图片。该分布以GOP中的经编码的图片的顺序被重复。此时，使用下述两个假定来给每个图片分配代码量。

[0134] 第一假定为：在编码每个图片时所使用的平均量化比例代码(quantization scale code)与所生成的代码量的乘积对于每种图片类型来说将是恒定的，除非画面改变。

[0135] 因此，在编码每个图片后，表示画面的复杂度的参数XI、XP和XB(全局复杂度量度)通过表达式(3)至表达式(5)更新。量化比例代码与所生成的代码量之间的关系可以由这些参数来估计。

[0136] XI＝SI·QI...(3)

[0137] XP＝SP·QP...(4)

[0138] XB＝SB·QB...(5)

[0139] 此处，SI，SP和SB是图片编码时所生成的代码比特，而QI、Qp和QB是图片编码时的平均量化比例代码。此外，初始值是通过使用作为目标代码量的bit_rate[bits/sec(比特/秒)]，由下述表达式(6)，(7)和(8)所示出的值。

[0140] XI＝160×bit_rate/115...(6)

[0141] XP＝160×bit_rate/115...(7)

[0142] XB＝160×bit_rate/115...(8)

[0143] 第二假定为：在以I图片的量化比例代码作为参考的情况下，针对P图片和B图片的量化比例代码的比率KP和KB例如是表达式(9)中所规定的情况下，总体图像质量将恒定地被最优化的。

[0144] KP＝1.0；KB＝1.4...(9)

[0145] 换言之，B图片的量化比例代码被恒定地设定成I图片和P图片的量化比例代码的1.4倍。这假定：通过使待量化的B图片与I图片和P图片相比在一定程度上更粗糙并且由此将由B图片节约的代码量添加给I图片和P图片，将提高I图片和P图片的图像质量，并且还将提高参考这些图片的B图片的图像质量。

[0146] 根据上述两个假定，关于GOP中的每个图片所分配的代码量(TI，TP，TB)是表达式(10)、(11)和(12)中所指示的值。注意，picture_rate指示在该序列中每秒所显示的图片的数目。

[0147] 【数学式1】

[0148]

[0149]

[0150]

[0151] 现在，NP、NB是GOP中未编码的P图片和B图片的数目。换言之，在上述的图像质量最优化条件下，关于待进行分配的图片以及不同图片类型的那些图片，对GOP中的未编码的图片进行下述估计，所述估计是关于由那些图片生成的代码量将是用于分配的图片的所生成的代码量的多少倍。接下来，多少待编码的图片相当于下述代码量被获得，所述代码量相当于全部未编码的图片生成的估计出的所生成的代码量。例如，作为在与TI相关的表达式中的第一自变量的分母的第二项的NPXP/XIKP表示GOP中的NP个未被编码的图片相当于多少个I图片。此外，这通过将由I图片的所生成的代码量关于P图片的所生成的代码量的分数SP/SI乘以NP并且如上所述由XI、XP和XB来表示而获得。

[0152] 关于用于分配的图片的比特量是通过将关于未编码的图片的分配代码量R除以图片的数目而获得的。注意，然而，考虑到关于头的开销代码量等，对该值设定较低的限制。

[0153] 基于由此所获得的分配代码量，每次每个图片遵循步骤1和步骤2被编码时，待分配给GOP中的未编码的图片的代码量R通过表达式(13)更新。

[0154] R＝R-SI,P,B...(13)

[0155] 此外，在编码GOP的第一图片时，R通过以下表达式(14)更新。

[0156] 【数学式2】

[0157]

[0158] 其中，N是GOP中的图片的数目。此外，在序列的开始处R的初始值为0。

[0159] 接下来，将关于步骤2进行描述。在步骤2中，获得用于实际上将步骤1中所获得的关于每个图片的分配代码量(TI，TP，TB)与实际的代码量相匹配的量化比例代码。量化比例代码基于独立构建的虚拟缓冲器的三种类型的容量通过对于每个图片类型以宏块为单位进行反馈控制而获得。

[0160] 首先，在对第j个宏块编码之前，虚拟缓冲器的占用量通过表达式(15)至表达式(17)而获得。

[0161] 【数学式3】

[0162]

[0163]

[0164]

[0165] d0I、d0P和d0B是虚拟缓冲器的初始占用量，Bj是从图片的头到第j个宏块所生成的比特量，而MBcnt是单个图片中的宏块的数目。

[0166] 在结束对每个图片的编码时虚拟缓冲器的占用量(dMBcntI，dMBcntP，dMBcntB)被分别用作同一图片类型的下一个图片的虚拟缓冲器占用量的初始值(d0I，d0P，d0B)。

[0167] 接下来，通过表达式(18)计算第j个宏块的参考量化比例代码Qj。

[0168] 【数学式4】

[0169]

[0170] r是控制反馈群的响应速度的参数，被称为反应参数，并且是通过表达式(19)而获得的。

[0171] 【数学式5】

[0172]

[0173] 注意，在序列的开始处虚拟缓冲器的初始值通过表达式(20)而获得。

[0174] 【数学式6】

[0175]

[0176] 接下来，将描述步骤3。活动度通过使用原始图像的亮度信号像素值，例如，通过使用帧DCT模式的四个8×8块和域DCT编码模式的四个8×8块的总共八个块的像素值，根据表达式(21)至表达式(23)而获得。

[0177] 【数学式7】

[0178]

[0179]

[0180]

[0181] 表达式(21)中的var_sblk是每个像素的图像数据与其平均值之间的差的平方和，因此，这些8×8块的图像越复杂，该值越大。表达式(22)和(23)中的Pk是原始图像的亮度信号的块中像素值(in-block pixel value)。在表达式(22)中假定最小值(min)的原因是使得在即使16×16宏块中存在局部平滑的部分的情况下量化更精细。此外，其值在0.5至2的范围内的归一化的活动度Nactj通过表达式(24)而获得。

[0182] 【数学式8】

[0183]

[0184] avg_act是直到紧接在前被编码的图片的活动度的平均值。量化比例代码基于参考量化比例代码Qj、通过表达式(25)获得考虑了视觉性质的量化比例代码mquantj。

[0185] 【数学式9】

[0186] mquantj＝Qj×Nactj…(25)

[0187] 速率控制单元18输出如上所述计算的量化比例代码mquantj作为量化参数。此外，针对位于片边界处的宏块，以与位于不同于片边界处的宏块相同的方式，用相同的技术来生成量化参数。注意，量化参数不限于基于如上所述的活动度而决定的情况，还可以以使成本函数值更小的方式决定。

[0188] 注意，关于上面所描述的由MPEG2中的TM5所规定的速率控制方法的描述，描述了其中以宏块为单位进行处理的情况。因此，通过进行以其量化参数可以被切换的块为单位的类似处理，可以针对关于其量化参数可以被切换的块中的每一个块设定量化参数。

[0189] 接下来，将对关于用于提高量化参数的编码效率的信息的生成操作进行描述。信息生成单元19将与待编码的块在空间上或时间上相邻的经编码的量化参数作为选择候选。信息生成单元19还根据针对待编码的块所设定的量化参数从选择候选中选择量化参数，并且将所选择的量化参数作为预测量化参数。信息生成单元19还生成用于从选择候选中选择预测量化参数的标识信息，和用于指示预测量化参数与为待编码的块设定的量化参数之间的差的差信息。

[0190] 图10是用于描述信息生成单元的操作的图，示出了待编码的帧和按显示顺序在时间上最靠近的经编码的帧。待编码的帧中的待编码的块的量化参数例如是“QP_0”。此外，与左侧相邻的块的量化参数例如是“QP_A”。同样，与上方相邻、与右上方相邻、与左上方相邻以及与左下方相邻的块的量化参数例如是“QP_B”、“QP_C”、“QP_D”和“QP_E”。此外，在时间上相邻的块的量化参数是“QP_T”。注意，当对待编码的帧中的待编码的块进行编码时，将量化参数“QP_A”到“QP_E”以及“QP_T”存储在量化参数存储器单元191中。此外，每个块是关于其量化参数可以被改变的最小单位块。

[0191] 差计算单元192将与待编码的块相邻的经编码的块的量化参数作为选择候选，从选择候选中选择相对于为待编码的块设定的量化参数来说其差最小的量化参数，并且将所选择的量化参数作为预测量化参数。差计算单元192生成用于从选择候选中选择预测参数的标识信息，和用于指示预测量化参数与待编码的块的量化参数之间的差的差信息。

[0192] 图11是示出了信息生成单元的操作实例的图。注意，由于块为跳过块或者不具有残差信息而没有被设定量化参数的块的情况由“-”来指示。

[0193] 在待编码的块为块BK0的情况下，经编码的块的量化参数是“QP_A＝32”，“QP_B＝40”，“QP_C＝40”，“QP_D＝35”，“QP_E＝-”和“QP_T＝31”。此处，信息生成单元19从候选中排除由于其为跳过块或者不具有残差信息的块而没有被设定量化参数的块和其中量化参数冗余的块。因此，选择候选是量化参数为“QP_A＝32”，“QP_B＝40”，“QP_D＝35”和“QP_T＝
31”的经编码的块。此外，信息生成单元19提前为选择候选设定标识信息，例如索引号。可以仅仅为相邻的经编码的块设定标识信息，或者可以为相邻的经编码的块的量化参数设定标识信息。

[0194] 在将标识信息设定给相邻的经编码的块的情况下，信息生成单元19在相邻的经编码的块为预定的排列顺序下，按照排列的顺序来设定索引号。预定的排列顺序例如是其中与左侧相邻的经编码的块、在上方相邻的经编码的块和在时间上相邻的经编码的块中之一被给予优先权的阵列的顺序。此外，信息生成单元19能够切换阵列的顺序。在能够切换阵列的顺序的情况下，用于指示哪种阵列顺序的信息被包括在流信息中。此外，无损编码单元16和信息生成单元19对标识信息进行设定和无损编码，使得在编码被给予优先权的块的标识信息时有较少的代码量。

[0195] 差计算单元192从选择候选中选择其对于待编码的块的量化参数的差最小的候选，并且使用设定给所选择的候选的标识信息，从而生成用于从选择候选中选择预测量化参数的标识信息。此外，差计算单元192还生成用于指示作为所选择的候选量化参数的预测量化参数与待编码的块的量化参数之间的差的差信息。例如，在将优先权给予图11中的与左侧相邻的经编码的块的情况下，信息生成单元19设定“0(索引号)：QP_A的块”、“1：QP_B的块”、“2：QP_D的块”和“3：QP_T的块”。此外，如果待编码的块的量化参数例如是“33”，那么差计算单元192将其对于待编码的块的量化参数的差为最小的块的索引号设定为标识信息“0(索引号)”。此外，差计算单元192生成用于指示预测量化参数与待编码的块的量化参数之差的差信息“1(＝33-32)”。

[0196] 通过以这种方式给待编码的块设定标识信息，可以提高量化参数的编码效率。例如，如果在左侧的块被给予优先权并且块顺序是量化参数“QP_A”、“QP_B”、“QP_C”、“QP_D”、“QP_E”、“QP_T”，那么对于其中存在与左侧的块的图像相似的更多待编码的块的图像，数据量是少的。此外，如果上方的块被给予优先权并且块顺序是量化参数“QP_B”、“QP_A”、“QP_C”、“QP_D”、“QP_E”、“QP_T”，那么关于其中存在与上方的块的图像相似的更多待编码的块的图像，数据量会是少的。此外，如果在时间上相邻的块被给予优先权并且块顺序是量化参数“QP_T”、“QP_A”、“QP_B”、“QP_C”、“QP_D”、“QP_E”，那么关于其中存在与在时间上相邻的图像相似的更多待编码的块的图像(即更多静止对象)，数据量会是少的。

[0197] 在关于相邻的经编码的块的量化参数来设定标识信息的情况下，信息生成单元19以预定的阵列顺序关于相邻的经编码的块设定索引号。例如，信息生成单元19按具有小的参数值的量化参数的顺序设定索引号。换言之，在图11的情况下，信息生成单元19设定索引号例如“0(索引号)：32(量化参数)”、“1:40”、“2:35”、“3:31”。

[0198] 差计算单元192从选择候选中选择其对于待编码的块的量化参数的差为最小的候选，并且使用设定给所选择的候选的标识信息，从而生成用于从选择候选中选择预测量化参数的标识信息。此外，差计算单元192生成用于指示预测量化参数与待编码的块的量化参数之间的差的差信息。例如，如果待编码的块的量化参数例如是“33”，那么差计算单元192生成差信息“1(＝33-32)”作为标识信息。

[0199] 此外，在不存在选择候选的情况下，信息生成单元19生成用于指示片中初始值的量化参数SliceQPY与所设定的量化参数之差的差信息。

[0200] 图12是示出了编码中关于量化参数的处理的流程图。在步骤ST61中，图像编码装置10生成用于获得量化参数单元最小尺寸(MinQpUnitSize)的信息。量化参数单元最小尺寸是其中量化参数可以被适应地切换的最小的尺寸。

[0201] 图像编码装置10使用例如关于变换单元最小尺寸(MinTransformUnitSize)的差作为用于获得量化参数单元最小尺寸(MinQpUnitSize)的信息。

[0202] 量化参数单元最小尺寸(MinQpUnitSize)由表达式(26)确定。

[0203] MinQpUnitSize＝1<<(log2_min_transform_unit_size_minus2+log2_min_qp_unit_size_offset+2)...(26)

[0204] 注意，“log2_min_transform_unit_size_minus2”是用于决定变换单元最小尺寸(MinTransformUnitSize)的参数。

[0205] 变换单元最小尺寸(MinTransformUnitSize)由表达式(27)决定。

[0206] MinTransformUnitSize＝1<<(log2_min_transform_unit_size_minus2+2)...(27)

[0207] 如可以根据表达式(26)和(27)清楚地被理解的那样，量化参数单元最小尺寸(MinQpUnitSize)与变换单元最小尺寸(MinTransformUnitSize)之差等于“log2_min_qp_unit_size_offset”。注意，量化参数用于变换单元(TU)的单位中。换言之，量化参数在变换单元中是不变的。

[0208] 此外，量化参数单元最小尺寸(MinQpUnitSize)可以根据编码单元尺寸而决定。在这种情况下，图像编码装置10使用例如用于规定编码单元CU的最小尺寸(log2_min_coding_block_size_minus3)和编码单元CU的最大尺寸(log2_diff_max_min_coding_block_size)的信息。注意，编码单元CU的最大尺寸“log2MaxCUSize”如表达式(28)中所示出的那样。

[0209] log2MaxCUSize＝log2_min_coding_block_size_minus 3+3+log2_diff_max_min_coding_block_size...(28)

[0210] 量化参数单元最小尺寸的对数值(log2MinQpUnitSize)由表达式(29)决定。

[0211] log2MinQpUnitSize＝log2_min_coding_block_size_minus 3+3+log2_diff_max_min_coding_block_size-log2_min_qp_unit_size_offset...(29)

[0212] 因此，将“log2_min_qp_unit_size_offset”设定得更大，以便使量化参数单元最小尺寸更小。例如，在编码单元CU的最小尺寸是“8×8”并且最大尺寸是“64×64”的情况下，将“log2_min_qp_unit_size_offset”设定成“1”使量化参数单元最小尺寸为“32×32”。此外，将“log2_min_qp_unit_size_offset”设定成“2”使量化参数单元最小尺寸为“16×16”。

[0213] 在步骤ST62中，图像编码装置10进行将所生成的信息包括在流信息中的处理。图像编码装置10将“log2_min_qp_unit_size_offset”和作为决定变换单元最小尺寸(MinTransformUnitSize)的参数的“log2_min_qp_unit_size_offset”包括在流信息中，并且前进到步骤ST63。此外，在根据编码单元尺寸决定量化参数单元最小尺寸的情况下，“log2_min_coding_block_size_minus3”、“log2_diff_max_min_coding_block_size”和“log2_min_qp_unit_size_offset”被包括在流信息中。图像编码装置10将所生成的信息包括在例如被定义为RBSP(原始字节序列有效载荷)的句法的序列参数集(SPS：序列参数集)中。注意，图13示例性地示出了序列参数集。

[0214] 在步骤ST63中，图像编码装置10确定是否存在待编码的帧。在存在待编码的帧的情况下，图像编码装置10前进到步骤ST64并且进行图14中所示的帧编码处理，如果不存在待编码的帧，则结束编码处理。

[0215] 在图14的帧编码处理中，在步骤ST71中，图像编码装置10确定是否存在待编码的片。在存在待编码的片的情况下，图像编码装置10前进到步骤ST72，如果不存在待编码的片，则结束对帧的编码处理。

[0216] 在步骤ST72中，图像编码装置10决定待编码的片的量化参数。图像编码装置10在尺寸上决定初始值的量化参数以作为目标代码量，并且前进到步骤ST73。

[0217] 在步骤ST73中，图像编码装置10计算“slice_qp_delta”。片中初始值的量化参数SliceQPY与提前由用户等设定的“pic_init_qp_minus26”具有表达式(30)中所示的关系。因此，图像编码装置10计算“slice_qp_delta”以作为步骤ST72中所决定的量化参数，并且前进到步骤ST74。

[0218] SliceQPY＝26+pic_init_qp_minus26+slice_qp_delta...(30)

[0219] 在步骤ST74中，图像编码装置10将“slice_qp_delta”和“pic_init_qp_minus26”包括在流信息中。图像编码装置10将所计算的“slice_qp_delta”包括在流信息的例如头部片中。此外，图像编码装置10将设定的“pic_init_qp_minus26”包括在流信息的例如图片参数集中。通过如此将“slice_qp_delta”和“pic_init_qp_minus26”包括在流信息中，对流信息进行解码的图像解码装置可以通过进行表达式(30)的计算来计算片中初始值的量化参数SliceQPY。注意，图15示例性地示出了序列参数集，而图16示出了片头部。

[0220] 在步骤ST75中，图像编码装置10进行片编码处理。图17是示出进行片编码处理的流程图。

[0221] 在图17的步骤ST81中，图像编码装置10确定是否存在待编码的编码单元CU。在待编码的片中存在还未关于其进行编码处理的编码单元的情况下，图像编码装置10前进到步骤ST82。此外，在对于片中所有编码单元完成了编码处理的情况下，图像编码装置10结束片编码处理。

[0222] 在步骤ST82中，图像编码装置10确定在待编码的编码单元CU中是否存在变换单元TU。在存在变换单元的情况下，图像编码装置10前进到步骤ST83，而在不存在变换单元的情况下，图像编码装置10前进到步骤ST87。例如，在待使用量化参数量化的所有系数为“0”的情况下，或者在跳过块的情况下，流程前进到步骤ST87。

[0223] 在步骤ST83中，图像编码装置10决定待编码的编码单元CU的量化参数。图像编码装置10的速率控制单元18根据如上所述的编码单元的图像的复杂度来决定量化参数，或者图像编码装置10的速率控制单元18决定量化参数以使得成本函数值是小的，并且前进到步骤ST84。

[0224] 在步骤ST84中，图像编码装置10将标识信息设定给选择候选。图像编码装置10的信息生成单元19将与待编码的编码单元在空间上或时间上相邻的经编码的编码的量化参数作为选择候选。此外，在由于是跳过块或不具有残差信息而没有被设定量化参数的块的情况下，或者在量化参数等于另一个候选的情况下，信息生成单元19从选择候选中排除这些量化参数。图像编码装置10将标识信息(例如索引(ref_qp_block_index))设定给选择候选，并且前进到步骤ST85。

[0225] 在步骤ST85中，图像编码装置10生成标识信息和差信息。图像编码装置10的信息生成单元19从选择候选中选择其对于待编码的编码单元的量化参数的差为最小的候选，并且将其作为预测量化参数。信息生成单元19通过使用所选择的候选的索引(ref_qp_block_index)来生成标识信息，作为用于从选择候选中选择预测量化参数的标识信息。此外，信息生成单元19把预测量化参数与待编码的编码单元的量化参数之差(qb_qp_delta)作为差信息，并且前进到步骤ST86。现在，关于由所确定的候选的索引(ref_qp_block_index)指示的预测量化参数作为“ref_qp(ref_qp_block_index)”，待编码的编码单元的量化参数(CurrentQP)呈现表达式(31)中所指示的关系。

[0226] CurrentQP＝qb_qp_delta+ref_qp(ref_qp_block_index)...(31)

[0227] 在步骤ST86中，图像编码装置10将标识信息和差信息包括在流信息中。图像编码装置10的无损编码单元16对在信息生成单元19生成的标识信息和差信息进行无损编码，将其包括在流信息中，并且前进到步骤ST87。

[0228] 在步骤ST87中，图像编码装置10使用所决定的量化参数由量化单元15对编码单元进行量化，并且返回到步骤ST81。

[0229] 如此，图像编码装置10从与待编码的块在空间上或时间上相邻的经编码的块的量化参数中，选择其对于待编码的块的量化参数的差为最小的候选作为预测量化参数。此外，图像编码装置10生成与所选择的量化参数对应的标识信息。此外，图像编码装置10生成用于指示预测量化参数与待编码的块的量化参数之差的差信息。图像编码装置10将所生成的标识信息和差信息包括在流信息中。因此，由于其中差最小的候选被选择作为预测量化参数，所以可以防止预测量化参数与待编码的块的量化参数之差变成大的值。因此，图像编码装置10可以提高量化参数的编码效率。

[0230] <4.图像解码装置的配置>

[0231] 接下来，将描述对由图像编码装置输出的流信息进行解码处理的图像解码装置。通过对输入图像进行编码所生成的经编码的流经由预定传输路径、记录介质等被提供给图像解码装置并且被解码。

[0232] 图18示出了对流信息进行解码处理的图像解码装置的配置。图像解码装置50包括存储缓冲器51、无损解码单元52、逆量化单元53、逆正交变换单元54、加法单元55、去块滤波器56、画面重置缓冲器57和数字/模拟转换单元(D/A转换单元)58。此外，图像解码装置50还包括量化参数计算单元59、帧存储器61、帧内预测单元71、运动补偿单元72和选择器73。

[0233] 存储缓冲器51存储被传输的流信息。无损解码单元52通过与图3中的无损编码单元16的编码格式对应的格式，来解码由存储缓冲器51提供的流信息。

[0234] 无损解码单元52作为信息获取单元工作并且从流信息中获取各种类型的信息。例如，无损解码单元52将通过解码流信息而获得的预测模式信息输出到帧内预测单元71和运动补偿单元72。此外，无损解码单元52将通过解码流信息而获得的差运动向量、阈值或阈值生成信息输出到运动补偿单元72。此外，无损解码单元52将与通过解码流信息而获得的量化参数相关的信息(例如差信息等)输出到量化参数计算单元59。此外，无损解码单元52将通过解码流信息而获得的量化数据输出到逆量化单元53。

[0235] 逆量化单元53以与图3中量化单元15的量化格式对应的格式对在无损解码单元52处被解码的量化数据进行逆量化。逆正交变换单元54以与图3中正交变换单元14的正交变换格式对应的格式，对逆量化单元53的输出进行逆正交变换并且将其输出到加法单元55。

[0236] 加法单元55将在逆正交变换之后的数据添加给由选择器73提供的预测图像数据，以生成经解码的图像数据并且将其输出到去块滤波器56和帧内预测单元71。

[0237] 去块效应滤波器56关于由加法单元55提供的经解码的图像数据进行滤波处理，去除块失真，然后提供到并且存储在帧存储器61，并且将其输出到画面重置缓冲器57。

[0238] 画面重置缓冲器57对图像进行重置。换言之，按照用于由图3中的画面重置缓冲器12进行编码的顺序所重置的帧的顺序被重置成用于显示的原始顺序并且被输出到D/A转换单元58。

[0239] D/A转换单元58对由画面重置缓冲器57提供的图像数据进行D/A转换，以便通过输出到未示出的显示器来显示图像。

[0240] 量化参数计算单元59基于由无损解码单元52提供的信息来恢复量化参数，并且将其输出到逆量化单元53。图19示出了具有计算单元591和量化参数存储器单元592的量化参数计算单元的配置。

[0241] 计算单元591使用由无损解码单元52提供的信息和存储在量化参数存储器单元592中的量化参数来恢复用于在待解码的块受到的编码处理中的量化的量化参数，并且将其输出到逆量化单元53。计算单元591还将待解码的块的量化参数存储在量化参数存储器单元592中。

[0242] 计算单元591使用例如从参数集提取的“pic_init_qp_minus26”和从片头部提取的“slice_qp_delta”来进行表达式(30)的计算，计算量化参数SliceQPY，并且输出到逆量化单元53。

[0243] 计算单元591还使用由无损解码单元52提供的标识信息和差信息以及存储在量化参数存储器单元592中的经解码的块的量化参数，并且计算待解码的块的量化参数。计算单元591将所计算的量化参数输出到逆量化单元53。在这种情况下，计算单元591从存储在量化参数存储器单元592中的经解码的块的量化参数中读出与待解码的块在空间上或时间上相邻的经解码的块的量化参数。计算单元591以与差计算单元192相同的方式设定选择候选。例如，计算单元591排除了至少其中量化参数冗余的块或其中未进行使用量化参数的逆量化的块，并且作为选择候选。此外，计算单元591以与差计算单元192相同的方式，关于候选中的每一个候选的量化参数设定标识信息，即索引(ref_qp_block_index)。换言之，计算单元591按照预定的阵列顺序、关于相邻的经解码的块设定索引(ref_qp_block_index)。计算单元591通过使用与由无损解码单元52提供的标识信息(即预测量化参数)以及由无损解码单元52提供的差信息所指示的差(qb_qp_delta)对应的量化参数“ref_qp(ref_qp_block_index)”来进行表达式(31)的计算。计算单元591将所计算的量化参数(CurrentQP)输出到逆量化单元53作为待解码的量化参数。此外，在不存在选择候选的情况下，计算单元591将片中初始值的量化参数输出到逆量化单元53。

[0244] 此外，在从流信息中提取了用于指定块的阵列顺序的信息的情况下，计算单元591对于具有所指定的阵列顺序的经解码的块设定索引(ref_qp_block_index)。因此，即使在图像编码装置10改变了阵列顺序，也可以恢复在图像编码装置10处所使用的量化参数。

[0245] 返回参考图18，帧存储器61保存由去块滤波器56提供的、滤波处理之后的经解码的图像数据。

[0246] 帧内预测单元71基于由无损解码单元52提供的预测模式信息和由加法单元55提供的经解码的图像数据来生成预测图像数据，并且将所生成的预测图像数据输出到选择器73。

[0247] 运动补偿单元72基于由无损解码单元52提供的预测模式信息和运动向量从帧存储器61中读出参考图像数据，并且进行运动补偿，以生成预测图像数据。运动补偿单元72将所生成的预测图像数据输出到选择器73。此外，运动补偿单元72在根据运动向量的大小来切换滤波性质的同时生成预测图像数据。

[0248] 选择器73基于由无损解码单元52提供的预测模式信息在帧内预测的情况下选择帧内预测单元71并且在帧间预测的情况下选择运动补偿单元72。选择器73将在所选择的帧内预测单元71或运动补偿单元72生成的预测图像数据输出到加法单元55。

[0249] 选择器73基于由无损解码单元52提供的预测模式信息，在帧内预测的情况下选择帧内预测单元71并且在帧间预测的情况下选择运动补偿单元72。选择器73将在所选择的帧内预测单元71或运动补偿单元72所生成的预测图像数据输出到加法单元55。

[0250] <5.图像解码装置的操作>

[0251] 接下来，将参考图20中的流程图来描述图像解码装置50的操作。

[0252] 在步骤ST91中，存储缓冲器51存储被提供给它的流信息。在步骤ST92中，无损解码单元52进行无损解码处理。无损解码单元52解码由存储缓冲器51提供的流信息。换言之，获取通过图3中的无损编码单元16编码的、每个图片的量化数据。此外，无损解码单元52对包括在流信息中的预测模式信息进行无损编码，并且在所获取的预测模式信息是与帧内预测模式相关的信息的情况下，将预测模式信息输出到帧内预测单元71。此外，在预测模式信息是与帧间预测模式相关的信息的情况下，无损解码单元52将预测模式信息输出到运动补偿单元72。此外，无损解码单元52将通过解码流信息而获得的差运动向量、阈值或阈值生成信息输出到运动补偿单元72。

[0253] 在步骤ST93中，逆量化单元53进行逆量化处理。逆量化单元53以与图3中的量化单元15的性质对应的性质，对由逆解码单元52解码的量化数据进行逆量化。

[0254] 在步骤ST94中，逆正交变换单元54进行逆正交变换处理。逆正交变换单元54以与图3中的正交变换单元14的性质对应的性质，对受到逆量化单元53的逆量化的变换系数数据进行逆正交变换。

[0255] 在步骤ST95中，加法单元55生成经解码的图像数据。加法单元55将通过进行逆正交变换处理而获得的数据添加到稍后描述的步骤ST99中所选择的预测图像数据，并且生成经解码的图像数据。从而，解码了原始图像。

[0256] 在步骤ST96中，去块滤波器56进行滤波处理。去块滤波器56对由加法单元55输出的经解码的图像数据进行滤波处理，并且去除包括在经解码的图像中的块失真。

[0257] 在步骤ST97中，帧存储器61对经解码的图像数据进行存储处理。注意，存储在帧存储器61中的经解码的图像数据和由加法单元55输出的经解码的图像数据用作为参考图像数据来生成预测图像数据。

[0258] 在步骤ST98中，帧内预测单元71和运动补偿单元72进行预测处理。帧内预测单元71和运动补偿单元72分别进行与由无损解码单元52提供的预测模式信息对应的预测处理。

[0259] 换言之，当由无损解码单元52提供帧内预测的预测模式信息时，帧内预测单元71基于预测模式信息来进行帧内预测处理并且生成预测图像数据。此外，在由无损解码单元52提供帧间预测的预测模式信息时，运动补偿单元72基于预测模式信息来进行运动补偿并且生成预测图像数据。

[0260] 在步骤ST99中，选择器73选择预测图像数据。选择器73选择由帧内预测单元71提供的预测图像和由运动补偿单元72提供的预测图像数据，并且将所选择的预测图像数据提供给加法单元55，以便添加到如上所述的步骤ST95中逆正交变换单元54的输出。

[0261] 在步骤ST100中，画面重置缓冲器57进行图像重置。换言之，在画面重置缓冲器57中，用于为由图3中的图像编码装置10的画面重置缓冲器12进行编码而重置的帧的顺序被重置成用于显示的原始顺序。

[0262] 在步骤ST101中，D/A转换单元58对来自画面重置缓冲器57的图像数据进行D/A转换。该图像被输出到未示出的显示器并且该图像被显示。

[0263] 接下来，将参考图21中的流程图来描述图20中步骤ST98中的预测图像生成出来。

[0264] 在步骤ST111中，无损解码单元52确定当前块是否被帧内编码了。在通过进行无损编码而获得的预测模式信息是帧内预测模式信息的情况下，无损解码单元52将预测模式信息提供到帧内预测单元71并且前进到步骤ST112。此外，在预测模式信息不是帧内预测模式信息的情况下，无损解码单元52将预测模式信息提供到运动补偿单元72，并且前进到步骤ST113。

[0265] 在步骤ST112中，帧内预测单元71进行帧内预测处理。帧内预测单元71通过使用在进行去块滤波处理之前的经解码的图像数据和由加法单元55提供的预测模式信息来进行帧内预测，并且生成预测图像数据。

[0266] 在步骤ST113中，运动补偿单元72进行帧间预测图像生成处理。运动补偿单元72基于由无损解码单元52提供的信息(如预测模式信息等),从帧存储器61读出参考图像数据并且生成预测图像数据。

[0267] 图22是示出了解码中与量化参数相关的处理的流程图。在步骤ST121中，图像解码装置50提取用于获得量化参数单元最小尺寸的信息。图像解码装置50从流信息中提取用于获得量化参数单元最小尺寸，例如“log2_min_qp_unit_size_offset”，并且前进到步骤ST122。

[0268] 在步骤ST122中，图像解码装置50计算量化参数单元最小尺寸。图像解码装置50通过使用“log2_min_qp_unit_size_offset”和决定变换单元最小尺寸(MinTransformUnitSize)的参数“log2_min_transform_unit_size_minus2”来进行表达式(26)的计算，并且计算量化参数单元最小尺寸(MinQpUnitSize)。此外，图像解码装置50可以通过表达式(29)的计算来计算量化参数单元最小尺寸(MinQpUnitSize)。

[0269] 在步骤ST123中，图像解码装置50确定是否存在待解码的帧。在存在待解码的帧的情况下，图像解码装置50前进到步骤ST124，而在不存在待解码的帧的情况下，结束此处理。

[0270] 在步骤ST124中，图像解码装置50确定是否存在待解码的片。在存在待解码的片的情况下，图像解码装置50前进到步骤ST125，而在不存在待解码的片的情况下，返回到步骤ST123。

[0271] 在步骤ST125中，图像解码装置50提取用于获得片中的初始值的量化参数的信息。图像解码装置50的无损解码单元52从图片参数集(PPS：图片参数集)中提取例如“pic_init_qp_minus26”。此外，从片头部中提取“slice_qp_delta”，并且前进到步骤ST126。

[0272] 在步骤ST126中，图像解码装置50计算片中初始值的量化参数。图像解码装置50的量化参数计算单元59通过使用“pic_init_qp_minus26”和“slice_qp_delta”来进行表达式(30)的计算，计算量化参数SliceQPY，并且前进到步骤ST127。

[0273] 在步骤ST127中，图像解码装置50确定是否存在待解码的编码单元CU。在存在待解码的编码单元的情况下，图像解码装置50前进到步骤ST128，而在不存在待解码的编码单元的情况下，返回到步骤ST124。

[0274] 在步骤ST128中，图像解码装置50将标识信息设定给选择候选。图像解码装置50的量化参数计算单元59以与图像编码装置10的信息生成单元19相同的方式将标识信息设定给选择候选。换言之，量化参数计算单元59将与待解码的编码单元在空间上或时间上相邻的经解码的编码单元的量化参数作为选择候选。此外，在由于是跳过块或不具有残差信息而没有设定量化参数的情况下，或者在量化参数等于另一个候选的情况下，从选择候选中排除它们。量化参数计算单元59将与图像编码装置10相同的标识信息(例如索引(ref_qp_block_index))设定给候选的量化参数，并前进到步骤ST129。

[0275] 在步骤ST129中，图像解码装置50获得标识信息和差信息。图像解码装置50的无损解码单元52提取在图像编码装置10处被包括在流信息中的标识信息和差信息，即索引(ref_qp_block_index)和差(qb_qp_delta)。无损解码单元52将所提取的标识信息和差信息提供给量化参数计算单元59并且前进到步骤ST130。

[0276] 在步骤ST130中，图像解码装置50使用标识信息和差信息来计算量化参数。图像解码装置50的量化参数计算单元59通过使用与作为标识信息的索引(ref_qp_block_index)对应的量化参数“ref_qp(ref_qp_block_index”和作为差信息的(qb_qp_delta)，来进行表达式(31)的计算。换言之，通过将差添加到预测量化参数，来计算待解码的编码单元的量化参数。量化参数计算单元59将待解码的编码单元的量化参数(CurrentQP)输出到逆量化单元53，并且返回到步骤ST124。

[0277] 因此，通过使用包括在流信息中的标识信息和差信息，与待解码的块相关的量化参数可以被恢复，即使块中的每一个块的量化参数都不包括在流信息中。换言之，即使在图像编码装置10处通过使用标识信息和差信息提高了量化参数的编码效率，与块中的每一个块相关的量化参数也可以被恢复并且解码处理也可以被正确地进行以在图像解码装置50生成经解码的图像。

[0278] <6.图像编码装置和图像解码装置的其他操作>

[0279] 通过图像编码装置和图像解码装置的上述操作，与待编码的块在空间上或时间上相邻的经编码的块的量化参数被作为选择候选。此外，根据关于待编码的块所设定的量化参数而从选择候选中所选择的量化参数被作为预测量化参数。此外，通过在流信息中包括用于从选择候选中选择预测量化参数的标识信息和用于指示预测量化参数与为待编码的块所设定的量化参数之差的差信息，提高了量化参数的编码效率。

[0280] 然而，选择候选不限于与待编码的块在空间上或时间上相邻的经编码的块的量化参数，并且最近更新的量化参数可以包括在选择候选中。如稍后所描述的，即使与经编码的块在空间上或时间上相邻的块不涉及逆量化，在邻近待编码的块的位置处的块的量化参数也可以被设定为预测量化参数。此外，量化参数可以是选择候选的、显式或隐式预测的量化参数，并且可以生成用于指示预测量化参数与待编码的块的量化参数之差的差信息。

[0281] 接下来，将描述下述情况作为图像编码装置和图像解码装置的另一操作，所述情况是关于根据编码单元尺寸来决定量化参数单元最小尺寸(MinQpUnitSize)并且从选择候选的量化参数中显式或隐式地选择预测量化参数。注意，下面将关于与上述的图像编码装置和图像解码装置不同的部分进行描述。

[0282] 在从选择候选的量化参数中显示或隐式地选择预测量化参数的情况下，图像编码装置包括用于指示是显式还是隐式决定量化参数的辨别信息“qp_explicit_flag”。此外，可以对于其中是显式决定还是隐式决定量化参数被提前解码的图像编码装置和图像解码装置进行布置。

[0283] 隐式决定量化参数意指在图像解码装置可以选择与图像编码装置相等的预测量化参数，而不从图像编码装置向图像解码装置提供用于从选择候选中选择预测量化参数的标识信息。具体地，存在下述方法：基于提前决定的优先权顺序从选择候选中选择量化参数并且决定预测量化参数的方法，将选择候选的量化参数的随机值作为预测量化参数的方法，根据距当前块的距离来加权选择候选的量化参数的方法，以及将所加权的量化参数的随机值作为预测量化参数的方法等。

[0284] 显式决定量化参数意指可以通过从图像编码装置向图像解码装置提供用于从选择候选中选择预测量化参数的标识信息，来在图像解码装置处选择与图像编码装置相等的预测量化参数。具体地，存在下述方法：在图像编码装置处计算用于指定选择候选的索引信息并且将所计算的索引信息包括在流信息中、并且在图像解码装置处使用索引信息中所指示的选择候选的量化参数作为预测量化参数的方法，索引信息不包括在关于其不进行量化的块中的方法等。

[0285] 图23是用于描述图像编码装置的另一个操作的流程图，示出了片编码处理。在步骤ST141中，图像编码装置10确定是否存在待编码的编码单元CU。在待编码处理的片中存在还未受到编码处理的编码单元的情况下，图像编码装置10前进到步骤ST142。在对于片中所有编码单元完成了编码处理的情况下，图像编码装置10结束片编码处理。

[0286] 在步骤ST142中，图像编码装置10拆分编码单元CU。图像编码装置10如图5中所示的那样拆分编码单元CU，决定其中成本函数值小的编码单元的尺寸，并且前进到步骤ST143。此外，为了能够确定其中成本函数值小的编码单元的尺寸，图像编码装置10将例如“编码树句法(Coding tree syntax)”、相当于图5中的拆分标记的“split_coding_unit_flag”包括在流信息中。

[0287] 在步骤ST143中，图像编码装置10确定待编码的编码单元是否涉及逆量化。在待编码的编码单元CU是不需要通过使用量化参数的逆量化来进行解码的模式的块，例如跳过模式或I_PCM模式或直接模式(CBP(编码区块样式)＝0)的块的情况下，图像编码装置10返回到步骤ST141，并且在其中进行逆量化的块的情况下，前进到步骤ST144。

[0288] 在步骤ST144中，图像编码装置10确定编码单元CU的尺寸是否是“log2MinQpUnitSize”或更大。在编码单元CU的尺寸是“log2MinQpUnitSize”或更大的情况下，图像编码装置10前进到步骤ST145。此外，在编码单元CU的尺寸不是
“log2MinQpUnitSize”或更大的情况下，图像编码装置10前进到步骤ST152。

[0289] 在步骤ST145中，图像编码装置10决定用于待编码的编码单元CU的量化参数QP。图像编码装置10的速率控制单元18根据如上所述的编码单元的图像的复杂度来决定量化参数，或者决定量化参数以使得成本函数值是小的，并且前进到步骤ST146。

[0290] 在步骤ST146中，图像编码装置10确定辨别信息“qp_explicit_flag”是否为“1”，所述辨别信息能够对量化参数要被隐式还是显式地预测进行标识。在该辨别信息“qp_explicit_flag”为“1”并且量化参数要被显式预测的情况下，图像编码装置10前进到步骤ST147。此外，在该辨别信息“qp_explicit_flag”为“0”并且量化参数要被隐式预测的情况下，图像编码装置10前进到步骤ST149。图像编码装置10例如将辨别信息“qp_explicit_flag”被设定成“1”的情况下的成本函数值与辨别信息“qp_explicit_flag”被设定成“0”的情况下的成本函数值进行比较。图像编码装置10基于比较结果来设定辨别信息“qp_explicit_flag”的值，使得编码效率更高。此外，在辨别信息“qp_explicit_flag”可以由用户设定的情况下，图像编码装置10根据用户指令来设定辨别信息“qp_explicit_flag”。

[0291] 在步骤ST147中，图像编码装置10生成标识信息。图像编码装置10从选择候选中选择候选，使得如上所述的那样在信息生成单元19处关于待编码的编码单元的量化参数的差最小，并且将其作为预测量化参数。图像编码装置10将例如与待编码的块在空间上或时间上相邻的经编码的块的量化参数、最后更新的量化参数和在片的头部块处设定的处理程序作为选择候选。图像编码装置10从其关于待编码的编码单元的量化参数的差为最小的选择候选中选择候选，并且将其作为预测量化参数。此外，信息生成单元19将所选择的候选的索引(ref_qp_block_index)作为用于从选择候选中选择预测量化参数的标识信息，并且前进到步骤ST148。

[0292] 在步骤ST148中，图像编码装置10在流信息中包括标识信息。图像编码装置10包括在步骤ST147中所生成的标识信息，并且前进到步骤ST150。

[0293] 在步骤ST149中，图像编码装置10隐式决定预测量化参数dQP。换言之，图像编码装置10用与图像解码装置50相同的方法来预测量化参数。至于用于预测量化参数的方法，例如基于提前决定的优先权顺序来解码预测量化参数。此外，多个候选量化参数的随机值可以被作为预测量化参数。此外，可以使用下述方法：根据距当前块的距离来加权选择候选的量化参数，并且将所加权的量化参数的随机值作为预测量化参数等。图像编码装置10计算预测量化参数并且前进到步骤ST150。

[0294] 在步骤ST150中，图像编码装置10生成差信息。图像编码装置10计算由步骤ST147中所生成的标识信息指示的预测量化参数与步骤ST145中所决定的量化参数之间的差，或者计算步骤ST149中所决定预测量化参数与步骤ST145中所决定的量化参数之间的差。图像编码装置10生成用于指示所计算的差的差信息并且前进到步骤ST151。

[0295] 在步骤ST151中，图像编码装置10在流信息中包括差信息和辨别信息。图像编码装置10在流信息中包括步骤ST151中所生成的差信息和步骤ST146中所使用的辨别信息“qp_explicit_flag”。图像编码装置10在例如序列参数集、图片参数集、片头部等之一中包括辨别信息，并且前进到步骤ST152。

[0296] 在步骤ST152中，图像编码装置10对编码单元CU进行量化。图像编码装置10通过使用所决定的量化参数来对编码单元进行量化，并且返回到步骤ST141。

[0297] 图24是在对量化参数进行隐式预测的情况下的操作实例，图25是在显式预测量化参数的情况下的流程图实例。注意，三个选择候选的情况被示出以便于描述。

[0298] 如图24中的(A)所示，待编码的帧中待编码的块的量化参数例如是“QP_0”。此外，三个候选是与左侧相邻的经编码的块的量化参数“QP_A”、相邻的经编码的块的量化参数“QP_B”和经解码的编码单元的量化参数“QP_LS”。

[0299] 在图25中，在步骤ST161中，图像编码装置10确定量化参数“QP_A”、“QP_B”是否可以被参考。与左侧相邻的经编码的块和与上方相邻的经编码的块不是这样的模式下的块：该模式不需要使用量化参数进行逆量化而进行解码，例如跳过模式或I_PCM模式或直接模式(CBP(编码区块样式)＝0)的块的情况下，图像编码装置10确定可以做参考并且前进到步骤ST162。此外，在量化参数“QP_A”和量化参数“QP_B”中至少之一是不需要逆量化的模式的情况下，前进到步骤ST163。

[0300] 在步骤ST162中，图像编码装置10把量化参数“QP_A”、“QP_B”的平均值作为预测量化参数dQP。换言之，如图24中的(B)所示，在量化参数“QP_A”、“QP_B”可以被参考的情况下，量化参数“QP_A”、“QP_B”的平均值“(QP_A+QP_B+1)/2”被作为预测量化参数dQP。

[0301] 在步骤ST163中，图像编码装置10确定量化参数“QP_A”是否可以被参考。在与左侧相邻的经编码的块不是其中不需要进行逆量化的模式的情况下，图像编码装置10确定该块可以被参考，并且前进到步骤ST164。此外，在左侧相邻的经编码的块是其中不需要进行逆量化的模式的情况下，图像编码装置10确定该块不可以被参考，并且前进到步骤ST165。

[0302] 在步骤ST164中，图像编码装置10将量化参数“QP_A”作为预测量化参数dQP。换言之，在量化参数“QP_A”可以被参考而量化参数“QP_B”不可以被参考的情况下，如图24中的(C)所示，将量化参数“QP_A”作为预测量化参数dQP。注意，在图24和稍后描述的图26中，通过阴影来指示不需要逆量化的模式的块，即不可以被参考的块，。

[0303] 在步骤ST165中，图像编码装置10确定量化参数“QP_B”是否可以被参考。在与上方相邻的经编码的块不是其中不需要进行逆量化的模式的情况下，图像编码装置10确定该块可以被参考，并且前进到步骤ST166。此外，在与上方相邻的经编码的块是其中不需要进行逆量化的模式的情况下，图像编码装置10确定该块不可以被参考，并且前进到步骤ST167。

[0304] 在步骤ST166中，图像编码装置10把量化参数“QP_B”作为预测量化参数dQP。换言之，在量化参数“QP_B”可以被参考而量化参数“QP_A”不可以被参考的情况下，如图24中的(D)所示，量化参数“QP_B”被作为预测量化参数dQP。

[0305] 在步骤ST167中，图像编码装置10把量化参数“QP_LS”作为预测量化参数dQP。如图24中的(E)所示，在与左侧相邻的经编码的块和与上方相邻的经编码的块是不需要进行逆量化的模式的情况下，量化参数“QP_LS”被作为预测量化参数dQP。

[0306] 图26示出了对量化参数进行隐式预测的情况的另一个操作实例。例如，如图24中的(E)所示，与左侧相邻的经编码的块和与上方相邻的经编码的块是不需要进行逆量化的模式的情况下，预定的量化参数可以通过增加选择候选的数目而生成。例如，如图26中的(A)所示，与右上方相邻的经编码的块的量化参数“QP_C”、与左上方相邻的经编码的块的量化参数“QP_D”和与左下方相邻的经编码的块的量化参数“QP_E”被添加到选择候选。

[0307] 在如图26中的(B)所示、量化参数“QP_C”、“QP_D”和“QP_E”可以被参考的情况下，图像编码装置10将量化参数“QP_C”和“QP_D”的平均值“(QP_C+QP_D+1)/2”或中位数(Median)作为预测量化参数dQP。

[0308] 在如图26中的(C)所示、量化参数“QP_C”和“QP_D”可以被参考的情况下，图像编码装置10将量化参数“QP_C”和“QP_D”的平均值“(QP_C+QP_D+1)/2”作为预测量化参数dQP。

[0309] 在如图26中的(D)所示、量化参数“QP_D”和“QP_E”可以被参考的情况下，图像编码装置10把量化参数“QP_D”和“QP_E”的平均值“(QP_D+QP_E+1)/2”作为预测量化参数dQP。

[0310] 在如图26中的(E)所示、量化参数“QP_C”和“QP_E”可以被参考的情况下，图像编码装置10将量化参数“QP_C”和“QP_E”的平均值“(QP_C+QP_E+1)/2”作为预测量化参数dQP。

[0311] 在如图26中的(F)所示、量化参数“QP_C”、“QP_D”和“QP_E”不可以被参考的情况下，图像编码装置10将量化参数“QP_LS”作为预测量化参数dQP。注意，图27示出了用于进行图24中的(B)到(D)和图26中的(B)到(F)的操作的程序。

[0312] 此外，在可以参考的量化参数的数目为一的情况下，如图26中的(G)到(I)所示，可以将该可以被参考的量化参数用作预测量化参数dQP。

[0313] 因此，图像编码装置10把量化参数(如与待编码的块在空间上或时间上相邻的经编码的块的)作为选择候选，并且根据所设定的量化参数从选择候选中选择预测量化参数。此外，图像编码装置10生成用于从选择候选中选择预测量化参数的标识信息。此外，图像编码装置10生成用于指示预测量化参数与为待编码的块设定的量化参数之差的差信息。图像编码装置10将所生成的标识信息和差信息包括在流信息中。通过进行这样的处理，可以防止待编码的块的量化参数与预测量化参数之差变成大的值。因此，图像编码装置10可以提高量化参数的编码效率。

[0314] 此外，在对量化参数进行隐式预测的情况下，可以在图像解码装置50使用与图像编码装置10相同的预测量化参数，而不在流信息中包括用于从选择候选中选择预测量化参数的标识信息。此外，通过在流信息中包括辨别信息，可以适应地对预测量化参数的显式预测和对预测量化参数的隐式预测进行切换。

[0315] 图28是用于描述图像解码装置的其他操作的流程图。在图22中的步骤ST127中，在做出了存在待解码的编码单元的确定的情况下，图像解码装置50进行从步骤ST171开始的处理，并且对编码单元进行解码。

[0316] 在步骤ST171中，图像解码装置50提取信息。图像解码装置50从流信息中提取信息以用于对编码单元的解码。例如，提取了能够确定编码单元的尺寸的信息“编码树句法(Coding tree syntax)”、能够确定量化参数单元最小尺寸的信息“log2_min_qp_unit_size_offset”、辨别信息“qp_explicit_flag”等，并且前进到步骤ST172。

[0317] 在步骤ST172中，图像解码装置50拆分编码单元CU。图像解码装置50基于包括在流信息中的“split_coding_unit_flag”等来拆分编码单元CU，并且前进到步骤ST173。

[0318] 在步骤ST173中，图像解码装置50确定待解码的编码单元CU是否涉及逆量化。在待解码的编码单元CU是其中使用量化参数进行逆量化的模式的情况下，图像解码装置50前进到步骤ST174，而在其中使用量化参数的逆量化是不必要的块的情况下，解码处理结束。

[0319] 在步骤ST174中，图像解码装置50确定编码单元CU的尺寸是否是“log2MinQpUnitSize”或更大。在编码单元CU的尺寸是“log2MinQpUnitSize”或更大的情况下，图像解码装置50前进到步骤ST175。此外，在编码单元CU的尺寸不是
“log2MinQpUnitSize”或更大的情况下，图像解码装置50前进到步骤ST180。

[0320] 在步骤ST175中，图像解码装置50确定辨别信息“qp_explicit_flag”是否为“1”。在包括在流信息中的辨别信息“qp_explicit_flag”为“1”并且量化参数要被显式预测的情况下，图像解码装置50前进到步骤ST176。此外，在辨别信息“qp_explicit_flag”为“0”并且量化参数要被隐式预测的情况下，图像解码装置50前进到步骤ST178。

[0321] 在步骤ST176中，图像解码装置50从流信息中提取索引(ref_qp_block_index)并且前进到步骤ST177。

[0322] 在步骤ST177中，图像解码装置50决定预测量化参数dQP。图像解码装置50基于索引(ref_qp_block_index)从选择候选的量化参数中选择与图像编码装置10相同的量化参数，决定所选择的量化参数为预测量化参数dQP，并且前进到步骤ST179。

[0323] 在步骤ST178中，图像解码装置50对预测量化参数dQP进行隐式决定。图像解码装置50用与图像编码装置10相同的方法来预测量化参数。至于用于预测量化参数的方法，例如可以基于提前决定的优先权的顺序来决定量化参数。此外，可以将选择候选的量化参数的随机值作为预测量化参数。此外，可以使用下述方法：根据距当前块的距离对选择候选的量化参数进行加权，并且将所加权的量化参数的随机值作为预测量化参数等。图像解码装置50预测量化参数并且前进到步骤ST179。

[0324] 在步骤ST179中，图像解码装置50计算当前编码单元CU的量化参数QP。图像解码装置50从流信息中获得差信息“qb_qp_delta”，将该差信息添加到预测量化参数dQP，计算待解码的编码单元的量化参数，并且前进到步骤ST180。

[0325] 在步骤ST180中，图像解码装置50对编码单元进行逆量化。图像解码装置50通过使用经解码的量化参数来对编码单元进行逆量化。

[0326] 因此，图像解码装置50可以通过使用与由图像编码装置使用的量化参数相同的量化参数来对图像进行解码。

[0327] <7.软件处理的案例>

[0328] 上面所述的一系列处理可以通过硬件、软件或二者的组合的配置来进行。在由软件进行处理的情况下，其中记录有处理序列的程序被安装在构建到专用硬件中的计算机内部的存储器中，并且被执行。可替代地，程序可以被安装在借助于其可以进行各种类型的处理的通用计算机中。

[0329] 图29是例示了借助程序执行上述系列处理的计算机装置的示意性配置的图。计算机装置80的CPU 801根据存储在ROM 802中的或记录在记录单元808中的程序来执行各种类型的处理。

[0330] CPU 801执行的程序、数据等视情况被存储在RAM 803中。CPU 801、ROM 802和RAM 803经由总线804相互连接。

[0331] 输入/输出接口805也经由总线804连接到CPU 801。如触摸屏、键盘、鼠标、麦克风等的输入单元806和由显示器等组成的输出单元807也连接到CPU 801。CPU 801根据由输入单元806输入的命令来执行各种类型的处理。然后，CPU 801将处理的结果输出到输出单元807。

[0332] 连接到输入/输出接口805的记录单元808例如由硬盘组成，并且记录CPU 801执行的程序和各种类型的数据。通信单元809经由电缆或无线通信介质(如像互联网或局域网的网络或数字广播等)与外部装置进行通信。此外，计算机装置80可以经由通信单元809来获取程序并且记录在ROM 802或记录单元808中。

[0333] 在如磁盘、光盘、磁光盘或半导体存储器等的可移动介质85被安装在驱动器810的情况下，这些可移动介质被驱动，并且获得了记录在其中的程序、数据等。所获得的程序和数据根据需要被转移到ROM 802或RAM 803或记录单元808。

[0334] CPU 801读出并且执行用于进行上述的系列处理的程序，并且对记录在记录单元808或可移动介质85中的图像信号或者经由通信单元809所提供的图像信号进行编码处理，或者对流信息进行解码处理。

[0335] <8.电子设备的应用的情况>

[0336] 此外，在以上所述中，H.264/AVC格式用作为编码格式/解码格式，但是本技术还被应用于使用进行其他运动预测/补偿处理的编码格式/解码格式的图像编码装置/图像解码装置。

[0337] 此外，本技术可以被应用于在经由网络介质(如卫星广播、电缆TV(电视)、互联网、蜂窝电话等)接收通过进行编码处理所获得的、如具有MPEG、H.26x等的流信息时所使用的图像编码装置和图像解码装置，或者在如光盘或磁盘和闪存的存储介质上处理时所使用的图像编码装置和图像解码装置。

[0338] 接下来，将关于上述的图像编码装置10和图像解码装置50被应用于的电子装置进行描述。

[0339] 图30示例性地示出了本技术被应用于的电视设备的示意性配置。电视设备90具有天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908和外部接口单元909。此外，电视设备90具有控制单元910、用户接口单元911等。

[0340] 调谐器902通过从天线901接收的广播信号中选择想要的频道来进行解调，并且将所获得的流输出到解复用器903。

[0341] 解复用器903从流中提取待观看的节目的视频和音频的分组并且将所提取的包的数据输出到解码器904。此外，解复用器903将诸如EPG(电子节目菜单)的数据分组提供给控制单元910。注意，在已经进行了加扰的情况下，在解复用器等处进行解扰。

[0342] 解码器904对分组进行解码处理，并且将通过受到解码处理而生成的视频数据输出到视频信号处理单元905并且将音频信号输出到音频信号处理单元907。

[0343] 视频信号处理单元905根据降噪和用户设定对视频数据进行视频处理。视频信号处理单元905根据处理、基于通过网络所提供的应用来生成用于在显示单元906上显示节目的视频数据和图像数据。此外，视频信号处理单元905生成视频数据以显示如用于对项目进行选择的菜单画面等，并且将其叠加到节目的视频数据上。视频信号处理单元905基于以这种方式所生成的视频数据来生成驱动信号并且驱动显示单元906。

[0344] 显示单元906基于来自视频信号处理单元905的驱动信号来驱动显示装置(例如，液晶显示装置)使得显示节目的视频。

[0345] 音频信号处理单元907使音频数据受到预定的处理(如降噪)，并且通过在该处理之后对音频数据进行D/A转换处理和放大处理以及提供给扬声器908来进行音频输出。

[0346] 外部接口单元909是待连接到外部设备或网络的接口，并且对例如视频数据或音频数据进行数据发送和接收。

[0347] 用户接口单元911连接到控制单元910。用户接口单元911被配置有操作开关或远程控制信号接收器等，并且根据用户操作将操作信号提供给控制单元910。

[0348] 通过使用CPU(中央处理单元)、存储器等来配置控制单元910。存储器存储待被CPU执行的程序，和对于CPU执行处理所必需的各种数据、EPG数据、经由网络所获得的数据等。存储在存储器中的程序在预定定时(例如在启动电视设备90时)被CPU读出并且被执行。CPU控制每个部件，以使得电视设备90根据用户操作、通过执行程序来工作。

[0349] 注意，对于电视设备90，总线912被设置成连接调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909和控制单元910。

[0350] 对于如此配置的电视设备，本申请的图像解码装置的功能(图像解码方法)被设置给解码器904。因此，即使在广播电台侧处在图像编码处理中进行了处理来减少用于发送量化参数所必需的编码的量，电视装置也可以正确地恢复量化参数并且生成经解码的图像。

[0351] 图31示例性地示出了本技术被应用的蜂窝电话的示意性配置。蜂窝电话92具有通信单元922、音频编解码器923、相机单元926、图像处理单元927、多路分离单元928、记录再现单元929、显示单元930和控制单元931。这些通过总线933彼此连接。

[0352] 此外，天线921连接到通信单元922，而扬声器924和麦克风925连接到音频编解码器923。此外，操作单元932连接到控制单元931。

[0353] 蜂窝电话92执行各种操作，例如以各种模式(如音频呼叫模式或数据通信模式)对音频信号进行发送和接收、对电子邮件和图像数据进行发送和接收、图像拍摄、数据记录等。

[0354] 在音频呼叫模式中，麦克风925处所生成的音频信号被转换成音频数据并和音频编解码器923处的数据压缩并且被提供给通信单元922。通信单元922对音频数据进行解调处理并且对音频数据进行转换处理以生成传输信号。此外，通信单元922将传输信号提供给天线921，以使得被传输到未示出的基站。此外，通信单元922对天线921处所接收的接收信号进行放大、频率转换处理和解调处理，并且将所获得的音频数据提供给音频编解码器923。音频编解码器923对音频数据进行数据解压缩并且转换成模拟音频信号并且输出到扬声器924。

[0355] 此外，在数据通信模式中，在进行电子邮件传输的情况下，控制单元931接收通过对操作单元932的操作而输入的文本数据并且将所输入的文本显示到显示单元930。此外，控制单元931基于操作单元932处的用户指令来生成电子邮件数据并且提供给通信单元922。通信单元922对电子邮件数据进行调制处理、频率转换处理等，并且由天线921来发送所获得的发送信号。此外，通信单元922对用天线921所接收的接收信号进行放大、频率转换处理和解调处理，并且恢复电子邮件数据。该电子邮件数据被提供给显示单元930以显示电子邮件的内容。

[0356] 注意，蜂窝电话92可以在记录/再现单元929中的存储介质中存储所接收的电子邮件数据。存储介质是可读/可写的任何存储介质。例如，存储介质为如RAM或内置闪存的半导体存储器，如硬盘、磁盘、MO盘、光盘、USB存储器、存储卡的可移动介质等。

[0357] 在图像数据以数据通信模式被发射的情况下，相机单元926处所生成的图像数据被提供给图像处理单元927。图像处理单元927对图像数据进行编码处理并且生成流信息。

[0358] 多路分离单元928借助于预定格式对图像处理单元927处所生成的流信息和由音频编解码器923提供的音频数据进行多路复用并且将其提供给通信单元922。通信单元922对经多路复用的数据进行解调处理、频率转换处理等，并且由天线921发送所获得的发送信号。此外，通信单元922对天线921接收的接收信号进行放大、频率转换处理、解调处理等，并且恢复经多路复用的数据。该经多路复用的数据被提供给多路分离单元928。多路分离单元928对经多路复用的数据进行分离，并且将流信息提供给图像处理单元927且将音频数据提供给音频编解码器923。

[0359] 图像处理单元927对经编码的数据进行解码处理，并且生成图像数据。该图像数据被提供给显示单元930以显示所接收的图像。音频编解码器923将音频数据转换成模拟音频信号并且将其提供给扬声器924以输出所接收的音频。

[0360] 关于如此配置的蜂窝电话，图像处理单元927具有本技术的功能。因此，例如在对图像进行编码处理和发送时可以减少数据。此外，在对所接收的图像进行解码处理时，可以恢复量化参数并且可以生成经解码的图像。

[0361] 图32示例性地示出了本技术被应用于的记录再现装置的示意性配置。记录/再现装置94将例如所接收的广播节目的音频数据和视频数据记录到记录介质，并且根据用户指令的定时将所接收的数据提供给用户。此外，进行下述布置，所述布置是记录/再现装置94可以获取例如来自其他装置的音频数据和视频数据，以便记录到记录介质。此外，进行下述布置，所述布置是记录/再现装置94可以通过对记录介质中所记录的音频数据和视频数据进行解码以在监视器装置上输出图像显示和音频输出。

[0362] 记录/再现装置94具有调谐器941、外部接口单元942、编码器943、HDD(硬盘驱动器)单元944、盘驱动器945、选择器946、解码器947、OSD(屏幕显示器)单元948、控制单元949和用户接口单元950。

[0363] 调谐器941从未示出的天线所接收的广播信号中选择想要的频道的站。调谐器941将通过对想要的频道的接收信号进行解调而获得的经编码的流输出到选择器946。

[0364] 外部接口单元942被配置有IEEE1394接口、网络接口单元、USB接口、闪存接口等中的至少任一个。外部接口单元942是连接到外部装置、网络、存储卡等的接口，并且对例如视频数据和音频数据进行数据接收以记录。

[0365] 编码器943在由外部接口单元942提供的视频数据和音频数据不以预定格式被编码的情况下进行编码处理并且将流信息输出到选择器946。

[0366] HDD单元944在内置硬盘中记录如视频或音频、各种节目、其他数据等的内容数据，并且还在再现时从硬盘中读出这些内容数据。

[0367] 磁盘驱动器945将信号记录或再现到所安装的光盘。光盘例如是DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或蓝光盘等。

[0368] 选择器946在记录视频和音频时从调谐器941或者编码器943选择流，并且提供给HDD单元944和盘驱动器945中的任一个。此外，选择器946在再现视频和音频时将由HDD单元944或盘驱动器945输出的流提供给解码器947。

[0369] 解码器947对流进行解码处理。解码器947通过进行解码处理将所生成的视频数据提供给OSD单元948。此外，解码器947通过进行解码处理输出所生成的音频数据。

[0370] OSD单元948生成视频数据来显示如用于对项目进行选择的菜单画面等并将其叠加到由解码器947输出的视频数据上，并且输出。

[0371] 用户接口单元950连接到控制单元949。用户接口单元950被配置有操作开关或遥控信号接收器等并且根据用户操作将操作信号提供给控制单元949。

[0372] 通过使用CPU或存储器来配置控制单元949。存储器存储由CPU执行的程序和CPU进行处理时所必需的各种数据。存储在存储器中的程序在预定定时(如在启动记录/再现装置94时)由CPU读出并执行。CPU控制每个部件使得记录/再现装置94根据用户操作、通过执行程序来工作。

[0373] 对于如此配置的记录/再现装置，本申请的功能被设置给编码器943。因此，例如在对图像进行编码处理和记录时可以减少数据量。此外，在对所记录的图像进行解码处理时，可以恢复量化参数并且可以生成经解码的图像。

[0374] 图33示例性地示出了本技术被应用的成像设备的示意性配置。成像设备96使对象成像，以便在显示单元上显示对象的图像，并且将其记录在记录介质中作为图像数据。

[0375] 成像设备96具有光学块961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970。此外，用户接口单元971连接到控制单元970。此外，图像数据处理单元964与外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970等经由总线972相连接。

[0376] 光学块961被配置有聚焦透镜、薄膜机制等。光学块961使对象的光学图像在成像单元962的成像面上成像。成像单元962通过使用CCD或CMOS图像传感器被配置，并且与光学图像对应的电信号通过光电转换而生成并被提供给相机信号处理单元963。

[0377] 相机信号处理单元963对由成像单元962提供的电信号进行各种相机信号处理，例如KNEE校正和格玛校正、颜色校正等。相机信号处理单元963将相机处处理之后的图像数据提供给图像数据处理单元964。

[0378] 图像数据处理单元964对由相机信号处理单元963提供的图像数据进行编码处理。图像数据处理单元964将通过进行编码处理所生成的流信息提供给外部接口单元966和介质驱动器968。此外，图像数据处理单元964对由外部接口单元966和介质驱动器968提供的流信息进行解码处理。图像数据处理单元964通过进行解码处理将所生成的图像数据提供给显示单元965。此外，图像数据处理单元964进行处理以将由相机信号处理单元963提供的图像数据提供给显示单元965，并且进行处理以将从OSD单元969获取的用于显示的数据叠加到图像数据上并将其提供给显示单元965。

[0379] OSD单元969生成用于显示的数据，如菜单画面或由符号、文本或形状形成的图标，并且将其输出到图像数据处理单元964。

[0380] 例如，外部接口单元966被配置有USB输入和输出端子，并且在对图像进行打印的情况下，连接到打印机。此外，根据需要将驱动器连接到外部接口单元966，视情况安装如磁盘、光盘等的可移动介质，并且根据需要安装从可移动介质中读出的程序。此外，外部接口单元966具有连接到预定网络(如LAN或互联网)的网络接口。例如，根据来自用户接口单元971指令，控制单元970从存储器单元967读出流信息，以便经网络从自外部接口单元966提供给所连接的其他装置。此外，控制单元970通过外部接口单元966、经由网络获取由其他装置提供的流信息和图像数据，以便将其提供给图像数据处理单元964。

[0381] 例如，至于由介质驱动器968驱动的记录介质，可以使用可读且可写的任何可移动介质，例如磁盘、MO盘、光盘和半导体存储器。此外，关于记录介质，可移动介质的种类也是可选的，并且可以是磁带装置，可以是磁盘或者可以是存储卡。当然，这可以是非接触式IC卡等。

[0382] 此外，进行下述布置：介质驱动器968和记录介质被组合并且例如被配置有非便携式存储介质，如内置型硬盘驱动器或SSD(固态驱动器)等。

[0383] 使用CPU存储器来配置控制单元970。存储器存储待被CPU存储的程序，和用于CPU进行处理所必需的各种类型的数据。存储在存储器中的程序在预定定时(如在启动成像装置96时)被CPU读出并且执行。CPU控制每个部件，以使得通过执行程序对成像装置96的操作与用户操作相对应。

[0384] 对于如此配置的成像装置，图像数据处理单元964被设置有本申请的功能。因此，在编码和在存储器单元967或记录介质中记录所成像的图像时，可以减少待记录的数据量。此外，在对所记录的图像进行解码处理时，可以恢复量化参数并且可以生成经解码的图像。

[0385] 此外，本技术不被解释为限制于上述实施方式。实施方式被示例性地公开，并且清楚理解的是，本领域技术人员能够在不脱离本技术的本质的情况下完成对实施方式的变型和替代。换言之，权利要求应该被考虑成确定本技术的本质。

[0386] 此外，根据本技术的图像解码装置和图像编码装置可以假定下述配置。

[0387] (1)一种图像解码装置，包括：

[0388] 信息获取单元，被配置成将与待解码的块在空间上或时间上相邻的经解码的块的量化参数作为选择候选，并且从流信息中提取用于指示关于从选择候选中选择的预测量化参数的差的差信息；以及

[0389] 量化参数计算单元，被配置成根据预测量化参数和差信息来计算待解码的块的量化参数。

[0390] (2)根据(1)所述的图像解码装置，其中，量化参数计算单元在相邻的经解码的块为预定顺序的情况下，将按照由流信息中包括的标识信息所指示的顺序的量化参数设定成预测量化参数。

[0391] (3)根据(1)所述的图像解码装置，其中，量化参数计算单元按照提前设定的顺序对选择候选进行确定，并且基于确定结果来设定预测量化参数。

[0392] (4)根据(1)所述的图像解码装置，其中，量化参数计算单元基于流信息中包括的确定信息来选择进行下述处理中的一个处理或另一个处理：将按照由流信息中包括的标识信息所指示的顺序的量化参数设定成预测量化参数的处理，以及按照提前设定的顺序对选择候选进行确定并且基于确定结果来设定预测量化参数的处理。

[0393] (5)根据(1)至(4)中任一项所述的图像解码装置，其中，量化参数计算单元通过从相邻的经解码的块中排除至少其中量化参数是冗余的块或其中未进行使用量化参数的逆量化的块，来获取选择候选。

[0394] (6)根据(1)至(5)中任一项所述的图像解码装置，其中，在不存在选择候选的情况下，量化参数计算单元将片中初始值的量化参数作为预测量化参数。

[0395] (7)根据(1)至(6)中任一项所述的图像解码装置，其中，量化参数计算单元将最近更新的量化参数包括在所述选择候选中。

[0396] (8)根据(1)至(7)中任一项所述的图像解码装置，其中，量化参数计算单元通过将差信息指示的差添加到预测量化参数来计算待解码的块的量化参数。

[0397] (9)一种图像解码方法，包括：

[0398] 将与待解码的块在空间上或时间上相邻的经解码的块的量化参数作为选择候选，并且从流信息中提取用于指示关于从所述选择候选中选择的预测量化参数的差的差信息的处理；以及

[0399] 根据所述预测量化参数和所述差信息来计算所述待解码的块的量化参数的处理。

[0400] (10)一种图像编码装置，包括：

[0401] 控制单元，被配置成针对待编码的块设定量化参数；

[0402] 信息生成单元，被配置成将与待编码的块在空间上或时间上相邻的经编码的块的量化参数作为选择候选，根据所设定的量化参数从选择候选中选择预测量化参数，并且生成用于指示预测量化参数与所设定的量化参数之的差信息；以及

[0403] 编码单元，被配置成将差信息包括在通过使用所设定的量化参数对待编码的块进行编码处理而生成的流信息中。

[0404] (11)根据(10)所述的图像编码装置，其中，信息生成单元选择对于所设定的量化参数的差为最小的量化参数作为预测量化参数。

[0405] (12)根据(11)所述的图像编码装置，其中，信息生成单元在相邻的经编码的块为预定顺序的情况下，生成用于指示与所选择的量化参数对应的块的顺序的标识信息；

[0406] 并且其中，编码单元将标识信息包括在流信息中。

[0407] (13)根据(12)所述的图像编码装置，其中，信息生成单元采取如下排列顺序：其中，优先权被赋予与左侧相邻的经编码的块、与上方相邻的经编码的块和在时间上相邻的经编码的块中的一个块。

[0408] (14)根据(12)或(13)中任一项所述的图像编码装置，其中，信息生成单元能够切换相邻的经编码的块的排列顺序。

[0409] (15)根据(10)所述的图像编码装置，其中，信息生成单元按照提前设定的顺序对选择候选进行确定，并且基于确定结果来选择所述预测量化参数。

[0410] (16)根据(10)所述的图像编码装置，其中，信息生成单元能够在下述处理之间进行选择并且生成用于指示所选择的处理的确定信息：选择对于所设定的量化参数的差为最小的量化参数作为预测量化参数的处理；以及按照提前设定的顺序对选择候选进行确定并且基于确定结果来选择预测量化参数的处理；

[0411] 并且其中，编码单元将确定信息包括在流信息中。

[0412] (17)根据(10)至(16)中任一项所述的图像编码装置，其中，信息生成单元通过从相邻的经编码的块中排除至少其中量化参数为冗余的块或其中不进行使用量化参数的量化的块，来获取选择候选。

[0413] (18)根据(10)至(17)中任一项所述的图像编码装置，其中，在不存在选择候选的情况下，信息生成单元生成用于指示片中初始值的量化参数与所设定的量化参数之差的差信息。

[0414] (19)根据(10)至(18)中任一项所述的图像编码装置，其中，信息生成单元将最近更新的量化参数包括在选择候选中。

[0415] (20)一种图像编码方法，包括：

[0416] 针对待编码的块设定量化参数的处理；

[0417] 将与待编码的块在空间上或时间上相邻的经编码的块的量化参数作为选择候选，根据所设定的量化参数从所述选择候选中选择预测量化参数，并且生成用于指示所述预测量化参数与所设定的量化参数之差的差信息的处理；以及

[0418] 将所述差信息包括在通过使用所设定的量化参数对所述待编码的块进行编码处理而生成的流信息中的处理。

[0419] 工业适用性

[0420] 关于图像解码装置、图像编码装置及其方法，根据本技术，将与待编码的块在空间上或时间上相邻的经编码的块的量化参数作为选择候选，并且根据设定的量化参数从选择候选中选择预测量化参数。用于指示预测量化参数与针对待编码的块设定的量化参数之差的差信息被生成。因此，可以防止量化参数的差变成大的值，并且可以提高量化参数的编码效率。此外，在对其中包括有差信息的流信息进行解码的情况下，从与待解码的块在空间上或时间上相邻的经解码的块的量化参数中选择预测量化参数，并且根据预测量化参数和差信息计算待解码的块的量化参数。因此，即使流信息在量化参数的编码效率提高的情况下生成，在对该流信息进行解码的情况下，也可以基于预测量化参数和差信息来恢复量化参数，并且也可以正确地进行解码处理。因此，本技术适合于经由网络介质(如卫星广播、电缆TV、互联网、蜂窝电话等)发射/接收通过以块为单位进行编码而获得的流信息的设备和在存储介质如光盘、磁盘闪存等上实现本技术的设备。

[0421] 附图标记列表

[0422] 10 图像编码装置

[0423] 11 A/D转换单元

[0424] 12、57 画面重置缓冲器

[0425] 13 减法单元

[0426] 14 正交变换单元

[0427] 15 量化单元

[0428] 16 无损编码单元

[0429] 17、51 存储缓冲器

[0430] 18 速率控制单元

[0431] 19 信息生成单元

[0432] 21、53 逆量化单元

[0433] 22、54 逆正交变换单元

[0434] 23、55 加法单元

[0435] 24、56 去块滤波器

[0436] 26、61 帧存储器

[0437] 31、71 帧内预测单元

[0438] 32 运动预测/补偿单元

[0439] 33 预测图像/最佳模式选择单元

[0440] 50 图像解码装置

[0441] 52 无损解码单元

[0442] 58 D/A转换单元

[0443] 59 量化参数计算单元

[0444] 62、73 选择器

[0445] 72 运动补偿单元

[0446] 80 计算机装置

[0447] 90 电视设备

[0448] 92 蜂窝电话

[0449] 94 记录/再现装置

[0450] 96 成像设备

[0451] 191 量化参数存储器单元

[0452] 192 差计算单元

[0453] 591 计算单元

[0454] 592 量化参数存储器单元