动态图像解码方法、动态图像解码装置

摘要

一种动态图像解码方法，包括：预测运动向量候选生成步骤，生成多个预测运动向量；运动向量解码步骤，使用生成的多个预测运动向量中的一个对运动向量进行解码；以及图像解码步骤，使用运动向量对解码对象块进行解码，在预测运动向量候选生成步骤中，(i)判断是否禁止从和解码对象图片不同的已解码图片中所包含的、与解码对象块对应的块取得时间预测运动向量，(ii)在判断为禁止取得时间预测运动向量的情况下，使多个预测运动向量中的一个预测运动向量包含运动量为0的运动向量作为替代向量。

权利要求

1.一种动态图像解码方法，对构成解码对象图片的解码对象块进行帧间预测解码，该动态图像解码方法包括：预测运动向量候选生成步骤，生成多个预测运动向量；

运动向量解码步骤，使用在所述预测运动向量候选生成步骤中生成的多个所述预测运动向量中的一个预测运动向量，对运动向量进行解码；以及图像解码步骤，使用所述运动向量对所述解码对象块进行解码，

在所述预测运动向量候选生成步骤中，在禁止从和所述解码对象图片不同的已解码图片中所包含的、与所述解码对象块对应的块取得时间预测运动向量的情况下，使所述多个预测运动向量中包含取代所述时间预测运动向量的替代向量，在所述预测运动向量候选生成步骤中，(i)判断是否禁止从和所述解码对象图片不同的已解码图片中所包含的、与所述解码对象块对应的块取得所述时间预测运动向量，(ii)在判断为禁止取得所述时间预测运动向量的情况下，使所述多个预测运动向量中包含运动量为0的运动向量作为所述替代向量。

2.一种动态图像解码装置，对构成解码对象图片的解码对象块进行帧间预测解码，该动态图像解码装置具备：预测运动向量候选生成部，生成多个预测运动向量；

运动向量解码部，使用所述预测运动向量候选生成部生成的多个所述预测运动向量中的一个预测运动向量，对运动向量进行解码；以及图像解码部，使用所述运动向量对所述解码对象块进行解码，

所述预测运动向量候选生成部，在禁止从和所述解码对象图片不同的已解码图片中所包含的、与所述解码对象块对应的块取得时间预测运动向量的情况下，使所述多个预测运动向量中包含取代所述时间预测运动向量的替代向量，所述预测运动向量候选生成部，(i)判断是否禁止从和所述解码对象图片不同的已解码图片中所包含的、与所述解码对象块对应的块取得所述时间预测运动向量，(ii)在判断为禁止取得所述时间预测运动向量的情况下，使所述多个预测运动向量中包含运动量为0的运动向量作为所述替代向量。

说明书

动态图像解码方法、动态图像解码装置

[0001] 本申请是申请日为2012年2月9日、申请号为201280007840.X、名称为“动态图像编码方法、动态图像编码装置、动态图像解码方法、动态图像解码装置、及动态图像编解码装置”的中国专利申请的分案申请。

技术领域

[0002] 本发明涉及动态图像编码方法及动态图像解码方法。

背景技术

[0003] 在动态图像编码处理中，通常利用动态图像具有的空间方向及时间方向的冗余性进行信息量的压缩。其中，关于利用空间方向的冗余性的方法，通常采用向频率区域的变换。另外，关于利用时间方向的冗余性的方法，通常采用图片间预测(以后称为帧间(inter)预测)。

[0004] 在帧间预测编码处理中，在对某个图片进行编码时，将按照显示时间顺序位于编码对象图片的前方或者后方的已编码的图片用作参照图片。并且，通过编码对象图片相对于该参照图片的运动检测来导出运动向量，获取根据运动向量进行运动补偿而得到的预测图像数据与编码对照图片的图像数据之差分，由此去除时间方向的冗余性。其中，在运动检测中，计算编码图片内的编码对象块与参照图片内的块的差分值，将差分值最小的参照图片内的块作为参照块。并且，使用编码对象块和参照块检测运动向量。

[0005] 在已经标准化的被称为H.264的动态图像编码方式中，为了压缩信息量而采用I图片、P图片、B图片这三种图片类型。I图片是不进行帧间预测编码处理、即仅进行图片内预测(以后称为帧内(intra)预测)编码处理的图片。P图片是仅参照按照显示时间顺序位于编码对象图片的前方或者后方的已编码的一个图片进行帧内预测编码的图片。B图片是参照按照显示时间顺序位于编码对象图片的前方或者后方的已编码的两个图片进行帧内预测编码的图片。

[0006] 另外，在被称为H.264的动态图像编码方式中，关于B图片中的各编码对象块的帧间预测的编码模式，有对预测图像数据与编码对象块之间的图像数据的差分值以及在生成预测图像数据时使用的运动向量进行编码的运动向量检测模式。在运动向量检测模式中，关于预测方向，能够选择参照位于编码对象图片的前方或者后方的已编码的两个图片生成预测图像的双向预测、和参照位于编码对象图片的前方或者后方的已编码的一个图片生成预测图像的单向预测中的任意一种预测方式。

[0007] 另外，在被称为H.264的动态图像编码方式中，在B图片的编码中，在导出运动向量时，能够选择被称为时间预测运动向量模式的编码模式。使用图19说明时间预测运动向量模式的帧间预测编码方法。图19是表示时间预测运动向量模式的运动向量的说明图，表示以时间预测运动向量模式对图片B2的块a进行编码的情况。

[0008] 在这种情况下，利用块b的运动向量vb，该块b处于与位于图片B2的后方的参照图片即图片P3中的块a相同的位置。运动向量vb是在对块b进行编码时使用的运动向量，并参照图片P1。另外，关于块a，使用与运动向量vb平行的运动向量，从作为前方参照图片的图片P1和作为后方参照图片的图片P3取得参照块，并进行双向预测来进行编码。即，在对块a进行编码时使用的运动向量相对于图片P1是运动向量va1，相对于图片P3是运动向量va2。

[0009] 现有技术文献

[0010] 非专利文献

[0011] 非专利文献1：ITU-T Recommendation H.264'Advanced video coding for generic audiovisual services',2010年3月发明概要

[0012] 发明要解决的问题

[0013] 但是，在过去的时间预测运动向量模式中，当具有在计算时间预测运动向量时使用的运动向量等信息的参照图片的信息、由于例如流分发等时的包损耗等而丢失的情况下，将不能计算出准确的时间预测运动向量，使解码图像产生恶化。另外，由于错误向参照该解码图像的图片传播，因而其结果是有时存在解码处理停止的情况。例如，在丢失了图19中的参照图片P3的信息的情况下，将不能计算出图片B2的时间预测运动向量。其结果是不能准确地对图片B2进行解码，存在解码处理停止的情况。

发明内容

[0014] 因此，鉴于上述情况，本发明的目的在于，提供一种能够有效地防止解码处理中的错误的传播的动态图像编码方法及动态图像解码方法。

[0015] 用于解决问题的手段

[0016] 本发明的一个方式的动态图像解码方法，对构成解码对象图片的解码对象块进行帧间预测解码，该动态图像解码方法包括：预测运动向量候选生成步骤，生成多个预测运动向量；运动向量解码步骤，使用在所述预测运动向量候选生成步骤中生成的多个所述预测运动向量中的一个预测运动向量，对运动向量进行解码；以及图像解码步骤，使用所述运动向量对所述解码对象块进行解码，在所述预测运动向量候选生成步骤中，在禁止从和所述解码对象图片不同的已解码图片中所包含的、与所述解码对象块对应的块取得时间预测运动向量的情况下，使所述多个预测运动向量中的一个预测运动向量包含取代所述时间预测运动向量的替代向量，在所述预测运动向量候选生成步骤中，(i)判断是否禁止从和所述解码对象图片不同的已解码图片中所包含的、与所述解码对象块对应的块取得所述时间预测运动向量，(ii)在判断为禁止取得所述时间预测运动向量的情况下，使所述多个预测运动向量中的一个预测运动向量包含运动量为0的运动向量作为所述替代向量。

[0017] 本发明的一个方式的动态图像解码装置，对构成解码对象图片的解码对象块进行帧间预测解码，该动态图像解码装置具备：预测运动向量候选生成部，生成多个预测运动向量；运动向量解码部，使用所述预测运动向量候选生成部生成的多个所述预测运动向量中的一个预测运动向量，对运动向量进行解码；以及图像解码部，使用所述运动向量对所述解码对象块进行解码，所述预测运动向量候选生成部，在禁止从和所述解码对象图片不同的已解码图片中所包含的、与所述解码对象块对应的块取得时间预测运动向量的情况下，使所述多个预测运动向量中的一个预测运动向量包含取代所述时间预测运动向量的替代向量，所述预测运动向量候选生成部，(i)判断是否禁止从和所述解码对象图片不同的已解码图片中所包含的、与所述解码对象块对应的块取得所述时间预测运动向量，(ii)在判断为禁止取得所述时间预测运动向量的情况下，使所述多个预测运动向量中的一个预测运动向量包含运动量为0的运动向量作为所述替代向量。

[0018] 本发明的一个方式的动态图像编码方法是对构成编码对象图片的编码对象块进行帧间预测编码的方法。具体地讲，动态图像编码方法包括：图像编码步骤，使用运动向量对所述编码对象块进行编码；预测运动向量候选生成步骤，生成多个预测运动向量；以及运动向量编码步骤，使用在所述预测运动向量候选生成步骤中生成的多个所述预测运动向量中的一个预测运动向量，对所述运动向量进行编码。并且，在所述预测运动向量候选生成步骤中，在从与和所述编码对象图片不同的已编码图片中所包含的所述编码对象块对应的块不能取得时间预测运动向量的情况下，使所述多个预测运动向量中的一个预测运动向量包含取代所述时间预测运动向量的替代向量。

[0019] 根据上述结构，通过进行使预测运动向量的候选中包含时间预测运动向量或者包含替代向量的切换，能够抑制编码效率下降，并防止解码错误的传播。

[0020] 另外，也可以是，在所述预测运动向量候选生成步骤中，在禁止从所述已编码图片取得所述时间预测运动向量的情况下，使所述多个预测运动向量中的一个预测运动向量包含运动量为0的运动向量作为所述替代向量。

[0021] 另外，也可以是，在所述预测运动向量候选生成步骤中，计数利用该动态图像编码方法进行编码后的图片的张数，在对被编码后的图片的张数大于规定的值的时刻的所述编码对象图片进行编码时，禁止从所述已编码图片取得所述时间预测运动向量。

[0022] 另外，也可以是，该动态图像编码方法是对分别属于构成多视点影像的基本视及从属视的图片进行编码的方法，还包括视差向量生成步骤，生成与所述基本视和所述从属视之间的视差相当的视差向量。并且，也可以是，在所述预测运动向量候选生成步骤中，在所述编码对象图片属于所述从属视、而且是GOP(Group Of Pictures)开头的图片的情况下，使所述多个预测运动向量中的一个预测运动向量包含所述视差向量作为所述替代向量。

[0023] 另外，也可以是，该动态图像编码方法是对分别属于构成多视点影像的基本视及从属视的图片进行编码的方法，还包括视差向量生成步骤，生成与所述基本视和所述从属视之间的视差相当的视差向量。并且，也可以是，在所述预测运动向量候选生成步骤中，在禁止从所述已编码图片取得所述时间预测运动向量的情况下，使所述多个预测运动向量中的一个预测运动向量包含所述视差向量作为所述替代向量。

[0024] 另外，也可以是，视差向量是使用如下运动向量计算出的，该运动向量是在针对构成从属视的图片的各块使用基本视的对应的图片进行视间预测时的运动向量。并且，也可以是，在所述预测运动向量候选生成步骤中，使所述多个预测运动向量中的一个预测运动向量包含在对所述编码对象图片所属的GOP紧前面的GOP开头的图片进行编码时的所述视差向量，作为所述替代向量。

[0025] 另外，也可以是，视差向量是使用如下运动向量计算出的，该运动向量是在针对构成从属视的图片的各块使用基本视的对应的图片进行视间预测时的运动向量。并且，也可以是，在所述预测运动向量候选生成步骤中，使所述多个预测运动向量中的一个预测运动向量包含在对所述编码图片紧前面的已被编码的图片进行编码时的所述视差向量，作为所述替代向量。

[0026] 本发明的一个方式的动态图像解码方法是对构成解码对象图片的解码对象块进行帧间预测解码的方法。具体地讲，动态图像解码方法包括：预测运动向量候选生成步骤，生成多个预测运动向量；运动向量解码步骤，使用在所述预测运动向量候选生成步骤中生成的多个所述预测运动向量中的一个预测运动向量，对所述运动向量进行解码；以及图像解码步骤，使用在所述运动向量解码步骤中被解码后的所述运动向量对所述解码对象块进行解码。并且，在所述预测运动向量候选生成步骤中，在从与和所述解码对象图片不同的已解码图片中所包含的所述解码对象块对应的块不能取得时间预测运动向量的情况下，使所述多个预测运动向量中的一个预测运动向量包含取代所述时间预测运动向量的替代向量。

[0027] 本发明的一个方式的动态图像编码装置对构成编码对象图片的编码对象块进行帧间预测编码。具体地讲，动态图像编码装置具有：图像编码部，使用运动向量对所述编码对象块进行编码；预测运动向量候选生成部，生成多个预测运动向量；以及运动向量编码部，使用由所述预测运动向量候选生成部生成的多个所述预测运动向量中的一个预测运动向量，对所述运动向量进行编码。并且，在从与和所述编码对象图片不同的已编码图片中所包含的所述编码对象块对应的块不能取得时间预测运动向量的情况下，所述预测运动向量候选生成部使所述多个预测运动向量中的一个预测运动向量包含取代所述时间预测运动向量的替代向量。

[0028] 本发明的一个方式的动态图像解码装置对构成解码对象图片的解码对象块进行帧间预测解码。具体地讲，动态图像解码装置具有：预测运动向量候选生成部，生成多个预测运动向量；运动向量解码部，使用由所述预测运动向量候选生成部生成的多个所述预测运动向量中的一个预测运动向量，对所述运动向量进行解码；以及图像解码部，使用由所述运动向量解码部进行解码后的所述运动向量对所述解码对象块进行解码。并且，在从与和所述解码对象图片不同的已解码图片中所包含的所述解码对象块对应的块不能取得时间预测运动向量的情况下，所述预测运动向量候选生成部使所述多个预测运动向量中的一个预测运动向量包含取代所述时间预测运动向量的替代向量。

[0029] 本发明的一个方式的动态图像编解码装置具有：动态图像编码部，对构成编码对象图片的编码对象块进行帧间预测编码；以及动态图像解码部，对由所述动态图像编码部生成的解码对象块进行帧间预测解码。具体地讲，所述动态图像编码部具有：图像编码部，使用运动向量对所述编码对象块进行编码；第1预测运动向量候选生成部，生成多个预测运动向量；以及运动向量编码部，使用由所述第1预测运动向量候选生成部生成的多个所述预测运动向量中的一个预测运动向量，对所述运动向量进行编码。并且，在从与和所述编码对象图片不同的已编码图片中所包含的所述编码对象块对应的块不能取得时间预测运动向量的情况下，所述预测运动向量候选生成部使所述多个预测运动向量中的一个预测运动向量包含取代所述时间预测运动向量的替代向量。所述动态图像解码部具有：第2预测运动向量候选生成部，生成多个预测运动向量；运动向量解码部，使用由所述第2预测运动向量候选生成部生成的多个所述预测运动向量中的一个预测运动向量，对所述运动向量进行解码；以及图像解码部，使用由所述运动向量解码部进行解码后的所述运动向量对所述解码对象块进行解码。并且，在从与和所述解码对象图片不同的已解码图片中所包含的所述解码对象块对应的块不能取得时间预测运动向量的情况下，所述预测运动向量候选生成部使所述多个预测运动向量中的一个预测运动向量包含取代所述时间预测运动向量的替代向量。

[0030] 本发明的另一个方式的图像编码方法是使用参照块的参照运动向量对编码对象块进行编码的方法，该参照块包含在与包括所述编码对象块的编码对象图片不同的参照图片中。所述参照块在图片内的位置与编码对象块在编码对象图片内的位置相同。图像编码方法包括：编码方法决定步骤，决定规定的标志的值，该规定的标志表示在进行所述编码对象块的运动向量编码时使用所述参照块的第1所述参照运动向量、还是使用所述参照图片的第2所述参照运动向量；参照运动向量附加步骤，在所述规定的标志表示使用所述参照图片的所述第2参照运动向量的情况下，将从所述第2参照运动向量求出的所述第3参照运动向量附加在比特流中；运动向量编码步骤，按照所述规定的标志的值，对所述编码对象块的运动向量进行编码；以及标志附加步骤，将所述规定的标志附加在比特流中。

[0031] 另外，也可以是，所述编码方法决定步骤包括计数步骤，计数已编码的所述编码对象图片的张数，如果所述已编码张数小于规定的值，则决定在进行所述编码对象块的运动向量编码时使用所述参照块的第1所述参照运动向量，如果所述已编码张数为规定的值以上，则决定在进行所述编码对象块的运动向量编码时使用所述参照图片的第2所述参照运动向量，并将所述张数清空。

[0032] 另外，也可以是，所述参照图片的第2所述参照运动向量是从所述参照图片内的已编码块的运动向量的平均值计算出的。

[0033] 另外，也可以是，所述参照图片的第2所述参照运动向量是从所述参照图片内的已编码块的运动向量中出现频次最多的所述运动向量计算出的。

[0034] 另外，也可以是，所述运动向量编码步骤包括：选择步骤，在所述参照块具有两个以上的参照运动向量的情况下，根据所述参照图片在所述编码对象图片前方还是后方，选择使用所述参照运动向量中的哪个参照运动向量；以及使用所决定的所述参照运动向量对所述编码对象块的所述运动向量进行编码的步骤。

[0035] 另外，也可以是，在所述选择步骤中，在所述参照块具有前方和后方的所述参照运动向量的情况下，在所述编码对象块位于所述参照块的前方时，选择所述参照运动向量中参照前方的所述参照运动向量，在所述编码对象块位于所述参照块的后方时，选择所述参照运动向量中参照后方的所述参照运动向量。

[0036] 另外，也可以是，在所述选择步骤中，在所述参照块具有前方或者后方任意一方的所述参照运动向量的情况下，与所述参照块和所述编码对象块的位置关系无关，都是选择所述参照块具有的所述前方或者后方的任意一方的所述参照运动向量。

[0037] 本发明的另一个方式的图像解码方法是使用参照块的参照运动向量对解码对象块进行解码的方法，该参照块包含在与包括所述解码对象块的解码对象图片不同的参照图片中。所述参照块在图片内的位置与解码对象块在解码对象图片内的位置相同。图像解码方法包括：标志解码步骤，对规定的标志的值进行解码，该规定的标志表示在进行所述解码对象块的运动向量解码时使用所述参照块的第1所述参照运动向量、还是使用所述参照图片的第2所述参照运动向量；参照运动向量解码步骤，在所述规定的标志表示使用所述参照图片的所述第2参照运动向量的情况下，从比特流中对从所述第2参照运动向量求出的所述第3参照运动向量进行解码；以及运动向量解码步骤，按照所述规定的标志的值，对所述解码对象块的运动向量进行解码。

[0038] 另外，也可以是，所述运动向量解码步骤包括：选择步骤，在所述参照块具有两个以上的参照运动向量的情况下，根据所述参照图片在所述解码对象图片前方还是后方，选择使用所述参照运动向量中的哪个参照运动向量；以及使用所决定的所述参照运动向量对所述解码对象块的所述运动向量进行解码的步骤。

[0039] 另外，也可以是，在所述选择步骤中，在所述参照块具有前方和后方的所述参照运动向量的情况下，在所述解码对象块位于所述参照块前方时，选择所述参照运动向量中参照前方的所述参照运动向量，在所述解码对象块位于所述参照块后方时，选择所述参照运动向量中参照后方的所述参照运动向量。

[0040] 另外，也可以是，在所述选择步骤中，在所述参照块具有前方或者后方任意一方的所述参照运动向量的情况下，与所述参照块和所述解码对象块的位置关系无关，都是选择所述参照块具有的所述前方或者后方的任意一方的所述参照运动向量。

[0041] 另外，也可以是，所述参照图片的第2所述参照运动向量是从所述参照图片内的已解码块的运动向量的平均值计算出的。

[0042] 另外，也可以是，所述参照图片的第2所述参照运动向量是从所述参照图片内的已解码块的运动向量中出现频次最多的所述运动向量计算出的。

[0043] 发明效果

[0044] 根据本发明，通过进行使预测运动向量的候选中包含时间预测运动向量或者包含替代向量的切换，能够抑制编码效率下降，并防止解码错误的传播。

附图说明

[0045] 图1是实施方式1的动态图像编码装置的块图。

[0046] 图2是表示实施方式1的动态图像编码方法的处理流程的概要的图。

[0047] 图3是表示预测运动向量的候选的示例的图。

[0048] 图4是表示对预测运动向量索引进行可变长度编码时的代码表的示例的图。

[0049] 图5是表示预测运动向量候选的决定流程的图。

[0050] 图6是表示向colPic存储器及全体向量保存部的读写处理的示意图。

[0051] 图7A是表示图2的步骤S11的具体处理流程的图。

[0052] 图7B是表示被其它图片参照的B图片的示例的图。

[0053] 图8是表示图2的步骤S17的具体处理流程的图。

[0054] 图9是表示图2的步骤S13和步骤S14的具体处理流程的图。

[0055] 图10A是表示使用前方参照运动向量导出预测运动向量的候选的方法的一例的图。

[0056] 图10B是表示使用后方参照运动向量导出预测运动向量的候选的方法的一例的图。

[0057] 图11A是表示使用后方参照运动向量导出预测运动向量的候选的方法的一例的图。

[0058] 图11B是表示使用前方参照运动向量导出预测运动向量的候选的方法的一例的图。

[0059] 图12是实施方式2的动态图像解码装置的块图。

[0060] 图13是表示实施方式2的动态图像解码方法的处理流程的概要的图。

[0061] 图14是表示实施方式2的动态图像解码方法中的比特流的句法的图。

[0062] 图15是实施方式1的变形例的动态图像编码装置的块图。

[0063] 图16是表示实施方式1的变形例的动态图像编码方法的动作的流程图。

[0064] 图17是表示由属于基本视及从属视的图片构成的图像的图。

[0065] 图18是实施方式2的变形例的动态图像解码装置的块图。

[0066] 图19是表示时间预测运动向量模式中的运动向量的说明图。

[0067] 图20是实现内容分发服务的内容供给系统的整体结构图。

[0068] 图21是数字广播用系统的整体结构图。

[0069] 图22是表示电视机的结构例的模块图。

[0070] 图23是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的模块图。

[0071] 图24是表示作为光盘的记录介质的构造例的图。

[0072] 图25A是表示便携电话的一例的图。

[0073] 图25B是表示便携电话的结构例的模块图。

[0074] 图26是表示复用数据的结构的图。

[0075] 图27是示意地表示各流在复用数据中怎样被复用的图。

[0076] 图28是更详细地表示在PES包序列中视频流怎样被保存的图。

[0077] 图29是表示复用数据的TS包和源包的构造的图。

[0078] 图30是表示PMT的数据结构的图。

[0079] 图31是表示复用数据信息的内部结构的图。

[0080] 图32是表示流属性信息的内部结构的图。

[0081] 图33是表示识别影像数据的步骤的图。

[0082] 图34是表示实现各实施方式的动态图像编码方法及动态图像解码方法的集成电路的结构例的模块图。

[0083] 图35是表示切换驱动频率的结构的图。

[0084] 图36是表示识别影像数据、切换驱动频率的步骤的图。

[0085] 图37是表示将影像数据的规格与驱动频率建立了对应的查找表的一例的图。

[0086] 图38A是表示将信号处理部的模块共用的结构的一例的图。

[0087] 图38B是表示将信号处理部的模块共用的结构的另一例的图。

具体实施方式

[0088] 下面，参照附图说明本发明的实施方式。

[0089] (实施方式1)

[0090] 图1是表示使用实施方式1的动态图像编码方法的动态图像编码装置的结构的块图。

[0091] 动态图像编码装置100如图1所示具有减法部101、正交变换部102、量化部103、逆量化部104、逆正交变换部105、加法部106、块存储器107、帧存储器108、帧内预测部109、帧间预测部110、开关111、帧间预测控制部112、图片类型决定部113、时间预测运动向量计算部114、colPic存储器115、全体向量保存部116、co-located信息决定部117、可变长度编码部118。

[0092] 减法部101从装置外部取得包括编码对象块的输入图像序列，从开关111取得预测块，将从编码对象块减去预测块得到的残差块输出给正交变换部102。

[0093] 正交变换部102将从减法部101取得的残差块从图像区域变换为频率区域，将变换系数输出给量化部103。量化部103对从量化部103取得的变换系数进行量化，将量化系数输出给逆量化部104和可变长度编码部118。

[0094] 逆量化部104对从量化部取得的量化系数进行逆量化，将被复原后的变换系数输出给逆正交变换部105。逆正交变换部105将从逆量化部104取得的被复原后的变换系数从频率区域变换为图像区域，将被复原后的残差块输出给加法部106。

[0095] 加法部106将从逆正交变换部105取得的被复原后的残差块和从开关111取得的预测块进行相加，将被复原后的编码对象块输出给块存储器107和帧存储器108。块存储器107以块单位保存被复原后的输入图像序列。帧存储器108以帧单位保存被复原后的输入图像序列。

[0096] 图片类型决定部113决定按照I图片、B图片、P图片的哪种图片类型对输入图像序列进行编码，并生成图片类型信息。并且，图片类型决定部113将所生成的图片类型信息输出给开关111、帧间预测控制部112、co-located信息决定部117、以及可变长度编码部118。

[0097] 帧内预测部109使用在块存储器107中保存的块单位的被复原后的输入图像序列，对编码对象块进行帧内预测并生成预测块，并输出给开关111。帧间预测部110使用在帧存储器108中保存的帧单位的被复原后的输入图像序列、和通过运动检测而导出的运动向量，对编码对象块进行帧间预测并生成预测块，并输出给开关111。

[0098] 开关111将由帧内预测部109生成的预测块或者由帧间预测部110生成的预测块输出给减法部101和加法部106。例如，开关111可以输出两个预测块中编码成本较小的预测块。

[0099] co-located信息决定部117决定是否禁止co-located块的使用。并且，co-located信息决定部117按照每个图片生成表示决定结果的co-located使用禁止标志，并输出给时间预测运动向量计算部114和可变长度编码部118。该co-located使用禁止标志包含在比特流(典型地讲是图片标题或者条带头)中。

[0100] 另外，co-located信息决定部117决定将按照显示时间顺序位于编码对象图片的前方的图片中所包含的块(以后称为前方参照块)、或者位于编码对象图片的后方的图片中所包含的块(以后称为后方参照块)中哪一方作为co-located块。换言之，前方参照块是包含在利用参照图片列表L0确定的参照图片中的块。并且，后方参照块是包含在利用参照图片列表L1确定的参照图片中的块。

[0101] 另外，co-located信息决定部117按照每个图片生成表示决定结果的co-located参照方向标志，并输出给时间预测运动向量计算部114和可变长度编码部118。该co-located参照方向标志包含在比特流(典型地讲是图片标题或者条带头)中。并且，在co-located使用禁止标志被设定了表示“禁止”的值的情况下，也可以省略co-located参照方向标志。

[0102] 其中，所谓co-located块是指与包括编码对象块的编码对象图片不同的图片内的块，而且在图片内的位置是与编码对象块相同的位置的块。另外，编码对象块和co-located块在各图片内的位置也可以不严格一致。例如，也可以将与编码对象图片不同的图片内的编码对象块的相同位置的块的周围(相邻)的块设为co-located块。

[0103] 时间预测运动向量计算部114根据从co-located信息决定部117取得的co-located使用禁止标志的值，使用在colPic存储器115中存储的co-located块的运动向量等colPic信息、或者在全体向量保存部中存储的colPic图片的全体运动向量，导出预测运动向量的候选。

[0104] 具体地讲，在co-located禁止标志为有效(禁止)的情况下，时间预测运动向量计算部114将从全体向量保存部116读出的全体运动向量(替代向量)追加到预测运动向量的候选中。另一方面，在co-located禁止标志为无效(许可)的情况下，时间预测运动向量计算部114将使用从colPic存储器115读出的colPic信息计算出的时间预测运动向量追加到预测运动向量的候选中。

[0105] 另外，时间预测运动向量计算部114对作为候选而追加的预测运动向量分配预测运动向量索引的值。并且，时间预测运动向量计算部114将作为候选而追加的预测运动向量和预测运动向量索引输出给帧间预测控制部112。另一方面，在co-located块不具有运动向量的情况下，时间预测运动向量计算部114停止基于时间预测运动向量模式的运动向量导出、或者导出运动量为0的向量作为预测运动向量的候选。并且，时间预测运动向量计算部114将全体运动向量输出给可变长度编码部118。

[0106] 帧间预测控制部112决定从多个预测运动向量的候选中，使用与通过运动检测而导出的运动向量的误差为最小的预测运动向量，进行运动向量的编码。其中，所谓误差例如是指预测运动向量候选与通过运动检测而导出的运动向量的差分值。

[0107] 另外，帧间预测控制部112按照每个块确定与所决定的预测运动向量对应的预测运动向量索引。并且，帧间预测控制部112将预测运动向量索引、以及运动向量与预测运动向量的差分值输出给可变长度编码部。并且，帧间预测控制部112将包括编码对象块的运动向量等的colPic信息发送给colPic存储器115。并且，帧间预测控制部112将编码块的运动向量等传送给全体向量保存部116。

[0108] 在colPic存储器115中存储有包括编码对象块的运动向量等的colPic信息，并用于下一个图片的编码时的预测向量。全体向量保存部116根据图片全体的编码对象块的运动向量计算全体运动向量，并进行存储以便用于下一个图片的编码时的预测向量。

[0109] 可变长度编码部118对从量化部103取得的量化系数、从帧间预测控制部112取得的预测运动向量索引以及运动向量与预测运动向量的差分值、从图片类型决定部113取得的图片类型信息、从co-located信息决定部117取得的co-located使用禁止标志和co-located参照方向标志、以及从时间预测运动向量计算部114取得的时间预测全体运动向量进行可变长度编码，并生成比特流。

[0110] 图2是本发明的实施方式1的动态图像编码方法的处理流程的概要。

[0111] co-located信息决定部117在以时间预测运动向量模式导出预测运动向量候选时，利用后述的方法决定co-located使用禁止标志和co-located参照方向标志等co-located信息(S11)。

[0112] 然后，时间预测运动向量计算部114判定co-located使用禁止标志是否为有效(禁止)(S12)。并且，如果判定结果为有效(S12：是)，时间预测运动向量计算部114从全体向量保存部116读出全体运动向量，并将所读出的全体运动向量附加在图片标题等标题信息中(S13)。

[0113] 然后，时间预测运动向量计算部114将全体运动向量作为时间预测运动向量的替代向量追加到预测运动向量的候选中。并且，时间预测运动向量计算部114对追加到候选中的预测运动向量分配预测运动向量索引的值。

[0114] 另一方面，如果co-located使用禁止标志为无效(S12：否)，时间预测运动向量计算部114根据co-located信息，从colPic存储器读出包括co-located块的参照运动向量等的colPic信息，并将使用co-located块的参照运动向量计算出的时间预测运动向量追加到预测运动向量的候选中(S17)。并且，时间预测运动向量计算部114对追加到候选中的预测运动向量分配预测运动向量索引的值。

[0115] 通常，预测运动向量索引在其值较小时，所需要的信息量较少。另一方面，在预测运动向量索引的值增大时，所需要的信息量增大。因此，如果对成为精度较高的运动向量的可能性比较大的运动向量分配较小的预测运动向量索引，则编码效率提高。

[0116] 然后，帧间预测部110使用通过运动检测而导出的运动向量进行帧间预测，由此生成编码对象块的预测块。并且，减法部101、正交变换部102、量化部103和可变长度编码部118使用由帧间预测部110生成的预测块，对编码对象块进行编码。

[0117] 另外，帧间预测控制部112使用多个预测运动向量的候选中与运动向量的误差为最小的预测运动向量，对运动向量进行编码。帧间预测控制部112例如将多个预测运动向量的候选中各个候选与通过运动检测而导出的运动向量的差分值作为误差，将误差为最小的预测运动向量决定为在进行运动向量的编码时使用的预测运动向量。

[0118] 并且，帧间预测控制部112将与所选择的预测运动向量对应的预测运动向量索引、以及运动向量与预测运动向量的误差信息，输出给可变长度编码部118。可变长度编码部118对从帧间预测控制部112取得的预测运动向量索引及误差信息进行可变长度编码，并将其包含在比特流中。

[0119] 然后，帧间预测控制部112将包括在进行帧间预测时使用的运动向量等的colPic信息保存在colPic存储器115中。在colPic存储器115中存储有参照图片的运动向量、参照图片的索引值及预测方向等，以便计算编码对象块的时间预测运动向量。另外，帧间预测控制部112将在进行帧间预测时使用的运动向量等保存在全体向量保存部116中(S16)。

[0120] 图3表示预测运动向量的候选的示例。运动向量A(MV_A)是位于编码对象块的左侧的相邻块A的运动向量。运动向量B(MV_B)是位于编码对象块的上侧的相邻块B的运动向量。运动向量C(MV_C)是位于编码对象块的右上侧的相邻块C的运动向量。另外，Median(MV_A，MV_B，MV_C)表示运动向量A、B、C的中间值。在此，中间值是使用例如下面的式1～式3导出的。

[0121] [数式1]

[0122] Median(x，y，z)＝x+y+z-Min(x，Min(y，z))-Max(x，Max(y，z))···(式1)[0123] [数式2]

[0124]

[0125] [数式3]

[0126]

[0127] 关于预测运动向量索引的值，将对应于Median(MV_A，MV_B，MV_C)的值设为0，将对应于运动向量A的值设为1，将对应于运动向量B的值设为2，将对应于运动向量C的值设为3，将对应于时间预测运动向量(或者替代向量)的值设为4。预测运动向量索引的分配方式不限于该示例。

[0128] 图4表示在对预测运动向量索引进行可变长度编码时使用的代码表的示例。在图4的示例中，按照预测运动向量索引的值从小到大的顺序分配代码长度从短到长的代码。因此，通过对预测精度良好的可能性比较大的预测运动向量的候选分配较小的预测运动向量索引，能够提高编码效率。

[0129] 图5是表示帧间预测控制部112中的预测运动向量候选的决定流程的图。根据图5所示的流程，将与通过运动检测而导出的运动向量的误差为最小的预测运动向量的候选，决定为在对运动向量进行编码时使用的预测运动向量。并且，运动向量与预测运动向量的误差信息、以及表示所决定的预测运动向量的预测运动向量索引被实施可变长度编码，并被包含在比特流中。

[0130] 具体地讲，首先，帧间预测控制部112将预测运动向量候选索引mvp_idx及最小运动向量误差初始化(S21)。然后，帧间预测控制部112将预测运动向量候选索引mvp_idx和预测运动向量候选数(图3所示的表的记录数)进行比较(S22)。

[0131] 如果mvp_idx<预测运动向量候选数(S22：是)，帧间预测控制部112使用多个预测运动向量的候选中的一个预测运动向量候选计算运动向量误差(误差信息)(S23)。例如，帧间预测控制部112从在进行编码对象块的编码时使用的运动向量减去图3中的预测运动向量索引＝0的预测运动向量，由此计算出运动向量误差。

[0132] 然后，帧间预测控制部112将在步骤S23计算出的运动向量误差和最小运动向量误差进行比较(S24)。如果运动向量误差<最小运动向量误差(S24：是)，帧间预测控制部112将在步骤S23计算出的运动向量误差设定(覆盖)为最小运动向量误差，将当前的mvp_idx设定(覆盖)为预测运动向量索引(S25)。另一方面，如果运动向量误差≧最小运动向量误差(S24：否)，则跳过步骤S25。

[0133] 并且，帧间预测控制部112将mvp_idx递增1(S26)，并按照预测运动向量的候选数反复执行上述的各个处理(步骤S22～步骤S26)。并且，帧间预测控制部112在mvp_idx＝预测运动向量候选数(S22)的时刻，将对最小运动向量误差及预测运动向量索引设定的值输出给可变长度编码部118，结束图5的处理(S27)。

[0134] 图6是表示向图1所示的colPic存储器115及全体向量保存部116的读写处理的示意图。在图6中，co-located图片colPic的co-located块的预测方向1的运动向量mvCol1和预测方向2的运动向量mvCol2被存储在colPic存储器115及全体向量保存部116中。

[0135] 其中，co-located块是指在co-located图片colPic内的位置与在编码对象图片内的编码对象块的位置一致的块。另外，关于co-located图片colPic在编码对象图片前方还是后方，是利用co-located参照方向标志进行切换的。在对编码对象块进行编码时，包括在colPic存储器115中存储的运动向量等的colPic信息、或者全体向量保存部116的全体运动向量，根据co-located使用禁止标志而被读出，并被追加到预测运动向量的候选中。

[0136] 预测运动向量的候选在进行编码对象块的运动向量的编码时使用。另外，在本实施方式1中，使用将预测方向1设为前方参照、将预测方向2设为后方参照的示例进行说明，但也可以是，将预测方向1设为后方参照、将预测方向2设为前方参照，或者将预测方向1和预测方向2双方都设为前方参照或者后方参照。

[0137] 在全体向量保存部116中存储有全体运动向量，其是根据构成编码对象图片的各编码对象块的运动向量计算出的。例如，可以考虑将在进行编码对象图片全体的帧间预测编码时的运动向量的每个预测方向的平均值等设为全体运动向量。另外，在本实施方式1中，关于全体向量，示出了使用构成编码对象图片的各编码对象块的运动向量的平均值的示例，但不限于此。

[0138] 例如，也可以将在进行构成编码对象图片的各编码对象块的帧间预测编码时的运动向量的中间值或者加权平均值设为全体运动向量。或者，也可以将在进行构成编码对象图片的各编码对象块的帧间预测编码时的运动向量中出现频次最多的运动向量的值设为全体运动向量。或者，也可以将在进行构成编码对象图片的各编码对象块的帧间预测编码时的运动向量中、参照显示顺序为最近的图片的运动向量的值设为全体运动向量。

[0139] 图7A是图2的步骤S11的具体处理流程。下面，对图7A进行说明。

[0140] 首先，co-located信息决定部117判定是否对编码对象图片执行使用co-located块的时间预测运动向量模式(S31)。并且，co-located信息决定部117按照每个图片生成表示是否许可co-located块的使用(许可时间直连模式(temprol direct mode))的co-located使用禁止标志，并输出给可变长度编码部118。

[0141] 例如，在进行流分发等时，为了抑制基于时间预测运动向量模式的解码错误的传播，可以考虑按照某个一定间隔将co-located使用禁止标志设为有效。作为实现该方法的示例，准备用于计数已编码的编码对象图片的张数的计数器，如果已编码张数小于某个阈值，将co-located使用禁止标志设为无效，如果已编码张数为阈值以上，将co-located使用禁止标志设为有效，并将计数器重设为0等。

[0142] 另外，例如在有可能成为参照的对象的图片(例如P图片、被其它图片参照的B图片)中，将co-located使用禁止标志设为有效，在不可能成为参照的对象的非参照图片(例如不被其它图片参照的B图片)中，将co-located使用禁止标志设为无效，由此抑制解码错误传播等。这样，通过对被其它图片参照的图片将co-located使用禁止标志设为有效，能够有效地抑制解码错误的传播。

[0143] 然后，co-located信息决定部117决定将前方参照块或者后方参照块中哪一方设为co-located块(S32)。例如，可以考虑将前方参照图片中所包含的co-located块(前方参照块)和后方参照图片中所包含的co-located块(后方参照块)中、按照显示顺序与编码对象图片的距离较近的一方决定为co-located块等。然后，co-located信息决定部117按照每个图片生成表示co-located块是前方参照块还是后方参照块的co-located参照方向标志，并输出给可变长度编码部118。

[0144] 图7B表示被其它图片参照的B图片的示例。图7B定义了被划分为多个层次的参照构造。在该构造中，将流的开头设为I图片，除开头的I图片以外使用B图片。并且，属于多个层次中级别较高的层次的图片参照属于同一级别的层次的图片或者属于较低级别的层次的图片。

[0145] 例如，在图7B中，属于层3的图片B1参照属于层0的图片I0、属于层2的图片Br2。另外，属于级别最低的层0的Br8参照属于同一层次的图片I0。在此，采取属于级别最低的层0的图片仅参照根据显示顺序在其前方的图片的构造。在这种参照构造中，对于被其它图片参照的可能性比较大的属于层0的图片，可以考虑将co-located使用禁止标志设为有效。

[0146] 图8是图2的步骤S17的具体处理流程。下面，对图8进行说明。

[0147] 首先，时间预测运动向量计算部114从colPic存储器115读出包括预测方向1的参照运动向量和预测方向2的参照运动向量等的colPic信息(S41)。然后，时间预测运动向量计算部114判定colPic信息中所包含的co-located块是否具有两个以上的运动向量(S42)。即，时间预测运动向量计算部114判定co-located块是否具有前方参照运动向量(mvL0)和后方参照运动向量(mvL1)。

[0148] 在判定为co-located块具有两个以上的运动向量的情况下(S42：是)，时间预测运动向量计算部114判定co-located块是否是后方参照块(S43)。即，时间预测运动向量计算部114判定包括co-located块的图片按照显示顺序是否位于编码对象图片的后方。

[0149] 然后，在判定为co-located块是后方参照块的情况下(S43：是)，时间预测运动向量计算部114使用co-located块的前方参照运动向量(相对于参照图片列表L0的参照图片的运动向量mvL0)，按照时间预测运动向量模式导出时间预测运动向量(S44)。并且，时间预测运动向量计算部114将在步骤S44计算出的时间预测运动向量追加到预测运动向量的候选中(S45)。

[0150] 另一方面，在判定为co-located块是前方参照块的情况下(S43：否)，时间预测运动向量计算部114使用co-located块的后方参照运动向量(相对于参照图片列表L1的参照图片的运动向量mvL1)，按照时间预测运动向量模式导出时间预测运动向量(S46)，并追加到预测运动向量的候选中(S45)。

[0151] 另一方面，在判定为co-located块只具有前方参照运动向量或者后方参照运动向量任意一方的情况下(S42：否)，时间预测运动向量计算部114判定co-located块是否具有前方参照运动向量(S47)。在判定为co-located块具有前方参照运动向量的情况下(S47：是)，时间预测运动向量计算部114使用co-located块的前方参照运动向量导出编码对象块的时间预测运动向量(S48)，并追加到预测运动向量的候选中(S45)。

[0152] 另一方面，在判定为co-located块不具有前方参照运动向量的情况下(S47：否)，时间预测运动向量计算部114判定co-located块是否具有后方参照运动向量(S49)。在判定为co-located块具有后方参照运动向量的情况下(S49：是)，时间预测运动向量计算部114使用后方参照运动向量导出编码对象块的时间预测运动向量(S50)，并追加到预测运动向量的候选中(S45)。

[0153] 另一方面，在判定为co-located块不具有后方参照运动向量的情况下(S49：否)，时间预测运动向量计算部114不将时间预测运动向量追加到预测运动向量的候选中，结束图8的处理(S51)。或者，也可以取代步骤S51的处理，时间预测运动向量计算部114将co-located块的时间预测运动向量设为0(运动量为0的运动向量)，并追加到预测运动向量的候选中。

[0154] 另外，在图8的处理流程中，在步骤S47判定co-located块是否具有前方参照运动向量，在步骤S49判定co-located块是否具有后方参照运动向量，但不限于该流程。例如，也可以是，首先判定co-located块是否具有后方参照运动向量，然后判定co-located块是否具有前方参照运动向量。

[0155] 图9是图2的步骤S13和步骤S14的具体处理流程。下面，对图9进行说明。

[0156] 首先，时间预测运动向量计算部114从全体向量保存部116读出包括预测方向1的全体运动向量以及/或者预测方向2的全体运动向量等的全体运动向量信息(S61)。然后，时间预测运动向量计算部114判定在全体运动向量信息中是否具有两个以上的运动向量(S62)。即，时间预测运动向量计算部114判定前方参照运动向量(mvL0)和后方参照运动向量(mvL1)是否包含在全体运动向量信息中。

[0157] 在判定为全体运动向量信息中具有两个以上的运动向量的情况下(S62：是)，时间预测运动向量计算部114判定co-located参照方向是否是后方参照块(S63)。在判定为co-located参照方向是后方参照块的情况下(S63：是)，时间预测运动向量计算部114选择全体运动向量信息的前方参照运动向量(S64)。

[0158] 并且，时间预测运动向量计算部114将所选择的全体运动向量附加在图片标题等标题信息中(输出给可变长度编码部118)，并且追加到编码对象块的预测运动向量的候选中(S65)。另外，时间预测运动向量计算部114将用于确定所选择的全体运动向量所参照(更具体地讲，是在计算全体运动向量时使用的多个运动向量所参照)的参照图片的信息附加在标题信息中。该信息将在后面使用图10A～图11B说明的定标处理中使用。

[0159] 另一方面，在判定为co-located参照方向是前方参照块的情况下(S63：否)，时间预测运动向量计算部114选择全体运动向量信息的后方参照运动向量(S66)。并且，时间预测运动向量计算部114将所选择的全体运动向量附加在图片标题等标题信息中，并且追加到编码对象块的预测运动向量的候选中(S65)。

[0160] 另外，在判定为全体运动向量信息只具有前方参照运动向量或者后方参照运动向量任意一方的情况下(S62)，时间预测运动向量计算部114判定全体运动向量信息是否具有前方参照运动向量(S67)。

[0161] 在判定为全体运动向量信息具有前方参照运动向量的情况下(S67：是)，时间预测运动向量计算部114选择全体运动向量信息的前方参照运动向量(S68)。并且，时间预测运动向量计算部114将所选择的全体运动向量附加在图片标题等标题信息中，并且追加到编码对象块的预测运动向量的候选中(S65)。

[0162] 另一方面，在判定为全体运动向量信息不具有前方参照运动向量的情况下(S67：否)，时间预测运动向量计算部114判定全体运动向量信息是否具有后方参照运动向量(S69)。在判定为全体运动向量信息具有后方参照运动向量的情况下(S69)，时间预测运动向量计算部114选择全体运动向量信息的后方参照运动向量(S70)。并且，时间预测运动向量计算部114将所选择的全体运动向量附加在图片标题等标题信息中，并且追加到编码对象块的预测运动向量的候选中(S65)。

[0163] 另一方面，在判定为全体运动向量信息不具有后方参照运动向量的情况下(S69：否)，时间预测运动向量计算部114不将时间预测运动向量追加到预测运动向量候选中、或者将全体运动向量设为0(S71)。并且，时间预测运动向量计算部114将所设定的全体运动向量附加在图片标题等标题信息中，并且追加到编码对象块的预测运动向量的候选中(S65)。

[0164] 另外，在图9的处理流程中，在步骤S67判定全体运动向量信息是否具有前方参照运动向量，在步骤S69判定全体运动向量信息是否具有后方参照运动向量，但不限于该流程。例如，也可以是，首先判定全体运动向量信息是否具有后方参照运动向量，然后判定全体运动向量信息是否具有前方参照运动向量。

[0165] 另外，在图9的步骤S63～步骤S66中，说明了根据co-located参照方向标志来决定选择全体运动向量mvL0、mvL1哪一方的示例，但本发明不限于此。例如也可以是，在参照图片列表L0的预测运动向量的候选中选择全体运动向量mvL0，在参照图片列表L1的预测运动向量的候选中选择全体运动向量mvL1。由此，在使用全体运动向量的情况下，不再需要将co-located参照方向标志附加在标题中，因而编码效率进一步提高。

[0166] 下面，详细说明将时间预测运动向量追加到预测运动向量的候选中时的定标方法。另外，关于将全体运动向量追加为预测向量的候选时的定标方法，仅是将全体运动向量用作输入来取代co-located块的参照运动向量，除此之外相同，因而省略说明。

[0167] 图10A表示这样的方法：在co-located块是后方参照块、而且具有前方参照运动向量和后方参照运动向量的情况下，使用前方参照运动向量以时间预测运动向量模式导出预测运动向量的候选(时间预测运动向量)的方法。具体地讲，使用前方参照运动向量，按照下面的式4导出预测运动向量的候选(Temporal MV)。

[0168] Temporal MV＝mvL0×(B2-B0)/(B4-B0)……(式4)

[0169] 其中，(B2-B0)表示图片B2和图片B0的显示时间的时间差信息。同样，(B4-B0)表示图片B4和图片B0的显示时间的时间差信息。

[0170] 图10B表示使用后方参照运动向量以时间预测运动向量模式导出预测运动向量的候选(时间预测运动向量)的方法。具体地讲，使用后方参照运动向量，按照下面的式5导出预测运动向量的候选。

[0171] Temporal MV＝mvL1×(B2-B0)/(B4-B8)……(式5)

[0172] 图11A表示这样的方法：在co-located块是前方参照块、而且具有前方参照运动向量和后方参照运动向量的情况下，使用后方参照运动向量以时间预测运动向量模式导出预测运动向量的候选(时间预测运动向量)的方法。具体地讲，使用后方参照运动向量，按照下面的式6导出预测运动向量的候选。

[0173] Temporal MV＝mvL1×(B6-B8)/(B4-B8)……(式6)

[0174] 图11B表示使用前方参照运动向量以时间预测运动向量模式导出预测运动向量的候选(时间预测运动向量)的方法。具体地讲，使用后方参照运动向量，按照下面的式7导出预测运动向量的候选。

[0175] Temporal MV＝mvL0×(B6-B8)/(B4-B0)……(式7)

[0176] 这样，在本实施方式1中，通过按照某个一定间隔将使用参照图片的每个编码处理单位的运动向量的时间预测运动向量模式设为无效，取代其而将参照图片的全体运动向量附加在标题信息中，并使用定标后的全体向量进行编码对象图片的运动向量的编码，由此能够抑制编码效率下降，防止解码错误的传播。

[0177] 更具体地讲，在co-located使用禁止标志为有效的情况下，将从全体向量保存部116读出的全体向量追加到编码对象块的预测运动向量的候选中，并且附加在图片标题等标题信息中。由此，即使是在进行解码时丢失了参照图片的情况下，也能够没有解码错误地进行解码，并抑制错误的传播。

[0178] 另外，在co-located使用禁止标志为无效的情况下，能够根据co-located参照方向标志来选择最适合于编码对象块的参照运动向量，因而能够提高压缩效率。尤其是在co-located块是前方参照块的情况下，通过使用后方参照运动向量，能够减小预测误差。后方参照运动向量是指出从包括co-located块的图片到包括编码对象块的图片的方向上的参照图片的运动向量，接近最佳的运动向量的概率提高，因而预测误差减小。

[0179] 另一方面，前方参照运动向量是与从包括co-located块的图片到包括编码对象块的图片所处的方向为相反方向的运动向量。其结果是，接近最佳的运动向量的概率降低，因而预测误差增大。另外，在co-located块是后方参照块的情况下，同样通过使用前方参照运动向量，接近最佳的运动向量的概率提高，因而能够减小预测误差。

[0180] 另外，在本实施方式1中，在co-located块具有两个以上的运动向量时，根据co-located块是后方参照块还是前方参照块，切换在计算编码对象块的时间预测运动向量时使用的co-located块的运动向量，但不限于此。

[0181] 例如，也可以是，使用参照在时间上接近包括co-located块的图片的参照图片的运动向量(时间性距离较短的运动向量)，计算时间预测运动向量。在此，可以考虑按照显示时间顺序，根据包括co-located块的图片与co-located块所参照的参照图片之间的图片数量，决定时间性距离等。

[0182] 另外，在本实施方式1中，在co-located块具有两个以上的运动向量时，根据co-located块是后方参照块还是前方参照块，切换在计算编码对象块的时间预测运动向量时使用的co-located块的运动向量，但不限于此。例如，也可以是，使用co-located块的两个运动向量中大小较小的运动向量计算时间预测运动向量。在此，所谓运动向量的大小是指运动向量的绝对值等。

[0183] 另外，在本实施方式1中，在co-located使用禁止标志为有效的情况下，将从全体向量保存部116读出的全体向量作为时间预测运动向量的替代向量追加到预测运动向量的候选中，但不限于此。例如，也可以是，始终将全体运动向量设为0并追加到预测运动向量的候选中(即，将运动量为0的运动向量作为替代向量追加到预测运动向量的候选中)。在这种情况下，也可以不将全体运动向量附加在标题信息等中。另外，也可以是，在co-located使用禁止标志为有效的情况下，不始终将时间预测运动向量追加到预测运动向量候选中。通过不将时间预测运动向量追加到预测运动向量候选中，能够提高编码效率。

[0184] 另外，在本实施方式1中，对所有图片附加了co-located使用禁止标志，但也可以仅附加在特定的图片中。例如，也可以考虑这样的结构，仅对被其它图片参照的图片(P图片、被其它图片参照的B图片、在划分为多个层次的参照构造中属于最低级别的层次的图片)附加co-located使用禁止标志，对不被其它图片参照的图片不附加co-located使用禁止标志。这样，通过仅对特定的图片附加co-located使用禁止标志，能够提高编码效率，同时抑制解码错误的传播。

[0185] 另外，在本实施方式1中，对每个图片附加co-located使用禁止标志，但也可以是对由多个块构成的每个条带附加co-located使用禁止标志。通过对每个条带附加co-located使用禁止标志，能够提高全体向量的预测精度。

[0186] 另外，在本实施方式1中，对所有图片附加了co-located使用禁止标志，但也可以不附加co-located使用禁止标志，而是根据图片类型来判定为不将时间预测运动向量追加到预测运动向量候选中。例如，也可以是，在被其它图片参照的图片(P图片、被其它图片参照的B图片、在划分为多个层次的参照构造中属于最低级别的层次的图片)中，不将时间预测运动向量追加到预测运动向量的候选中，而是将全体向量追加到预测运动向量的候选中。这样，通过根据图片类型来判定是否将时间预测运动向量追加到预测运动向量的候选中，能够省略co-located使用禁止标志，因而能够提高编码效率。

[0187] (实施方式2)

[0188] 图12是表示使用本发明的实施方式2的动态图像解码方法的动态图像解码装置200的结构的块图。

[0189] 在本实施方式2中，将按照显示时间顺序位于解码对象图片前方的图片(利用参照图片列表L0确定的参照图片)中所包含的块称为前方参照块。并且，将按照显示时间顺序位于解码对象图片后方的图片(利用参照图片列表L1确定的参照图片)中所包含的块称为后方参照块。

[0190] 动态图像解码装置200如图12所示具有可变长度解码部201、逆量化部202、逆正交变换部203、加法部204、块存储器205、帧存储器206、帧内预测部207、帧间预测部208、开关209、帧间预测控制部210、时间预测运动向量计算部211、以及colPic存储器212。

[0191] 可变长度解码部201对所输入的比特流进行可变长度解码，将图片类型信息输出给开关209和帧间预测控制部210，将预测运动向量索引输出给帧间预测控制部210，将co-located使用禁止标志、co-located参照方向标志和全体运动向量输出给时间预测运动向量计算部211，将量化系数输出给逆量化部202。

[0192] 逆量化部202对从可变长度解码部201取得的量化系数进行逆量化，将变换系数复原并输出给逆正交变换部203。逆正交变换部203将从逆量化部202取得的被复原后的变换系数从频率区域变换为图像区域，将残差块复原并输出给加法部204。

[0193] 加法部204将从逆正交变换部203取得的被复原后的残差块、和从开关209取得的预测块进行相加，将解码块复原。并且，加法部204将包括该被复原后的解码块的解码图像序列输出到装置外部，并且保存在块存储器205和帧存储器206中。

[0194] 块存储器205以块单位保存从加法部204取得的解码图像序列。帧存储器206以帧单位保存从加法部204取得的解码图像序列。

[0195] 帧内预测部207使用在块存储器205中保存的块单位的解码图像序列进行帧内预测，由此生成解码对象块的预测块，并输出给开关209。帧间预测部208使用在帧存储器206中保存的帧单位的解码图像序列进行帧间预测，由此生成解码对象块的预测块，并输出给开关209。开关209将由帧内预测部207生成的预测块或者由帧间预测部208生成的预测块输出给加法部204。

[0196] 时间预测运动向量计算部211在从可变长度解码部201取得的co-located使用禁止标志为无效的情况下，使用在colPic存储器212中存储的co-located块的运动向量等的colPic信息，导出时间预测运动向量模式的预测运动向量的候选(时间预测运动向量)。另一方面，时间预测运动向量计算部211在co-located使用禁止标志为有效的情况下，将从可变长度解码部201取得的全体运动向量追加到预测运动向量的候选中。

[0197] 另外，时间预测运动向量计算部211对作为候选而追加的预测运动向量分配预测运动向量索引。并且，时间预测运动向量计算部211将预测运动向量和预测运动向量索引输出给帧间预测控制部210。

[0198] 另外，在co-located块不具有运动向量的情况下，时间预测运动向量计算部211停止基于时间预测运动向量模式的运动向量导出、或者将运动量为0的运动向量追加到预测运动向量的候选中。

[0199] 帧间预测控制部210从多个预测运动向量的候选中确定与从可变长度解码部201取得的预测运动向量索引对应的预测运动向量。并且，帧间预测控制部210将运动向量与预测运动向量的误差信息、和所确定的预测运动向量进行相加，由此计算出在进行帧间预测时使用的运动向量。并且，帧间预测控制部210将包括解码对象块的运动向量等的colPic信息保存在colPic存储器212中。

[0200] 图13是本发明的实施方式2的动态图像解码方法的处理流程的概要。

[0201] 首先，可变长度解码部201以图片单位对co-located使用禁止标志进行解码(S81)。然后，可变长度解码部201判定co-located使用禁止标志是否为无效(S82)。如果co-located使用禁止标志为无效(S82：是)，可变长度解码部201以图片单位对co-located参照方向标志进行解码(S83)。并且，可变长度解码部201将解码后的co-located使用禁止标志和co-located参照方向标志输出给时间预测运动向量计算部211。

[0202] 然后，时间预测运动向量计算部211利用与图8相同的方法，根据co-located信息，从colPic存储器212读出包括co-located块的参照运动向量等的colPic信息，将使用co-located块的参照运动向量生成的时间预测运动向量追加到预测运动向量的候选中(S84)。

[0203] 另一方面，在co-located使用禁止标志为有效的情况下，时间预测运动向量计算部211从可变长度解码部201取得在图片标题等标题信息中存储的全体运动向量，并追加到预测运动向量的候选中(S87)。

[0204] 然后，帧间预测控制部210从多个预测运动向量的候选中决定与解码后的预测运动向量索引对应的预测运动向量(S85)。并且，帧间预测控制部210将预测误差信息与所决定的预测运动向量进行相加而导出运动向量，并输出给帧间预测部208。并且，帧间预测部208使用所导出的运动向量，通过帧间预测来生成解码对象块的预测块。

[0205] 然后，帧间预测控制部210将包括在进行帧间预测时使用的运动向量等的colPic信息保存在colPic存储器212中(S86)。在colPic存储器212中存储有参照图片的运动向量、参照图片的索引值以及预测方向等，以便计算解码对象块的时间预测运动向量。

[0206] 另外，在参照块具有两个以上的参照运动向量的情况下，用于计算时间预测运动向量的参照运动向量的选择方法不限于基于co-located块参照方向标志的方法。例如，也可以计算参照运动向量的时间性距离，并使用时间性距离较短的参照运动向量。其中，时间性距离是根据在显示时间中包括参照块的参照图片、与参照图片所参照的图片之间的图片数量而计算出的。另外，例如也可以计算参照运动向量的大小，将使用大小较小的参照运动向量而导出的运动向量作为时间预测运动向量。

[0207] 图14是本发明的实施方式2的动态图像解码方法中的比特流的句法的一例。在图14中，forbid_collocated_flag表示co-located使用禁止标志，tmv_x表示全体运动向量的水平成分，tmv_y表示全体运动向量的垂直成分，collocated_from_10_flag表示co-located参照方向标志。

[0208] 如图14所示，在co-located使用禁止标志即forbid_collocated_flag为1的情况下，全体运动向量(tmv_x、tmv_y)被附加在比特流中，并被追加到预测运动向量的候选中。

[0209] 另外，在co-located使用禁止标志即forbid_collocated_flag为0的情况下，co-located参照方向标志即collocated_from_10_flag被附加在比特流中。并且，根据co-located参照方向标志决定co-located块，使用co-located块的参照运动向量计算时间预测运动向量。另外，在此如果collocated_from_10_flag是1，则表示co-located块是前方参照块，如果collocated_from_10_flag是0，则表示co-located块是后方参照块，但不限于此。

[0210] 另外，在本实施方式2中，在co-located使用禁止标志为有效的情况下，使用从标题信息等进行解码得到的全体运动向量，但根据编码方法，也可以始终将全体运动向量设为0，并追加到预测运动向量的候选中。在这种情况下，全体运动向量未被附加在标题信息等中，因而其解码处理可以省略。另外，在co-located使用禁止标志为有效的情况下，也可以不始终将时间预测运动向量追加到预测运动向量的候选中。

[0211] 这样，在本实施方式1、2中，通过按照某个一定间隔将使用参照图片的每个编码处理单位的运动向量的时间预测运动向量模式设为无效，取代其而将参照图片的全体运动向量附加在标题信息中。并且，通过使用该标题信息进行编码对象图片的运动向量的编码，能够抑制编码效率下降，并适当地对防止了解码错误的传播的比特流进行解码。

[0212] 更具体地讲，在co-located使用禁止标志为有效的情况下，将从全体向量保存部116读出的全体向量追加到编码对象块的预测运动向量的候选中，并且附加在图片标题等标题信息中。由此，即使是在进行解码时丢失了参照图片的情况下，也能够没有解码错误地进行解码，并适当地对抑制了错误的传播的比特流进行解码。

[0213] 另外，在co-located使用禁止标志为无效的情况下，能够适当地对根据co-located参照方向标志来选择最适合于编码对象块的预测运动向量的比特流进行解码。

[0214] 另外，在本实施方式1、2中，在co-located使用禁止标志为有效的情况下，使用从全体向量保存部116读出的全体向量，但也可以始终将全体运动向量设为0，并追加到预测运动向量的候选中。另外，在co-located使用禁止标志为有效的情况下，也可以不始终将时间预测运动向量追加到预测运动向量的候选中。根据这种结构，能够减轻解码处理。

[0215] 另外，在本实施方式2中，采取从所有图片对co-located使用禁止标志进行解码的结构，但也可以是仅从特定的图片对co-located使用禁止标志进行解码。例如，也可以考虑这样的结构，仅从被其它图片参照的图片(P图片、被其它图片参照的B图片、在划分为多个层次的参照构造中属于最低级别的层次的图片)对co-located使用禁止标志进行解码，不从不被其它图片参照的图片对co-located使用禁止标志进行解码。这样，通过仅从特定的图片对co-located使用禁止标志进行解码，能够减轻解码处理，抑制解码错误的传播。

[0216] 另外，在本实施方式2中，按照每个图片对co-located使用禁止标志进行解码，但也可以是按照由多个块构成的每个条带，对co-located使用禁止标志进行解码。通过按照每个条带对co-located使用禁止标志进行解码，能够提高全体向量的预测精度。

[0217] 另外，在本实施方式2中，从所有图片对co-located使用禁止标志进行解码，但是根据图片类型，也可以不将时间预测运动向量追加到预测运动向量候选中。例如，也可以是，在被其它图片参照的图片(P图片、被其它图片参照的B图片、在划分为多个层次的参照构造中属于最低级别的层次的图片)中，不将时间预测运动向量追加到预测运动向量的候选中，而是将全体向量追加到预测运动向量的候选中。这样，通过根据图片类型来判定将时间预测运动向量及全体运动向量中哪一方追加到预测运动向量的候选中，能够减轻解码处理，并提高编码效率。

[0218] (变形例)

[0219] 下面，参照图15说明实施方式1的变形例的动态图像编码装置。图15是实施方式1的变形例的动态图像编码装置300的块图。另外，省略与实施方式1的相同点的详细说明，以不同之处为中心进行说明。

[0220] 动态图像编码装置300如图15所示具有：第1编码部310，对基本视进行编码并输出基本比特流；第2编码部320，对从属视进行编码并输出从属比特流。另外，在图15中示出了将基本比特流和从属比特流作为独立的流进行输出的示例，但不限于此，也可以输出将基本比特流和从属比特流相结合得到的一条比特流。

[0221] 第1及第2编码部310、320的基本结构与图1所示的动态图像编码装置100共通。但是，第2编码部320在图1所示的结构基础上，还能够参照第1编码部310的帧存储器108等。

[0222] 下面，参照图16和图17说明实施方式1的变形例的动态图像编码方法。图16是表示实施方式1的变形例的动态图像编码方法的动作的流程图。图17是表示由属于基本视及从属视的图片构成的图像的图。

[0223] 基本视如图17所示由多个图片I11、P12、P13、P14、I15、P16、P17构成。另外，属于基本视的图片中GOP(Group Of Pictures)开头的图片I11、I15是I图片，除此以外的图片P12、P13、P14、P16、P17是P图片。另外，基本视仅参照属于基本视的图片进行编码(即帧内预测编码或者帧间预测编码)及解码。

[0224] 另外，从属视如图17所示由多个图片P21、P22、P23、P24、P25、P26、P27构成。另外，属于从属视的所有图片P21、P22、P23、P24、P25、P26、P27是P图片。另外，从属视参照属于从属视的图片以及基本视的对应的图片进行编码(即视间预测编码)及解码。

[0225] 另外，基本视和从属视是从不同的视点观察被摄体时的影像。即，基本视和从属视的相互对应的图片(被附加了相同的时间戳的图片)具有水平方向的视差。并且，第2编码部320针对从属视的各图片，将属于基本视的对应的图像作为参照图片进行编码。下面，参照图16说明第2编码部320的时间预测运动向量计算部114的动作。

[0226] 首先，时间预测运动向量计算部114判定在进行编码对象块的编码时是否能够取得时间预测运动向量(S91)。并且，在不能取得时间预测运动向量的情况下(S91：是)，时间预测运动向量计算部114将后述的视差向量包含在预测运动向量的候选中(S92)。另一方面，在能够取得时间预测运动向量的情况下(S91：否)，时间预测运动向量计算部114将时间预测运动向量包含在预测运动向量的候选中(S93)。

[0227] 其中，关于不能取得时间预测运动向量的情况，例如可以举出编码对象块是GOP开头的图片P21、P25的情况。GOP开头的图片P21、P25不能参照在显示顺序中比该图片靠前的图片。即，在编码顺序与显示顺序一致的情况下，图片P21、P25能够参照的只有基本视的对应的图片I11、I15。

[0228] 但是，由于图片I11、I15是I图片，因而不存在运动向量的信息。因此，在这种情况下，时间预测运动向量计算部114将在全体向量保存部116中保存的视差向量作为时间预测运动向量的替代向量包含在预测运动向量的候选中，并且将视差向量包含在从属比特流的标题信息中。

[0229] 其中，所谓视差向量是指与基本视和从属视之间的视差相当的向量。具体地讲，第2编码部320的帧间预测控制部112将在对构成从属视的编码对象图片的各块进行视间预测编码时的运动向量(即，将基本视的对应的图片作为参照图片进行编码时的运动向量)输出给全体向量保存部116。并且，全体向量保存部116将从帧间预测控制部112取得的运动向量的图片单位的平均值、中央值或者最频值等作为视差向量进行保存。

[0230] 另外，在图16的步骤S92中，时间预测运动向量计算部114也可以选择利用图片P25所属的GOP紧前面的GOP开头的图片P21计算出的视差向量(将图片I11作为参照图片的视差向量)、还可以选择利用前面刚刚被编码后的图片P24计算出的视差向量(将图片P14作为参照图片的视差向量)，作为从属视的图片P25的视差向量。

[0231] 另外，在图16的步骤S91中，不能取得时间预测运动向量的情况的具体示例不限于上述的示例，也可以是编码对象图片的co-located使用禁止标志为有效的情况。关于co-located使用禁止标志，与实施方式1的说明相同，因而省略重复说明。

[0232] 这样，本发明也能够适用于对构成多视点影像的基本视和从属视进行编码的情况。即，通过进行切换使在对属于从属视的编码对象图片进行编码时的预测向量的候选包含时间预测运动向量、或者包含作为时间预测向量的替代向量的视差向量，能够抑制编码效率的下降，并防止解码错误的传播。

[0233] 下面，参照图18说明实施方式2的变形例的动态图像解码装置400。图18是实施方式2的变形例的动态图像解码装置400的块图。另外，省略与实施方式2的相同之处的详细说明，以不同之处为中心进行说明。

[0234] 动态图像解码装置400如图18所示具有：第1解码部410，对基本比特流进行解码并输出基本视；第2解码部420，对从属比特流进行解码并输出从属视。在图18中示出了分别输入独立的基本比特流和从属比特流的示例，但不限于此，也可以构成为输入将基本比特流和从属比特流相结合而得到的一条比特流，并在动态图像解码装置400的内部分解为基本比特流和从属比特流。

[0235] 第1及第2解码部410、420的基本结构与图12所示的动态图像解码装置200共通。但是，第2解码部420在图12所示的结构基础上，还能够参照第1解码部410的帧存储器206等。即，动态图像解码装置400对由动态图像编码装置300进行编码后的基本比特流和从属比特流进行解码。

[0236] 并且，动态图像解码装置400的第2解码部420能够进行切换使解码对象块的预测向量的候选中的一个候选包含被保存在colPic存储器212中的时间预测运动向量、或者包含从属比特流的标题信息中所包含的视差向量。

[0237] (实施方式3)

[0238] 通过将用来实现上述各实施方式所示的动态图像编码方法(图像编码方法)或动态图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

[0239] 进而，这里说明在上述各实施方式中示出的动态图像编码方法(图像编码方法)及动态图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

[0240] 图20是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

[0241] 该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex107～ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等的各设备。

[0242] 但是，内容供给系统ex100并不限定于图20那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex107～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

[0243] 照相机ex113是能够进行数字摄像机等的动态图像摄影的设备，照相机ex116是能够进行数字照相机等的静止图像摄影、动态图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division Multiple Access)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(Long Term Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(Personal Handyphone System)等，是哪种都可以。

[0244] 在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场分发等。在现场分发中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

[0245] 另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或动态图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

[0246] 此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将动态图像编码解码用的软件装入到能够由计算机ex111等读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的动态图像数据发送。此时的动态图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

[0247] 此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据分散处理、记录、及分发的。

[0248] 如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

[0249] 另外，并不限定于内容供给系统ex100的例子，如图21所示，在数字广播用系统ex200中也能够装入上述实施方式的至少动态图像编码装置(图像编码装置)或动态图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的动态图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

[0250] 此外，可以在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的动态图像解码装置或动态图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装动态图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入动态图像解码装置。

[0251] 图22是表示使用在上述各实施方式中说明的动态图像解码方法及动态图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

[0252] 此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用来能够安装SD卡等的记录介质ex216的插槽部ex314、用来与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

[0253] 首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

[0254] 此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

[0255] 此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

[0256] 作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图23中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用来记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

[0257] 以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用接近场光进行高密度的记录的结构。

[0258] 在图24中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用来确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

[0259] 以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

[0260] 此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的导航仪ex211等的显示装置上再现动态图像。另外，导航仪ex211的结构可以考虑例如在图22所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

[0261] 图25A是表示使用在上述实施方式中说明的动态图像解码方法和动态图像编码方法的便携电话ex114的图。便携电话ex114具有由用来在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用来进行声音输出的扬声器等的声音输出部ex357、用来进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

[0262] 进而，使用图25B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(Liquid Crystal Display：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

[0263] 电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

[0264] 便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

[0265] 进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex350。

[0266] 在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的动态图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

[0267] 复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

[0268] 在数据通信模式时接收到链接到主页等的动态图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的动态图像编码方法相对应的动态图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的动态图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

[0269] 此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端的3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

[0270] 这样，将在上述各实施方式中表示的动态图像编码方法或动态图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

[0271] 此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

[0272] (实施方式4)

[0273] 也可以通过将在上述各实施方式中示出的动态图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的规格的动态图像编码方法或装置根据需要而适当切换，来生成影像数据。

[0274] 这里，在生成分别依据不同的规格的多个影像数据的情况下，在解码时，需要选择对应于各个规格的解码方法。但是，由于不能识别要解码的影像数据依据哪个规格，所以产生不能选择适当的解码方法的问题。

[0275] 为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个规格的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

[0276] 图26是表示复用数据的结构的图。如图26所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的动态图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等规格的动态图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

[0277] 包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

[0278] 图27是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

[0279] 图28更详细地表示在PES包序列中怎样保存视频流。图28的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图28的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。

[0280] 图29表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图29下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。

[0281] 此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program Clock Reference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

[0282] 图30是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用来识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。

[0283] 在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

[0284] 复用数据信息文件如图31所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

[0285] 复用数据信息如图31所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

[0286] 流属性信息如图32所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

[0287] 在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的动态图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据、和依据其他规格的影像数据。

[0288] 此外，在图33中表示本实施方式的动态图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的动态图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的复用数据的情况下，在步骤exS103中，通过依据以往的规格的动态图像解码方法进行解码。

[0289] 这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的动态图像解码方法或装置解码。因而，在被输入了依据不同的规格的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的动态图像编码方法或装置、或者动态图像解码方法或装置用在上述任何设备、系统中。

[0290] (实施方式5)

[0291] 在上述各实施方式中示出的动态图像编码方法及装置、动态图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图34中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

[0292] 例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

[0293] 另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

[0294] 此外，在上述中，假设控制部ex510具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

[0295] 另外，这里设为LSI，但根据集成度的差异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

[0296] 此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

[0297] 进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

[0298] (实施方式6)

[0299] 在将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等规格的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的规格的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

[0300] 为了解决该问题，电视机ex300、LSIex500等的动态图像解码装置采用识别影像数据依据哪个规格、并根据规格切换驱动频率的结构。图35表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的规格的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的动态图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的规格的解码处理部ex802指示将影像数据解码。

[0301] 更具体地讲，驱动频率切换部ex803由图34的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的动态图像解码方法的解码处理部ex801、以及依据以往的规格的解码处理部ex802对应于图34的信号处理部ex507。CPUex502识别影像数据依据哪个规格。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式4中记载的识别信息。关于识别信息，并不限定于在实施方式4中记载的信息，只要是能够识别影像数据依据哪个规格的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个规格的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图37所示的将影像数据的规格与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

[0302] 图36表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

[0303] 进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

[0304] 此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC规格的影像数据解码的处理量大于将通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

[0305] 进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的动态图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的影像数据的情况相比，将停止时间设定得短。

[0306] 这样，根据影像数据所依据的规格来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

[0307] (实施方式7)

[0308] 在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的规格的多个影像数据。这样，为了使得在被输入了依据不同的规格的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个规格。但是，如果单独使用对应于各个规格的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

[0309] 为了解决该问题，采用将用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的规格的解码处理部一部分共用的结构。图38A的ex900表示该结构例。例如，在上述各实施方式中示出的动态图像解码方法和依据MPEG4－AVC规格的动态图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC规格的解码处理部ex902，关于不对应于MPEG4－AVC规格的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。特别是，本发明在逆量化方面具有特征，因此可以考虑例如对于逆量化使用专用的解码处理部ex901，对于除此之外的熵解码、解块滤波器、运动补偿中的某一个或者全部的处理，共用解码处理部。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用来执行在上述各实施方式中示出的动态图像解码方法的解码处理部，关于MPEG4－AVC规格所特有的处理内容，使用专用的解码处理部。

[0310] 此外，用图38B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往规格所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的动态图像解码方法和其他的以往规格的动态图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往规格所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

[0311] 这样，对于在本发明的动态图像解码方法和以往的规格的动态图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

[0312] 产业上的可利用性

[0313] 本发明适合用于动态图像编码装置及动态图像解码装置。

[0314] 标号说明

[0315] 100、300动态图像编码装置；101减法部；102正交变换部；103量化部；104、202逆量化部；105、203逆正交变换部；106、204加法部；107、205块存储器；108、206帧存储器；109、207帧内预测部；110、208帧间预测部；111、209开关；112、210帧间预测控制部；113图片类型决定部；114、211时间预测运动向量计算部；115、212colPic存储器；116全体向量保存部；
117co-located信息决定部；118可变长度编码部；200、400动态图像解码装置；201可变长度解码部；310第1编码部；320第2编码部；410第1解码部；420第2解码部。