动态图像的编码方法及编码装置转让专利
申请号 : CN200810165825.3
文献号 : CN101389024B
文献日 : 2010-09-29
发明人 : 安倍清史 , *野真也 , 近藤敏志
申请人 : 松下电器产业株式会社
摘要 :
一种编码方法及编码装置，用于以块为单位在帧编码和场编码之间进行切换地对块进行编码。编码方法具有下列步骤：生成用于将各个帧编码用帧索引分配给各个参照帧的指令串；在对块进行帧编码的情况下，使用通过上述指令串分配的帧编码用帧索引，确定对上述块进行编码时所参照的参照帧；在对块进行场编码的情况下，使用利用上述帧索引生成的场编码用场索引，确定对上述块进行编码时所参照的参照场；在对上述块进行帧编码的情况下，将用于确定上述参照帧的上述帧索引作为参照索引进行编码；以及在对上述块进行场编码的情况下，将用于确定上述参照场的上述场索引作为参照索引进行编码。
权利要求 :
1.一种编码方法，用于以块为单位在帧编码和场编码之间进行切换地对块进行编码，所述方法具有下列步骤：生成用于将各个帧编码用帧索引分配给各个参照帧的指令串；
在对块进行帧编码的情况下，使用通过上述指令串分配的帧编码用帧索引，确定对上述块进行编码时所参照的参照帧；
在对块进行场编码的情况下，使用利用上述帧索引生成的场编码用场索引，确定对上述块进行编码时所参照的参照场；
在对上述块进行帧编码的情况下，将用于确定上述参照帧的上述帧索引作为参照索引进行编码；以及在对上述块进行场编码的情况下，将用于确定上述参照场的上述场索引作为参照索引进行编码。
2.如权利要求1所述的编码方法，
上述参照场的确定包括：
在上述参照场与包括待编码块的场具有相同的奇偶性的情况下，将用于确定包括上述参照场的参照帧的帧索引的值的2倍的值，确定为上述场索引；以及在上述参照场与上述包括待编码块的场具有不同的奇偶性的情况下，将用于确定包括上述参照场的上述参照帧的上述帧索引的值的2倍的值与1相加而获得的值，确定为上述场索引。
3.如权利要求2所述的编码方法，
还包括下列步骤：
对表示帧编码用帧索引的最大个数的信息进行编码；和将场编码用场索引的最大个数，决定为帧编码用帧索引的上述最大个数的值的2倍，其中所述场编码用参照场的确定包括：决定上述场索引，使得所确定的参照场的个数不大于所决定的场索引的最大个数。
4.一种编码装置，用于以块为单位在帧编码和场编码之间进行切换地对块进行编码，所述编码装置具有：指令生成单元，生成用于将各个帧编码用帧索引分配给各个参照帧的指令串；
参照帧/场确定单元，用于
(i)在对块进行帧编码的情况下，使用通过上述指令串分配的帧编码用帧索引，确定对上述块进行编码时所参照的参照帧；以及(ii)在对块进行场编码的情况下，使用利用上述帧索引生成的场编码用场索引，确定对上述块进行编码时所参照的参照场；
参照索引编码单元，用于
(iii)在对上述块进行帧编码的情况下，将用于确定上述参照帧的上述帧索引作为参照索引进行编码；以及(iv)在对上述块进行场编码的情况下，将用于确定上述参照场的上述场索引作为参照索引进行编码。
说明书 :
技术领域
本发明涉及动态图像的编码方法及解码方法，特别是参照已经编码完毕的图像进行图像间预测的编码方法及解码方法。
背景技术
近年来随着多媒体应用的发展，统一处理图像、声音、文本等所有媒体信息的方式已经普遍起来。由于数字化的图像拥有膨大的数据量，为了存储、发送，图像信息的压缩技术必不可少。为了相互使用压缩的图像数据，压缩技术的标准化也很重要。作为图像压缩技术的标准规格，包括有ITU-T(国际电子通信联合电子通信标准部门)的H.261、H.263、ISO(国际标准化机构)的MPEG-1、MPEG-2、MPEG-4等。并且，在ITU中，现在作为最新的图像编码规格H.26L正在标准化过程中。
在动态图像的编码中，一般通过削减时间方向及空间方向的冗余度来进行信息量的压缩。于是在以削减时间的冗余度为目的的图像间预测编码中，参考前方或后方的图像在块单位中进行移动的检测及预测图像的制作，并对得到的预测图像与现在的图像的残差值进行编码。
这里，图像(picture)是表示一张图像的用语，而在连续的图像中是表示帧的意思，在隔行扫描(interlace)图像中则表示帧(frame)或者场(field)的意思。隔行扫描图像指，一个帧是由不同时刻的2个场构成的图像。在隔行扫描图像的编码和解码处理中，可以将1帧原封不动作为帧进行处理，也可作为2个场进行处理，帧内部的每个块也可以作为帧构造或场构造进行处理。
以下所示图像将以渐进图像中的帧的意思进行说明，对于隔行扫描图像中的帧或场也同样能够进行说明。
图35为图像种类及其参照关系的说明图。
像图像I1一样不用参考图像而进行图像内预测编码称作I图像。并且，如图像P10一样只参考一张图像进行图像间预测编码称作P图像。并且，将能够同时参考2张图像进行图像间预测编码称作B图像。B图像能够像图像B6、B12、B18那样同时参考时间上的任意方向上的2张图像。参考图像能在每个移动检测单位的块进行指定，在进行编码的代码串中，将先前所述一方的参考图像作为第1参考图像、将后述一方的参考图像作为第2参考图像进行区别。但是，作为编码及解码这些图像时的条件，参考图像必须已经进行过编码及解码。图36A及图36B是对B图像进行编码及解码时的顺序的例子。图36A为显示的顺序，图36B是按编码及解码的顺序重新排列图36A的例子。由此可以看出，被图像B3、B6参考的图像全部重新排列成先前进行编码及解码的顺序。
下面用图37、图38对用来指定参考图像的参照索引进行说明。这里，为了简单，将识别实际的图像的编号称为图像编号，将在图像间预测中指定参照图像时使用的编号称为参照索引。此时，将表示第1参考图像的索引称作第1参照索引，将表示第2参考图像的索引称作第2参照索引。作为参照索引的初始状态分配图37所示那样的默认，但也可以用指令变更分配。
图37为表示帧编码中的图像编号的2个参照索引的初始状态中的分配结果的图，图38为用指令更新图37的参照索引的分配的图。当有排列成如同所示那样的编码顺序的图像时，对保存在存储器中的图像将图像编号分配成编码顺序。用来将参照索引分配给图像编号的指令记述在将图像进一步分割的编码单位即条块(slice)中，每编码1个条块时分配方法可以更新。上述指令可以使用最初的图像编号与更新后的图像编号的差，可以将任意个数的指令作为指令串编码。指令串的先头的指令适用于编码对象的图像的图像编号，表示与参照索引编号0相对应图像编号。指令串的第2个指令适用于与参照索引编号0相对应的图像编号，表示与参照索引编号1相对应的图像编号。第3个指令适用于与参照索引编号1相对应的图像编号，表示与参照索引编号2相对应的图像编号。第4个指令以后的指令也一样。如果使用图38的第1参照索引为例，由于首先付与“—2”作为指令，因此通过将编码对象图像的图像编号13加上“—2”，将编号11的图像分配给参照索引编号0。接着，由于付与“+1”作为指令，因此通过将与参照索引编号0相对应的图像的编号11加上“+1”，将编号12的图像分配给参照索引编号1。以下通过同样的处理进行各图像编号的分配。第2参照索引时也同样。
图39为表示进行上述编码时的代码串的例子的模式图。如图所示那样的代码串的图像共同信息中记述有第1参照索引(ref1)用的参照索引的最大个数Max_idx1和第2参照索引(ref2)用的参照索引的最大个数Max_idx2，条块中记述有ref1用和ref2用的参照索引分配指令串idx_cmd1及idx_cmd2。
与以往的技术有关的文献如下：
ITU-T Rec.H.264ISO/IEC14496-10AVC
Joint Final Committee Draft of Joint Video Specification2002-8-10)
(P.548.3.6.3Default index orders/P.568.3.6.4Changing thedefault index orders)
但是，作为编码隔行扫描图像的方法，可以在在1幅图像中对每个宏块交替使用帧编码和场编码。将其称为“宏块单位帧场交替编码(MBAFF：MacroBlock Adaptive Frame/Field coding，宏块自适应帧/场编码)”。该方法如图40所示，将纵向并列的2个宏块作为1对，可以切换到到每一个这样的对中。在帧编码时两者都用帧编码，在场编码时分成仅由奇数行构成的宏块和仅由偶数行构成的宏块进行编码。
宏块单位帧场交替编码如图41A和图41B所示那样，根据宏块对的编码方法交替地将参照图像作为帧结构或场结构用于参照。在如图41A所示将编码对象的宏块对作为帧编码时，如P1到P3那样将参照图像作帧参照。并且，在如图41B所示那样将编码对象的宏块对作为场编码时，如P1T到P3B那样将各图像分成顶部场和底部场，作为场参照。此时，如果用场为单位计算参照图像的枚数，则为以帧为单位的2倍。
但是，在将参照索引分配给各图像时使用的参照索引的最大个数(max_idx1和max_idx2，参照图39)以及用来更新分配的指令串(idx_cmd1及idx_cmd2，参照图39)不能同时与帧和场对应，因此存在在进行宏块单位帧场交替编码时不能很好地判断参照索引的最大个数及用来分配的指令的问题。
在动态图像的编码中，一般通过削减时间方向及空间方向的冗余度来进行信息量的压缩。于是在以削减时间的冗余度为目的的图像间预测编码中，参考前方或后方的图像在块单位中进行移动的检测及预测图像的制作，并对得到的预测图像与现在的图像的残差值进行编码。
这里，图像(picture)是表示一张图像的用语，而在连续的图像中是表示帧的意思，在隔行扫描(interlace)图像中则表示帧(frame)或者场(field)的意思。隔行扫描图像指，一个帧是由不同时刻的2个场构成的图像。在隔行扫描图像的编码和解码处理中，可以将1帧原封不动作为帧进行处理，也可作为2个场进行处理，帧内部的每个块也可以作为帧构造或场构造进行处理。
以下所示图像将以渐进图像中的帧的意思进行说明，对于隔行扫描图像中的帧或场也同样能够进行说明。
图35为图像种类及其参照关系的说明图。
像图像I1一样不用参考图像而进行图像内预测编码称作I图像。并且，如图像P10一样只参考一张图像进行图像间预测编码称作P图像。并且，将能够同时参考2张图像进行图像间预测编码称作B图像。B图像能够像图像B6、B12、B18那样同时参考时间上的任意方向上的2张图像。参考图像能在每个移动检测单位的块进行指定，在进行编码的代码串中，将先前所述一方的参考图像作为第1参考图像、将后述一方的参考图像作为第2参考图像进行区别。但是，作为编码及解码这些图像时的条件，参考图像必须已经进行过编码及解码。图36A及图36B是对B图像进行编码及解码时的顺序的例子。图36A为显示的顺序，图36B是按编码及解码的顺序重新排列图36A的例子。由此可以看出，被图像B3、B6参考的图像全部重新排列成先前进行编码及解码的顺序。
下面用图37、图38对用来指定参考图像的参照索引进行说明。这里，为了简单，将识别实际的图像的编号称为图像编号，将在图像间预测中指定参照图像时使用的编号称为参照索引。此时，将表示第1参考图像的索引称作第1参照索引，将表示第2参考图像的索引称作第2参照索引。作为参照索引的初始状态分配图37所示那样的默认，但也可以用指令变更分配。
图37为表示帧编码中的图像编号的2个参照索引的初始状态中的分配结果的图，图38为用指令更新图37的参照索引的分配的图。当有排列成如同所示那样的编码顺序的图像时，对保存在存储器中的图像将图像编号分配成编码顺序。用来将参照索引分配给图像编号的指令记述在将图像进一步分割的编码单位即条块(slice)中，每编码1个条块时分配方法可以更新。上述指令可以使用最初的图像编号与更新后的图像编号的差，可以将任意个数的指令作为指令串编码。指令串的先头的指令适用于编码对象的图像的图像编号，表示与参照索引编号0相对应图像编号。指令串的第2个指令适用于与参照索引编号0相对应的图像编号，表示与参照索引编号1相对应的图像编号。第3个指令适用于与参照索引编号1相对应的图像编号，表示与参照索引编号2相对应的图像编号。第4个指令以后的指令也一样。如果使用图38的第1参照索引为例，由于首先付与“—2”作为指令，因此通过将编码对象图像的图像编号13加上“—2”，将编号11的图像分配给参照索引编号0。接着，由于付与“+1”作为指令，因此通过将与参照索引编号0相对应的图像的编号11加上“+1”，将编号12的图像分配给参照索引编号1。以下通过同样的处理进行各图像编号的分配。第2参照索引时也同样。
图39为表示进行上述编码时的代码串的例子的模式图。如图所示那样的代码串的图像共同信息中记述有第1参照索引(ref1)用的参照索引的最大个数Max_idx1和第2参照索引(ref2)用的参照索引的最大个数Max_idx2，条块中记述有ref1用和ref2用的参照索引分配指令串idx_cmd1及idx_cmd2。
与以往的技术有关的文献如下：
ITU-T Rec.H.264ISO/IEC14496-10AVC
Joint Final Committee Draft of Joint Video Specification2002-8-10)
(P.548.3.6.3Default index orders/P.568.3.6.4Changing thedefault index orders)
但是，作为编码隔行扫描图像的方法，可以在在1幅图像中对每个宏块交替使用帧编码和场编码。将其称为“宏块单位帧场交替编码(MBAFF：MacroBlock Adaptive Frame/Field coding，宏块自适应帧/场编码)”。该方法如图40所示，将纵向并列的2个宏块作为1对，可以切换到到每一个这样的对中。在帧编码时两者都用帧编码，在场编码时分成仅由奇数行构成的宏块和仅由偶数行构成的宏块进行编码。
宏块单位帧场交替编码如图41A和图41B所示那样，根据宏块对的编码方法交替地将参照图像作为帧结构或场结构用于参照。在如图41A所示将编码对象的宏块对作为帧编码时，如P1到P3那样将参照图像作帧参照。并且，在如图41B所示那样将编码对象的宏块对作为场编码时，如P1T到P3B那样将各图像分成顶部场和底部场，作为场参照。此时，如果用场为单位计算参照图像的枚数，则为以帧为单位的2倍。
但是，在将参照索引分配给各图像时使用的参照索引的最大个数(max_idx1和max_idx2，参照图39)以及用来更新分配的指令串(idx_cmd1及idx_cmd2，参照图39)不能同时与帧和场对应，因此存在在进行宏块单位帧场交替编码时不能很好地判断参照索引的最大个数及用来分配的指令的问题。
发明内容
因此，本发明的目的就是要提供一种图像编码方法和图像解码方法，在宏块单位帧场交替编码时，无论是将参照索引进行帧编码还是进行场编码都适合使用。
为了达到该目的，根据本发明的一个方面，提供了一种编码方法，用于以块为单位在帧编码和场编码之间进行切换地对块进行编码，所述方法具有下列步骤：生成用于将各个帧编码用帧索引分配给各个参照帧的指令串；在对块进行帧编码的情况下，使用通过上述指令串分配的帧编码用帧索引，确定对上述块进行编码时所参照的参照帧；在对块进行场编码的情况下，使用利用上述帧索引生成的场编码用场索引，确定对上述块进行编码时所参照的参照场；在对上述块进行帧编码的情况下，将用于确定上述参照帧的上述帧索引作为参照索引进行编码；以及在对上述块进行场编码的情况下，将用于确定上述参照场的上述场索引作为参照索引进行编码。
优选地，上述参照场的确定包括：在上述参照场与包括待编码块的场具有相同的奇偶性的情况下，将用于确定包括上述参照场的参照帧的帧索引的值的2倍的值，确定为上述场索引；以及在上述参照场与上述包括待编码块的场具有不同的奇偶性的情况下，将用于确定包括上述参照场的上述参照帧的上述帧索引的值的2倍的值与1相加而获得的值，确定为上述场索引。
优选地，该方法还包括下列步骤：对表示帧编码用帧索引的最大个数的信息进行编码；和将场编码用场索引的最大个数，决定为帧编码用帧索引的上述最大个数的值的2倍，其中所述场编码用参照场的确定包括：决定上述场索引，使得所确定的参照场的个数不大于所决定的场索引的最大个数。
根据本发明的另一方面，提供了一种编码装置，用于以块为单位在帧编码和场编码之间进行切换地对块进行编码，所述编码装置具有：指令生成单元，生成用于将各个帧编码用帧索引分配给各个参照帧的指令串；参照帧/场确定单元，用于(i)在对块进行帧编码的情况下，使用通过上述指令串分配的帧编码用帧索引，确定对上述块进行编码时所参照的参照帧；以及(ii)在对块进行场编码的情况下，使用利用上述帧索引生成的场编码用场索引，确定对上述块进行编码时所参照的参照场；参照索引编码单元，用于(iii)在对上述块进行帧编码的情况下，将用于确定上述参照帧的上述帧索引作为参照索引进行编码；以及(iv)在对上述块进行场编码的情况下，将用于确定上述参照场的上述场索引作为参照索引进行编码。
为了达到该目的，根据本发明的一个方面，提供了一种编码方法，用于以块为单位在帧编码和场编码之间进行切换地对块进行编码，所述方法具有下列步骤：生成用于将各个帧编码用帧索引分配给各个参照帧的指令串；在对块进行帧编码的情况下，使用通过上述指令串分配的帧编码用帧索引，确定对上述块进行编码时所参照的参照帧；在对块进行场编码的情况下，使用利用上述帧索引生成的场编码用场索引，确定对上述块进行编码时所参照的参照场；在对上述块进行帧编码的情况下，将用于确定上述参照帧的上述帧索引作为参照索引进行编码；以及在对上述块进行场编码的情况下，将用于确定上述参照场的上述场索引作为参照索引进行编码。
优选地，上述参照场的确定包括：在上述参照场与包括待编码块的场具有相同的奇偶性的情况下，将用于确定包括上述参照场的参照帧的帧索引的值的2倍的值，确定为上述场索引；以及在上述参照场与上述包括待编码块的场具有不同的奇偶性的情况下，将用于确定包括上述参照场的上述参照帧的上述帧索引的值的2倍的值与1相加而获得的值，确定为上述场索引。
优选地，该方法还包括下列步骤：对表示帧编码用帧索引的最大个数的信息进行编码；和将场编码用场索引的最大个数，决定为帧编码用帧索引的上述最大个数的值的2倍，其中所述场编码用参照场的确定包括：决定上述场索引，使得所确定的参照场的个数不大于所决定的场索引的最大个数。
根据本发明的另一方面，提供了一种编码装置，用于以块为单位在帧编码和场编码之间进行切换地对块进行编码，所述编码装置具有：指令生成单元，生成用于将各个帧编码用帧索引分配给各个参照帧的指令串；参照帧/场确定单元，用于(i)在对块进行帧编码的情况下，使用通过上述指令串分配的帧编码用帧索引，确定对上述块进行编码时所参照的参照帧；以及(ii)在对块进行场编码的情况下，使用利用上述帧索引生成的场编码用场索引，确定对上述块进行编码时所参照的参照场；参照索引编码单元，用于(iii)在对上述块进行帧编码的情况下，将用于确定上述参照帧的上述帧索引作为参照索引进行编码；以及(iv)在对上述块进行场编码的情况下，将用于确定上述参照场的上述场索引作为参照索引进行编码。
附图说明
图1表示本发明的实施形态1的编码装置的结构的方框图
图2表示对MB帧编码时的图像编号与第1、第2参照索引的对应关系的一例的说明图
图3表示第1、第2参照索引、指令和图像编号之间的对应关系的一例的图
图4表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图5表示编码装置的参照索引·图像编号变换部中的参照索引和指令的分配处理的流程图
图6表示将场用参照索引分配给场的处理过程的流程图
图7表示本发明的实施形态1的解码装置的结构的方框图
图8表示本发明的实施形态2编码装置的结构的方框图
图9表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图10表示编码装置的参照索引·图像编号变换部中的参照索引的分配处理的流程图
图11表示本发明的实施形态2的解码装置的结构的方框图
图12表示本发明的实施形态3的编码装置的结构的方框图
图13表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图14表示本发明的实施形态3的解码装置的结构的方框图
图15表示本发明的实施形态4的编码装置的结构的方框图
图16表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图17表示本发明的实施形态5的编码装置的结构的方框图
图18表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图19表示编码装置的参照索引·图像编号变换部中的参照索引的分配处理的流程图
图20表示本发明的实施形态5的解码装置的结构的方框图
图21表示本发明的实施形态6中代码串的数据结构的图
图22表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图23表示本发明的实施形态7的编码装置的结构的方框图
图24表示代码串的数据结构例的图
图25表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图26表示场编码中顶部场、底部场各自的参照索引、指令和场的图像编号的对应关系的一例的图
图27表示帧编码和场编码混在一起时的参照索引及指令的分配处理的流程图
图28表示本发明的实施形态7的解码装置的结构的方框图
图29表示代码串的数据结构的其他例的图
图30A～图30C用来存储用计算机系统实现各实施形态的动态图像的编码方法及解码方法的程序的记录媒体的说明图
图31表示内容供给系统的整体结构的方框图
图32移动电话机的外观图
图33表示移动电话机的结构的方框图
图34表示数字广播用系统的示例的图
图35用来说明以往例的图像的参照关系的模式图
图36A、36B用来说明以往例的图像的排列的说明图
图37用来说明以往例的给参照索引分配图像编号的方法的模式图
图38用指令更新了以往例的图37的分配的示例的模式图
图39用来说明以往例的代码串的结构的模式图
图40帧编码和场编码时的宏块对的说明图图41A、41B用来表示帧编码时的参照帧和场编码时的参照场的说明图
图2表示对MB帧编码时的图像编号与第1、第2参照索引的对应关系的一例的说明图
图3表示第1、第2参照索引、指令和图像编号之间的对应关系的一例的图
图4表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图5表示编码装置的参照索引·图像编号变换部中的参照索引和指令的分配处理的流程图
图6表示将场用参照索引分配给场的处理过程的流程图
图7表示本发明的实施形态1的解码装置的结构的方框图
图8表示本发明的实施形态2编码装置的结构的方框图
图9表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图10表示编码装置的参照索引·图像编号变换部中的参照索引的分配处理的流程图
图11表示本发明的实施形态2的解码装置的结构的方框图
图12表示本发明的实施形态3的编码装置的结构的方框图
图13表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图14表示本发明的实施形态3的解码装置的结构的方框图
图15表示本发明的实施形态4的编码装置的结构的方框图
图16表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图17表示本发明的实施形态5的编码装置的结构的方框图
图18表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图19表示编码装置的参照索引·图像编号变换部中的参照索引的分配处理的流程图
图20表示本发明的实施形态5的解码装置的结构的方框图
图21表示本发明的实施形态6中代码串的数据结构的图
图22表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图23表示本发明的实施形态7的编码装置的结构的方框图
图24表示代码串的数据结构例的图
图25表示对MB场编码时，场的图像编号中分配到的第1、第2参照索引的一例的说明图
图26表示场编码中顶部场、底部场各自的参照索引、指令和场的图像编号的对应关系的一例的图
图27表示帧编码和场编码混在一起时的参照索引及指令的分配处理的流程图
图28表示本发明的实施形态7的解码装置的结构的方框图
图29表示代码串的数据结构的其他例的图
图30A～图30C用来存储用计算机系统实现各实施形态的动态图像的编码方法及解码方法的程序的记录媒体的说明图
图31表示内容供给系统的整体结构的方框图
图32移动电话机的外观图
图33表示移动电话机的结构的方框图
图34表示数字广播用系统的示例的图
图35用来说明以往例的图像的参照关系的模式图
图36A、36B用来说明以往例的图像的排列的说明图
图37用来说明以往例的给参照索引分配图像编号的方法的模式图
图38用指令更新了以往例的图37的分配的示例的模式图
图39用来说明以往例的代码串的结构的模式图
图40帧编码和场编码时的宏块对的说明图图41A、41B用来表示帧编码时的参照帧和场编码时的参照场的说明图
具体实施方式
(实施形态1)
<编码装置及解码装置的概要>
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(1.1)、(1.2)这样处理。这里，参照索引及指令与图38所示的相同，参照索引的最大个数与图39所示的相同。
(1.1)就参照索引的最大个数来说，当场编码与帧编码混合存在时，编码装置将帧用参照索引的最大个数记述在传送的代码中。编码装置在帧编码时，将该最大个数当作可以使用的参照索引的个数来处理。而在场编码时，将该最大个数所表示的值的2倍当作场用参照索引的个数看待。例如，当帧用参照索引被分配到0到2时，帧用参照索引的最大个数为3。在帧编码时当然也是表示这个内容。在场编码时，将帧编码用参照索引的最大个数的2倍即6视为场编码用参照索引的最大个数。在解码装置中也同样。
(1.2)对于指令串，编码装置将帧用指令记述在传送的代码中。在帧编码时，编码装置如用图38说明过的那样进行帧用参照索引的分配。另外，在不编码指令串时，如用图37说明过的那样用默认(default)的分配方法将参照索引对应起来。
并且，在场编码时，以进行过分配的帧用参照索引为前提，更新用于场编码的参照索引的分配。
即，将该帧用参照索引的值乘2的值，作为场用参照索引，分配给构成1帧的2个场中、奇偶性(parity)与编码对象的宏块相同的场；将该参照索引的值乘2再加1的值(2倍+1)，作为场用参照索引，分配给构成1帧的2个场中、奇偶性与编码对象的宏块不同的场(参照图4)。这里，奇偶性是指场的奇偶性(区别由奇数行构成的顶部场和由偶数行构成的底部场)。
换言之，当编码对象的宏块属于顶部场时，将该帧用参照索引的值乘2后的值分配给上述2个场中的顶部场，将(2倍+1)分配给上述2个场中的底部场。当编码对象的宏块属于底部场时，将该帧用参照索引的值乘2后的值分配给上述2个场中的底部场，将(2倍+1)分配给上述2个场中的顶部场。
而解码装置解码传送的代码中包含的帧用参照索引的最大个数和分配指令，用它们通过与编码装置完全相同的方法进行参照图像和参照索引的分配。
<编码装置的结构>
下面说明编码装置的结构。
图1为表示本发明的实施形态1的动态图像编码装置的结构的方框图。用该图依次说明(1)编码装置的概要，(2)帧用参照索引、指令及场用参照索引的分配方法。
(1)编码的概要
这里，假设编码对象为表示帧或场的某一个的图像，就帧编码和场编码共同的编码的概要进行说明。
将成为编码对象的动态图像按照显示顺序以图像单位输入图像存储器101中，并按编码顺序进行图像的重新排列。图36A、36B为表示重新排列的例子。图36A为按显示顺序排列的图像，图36B为按编码顺序重新排列的图像的例子。由于这里的B3、B6在时间上参照前方及后方两方，在将这些图像编码之前，有必要先将成为参照对象的图像进行编码，所以在图36B中为了使P4、P7先编码而被重新排列。而且各个图像分割成被称作宏块的例如水平16×垂直16像素的块所，并以块单位进行以后的处理。
从图像存储器101中读取的输入图像信号被输入到差分运算单元110中，将通过获取与移动补偿编码单元107的输出的预测图像信号的残差得到的差分图像信号输出到预测残差编码单元102中。在预测残差编码单元102中进行频率变换、量子化等的图像编码处理并输出残差编码信号。残差编码信号输入到预测残差解码单元部104中进行逆量子化、逆频率变换等的图像解码处理并输出残差解码信号。在加法运算部113中进行所述残差解码信号和预测图像信号的加算并生成再构成图像信号，将得到再构成图像信号有可能在以后的图像间预测中被参照的信号储存在存储器105中。
另一方面，从图像存储器101中读取的宏块单位的输入图像信号被输入到移动矢量检测单元106中。在这里，将储存在图像存储器105中的再构成图像信号作为探索对象，通过检测距输入图像信号最近的图像区域，决定指示其位置的移动矢量。移动矢量检测以进一步分割宏块的块单位进行，得到的移动矢量被存储在移动矢量存储单元108中。此时，由于在现在标准化进程中的H.26L能够将多个图像作为参照对象使用，所以每个块都要有指定参照图像的识别编号。将其中的识别编号称作参照索引，在参照索引·图像编号变换单元109中，通过获取与图像存储器中的图像拥有的图像编号的对应，能够指定参照图像。
在移动补偿编码单元107中，使用由上述处理检测出的移动矢量及参照索引，从存储在图像存储部105中的再构成图像信号中，选出最适合于预测图像的图像区域。此时，对每个宏块判断用帧单位进行预测的方法与用场单位进行的预测方法哪个效率更好，用选中的方法进行编码。在代码串生成单元103中对经过上述一连串的处理输出的参照索引、移动矢量、残差编码信号等编码信息实施可变长度编码，由此可以获得该编码装置输出的代码串。
虽然以上的处理流程是进行图像间预测编码时的动作，但可以通过开关112及开关113进行和图像内预测编码的切换。在进行图像内编码的情况下，不通过移动补偿进行预测图像的生成，通过根据同一图像内的已编码完毕的区域生成编码对象区域的预测图像、并获取差分来生成差分图像信号。差分图像信号与图像间预测编码的情况相同，在预测残差编码单元102中变换为残差编码信号，通过在代码串生成单元103中实施可变长编码得到输出的代码串。
(2)参照索引分配方法
<参照索引的分配例>
首先，将帧用参照索引和场用参照索引的分配例表示在图2～图4中。
图2为编码对象图像的块进行帧编码时的默认的参照索引的分配例，从图像编号的值大的地方开始依次分配索引。并且，图3为用分配指令对图2的默认的参照索引进行参照索引更新时的例子。由于首先付与“—2”作为指令，因此通过将编码对象图像的编号13加上“—2”即11这一图像编号的图像分配给0号参照索引。接着付与“+1”作为指令，将图像编号12的图像分配给参照索引编号1号。以下通过同样的处理进行各图像编号的分配。第2参照索引的情况也是同样。以下虽然以进行默认分配的图2为基础进行说明，但用指令变更分配时也可以进行完全相同的处理。另外，以上的指令为一例，用具有除此以外的分配方法的指令更新索引时也可以进行完全相同的处理。
图4为表示根据上述(1.1)、(1.2)使顶部场用、底部场用第1、第2参照索引分别与图2所示的帧用第1、第2参照索引对应起来的结果的说明图。由图4可知，将帧用参照索引的2倍分配给奇偶性与编码对象的宏块相同的场，将帧用参照索引的值的2倍+1的值分配给奇偶性不同的场。
当场编码和帧编码混在1幅图像中时，本实施形态进行场编码时将参照索引的最大个数作为进行帧编码时的2倍的值来处理，因此虽然在图2中索引的个数为3，但图4中索引的个数为6。
<参照索引的分配处理>
图5为表示在编码装置的参照索引·图像编号变换单元进行参照索引分配处理的流程图。
在进行宏块单位帧场交替编码时，参照索引·图像编号变换单元109对每个片段进行参照索引分配处理。这里，片段表示将1幅图像分成1个或多个区域时的各个区域。在不变更参照索引时(默认时)参照索引·图像编号变换单元109省略所有的该图的处理。
如该图所示，参照索引·图像编号变换单元109首先将帧用参照索引和指令分配给帧(步骤S11)。该处理与已经说明过的图37相同，因此省略。接着，参照索引·图像编号变换单元109判断该片段中是否帧编码和场编码混在一起(步骤S12)，混在一起时进行场用参照索引分配处理(步骤S13)。
图6为表示将场用参照索引与帧用参照索引对应起来分配给场的处理的流程图。在该图中，变量j在B图像时为j＝1、2，P图像时为j＝1，max_idxj表示帧用第j参照索引的最大个数，idxj(i)表示帧用第i个第j参照索引的值。使循环2能够被B图像和P图像共同使用。循环1为帧用参照索引的最大个数(max_idxj)次循环，每次分配2个场用参照索引。
下面就将2个场用参照索引分配给循环1的1个循环，即1个帧用参照索引的处理的情况进行说明。参照索引·图像编号变换单元109读出在图5的S11分配到的帧用第i个第j参照索引的值idxj(i)(S23)、判断编码对象的宏块是否属于顶部场(S26)。
当判定为属于顶部场时，将帧用该参照索引idxj(i)乘以2的值(S27)分配给S25中被确定的2个场中的顶部场(S28)，将idxj(i)乘以2再加1算出的值(S29)分配给S25中被确定的2个场中的底部场(S30)。
当判定为属于底部场时，将帧用该参照索引idxj(i)乘以2的值(S31)分配给S25中确定的2个场中的底部场(S32)，将idxj(i)乘以2再加1算出的值(S33)分配给S25中确定的2个场中的底部场(S34)。
这样地，将2倍的帧用参照索引值和2倍的帧用参照索引值+1的值分配给场用参照索引。由此，如图4所示那样场用参照索引的最大个数可以分配到帧用参照索引的最大个数(max_idxj)的2倍的值。
在编码宏块时，在被场编码过的宏块中作为参照场使用的场用参照索引作为ref1和ref2(参照图39)设定在代码中。而在被帧编码过的宏块中作为参照帧使用的帧用参照索引作为ref1和ref2(参照图39)设定在代码中。
在图2的例子中，帧用参照索引为3个，在图4的例子中，场用参照索引为6个。
另外，虽然图6表示将场用参照索引分配给场编码的编码对象的每幅图像的处理，但也可以事先作成表。即，只要采用根据指令作成帧用参照索引与帧的图像编号的对应表，再与图6一样将参照索引分配给顶部场用和底部场用，由此作成顶部场用参照索引与场的图像编号相对应的表格和底部用参照索引与场的图像编号相对应的表格的结构就可以了。并且，该表的作成只要在开始编码或解码图像时进行1次，以后对于参照索引只要参照该表就可以决定参照图像。
<解码装置的结构>
图7为表示本发明的实施形态1的解码装置的结构的方框图。用该图依次说明(1)解码的概要，(2)参照索引变换处理。这里，假定从图1的编码装置中传送的代码传送到本解码装置中。
(1)解码的概要
首先从输入的代码串中用代码串解析单元201从图像的共同信息区域抽出参照索引的最大个数，从条块区域中抽出参照索引分配指令串，再从块编码信息区域中抽出参照索引、移动矢量信息和预测残差编码信号等各种信息。
由代码串解析单元201抽出的参照索引的最大个数和参照索引分配用指令串被输出给参照索引·图像编号变换单元206，参照索引被输出给移动补偿解码单元204，移动矢量信息被输出给移动矢量存储单元205，预测残差编码信号被输出给预测残差解码单元部202。
预测残差解码单元部202对输入的残差编码信号实施逆量子化、逆频率变换等图像解码处理，并输出残差解码信号。加法运算单元207将上述残差解码信号与从移动补偿解码单元204输出的预测图像信号相加生成再构成图像信号，得到的再构成图像信号为了在以后的图像间预测中用于参照及输出显示中使用，被存储在图像存储器203中。
移动补偿解码单元204用从移动矢量存储单元205输入的移动矢量及从代码串解析单元201输入的参照索引，从存储在图像存储器203中的再构成图像信号中取出最适合于预测图像的图像区域。此时，在参照索引·图像编号变换单元206中通过获取付与的参照索引与图像编号的对应指定图像存储器203中的参照图像。此时，如果混有场编码，则将帧用参照索引变换成场用参照索引，然后指定参照场。
然后，在移动补偿解码单元204中用线性预测对获得的图像区域的像素值实施插值处理等像素值变换处理，由此作成最终的预测图像。由上述一连串的处理生成的解码图像存储在图像存储器203中，根据显示的时刻作为显示用图像信号输出。
虽然以上的处理流程是在进行图像间预测解码情况下的动作，但由开关208进行与图像内预测解码的切换。在进行图像内解码的情况下，不进行由移动补偿的预测图像的生成，通过从同一图像内的解码完毕区域生成解码对象区域的预测图像并进行加法运算，生成解码图像。解码图像同图像间预测解码的情况一样存储在图像存储器203中，并根据显示的时间作为显示用图像信号输出。
(2)参照索引的变换处理
参照索引·图像编号变换单元206使用输入的参照索引的最大个数及参照索引分配指令进行图像编号和参照索引的分配。分配方法与编码装置时完全相同。在本实施形态中，将帧编码用参照索引的最大个数的2倍的值作为场编码用参照索引的最大个数。因此，如果在帧编码中进行图2所示那样的分配，则场编码如图4所示。
如果像以上所述那样采用本实施形态的编码装置和解码装置，则在进行宏块单位帧场交替编码时，只需编码帧编码用的参数，就能够使参照索引的最大个数及分配指令不仅适用于帧编码，也能够适用于场编码。并且，由于使场用参照索引的最大值为帧用时的2倍，因此编码及解码时能够有效利用存储在存储器中的所有的场。
(实施形态2)
<编码装置及解码装置的概要>
首先就本实施形态中的编码装置及解码装置的概要进行说明。
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(2.1)、(2.2)这样处理。
(2.1)就参照索引的最大个数来说，与实施形态1开头说明过的(1.1)相同，省略其说明。
(2.2)对于指令串，编码装置将帧用指令记述在传送的代码中。在帧编码时，编码装置像图37、图38说明过的那样进行帧用参照索引的分配。另外，在不编码指令串时，如用图37说明过的那样用默认的分配方法将参照索引对应起来。
并且，在场编码时，以进行过分配的帧用参照索引为前提，更新用于场编码的参照索引的分配。
本实施形态与实施形态1不同，无论编码对象宏块是顶部还是底部，都将该帧用参照索引的值乘2的值，作为场用参照索引分配给构成1帧的2个场中的顶部场，将该参照索引的值乘2再加1的值(2倍+1)作为场用参照索引，分配给构成1帧的2个场中的底部场(参照图9)。
<编码装置的结构>
图8为表示本发明的实施形态2的编码装置的结构的方框图。该图的编码装置与图1相比，具备参照索引·图像编号变换单元109a代替参照索引·图像编号变换单元109这一点不同。与图1相同的地方省略说明，主要就不同的地方进行说明。参照索引·图像编号变换单元109a只有不是进行(1.2)的变换(mapping)(参照索引的分配)而是进行(2.2)的变换这一点与图1不同。
<参照索引的分配例>
图9为表示根据上述(2.1)、(2.2)使顶部场用第1、第2参照索引与图2所示的帧用第1、第2参照索引对应起来的结果的说明图。如图9所示，本实施形态中的参照索引·图像编号变换单元109a的变换不是分别将参照索引分配给顶部场用和底部场用，而是将共同的参照索引分配给顶部和底部场。
在本实施形态中，当场编码和帧编码混在1幅图像中时，进行场编码时将参照索引的最大个数作为进行帧编码时的2倍的值来处理，因此虽然在图2中索引的个数为3，但图9中索引的个数为6。
<参照索引的分配处理>
图10为表示在编码装置的参照索引·图像编号变换单元进行参照索引分配处理的流程图。
在该图中，与图6的流程图相同的处理付与相同的步骤编号，并且，与图6的流程图相比，删除了图6的S26、S31～S34这一点和在S23之后执行S27这一点不同。由于这些不同，不仅分配帧用参照索引数的2倍的场用参照索引，而且如图9所示那样将共同的场用参照索引分配给顶部场和底部场。
<解码装置的结构>
图11为表示本发明的实施形态2的解码装置的结构的方框图。该图的解码装置与图7相比，具备参照索引·图像编号变换单元206a取代参照索引·图像编号变换单元206这一点不同。仅在参照索引·图像编号变换单元206a不是进行与(1.2)的变换相对应的参照索引变换处理而是进行以(2.2)的变换相对应的参照索引变换处理这一点上与图7不同。
<参照索引的变换处理>
参照索引·图像编号变换单元206a使用输入的参照索引的最大个数及参照索引分配指令进行图像编号和参照索引的分配。分配方法与编码装置时完全相同。
在本实施形态中，将帧编码用参照索引的最大个数的2倍的值作为场编码用参照索引的最大个数。因此，如果在帧编码中进行图2所示那样的分配，则场编码如图9所示。
(实施形态3)
<编码装置及解码装置的概要>
首先就本实施形态中的编码装置及解码装置的概要进行说明。
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(3.1)、(3.2)这样处理。
(3.1)就参照索引的最大个数来说，当场编码与帧编码混在时，编码装置将帧用参照索引的最大个数记述在传送的代码中。在帧编码时，编码装置将该最大个数当作可以使用的参照索引的个数来处理；而在场编码时，将与帧用相同的个数当作场用参照索引的个数来处理。例如，当帧用参照索引倍的最大个数为3时，场编用参照索引的最大个数也为3。
(3.2)对于指令串，与实施形态1开头说明过的(1.2)相同，省略其说明。由于(3.1)付与的帧编码用和场编码用的参照索引的最大值相同，因此在场编码时只能分配与图2相同的个数(参照图13)。
<编码装置的结构>
图12为表示本发明的实施形态3的编码装置的结构的方框图。该图的编码装置与图1相比，具备参照索引·图像编号变换单元109b代替参照索引·图像编号变换单元109这一点不同。参照索引·图像编号变换单元109b只有不是根据(1.1)而是根据(3.1)处理参照索引的个数这一点与图1不同。
<参照索引的分配例>
图13为表示根据上述(3.1)、(3.2)使场用第1、第2参照索引与图2所示的帧用第1、第2参照索引对应起来的结果的说明图。如图13所示，虽然本实施形态中的参照索引·图像编号变换单元109b的变换与实施形态1一样分别将参照索引分配给顶部场用和底部场用，但场用参照索引的最大个数与帧用参照索引的最大个数相同这一点不同。
<解码装置的结构>
图14为表示本发明的实施形态3的解码装置的结构的方框图。该图的解码装置与图7相比，具备参照索引·图像编号变换单元206b取代参照索引·图像编号变换单元206这一点不同。仅在参照索引·图像编号变换单元206b不是进行与(1.1)的最大个数相对应的参照索引变换处理而是进行与(3.2)的最大个数相对应的参照索引变换处理这一点上与图7不同。
(实施形态4)
<编码装置及解码装置的概要>
首先就本实施形态中的编码装置及解码装置的概要进行说明。
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(4.1)、(4.2)这样处理。
(4.1)就参照索引的最大个数来说，与实施形态3开头说明过的(3.1)相同，省略其说明。
(4.2)与实施形态2开头说明过的(2.2)相同，省略其说明。但是由于(4.1)付与的帧编码用和场编码用的参照索引的最大值相同，因此在场编码时只能分配与图2相同的个数(参照图16)。
<编码装置的结构>
图15为表示本发明的实施形态4的编码装置的结构的方框图。该图的编码装置与图8相比，具备参照索引·图像编号变换单元109c代替参照索引·图像编号变换单元109a这一点不同。参照索引·图像编号变换单元109c只有不是根据(2.1)而是根据(4.1)处理参照索引的个数这一点与图8不同。
<参照索引的分配例>
图16为表示根据上述(4.1)、(4.2)使场用第1、第2参照索引与图2所示的帧用第1、第2参照索引对应起来的结果的说明图。如图16所示，虽然本实施形态中的参照索引·图像编号变换单元109b的变换与实施形态2一样将共同的参照索引分配给编码对象宏块的顶部和底部，但场用参照索引的最大个数与帧用参照索引的最大个数相同这一点不同。
<解码装置的结构>
本实施形态的解码装置与实施形态2的解码装置相同。但是，场用参照索引的最大个数不是帧用最大个数的2倍，而是与之相同这一点不同。
(实施形态5)
<编码装置及解码装置的概要>
首先就本实施形态中的编码装置及解码装置的概要进行说明。
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(5.1)、(5.2)这样处理。
(5.1)就参照索引的最大个数来说，与实施形态3开头说明过的(3.1)相同，省略其说明。
(5.2)对于指令串，编码装置将帧用指令记述在传送的代码中。在帧编码时，编码装置像图37、图38说明过的那样进行帧用参照索引的分配。另外，在不编码指令串时，如用图37说明过的那样用默认的分配方法将参照索引对应起来。
并且，在场编码时，以进行过分配的帧用参照索引为前提更新用于场编码的参照索引的分配。
本实施形态与实施形态1不同，只将该帧用参照索引的值直接作为场用参照索引分配给构成1帧的2个场中的奇偶性与编码对象宏块相同的场，而不分配给奇偶性不同的场(参照图18)。
换言之，当编码对象的宏块属于顶部场时，将该帧用参照索引的值作为场用参照索引分配给上述2个场中的顶部场。当编码对象的宏块属于底部场时，将该帧用参照索引的值作为场用参照索引，分配给上述2个场中的底部场。
而解码装置将传输的代码串中包含的帧用参照索引的最大个数及分配指令进行解码，用它们通过与编码装置完全相同的方法进行参照图像和参照索引的分配。
<编码装置的结构>
图17为表示本发明的实施形态5的编码装置的结构的方框图。为了与上述(5.1)、(5.2)相对应，将图1中的参照索引·图像编号变换单元109变为参照索引·图像编号变换单元109d这一点不同。
<参照索引的分配例>
图18为表示根据上述(5.1)、(5.2)使场用第1、第2参照索引与图2所示的帧用第1、第2参照索引对应起来的结果的说明图。如图18所示，将该帧用参照索引的值作为场用参照索引分配给奇偶性与编码对象的宏块相同的场，对于奇偶性不同的场则不分配。
<参照索引的分配处理>
图19为表示在编码装置的参照索引·图像编号变换单元进行参照索引分配处理的流程图。该图与图6相比，在设置S81代替图6的S27～S30和设置S82代替S31～S34这些点不同。
<解码装置的结构>
图20为表示本发明的实施形态5的解码装置的结构的方框图。该图与图7相比，具备参照索引·图像编号变换单元206d取代参照索引·图像编号变换单元206这一点不同。
参照索引·图像编号变换单元206d通过与(5.2)的变换相同的操作变换场用索引，如果解码对象为顶部场，则仅变换顶部场；如果解码对象为底部场，则仅变换底部场。
(实施形态6)
<编码装置及解码装置的概要>
首先就本实施形态中的编码装置及解码装置的概要进行说明。
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(6.1)、(6.2)这样处理。这里，参照索引及指令与图37所示的相同，参照索引的最大个数与图39所示的相同。
(6.1)就参照索引的最大个数来说，当场编码与帧编码混在时，编码装置不仅将帧用参照索引的最大个数记述在传送的代码中，而且将顶部场用参照索引的最大个数和底部场用参照索引的最大个数记述在传送的代码中。
解码装置根据记述在代码串中的顶部场用参照索引的最大个数和底部场用参照索引的最大个数进行解码。
(6.2)对于指令串，与(1.2)相同，省略其说明。但是，使顶部场用参照索引不超过代码串中记述的最大个数这样地处理。对于底部场用参照索引也一样。
而解码装置解码传输的代码串中包含的帧用、顶部场和底部场用参照索引的最大个数和分配指令，用它们通过与编码装置完全相同的方法进行参照图像和参照索引的分配。
<编码装置及解码装置的结构>
本实施形态中的编码装置及解码装置与实施形态1中的编码装置和解码装置相同就可以了。但是，顶部场用参照索引的最大个数和底部场用参照索引的最大个数不是帧用参照索引的2倍，而是记述在代码串中，并根据其进行。
图21为表示本发明的实施形态6中代码串的数据结构的图。在该图中，图像共同信息中包含的Max_idx1中与第1参照图像refl相对应地记述帧用参照索引的最大个数(Max_idx_frm)、顶部场用参照索引的最大个数(Max_idx_top)和底部场用参照索引的最大个数(Max_idx_btm)。
图22为表示场编码时将第1、第2参照索引分配给场的图像编号的示例的图。在该图中，Max_idx_top为5，而将Max_idx_btm记述为6。这样地，本实施形态的编码装置和解码装置能够在顶部场和底部场中灵活地设定最大参照场数。
另外，虽然分别将顶部场用参照索引的最大个数和底部场用参照索引的最大个数记述在代码串中(参照(6.1))，但也可以不这样而让顶部场和底部场共用1个最大个数，将其记述在代码串中。
并且，(6.2)与(1.2)一样，将该帧用参照索引的值乘以2以后的值，作为场用参照索引，分配给构成由帧用参照索引和指令所指定的参照帧的2个场中、奇偶性与编码对象宏块相同的场；将该参照索引的值乘以2以后再加1的值(2倍+1)，作为场用参照索引，分配给构成由帧用参照索引和指令所指定的参照帧的2个场中、奇偶性与编码对象宏块不同的场(参照图4)。也可以不这样，而与(2.2)一样，将该帧用参照索引的值乘以2以后的值，作为场用参照索引，分配给构成由帧用参照索引和指令所指定的参照帧的2个场中的顶部场；将该参照索引的值乘以2以后再加1的值(2倍+1)作为场用参照索引分配给底部场(参照图9)
(实施形态7)
<编码装置及解码装置的概要>
首先就本实施形态中的编码装置及解码装置的概要进行说明。
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(7.1)、(7.2)这样处理。这里，参照索引及指令与图37所示的相同，参照索引的最大个数与图39所示的相同。
(7.1)就参照索引的最大个数来说，与(6.1)相同，省略其说明。
(7.2)对于指令串，编码装置不仅将帧用参照索引及指令记述在传送的代码中，而且将顶部场用参照索引及指令和底部场用参照索引和指令记述在传送的代码中。编码装置在帧编码时分配帧用参照索引，在场编码时分配顶部场用参照索引和底部场用参照索引。
而解码装置解码传送的代码串中包含的帧用、顶部场用和底部场用参照索引的最大个数和分配指令，用它们通过与编码装置完全相同的方法进行参照图像和参照索引的分配。
<编码装置的结构>
图23为表示本发明的实施形态7中的编码装置的结构的方框图。该图与图1相比，在具备参照索引·图像编号变换单元109e代替参照索引·图像编号变换单元109这一点不同。
图24为表示本实施形态中代码串的数据结构的图。在该图中，idx_cmd1为第1参照图像ref1用的指令集，包含idx_cmd_frm、idx_cmd_top和idx_cmd_btm。idx_cdm_frm为对帧用参照索引的指令。idx_cmd_top为对顶部场用参照索引的指令。idx_cmd_btm为对底部场用参照索引的指令。
图25为表示场编码时将第1、第2参照索引分配给场的图像编号的示例的图。在该图中，能够独立地将顶部场用参照索引和底部场用参照索引分配给任意的场。
图26为表示图25的情况下的参照索引、指令和场的图像编号的对应关系的一个示例的图。
图27为表示在参照索引·图像编号变换单元109e中进行参照索引和指令分配的处理过程的流程图。如图所示，参照索引·图像编号变换单元109e分配帧用参照索引及指令(S11)，然后当帧和场混在一起时(S12)，分配顶部场用参照索引及指令(S93)，再分配底部场用参照索引及指令。
另外，在图27中，如果以默认使用参照索引，则在图27的S11、S93和S94中不进行指令的分配。
<解码装置的结构>
图28为表示本发明的实施形态7的解码装置的结构的方框图。该图与图7相比，具备参照索引·图像编号变换单元206e取代参照索引·图像编号变换单元206这一点不同。参照索引·图像编号变换单元206e使用从代码串解析单元201中输入的帧用、顶部场用和底部场用索引分配指令，分别独立地使图像编号与参照索引对应起来。
另外，虽然本实施形态将顶部场用和底部场用指令串分别记述在代码中，但也可以是共同的指令。图29为此时的代码串的数据结构的示意图。图中的idx_fld为顶部场和底部场共同使用的指令串。
另外，也可以不将(7.1)说明过的场用参照索引的最大个数分别在顶部场和底部场中使用，而是顶部和底部共同使用。
并且，也可以不将(7.2)说明过的场用参照索引的最大个数分别在顶部场和底部场中使用，而是顶部和底部共同使用。
并且，上述各实施形态的解码装置也可以在开始解码片段之前作成场用参照索引与场的图像编号的对应表，在解码场编码过的宏块时参照该表。
(实施形态8)
而且，也可以将用来实现上述各实施形态叙述过的图像编码方法或图像解码方法的结构的程序记录在软盘等存储媒体中，由此在独立的计算机系统中简单地实施上述各个实施形态所叙述过的处理。
图30A～30C为用存储有从上述实施形态1到实施形态7的图像编码方法或图像解码方法的软盘通过计算机系统实施时的说明图。
图30B为表示从软盘的正面来看的外观、剖面构造以及软盘，图30A为表示记录媒体本体即软盘的物理格式的例子。软盘FD内藏在外盒F内，在该盘的表面形成有多个从外周向内周的同心圆状磁迹Tr，各个磁迹沿角度方向分割为16个扇区Se。因此，存储有上述程序的软盘在上述软盘FD上分配到的区域中记录有作为上述程序的图像编码方法。
并且，图30C表示用来在软盘FD上记录再生上述程序的结构。在将上述程序记录到软盘FD中时，通过软盘驱动器从计算机系统Cs中写入作为上述程序的图像编码方法或图像解码方法。并且，在通过软盘内的程序将上述图像编码方法构筑在计算机系统中的情况下，通过软盘驱动器从软盘中读取程序，并传送到计算机系统中。
另外，虽然上述说明用软盘作为记录媒体进行说明，但用光盘也同样可以进行。并且，记录媒体不局限于此，IC卡、ROM盒等只要是可以记录程序的媒体都同样可以实施。
(实施形态9)
图31至图34是说明进行上述实施形态所叙述的编码处理或解码处理的设备、及使用该设备的系统的图。
图31是表示实现内容传输服务的内容供给系统ex100的全体结构的方框图。按照所需大小分割通信服务的提供区域，分别在各个单元中设置有固定无线电台的基站ex107～ex110。
该内容供给系统ex100通过因特网服务提供器ex102、电话网ex104、及基站ex107～ex110，将计算机ex109、PDA(个人数字助理)ex112、摄像机ex113、移动电话机ex114、带摄像头的移动电话机ex115等设备连接在例如因特网ex101中。
但是，内容供给系统ex100并不仅局限于图31所示的组合，可以任意组合其中的某几个并进行连接。并且，各设备也可以不通过固定无线电台即基站ex107～ex110直接与电话网ex104连接。
摄像机ex113为数字录像机等能够进行动态图像摄影的设备。并且，移动电话机可以是PDC(Personal Digital Communications，个人数字通信)方式、CDMA(Code Division Access，码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access，宽带码分多址)方式、或是GSM(Global System for Mobile Communications，全球移动通信系统)方式的移动电话机，或者PHS(Personal HandyphoneSystem，个人手持电话系统)也可以。
并且，流服务器ex103通过基站ex109、电话网ex104与摄像机ex113连接，可以根据用户使用摄像机ex113发送的经过编码处理的数据进行实况传输。摄影数据的编码处理可以在摄像机ex113中进行，也可以在进行数据发送处理的服务器中进行行。并且，相机ex116拍摄的动态图像数据也可以通过计算机ex109发送到流服务器ex103中。相机ex116是数字摄像机等能够拍摄静止图像、动态图像的设备。在这种情况下，动态图像数据的编码既可以在相机ex116中进行，也可以在计算机ex109中进行。并且，编码处理在计算机ex109及摄像机116所拥有的LSIex117中进行。而且，图像编码·解码用的软件可以安装在能够通过计算机ex109等读取的记录媒体的任何一种存储媒体(CD-ROM、软盘、硬盘等)中。而且，也可以通过带摄像头的移动电话机ex115发送动态图像数据。此时的动态图像数据是在移动电话机ex115中的LSI中经过编码处理的数据。
在此内容供给系统ex100中，将用户通过摄像机ex113、相机ex116等拍摄的内容(如，拍摄音乐实况等影像)与上述实施形态相同进行编码处理并发送到流服务器ex103中，同时流服务器ex103将上述内容数据向要求的客户进行数据流传输。客户可以是能够对上述经过编码处理的数据进行解码的计算机ex109、PDAex112、摄像机113、移动电话机ex114等。这样一来，内容供给系统ex100能够将编码后的数据在客户中接收并再生，进而通过在客户中实时接收并解码之后再生，从而能够实现个人播放。
构成该系统的各设备的编码、解码可以使用上述各实施形态中所叙述过的动态图像编码装置或动态图像解码装置。
下面以移动电话机为例进行说明。
图32是表示使用了上述实施形态中说明过的动态图像编码方法和动态图像解码方法的移动电话机ex115的示意图。移动电话机ex115包括：与基站ex110之间发送接收电波的天线ex201，CCD相机等能够拍摄图像、静止图像的摄像头ex203，显示由摄像头ex203拍摄的图像、天线ex201接收的图像经过解码后的数据的液晶显示屏等显示单元ex202，由操作键ex204群构成的本体部，用于输出声音的扬声器等声音输出单元ex208，用于输入声音的麦克风等声音输入单元ex205，用于保存拍摄的动态图像或静止图像的数据、接收的电子邮件的数据、动态图像数据或静止图像数据等的编码数据或解码数据的记录媒体ex207，能够将记录媒体ex207安装在移动电话机ex115上的开口部ex206。记录媒体是SD卡等收纳在塑料盒内的能够进行电改写及删除的非易失性存储器EEPROM(Electrically Erasable andProgrammable Read Only Memory，电可擦可编程只读存储器)的一种，即闪存元件。
下面图28说明移动电话机ex115。移动电话机ex115通过同步总线ex313将电源电路ex310、操作输入控制单元ex304、图像编码单元ex312、摄像机接口部ex303、LCD(液晶显示器)控制单元ex302、图像解码单元ex309、复用分离单元ex308、记录再生单元ex307、调制解调电路ex306及声音处理单元ex305与统一地控制备有显示单元ex202及操作键ex204的本体的各个部分的主控制单元ex311相互连接。
在通过用户的操作结果通话并使电源键处于ON的状态下，电源电路ex310通过由备用电池对各部进行电力供给，启动带有摄像头的数字化移动电话机ex115使其为可动作状态。
移动电话机ex115根据CPU、ROM及RAM等主控制单元ex311的控制，用声音处理单元ex305将在声音通话模式时声音输入单元ex205收集到的声音信号转换成数字声音数据，并用调制解调电路ex306对其进行扩频处理，在收发电路ex301中实施数字/模拟变换处理及频率变换处理之后，通过天线ex201发送。并且，移动电话机ex115放大在声音通话模式时天线ex201接收的接收信号，并实施频率变换处理及模拟/数字变换处理，在调制解调电路ex306中进行逆扩频处理，在用声音处理单元ex305转换成模拟声音信号之后，通过声音输出单元ex208输出。
而且，在数据通信模式时发送电子邮件的情况下，通过操作本体部的操作键ex204输入的电子邮件的文本数据通过操作输入控制单元ex304发送到主控制单元ex311中。主控制单元ex311用调制解调电路ex306将文本数据进行扩频处理，用收发电路ex301实施数字模拟变换处理及频率变换处理，之后通过天线ex201向基站ex110发送。
在数据通信模式时发送图像数据的情况下，将由相机单元ex203拍摄的图像数据通过摄像机接口部ex303供给图像编码单元ex312。并且，在不发送图像数据的情况下，能够将由相机单元ex203拍摄的图像数据通过摄像机接口部ex303及LCD控制部ex302直接显示在显示单元ex202上。
图像编码单元ex312采用备有本发明中说明过的图像编码装置的结构，通过使用上述实施形态中所叙述过的图像编码装置所使用的编码方法将由相机单元ex203提供的图像数据进行压缩编码，由此转换成编码图像数据，并将此数据发送至复用分离单元ex308中。并且，与此同时，移动电话机ex115通过声音处理单元ex305将相机单元ex203在摄像过程中由声音输入单元ex205收集的声音作为数字声音数据，发送到复用分离单元ex308中。
复用分离单元308按照规定的方式，将图像编码单元ex312供给的编码图像数据和声音处理单元ex305供给的声音数据复用，将该结果得到的复用数据用调制解调电路ex306扩频处理，并在收发电路ex301中实施数字模拟变换处理及频率变换处理之后通过天线ex201进行发送。
在数据通信模式时接收与主页等连接的动态图像文件的数据的情况下，用调制解调电路ex306光谱逆扩散处理通过天线ex201从基站ex110接收的接收信号，将结果得到的复用数据发送到复用分离单元ex308中。
并且，在解码通过天线ex201接收的复用数据时，复用分离单元ex308通过将复用数据分离，将其分为图像数据的编码比特流和声音数据的编码比特流，并通过同步总线ex313将此编码图像数据供给图像解码单元ex309，同时将此声音数据提供给声音处理单元ex305。
图像解码单元ex309为具备本发明中说明过的图像解码装置的结构，用与上述实施形态所叙述过的编码方法相对应的解码方法解码图像数据的编码比特流，由此生成再生动态图像数据，将此数据通过LCD控制部ex302供给显示单元ex202，由此显示出例如包括与主页连接的动态图像文件在内的动态图像数据。与此同时，声音处理单元ex305将声音数据变换成模拟声音信号，之后，将此信号供给声音输出单元ex208，由此再生包括例如与主页连接的动态图像文件中所包含的声音数据。
另外，不局限于上述系统的例子，最近用卫星、地波进行数字广播已成为人们议论的话题，在如图34所示那样的数字广播用系统中至少可以组合上述实施形态中的至少图像编码装置或图像解码装置的任一项。具体为，在电台ex409中通过电波将影像信息的编码比特流传送给通信或广播卫星ex410。接收该电波的广播卫星ex410发送广播用电波，通过拥有卫星广播接收设备的家庭天线ex406接收此电波，通过电视机(接收机)ex401或机顶盒(STB)ex407等装置将编码比特流解码并再生。并且，在读取并解码记录在记录媒体即CD及DVD等存储媒体ex402上的编码比特流的再生装置ex403上，也能够安装上述实施形态中所叙述的图像解码装置。在这种情况下，再生的图像信号显示在监视器ex404上。并且，也可以考虑将图像解码装置安装在与有线电视用的电缆ex405或卫星/地波广播的天线ex406相连接的机顶盒ex407内，用电视机的监视器ex408再生影像信号。此时，也可以不将图像解码装置安装在机顶盒内而安装在电视机内。并且，也可以用具有天线ex411的车ex412接收从卫星ex410或基站ex107等传送的信号，在车ex412拥有的车载导航设备ex413等显示装置中再生动画。
而且，也可以用上述实施形态中所叙述过的图像编码装置编码图像信号并记录在记录媒体上。具体的例子有，在DVD光盘ex421中记录图像信号的DVD记录装置、记录在硬盘中的硬盘记录装置等记录装置ex420。并且还可以记录在SD卡ex422中。如果具备上述实施形态中所叙述过的图像解码装置，记录装置ex420就能够再生记录在DVD光盘ex421及SD卡ex422上的图像信号并显示在监视器ex408上。
车载导航设备ex413的结构可以考虑采用例如除去如图28所示的结构中的相机单元ex203、摄像机接口部ex303和图像编码单元ex312的结构，同样的结构也可以考虑用于计算机ex109及电视机(接收机)ex401等。
并且，上述移动电话机ex114等终端，除同时拥有编码器·解码器的发送接收型终端之外，还可以考虑只有编码器的发送终端、只有解码器的接收终端这3种安装形式。
这样，可以将上述实施形态中所叙述过的动态图像编码方法或动态图像解码方法应用在上述任何一种设备·系统中，由此能够得到上述实施形态中说明的效果。
并且，本发明并不局限于上述实施形态，在不超出本发明的范围内可以做种种变型和修改。
工业应用性
本发明适用于在图像内以块为单位交替进行帧编码和场编码的图像编码装置和图像解码装置，适用于动画发送服务器、接收它们的网络终端、可以记录再生动画的数字相机、带摄像头的移动电话机、DVD录像/再生机、PDA和个人计算机等。
本申请是2005年10月19日提交的申请号为200380100144.4、名称为“动态画像的编码方法及解码方法”的中国专利申请(国际申请日为2003年10月27日、国际申请号为PCT/JP2003/013679的PCT申请)的分案申请。
<编码装置及解码装置的概要>
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(1.1)、(1.2)这样处理。这里，参照索引及指令与图38所示的相同，参照索引的最大个数与图39所示的相同。
(1.1)就参照索引的最大个数来说，当场编码与帧编码混合存在时，编码装置将帧用参照索引的最大个数记述在传送的代码中。编码装置在帧编码时，将该最大个数当作可以使用的参照索引的个数来处理。而在场编码时，将该最大个数所表示的值的2倍当作场用参照索引的个数看待。例如，当帧用参照索引被分配到0到2时，帧用参照索引的最大个数为3。在帧编码时当然也是表示这个内容。在场编码时，将帧编码用参照索引的最大个数的2倍即6视为场编码用参照索引的最大个数。在解码装置中也同样。
(1.2)对于指令串，编码装置将帧用指令记述在传送的代码中。在帧编码时，编码装置如用图38说明过的那样进行帧用参照索引的分配。另外，在不编码指令串时，如用图37说明过的那样用默认(default)的分配方法将参照索引对应起来。
并且，在场编码时，以进行过分配的帧用参照索引为前提，更新用于场编码的参照索引的分配。
即，将该帧用参照索引的值乘2的值，作为场用参照索引，分配给构成1帧的2个场中、奇偶性(parity)与编码对象的宏块相同的场；将该参照索引的值乘2再加1的值(2倍+1)，作为场用参照索引，分配给构成1帧的2个场中、奇偶性与编码对象的宏块不同的场(参照图4)。这里，奇偶性是指场的奇偶性(区别由奇数行构成的顶部场和由偶数行构成的底部场)。
换言之，当编码对象的宏块属于顶部场时，将该帧用参照索引的值乘2后的值分配给上述2个场中的顶部场，将(2倍+1)分配给上述2个场中的底部场。当编码对象的宏块属于底部场时，将该帧用参照索引的值乘2后的值分配给上述2个场中的底部场，将(2倍+1)分配给上述2个场中的顶部场。
而解码装置解码传送的代码中包含的帧用参照索引的最大个数和分配指令，用它们通过与编码装置完全相同的方法进行参照图像和参照索引的分配。
<编码装置的结构>
下面说明编码装置的结构。
图1为表示本发明的实施形态1的动态图像编码装置的结构的方框图。用该图依次说明(1)编码装置的概要，(2)帧用参照索引、指令及场用参照索引的分配方法。
(1)编码的概要
这里，假设编码对象为表示帧或场的某一个的图像，就帧编码和场编码共同的编码的概要进行说明。
将成为编码对象的动态图像按照显示顺序以图像单位输入图像存储器101中，并按编码顺序进行图像的重新排列。图36A、36B为表示重新排列的例子。图36A为按显示顺序排列的图像，图36B为按编码顺序重新排列的图像的例子。由于这里的B3、B6在时间上参照前方及后方两方，在将这些图像编码之前，有必要先将成为参照对象的图像进行编码，所以在图36B中为了使P4、P7先编码而被重新排列。而且各个图像分割成被称作宏块的例如水平16×垂直16像素的块所，并以块单位进行以后的处理。
从图像存储器101中读取的输入图像信号被输入到差分运算单元110中，将通过获取与移动补偿编码单元107的输出的预测图像信号的残差得到的差分图像信号输出到预测残差编码单元102中。在预测残差编码单元102中进行频率变换、量子化等的图像编码处理并输出残差编码信号。残差编码信号输入到预测残差解码单元部104中进行逆量子化、逆频率变换等的图像解码处理并输出残差解码信号。在加法运算部113中进行所述残差解码信号和预测图像信号的加算并生成再构成图像信号，将得到再构成图像信号有可能在以后的图像间预测中被参照的信号储存在存储器105中。
另一方面，从图像存储器101中读取的宏块单位的输入图像信号被输入到移动矢量检测单元106中。在这里，将储存在图像存储器105中的再构成图像信号作为探索对象，通过检测距输入图像信号最近的图像区域，决定指示其位置的移动矢量。移动矢量检测以进一步分割宏块的块单位进行，得到的移动矢量被存储在移动矢量存储单元108中。此时，由于在现在标准化进程中的H.26L能够将多个图像作为参照对象使用，所以每个块都要有指定参照图像的识别编号。将其中的识别编号称作参照索引，在参照索引·图像编号变换单元109中，通过获取与图像存储器中的图像拥有的图像编号的对应，能够指定参照图像。
在移动补偿编码单元107中，使用由上述处理检测出的移动矢量及参照索引，从存储在图像存储部105中的再构成图像信号中，选出最适合于预测图像的图像区域。此时，对每个宏块判断用帧单位进行预测的方法与用场单位进行的预测方法哪个效率更好，用选中的方法进行编码。在代码串生成单元103中对经过上述一连串的处理输出的参照索引、移动矢量、残差编码信号等编码信息实施可变长度编码，由此可以获得该编码装置输出的代码串。
虽然以上的处理流程是进行图像间预测编码时的动作，但可以通过开关112及开关113进行和图像内预测编码的切换。在进行图像内编码的情况下，不通过移动补偿进行预测图像的生成，通过根据同一图像内的已编码完毕的区域生成编码对象区域的预测图像、并获取差分来生成差分图像信号。差分图像信号与图像间预测编码的情况相同，在预测残差编码单元102中变换为残差编码信号，通过在代码串生成单元103中实施可变长编码得到输出的代码串。
(2)参照索引分配方法
<参照索引的分配例>
首先，将帧用参照索引和场用参照索引的分配例表示在图2～图4中。
图2为编码对象图像的块进行帧编码时的默认的参照索引的分配例，从图像编号的值大的地方开始依次分配索引。并且，图3为用分配指令对图2的默认的参照索引进行参照索引更新时的例子。由于首先付与“—2”作为指令，因此通过将编码对象图像的编号13加上“—2”即11这一图像编号的图像分配给0号参照索引。接着付与“+1”作为指令，将图像编号12的图像分配给参照索引编号1号。以下通过同样的处理进行各图像编号的分配。第2参照索引的情况也是同样。以下虽然以进行默认分配的图2为基础进行说明，但用指令变更分配时也可以进行完全相同的处理。另外，以上的指令为一例，用具有除此以外的分配方法的指令更新索引时也可以进行完全相同的处理。
图4为表示根据上述(1.1)、(1.2)使顶部场用、底部场用第1、第2参照索引分别与图2所示的帧用第1、第2参照索引对应起来的结果的说明图。由图4可知，将帧用参照索引的2倍分配给奇偶性与编码对象的宏块相同的场，将帧用参照索引的值的2倍+1的值分配给奇偶性不同的场。
当场编码和帧编码混在1幅图像中时，本实施形态进行场编码时将参照索引的最大个数作为进行帧编码时的2倍的值来处理，因此虽然在图2中索引的个数为3，但图4中索引的个数为6。
<参照索引的分配处理>
图5为表示在编码装置的参照索引·图像编号变换单元进行参照索引分配处理的流程图。
在进行宏块单位帧场交替编码时，参照索引·图像编号变换单元109对每个片段进行参照索引分配处理。这里，片段表示将1幅图像分成1个或多个区域时的各个区域。在不变更参照索引时(默认时)参照索引·图像编号变换单元109省略所有的该图的处理。
如该图所示，参照索引·图像编号变换单元109首先将帧用参照索引和指令分配给帧(步骤S11)。该处理与已经说明过的图37相同，因此省略。接着，参照索引·图像编号变换单元109判断该片段中是否帧编码和场编码混在一起(步骤S12)，混在一起时进行场用参照索引分配处理(步骤S13)。
图6为表示将场用参照索引与帧用参照索引对应起来分配给场的处理的流程图。在该图中，变量j在B图像时为j＝1、2，P图像时为j＝1，max_idxj表示帧用第j参照索引的最大个数，idxj(i)表示帧用第i个第j参照索引的值。使循环2能够被B图像和P图像共同使用。循环1为帧用参照索引的最大个数(max_idxj)次循环，每次分配2个场用参照索引。
下面就将2个场用参照索引分配给循环1的1个循环，即1个帧用参照索引的处理的情况进行说明。参照索引·图像编号变换单元109读出在图5的S11分配到的帧用第i个第j参照索引的值idxj(i)(S23)、判断编码对象的宏块是否属于顶部场(S26)。
当判定为属于顶部场时，将帧用该参照索引idxj(i)乘以2的值(S27)分配给S25中被确定的2个场中的顶部场(S28)，将idxj(i)乘以2再加1算出的值(S29)分配给S25中被确定的2个场中的底部场(S30)。
当判定为属于底部场时，将帧用该参照索引idxj(i)乘以2的值(S31)分配给S25中确定的2个场中的底部场(S32)，将idxj(i)乘以2再加1算出的值(S33)分配给S25中确定的2个场中的底部场(S34)。
这样地，将2倍的帧用参照索引值和2倍的帧用参照索引值+1的值分配给场用参照索引。由此，如图4所示那样场用参照索引的最大个数可以分配到帧用参照索引的最大个数(max_idxj)的2倍的值。
在编码宏块时，在被场编码过的宏块中作为参照场使用的场用参照索引作为ref1和ref2(参照图39)设定在代码中。而在被帧编码过的宏块中作为参照帧使用的帧用参照索引作为ref1和ref2(参照图39)设定在代码中。
在图2的例子中，帧用参照索引为3个，在图4的例子中，场用参照索引为6个。
另外，虽然图6表示将场用参照索引分配给场编码的编码对象的每幅图像的处理，但也可以事先作成表。即，只要采用根据指令作成帧用参照索引与帧的图像编号的对应表，再与图6一样将参照索引分配给顶部场用和底部场用，由此作成顶部场用参照索引与场的图像编号相对应的表格和底部用参照索引与场的图像编号相对应的表格的结构就可以了。并且，该表的作成只要在开始编码或解码图像时进行1次，以后对于参照索引只要参照该表就可以决定参照图像。
<解码装置的结构>
图7为表示本发明的实施形态1的解码装置的结构的方框图。用该图依次说明(1)解码的概要，(2)参照索引变换处理。这里，假定从图1的编码装置中传送的代码传送到本解码装置中。
(1)解码的概要
首先从输入的代码串中用代码串解析单元201从图像的共同信息区域抽出参照索引的最大个数，从条块区域中抽出参照索引分配指令串，再从块编码信息区域中抽出参照索引、移动矢量信息和预测残差编码信号等各种信息。
由代码串解析单元201抽出的参照索引的最大个数和参照索引分配用指令串被输出给参照索引·图像编号变换单元206，参照索引被输出给移动补偿解码单元204，移动矢量信息被输出给移动矢量存储单元205，预测残差编码信号被输出给预测残差解码单元部202。
预测残差解码单元部202对输入的残差编码信号实施逆量子化、逆频率变换等图像解码处理，并输出残差解码信号。加法运算单元207将上述残差解码信号与从移动补偿解码单元204输出的预测图像信号相加生成再构成图像信号，得到的再构成图像信号为了在以后的图像间预测中用于参照及输出显示中使用，被存储在图像存储器203中。
移动补偿解码单元204用从移动矢量存储单元205输入的移动矢量及从代码串解析单元201输入的参照索引，从存储在图像存储器203中的再构成图像信号中取出最适合于预测图像的图像区域。此时，在参照索引·图像编号变换单元206中通过获取付与的参照索引与图像编号的对应指定图像存储器203中的参照图像。此时，如果混有场编码，则将帧用参照索引变换成场用参照索引，然后指定参照场。
然后，在移动补偿解码单元204中用线性预测对获得的图像区域的像素值实施插值处理等像素值变换处理，由此作成最终的预测图像。由上述一连串的处理生成的解码图像存储在图像存储器203中，根据显示的时刻作为显示用图像信号输出。
虽然以上的处理流程是在进行图像间预测解码情况下的动作，但由开关208进行与图像内预测解码的切换。在进行图像内解码的情况下，不进行由移动补偿的预测图像的生成，通过从同一图像内的解码完毕区域生成解码对象区域的预测图像并进行加法运算，生成解码图像。解码图像同图像间预测解码的情况一样存储在图像存储器203中，并根据显示的时间作为显示用图像信号输出。
(2)参照索引的变换处理
参照索引·图像编号变换单元206使用输入的参照索引的最大个数及参照索引分配指令进行图像编号和参照索引的分配。分配方法与编码装置时完全相同。在本实施形态中，将帧编码用参照索引的最大个数的2倍的值作为场编码用参照索引的最大个数。因此，如果在帧编码中进行图2所示那样的分配，则场编码如图4所示。
如果像以上所述那样采用本实施形态的编码装置和解码装置，则在进行宏块单位帧场交替编码时，只需编码帧编码用的参数，就能够使参照索引的最大个数及分配指令不仅适用于帧编码，也能够适用于场编码。并且，由于使场用参照索引的最大值为帧用时的2倍，因此编码及解码时能够有效利用存储在存储器中的所有的场。
(实施形态2)
<编码装置及解码装置的概要>
首先就本实施形态中的编码装置及解码装置的概要进行说明。
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(2.1)、(2.2)这样处理。
(2.1)就参照索引的最大个数来说，与实施形态1开头说明过的(1.1)相同，省略其说明。
(2.2)对于指令串，编码装置将帧用指令记述在传送的代码中。在帧编码时，编码装置像图37、图38说明过的那样进行帧用参照索引的分配。另外，在不编码指令串时，如用图37说明过的那样用默认的分配方法将参照索引对应起来。
并且，在场编码时，以进行过分配的帧用参照索引为前提，更新用于场编码的参照索引的分配。
本实施形态与实施形态1不同，无论编码对象宏块是顶部还是底部，都将该帧用参照索引的值乘2的值，作为场用参照索引分配给构成1帧的2个场中的顶部场，将该参照索引的值乘2再加1的值(2倍+1)作为场用参照索引，分配给构成1帧的2个场中的底部场(参照图9)。
<编码装置的结构>
图8为表示本发明的实施形态2的编码装置的结构的方框图。该图的编码装置与图1相比，具备参照索引·图像编号变换单元109a代替参照索引·图像编号变换单元109这一点不同。与图1相同的地方省略说明，主要就不同的地方进行说明。参照索引·图像编号变换单元109a只有不是进行(1.2)的变换(mapping)(参照索引的分配)而是进行(2.2)的变换这一点与图1不同。
<参照索引的分配例>
图9为表示根据上述(2.1)、(2.2)使顶部场用第1、第2参照索引与图2所示的帧用第1、第2参照索引对应起来的结果的说明图。如图9所示，本实施形态中的参照索引·图像编号变换单元109a的变换不是分别将参照索引分配给顶部场用和底部场用，而是将共同的参照索引分配给顶部和底部场。
在本实施形态中，当场编码和帧编码混在1幅图像中时，进行场编码时将参照索引的最大个数作为进行帧编码时的2倍的值来处理，因此虽然在图2中索引的个数为3，但图9中索引的个数为6。
<参照索引的分配处理>
图10为表示在编码装置的参照索引·图像编号变换单元进行参照索引分配处理的流程图。
在该图中，与图6的流程图相同的处理付与相同的步骤编号，并且，与图6的流程图相比，删除了图6的S26、S31～S34这一点和在S23之后执行S27这一点不同。由于这些不同，不仅分配帧用参照索引数的2倍的场用参照索引，而且如图9所示那样将共同的场用参照索引分配给顶部场和底部场。
<解码装置的结构>
图11为表示本发明的实施形态2的解码装置的结构的方框图。该图的解码装置与图7相比，具备参照索引·图像编号变换单元206a取代参照索引·图像编号变换单元206这一点不同。仅在参照索引·图像编号变换单元206a不是进行与(1.2)的变换相对应的参照索引变换处理而是进行以(2.2)的变换相对应的参照索引变换处理这一点上与图7不同。
<参照索引的变换处理>
参照索引·图像编号变换单元206a使用输入的参照索引的最大个数及参照索引分配指令进行图像编号和参照索引的分配。分配方法与编码装置时完全相同。
在本实施形态中，将帧编码用参照索引的最大个数的2倍的值作为场编码用参照索引的最大个数。因此，如果在帧编码中进行图2所示那样的分配，则场编码如图9所示。
(实施形态3)
<编码装置及解码装置的概要>
首先就本实施形态中的编码装置及解码装置的概要进行说明。
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(3.1)、(3.2)这样处理。
(3.1)就参照索引的最大个数来说，当场编码与帧编码混在时，编码装置将帧用参照索引的最大个数记述在传送的代码中。在帧编码时，编码装置将该最大个数当作可以使用的参照索引的个数来处理；而在场编码时，将与帧用相同的个数当作场用参照索引的个数来处理。例如，当帧用参照索引倍的最大个数为3时，场编用参照索引的最大个数也为3。
(3.2)对于指令串，与实施形态1开头说明过的(1.2)相同，省略其说明。由于(3.1)付与的帧编码用和场编码用的参照索引的最大值相同，因此在场编码时只能分配与图2相同的个数(参照图13)。
<编码装置的结构>
图12为表示本发明的实施形态3的编码装置的结构的方框图。该图的编码装置与图1相比，具备参照索引·图像编号变换单元109b代替参照索引·图像编号变换单元109这一点不同。参照索引·图像编号变换单元109b只有不是根据(1.1)而是根据(3.1)处理参照索引的个数这一点与图1不同。
<参照索引的分配例>
图13为表示根据上述(3.1)、(3.2)使场用第1、第2参照索引与图2所示的帧用第1、第2参照索引对应起来的结果的说明图。如图13所示，虽然本实施形态中的参照索引·图像编号变换单元109b的变换与实施形态1一样分别将参照索引分配给顶部场用和底部场用，但场用参照索引的最大个数与帧用参照索引的最大个数相同这一点不同。
<解码装置的结构>
图14为表示本发明的实施形态3的解码装置的结构的方框图。该图的解码装置与图7相比，具备参照索引·图像编号变换单元206b取代参照索引·图像编号变换单元206这一点不同。仅在参照索引·图像编号变换单元206b不是进行与(1.1)的最大个数相对应的参照索引变换处理而是进行与(3.2)的最大个数相对应的参照索引变换处理这一点上与图7不同。
(实施形态4)
<编码装置及解码装置的概要>
首先就本实施形态中的编码装置及解码装置的概要进行说明。
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(4.1)、(4.2)这样处理。
(4.1)就参照索引的最大个数来说，与实施形态3开头说明过的(3.1)相同，省略其说明。
(4.2)与实施形态2开头说明过的(2.2)相同，省略其说明。但是由于(4.1)付与的帧编码用和场编码用的参照索引的最大值相同，因此在场编码时只能分配与图2相同的个数(参照图16)。
<编码装置的结构>
图15为表示本发明的实施形态4的编码装置的结构的方框图。该图的编码装置与图8相比，具备参照索引·图像编号变换单元109c代替参照索引·图像编号变换单元109a这一点不同。参照索引·图像编号变换单元109c只有不是根据(2.1)而是根据(4.1)处理参照索引的个数这一点与图8不同。
<参照索引的分配例>
图16为表示根据上述(4.1)、(4.2)使场用第1、第2参照索引与图2所示的帧用第1、第2参照索引对应起来的结果的说明图。如图16所示，虽然本实施形态中的参照索引·图像编号变换单元109b的变换与实施形态2一样将共同的参照索引分配给编码对象宏块的顶部和底部，但场用参照索引的最大个数与帧用参照索引的最大个数相同这一点不同。
<解码装置的结构>
本实施形态的解码装置与实施形态2的解码装置相同。但是，场用参照索引的最大个数不是帧用最大个数的2倍，而是与之相同这一点不同。
(实施形态5)
<编码装置及解码装置的概要>
首先就本实施形态中的编码装置及解码装置的概要进行说明。
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(5.1)、(5.2)这样处理。
(5.1)就参照索引的最大个数来说，与实施形态3开头说明过的(3.1)相同，省略其说明。
(5.2)对于指令串，编码装置将帧用指令记述在传送的代码中。在帧编码时，编码装置像图37、图38说明过的那样进行帧用参照索引的分配。另外，在不编码指令串时，如用图37说明过的那样用默认的分配方法将参照索引对应起来。
并且，在场编码时，以进行过分配的帧用参照索引为前提更新用于场编码的参照索引的分配。
本实施形态与实施形态1不同，只将该帧用参照索引的值直接作为场用参照索引分配给构成1帧的2个场中的奇偶性与编码对象宏块相同的场，而不分配给奇偶性不同的场(参照图18)。
换言之，当编码对象的宏块属于顶部场时，将该帧用参照索引的值作为场用参照索引分配给上述2个场中的顶部场。当编码对象的宏块属于底部场时，将该帧用参照索引的值作为场用参照索引，分配给上述2个场中的底部场。
而解码装置将传输的代码串中包含的帧用参照索引的最大个数及分配指令进行解码，用它们通过与编码装置完全相同的方法进行参照图像和参照索引的分配。
<编码装置的结构>
图17为表示本发明的实施形态5的编码装置的结构的方框图。为了与上述(5.1)、(5.2)相对应，将图1中的参照索引·图像编号变换单元109变为参照索引·图像编号变换单元109d这一点不同。
<参照索引的分配例>
图18为表示根据上述(5.1)、(5.2)使场用第1、第2参照索引与图2所示的帧用第1、第2参照索引对应起来的结果的说明图。如图18所示，将该帧用参照索引的值作为场用参照索引分配给奇偶性与编码对象的宏块相同的场，对于奇偶性不同的场则不分配。
<参照索引的分配处理>
图19为表示在编码装置的参照索引·图像编号变换单元进行参照索引分配处理的流程图。该图与图6相比，在设置S81代替图6的S27～S30和设置S82代替S31～S34这些点不同。
<解码装置的结构>
图20为表示本发明的实施形态5的解码装置的结构的方框图。该图与图7相比，具备参照索引·图像编号变换单元206d取代参照索引·图像编号变换单元206这一点不同。
参照索引·图像编号变换单元206d通过与(5.2)的变换相同的操作变换场用索引，如果解码对象为顶部场，则仅变换顶部场；如果解码对象为底部场，则仅变换底部场。
(实施形态6)
<编码装置及解码装置的概要>
首先就本实施形态中的编码装置及解码装置的概要进行说明。
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(6.1)、(6.2)这样处理。这里，参照索引及指令与图37所示的相同，参照索引的最大个数与图39所示的相同。
(6.1)就参照索引的最大个数来说，当场编码与帧编码混在时，编码装置不仅将帧用参照索引的最大个数记述在传送的代码中，而且将顶部场用参照索引的最大个数和底部场用参照索引的最大个数记述在传送的代码中。
解码装置根据记述在代码串中的顶部场用参照索引的最大个数和底部场用参照索引的最大个数进行解码。
(6.2)对于指令串，与(1.2)相同，省略其说明。但是，使顶部场用参照索引不超过代码串中记述的最大个数这样地处理。对于底部场用参照索引也一样。
而解码装置解码传输的代码串中包含的帧用、顶部场和底部场用参照索引的最大个数和分配指令，用它们通过与编码装置完全相同的方法进行参照图像和参照索引的分配。
<编码装置及解码装置的结构>
本实施形态中的编码装置及解码装置与实施形态1中的编码装置和解码装置相同就可以了。但是，顶部场用参照索引的最大个数和底部场用参照索引的最大个数不是帧用参照索引的2倍，而是记述在代码串中，并根据其进行。
图21为表示本发明的实施形态6中代码串的数据结构的图。在该图中，图像共同信息中包含的Max_idx1中与第1参照图像refl相对应地记述帧用参照索引的最大个数(Max_idx_frm)、顶部场用参照索引的最大个数(Max_idx_top)和底部场用参照索引的最大个数(Max_idx_btm)。
图22为表示场编码时将第1、第2参照索引分配给场的图像编号的示例的图。在该图中，Max_idx_top为5，而将Max_idx_btm记述为6。这样地，本实施形态的编码装置和解码装置能够在顶部场和底部场中灵活地设定最大参照场数。
另外，虽然分别将顶部场用参照索引的最大个数和底部场用参照索引的最大个数记述在代码串中(参照(6.1))，但也可以不这样而让顶部场和底部场共用1个最大个数，将其记述在代码串中。
并且，(6.2)与(1.2)一样，将该帧用参照索引的值乘以2以后的值，作为场用参照索引，分配给构成由帧用参照索引和指令所指定的参照帧的2个场中、奇偶性与编码对象宏块相同的场；将该参照索引的值乘以2以后再加1的值(2倍+1)，作为场用参照索引，分配给构成由帧用参照索引和指令所指定的参照帧的2个场中、奇偶性与编码对象宏块不同的场(参照图4)。也可以不这样，而与(2.2)一样，将该帧用参照索引的值乘以2以后的值，作为场用参照索引，分配给构成由帧用参照索引和指令所指定的参照帧的2个场中的顶部场；将该参照索引的值乘以2以后再加1的值(2倍+1)作为场用参照索引分配给底部场(参照图9)
(实施形态7)
<编码装置及解码装置的概要>
首先就本实施形态中的编码装置及解码装置的概要进行说明。
本实施形态中的编码装置和解码装置进行宏块单位帧场交替编码，此时，对于参照索引的最大个数及指令串如下(7.1)、(7.2)这样处理。这里，参照索引及指令与图37所示的相同，参照索引的最大个数与图39所示的相同。
(7.1)就参照索引的最大个数来说，与(6.1)相同，省略其说明。
(7.2)对于指令串，编码装置不仅将帧用参照索引及指令记述在传送的代码中，而且将顶部场用参照索引及指令和底部场用参照索引和指令记述在传送的代码中。编码装置在帧编码时分配帧用参照索引，在场编码时分配顶部场用参照索引和底部场用参照索引。
而解码装置解码传送的代码串中包含的帧用、顶部场用和底部场用参照索引的最大个数和分配指令，用它们通过与编码装置完全相同的方法进行参照图像和参照索引的分配。
<编码装置的结构>
图23为表示本发明的实施形态7中的编码装置的结构的方框图。该图与图1相比，在具备参照索引·图像编号变换单元109e代替参照索引·图像编号变换单元109这一点不同。
图24为表示本实施形态中代码串的数据结构的图。在该图中，idx_cmd1为第1参照图像ref1用的指令集，包含idx_cmd_frm、idx_cmd_top和idx_cmd_btm。idx_cdm_frm为对帧用参照索引的指令。idx_cmd_top为对顶部场用参照索引的指令。idx_cmd_btm为对底部场用参照索引的指令。
图25为表示场编码时将第1、第2参照索引分配给场的图像编号的示例的图。在该图中，能够独立地将顶部场用参照索引和底部场用参照索引分配给任意的场。
图26为表示图25的情况下的参照索引、指令和场的图像编号的对应关系的一个示例的图。
图27为表示在参照索引·图像编号变换单元109e中进行参照索引和指令分配的处理过程的流程图。如图所示，参照索引·图像编号变换单元109e分配帧用参照索引及指令(S11)，然后当帧和场混在一起时(S12)，分配顶部场用参照索引及指令(S93)，再分配底部场用参照索引及指令。
另外，在图27中，如果以默认使用参照索引，则在图27的S11、S93和S94中不进行指令的分配。
<解码装置的结构>
图28为表示本发明的实施形态7的解码装置的结构的方框图。该图与图7相比，具备参照索引·图像编号变换单元206e取代参照索引·图像编号变换单元206这一点不同。参照索引·图像编号变换单元206e使用从代码串解析单元201中输入的帧用、顶部场用和底部场用索引分配指令，分别独立地使图像编号与参照索引对应起来。
另外，虽然本实施形态将顶部场用和底部场用指令串分别记述在代码中，但也可以是共同的指令。图29为此时的代码串的数据结构的示意图。图中的idx_fld为顶部场和底部场共同使用的指令串。
另外，也可以不将(7.1)说明过的场用参照索引的最大个数分别在顶部场和底部场中使用，而是顶部和底部共同使用。
并且，也可以不将(7.2)说明过的场用参照索引的最大个数分别在顶部场和底部场中使用，而是顶部和底部共同使用。
并且，上述各实施形态的解码装置也可以在开始解码片段之前作成场用参照索引与场的图像编号的对应表，在解码场编码过的宏块时参照该表。
(实施形态8)
而且，也可以将用来实现上述各实施形态叙述过的图像编码方法或图像解码方法的结构的程序记录在软盘等存储媒体中，由此在独立的计算机系统中简单地实施上述各个实施形态所叙述过的处理。
图30A～30C为用存储有从上述实施形态1到实施形态7的图像编码方法或图像解码方法的软盘通过计算机系统实施时的说明图。
图30B为表示从软盘的正面来看的外观、剖面构造以及软盘，图30A为表示记录媒体本体即软盘的物理格式的例子。软盘FD内藏在外盒F内，在该盘的表面形成有多个从外周向内周的同心圆状磁迹Tr，各个磁迹沿角度方向分割为16个扇区Se。因此，存储有上述程序的软盘在上述软盘FD上分配到的区域中记录有作为上述程序的图像编码方法。
并且，图30C表示用来在软盘FD上记录再生上述程序的结构。在将上述程序记录到软盘FD中时，通过软盘驱动器从计算机系统Cs中写入作为上述程序的图像编码方法或图像解码方法。并且，在通过软盘内的程序将上述图像编码方法构筑在计算机系统中的情况下，通过软盘驱动器从软盘中读取程序，并传送到计算机系统中。
另外，虽然上述说明用软盘作为记录媒体进行说明，但用光盘也同样可以进行。并且，记录媒体不局限于此，IC卡、ROM盒等只要是可以记录程序的媒体都同样可以实施。
(实施形态9)
图31至图34是说明进行上述实施形态所叙述的编码处理或解码处理的设备、及使用该设备的系统的图。
图31是表示实现内容传输服务的内容供给系统ex100的全体结构的方框图。按照所需大小分割通信服务的提供区域，分别在各个单元中设置有固定无线电台的基站ex107～ex110。
该内容供给系统ex100通过因特网服务提供器ex102、电话网ex104、及基站ex107～ex110，将计算机ex109、PDA(个人数字助理)ex112、摄像机ex113、移动电话机ex114、带摄像头的移动电话机ex115等设备连接在例如因特网ex101中。
但是，内容供给系统ex100并不仅局限于图31所示的组合，可以任意组合其中的某几个并进行连接。并且，各设备也可以不通过固定无线电台即基站ex107～ex110直接与电话网ex104连接。
摄像机ex113为数字录像机等能够进行动态图像摄影的设备。并且，移动电话机可以是PDC(Personal Digital Communications，个人数字通信)方式、CDMA(Code Division Access，码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access，宽带码分多址)方式、或是GSM(Global System for Mobile Communications，全球移动通信系统)方式的移动电话机，或者PHS(Personal HandyphoneSystem，个人手持电话系统)也可以。
并且，流服务器ex103通过基站ex109、电话网ex104与摄像机ex113连接，可以根据用户使用摄像机ex113发送的经过编码处理的数据进行实况传输。摄影数据的编码处理可以在摄像机ex113中进行，也可以在进行数据发送处理的服务器中进行行。并且，相机ex116拍摄的动态图像数据也可以通过计算机ex109发送到流服务器ex103中。相机ex116是数字摄像机等能够拍摄静止图像、动态图像的设备。在这种情况下，动态图像数据的编码既可以在相机ex116中进行，也可以在计算机ex109中进行。并且，编码处理在计算机ex109及摄像机116所拥有的LSIex117中进行。而且，图像编码·解码用的软件可以安装在能够通过计算机ex109等读取的记录媒体的任何一种存储媒体(CD-ROM、软盘、硬盘等)中。而且，也可以通过带摄像头的移动电话机ex115发送动态图像数据。此时的动态图像数据是在移动电话机ex115中的LSI中经过编码处理的数据。
在此内容供给系统ex100中，将用户通过摄像机ex113、相机ex116等拍摄的内容(如，拍摄音乐实况等影像)与上述实施形态相同进行编码处理并发送到流服务器ex103中，同时流服务器ex103将上述内容数据向要求的客户进行数据流传输。客户可以是能够对上述经过编码处理的数据进行解码的计算机ex109、PDAex112、摄像机113、移动电话机ex114等。这样一来，内容供给系统ex100能够将编码后的数据在客户中接收并再生，进而通过在客户中实时接收并解码之后再生，从而能够实现个人播放。
构成该系统的各设备的编码、解码可以使用上述各实施形态中所叙述过的动态图像编码装置或动态图像解码装置。
下面以移动电话机为例进行说明。
图32是表示使用了上述实施形态中说明过的动态图像编码方法和动态图像解码方法的移动电话机ex115的示意图。移动电话机ex115包括：与基站ex110之间发送接收电波的天线ex201，CCD相机等能够拍摄图像、静止图像的摄像头ex203，显示由摄像头ex203拍摄的图像、天线ex201接收的图像经过解码后的数据的液晶显示屏等显示单元ex202，由操作键ex204群构成的本体部，用于输出声音的扬声器等声音输出单元ex208，用于输入声音的麦克风等声音输入单元ex205，用于保存拍摄的动态图像或静止图像的数据、接收的电子邮件的数据、动态图像数据或静止图像数据等的编码数据或解码数据的记录媒体ex207，能够将记录媒体ex207安装在移动电话机ex115上的开口部ex206。记录媒体是SD卡等收纳在塑料盒内的能够进行电改写及删除的非易失性存储器EEPROM(Electrically Erasable andProgrammable Read Only Memory，电可擦可编程只读存储器)的一种，即闪存元件。
下面图28说明移动电话机ex115。移动电话机ex115通过同步总线ex313将电源电路ex310、操作输入控制单元ex304、图像编码单元ex312、摄像机接口部ex303、LCD(液晶显示器)控制单元ex302、图像解码单元ex309、复用分离单元ex308、记录再生单元ex307、调制解调电路ex306及声音处理单元ex305与统一地控制备有显示单元ex202及操作键ex204的本体的各个部分的主控制单元ex311相互连接。
在通过用户的操作结果通话并使电源键处于ON的状态下，电源电路ex310通过由备用电池对各部进行电力供给，启动带有摄像头的数字化移动电话机ex115使其为可动作状态。
移动电话机ex115根据CPU、ROM及RAM等主控制单元ex311的控制，用声音处理单元ex305将在声音通话模式时声音输入单元ex205收集到的声音信号转换成数字声音数据，并用调制解调电路ex306对其进行扩频处理，在收发电路ex301中实施数字/模拟变换处理及频率变换处理之后，通过天线ex201发送。并且，移动电话机ex115放大在声音通话模式时天线ex201接收的接收信号，并实施频率变换处理及模拟/数字变换处理，在调制解调电路ex306中进行逆扩频处理，在用声音处理单元ex305转换成模拟声音信号之后，通过声音输出单元ex208输出。
而且，在数据通信模式时发送电子邮件的情况下，通过操作本体部的操作键ex204输入的电子邮件的文本数据通过操作输入控制单元ex304发送到主控制单元ex311中。主控制单元ex311用调制解调电路ex306将文本数据进行扩频处理，用收发电路ex301实施数字模拟变换处理及频率变换处理，之后通过天线ex201向基站ex110发送。
在数据通信模式时发送图像数据的情况下，将由相机单元ex203拍摄的图像数据通过摄像机接口部ex303供给图像编码单元ex312。并且，在不发送图像数据的情况下，能够将由相机单元ex203拍摄的图像数据通过摄像机接口部ex303及LCD控制部ex302直接显示在显示单元ex202上。
图像编码单元ex312采用备有本发明中说明过的图像编码装置的结构，通过使用上述实施形态中所叙述过的图像编码装置所使用的编码方法将由相机单元ex203提供的图像数据进行压缩编码，由此转换成编码图像数据，并将此数据发送至复用分离单元ex308中。并且，与此同时，移动电话机ex115通过声音处理单元ex305将相机单元ex203在摄像过程中由声音输入单元ex205收集的声音作为数字声音数据，发送到复用分离单元ex308中。
复用分离单元308按照规定的方式，将图像编码单元ex312供给的编码图像数据和声音处理单元ex305供给的声音数据复用，将该结果得到的复用数据用调制解调电路ex306扩频处理，并在收发电路ex301中实施数字模拟变换处理及频率变换处理之后通过天线ex201进行发送。
在数据通信模式时接收与主页等连接的动态图像文件的数据的情况下，用调制解调电路ex306光谱逆扩散处理通过天线ex201从基站ex110接收的接收信号，将结果得到的复用数据发送到复用分离单元ex308中。
并且，在解码通过天线ex201接收的复用数据时，复用分离单元ex308通过将复用数据分离，将其分为图像数据的编码比特流和声音数据的编码比特流，并通过同步总线ex313将此编码图像数据供给图像解码单元ex309，同时将此声音数据提供给声音处理单元ex305。
图像解码单元ex309为具备本发明中说明过的图像解码装置的结构，用与上述实施形态所叙述过的编码方法相对应的解码方法解码图像数据的编码比特流，由此生成再生动态图像数据，将此数据通过LCD控制部ex302供给显示单元ex202，由此显示出例如包括与主页连接的动态图像文件在内的动态图像数据。与此同时，声音处理单元ex305将声音数据变换成模拟声音信号，之后，将此信号供给声音输出单元ex208，由此再生包括例如与主页连接的动态图像文件中所包含的声音数据。
另外，不局限于上述系统的例子，最近用卫星、地波进行数字广播已成为人们议论的话题，在如图34所示那样的数字广播用系统中至少可以组合上述实施形态中的至少图像编码装置或图像解码装置的任一项。具体为，在电台ex409中通过电波将影像信息的编码比特流传送给通信或广播卫星ex410。接收该电波的广播卫星ex410发送广播用电波，通过拥有卫星广播接收设备的家庭天线ex406接收此电波，通过电视机(接收机)ex401或机顶盒(STB)ex407等装置将编码比特流解码并再生。并且，在读取并解码记录在记录媒体即CD及DVD等存储媒体ex402上的编码比特流的再生装置ex403上，也能够安装上述实施形态中所叙述的图像解码装置。在这种情况下，再生的图像信号显示在监视器ex404上。并且，也可以考虑将图像解码装置安装在与有线电视用的电缆ex405或卫星/地波广播的天线ex406相连接的机顶盒ex407内，用电视机的监视器ex408再生影像信号。此时，也可以不将图像解码装置安装在机顶盒内而安装在电视机内。并且，也可以用具有天线ex411的车ex412接收从卫星ex410或基站ex107等传送的信号，在车ex412拥有的车载导航设备ex413等显示装置中再生动画。
而且，也可以用上述实施形态中所叙述过的图像编码装置编码图像信号并记录在记录媒体上。具体的例子有，在DVD光盘ex421中记录图像信号的DVD记录装置、记录在硬盘中的硬盘记录装置等记录装置ex420。并且还可以记录在SD卡ex422中。如果具备上述实施形态中所叙述过的图像解码装置，记录装置ex420就能够再生记录在DVD光盘ex421及SD卡ex422上的图像信号并显示在监视器ex408上。
车载导航设备ex413的结构可以考虑采用例如除去如图28所示的结构中的相机单元ex203、摄像机接口部ex303和图像编码单元ex312的结构，同样的结构也可以考虑用于计算机ex109及电视机(接收机)ex401等。
并且，上述移动电话机ex114等终端，除同时拥有编码器·解码器的发送接收型终端之外，还可以考虑只有编码器的发送终端、只有解码器的接收终端这3种安装形式。
这样，可以将上述实施形态中所叙述过的动态图像编码方法或动态图像解码方法应用在上述任何一种设备·系统中，由此能够得到上述实施形态中说明的效果。
并且，本发明并不局限于上述实施形态，在不超出本发明的范围内可以做种种变型和修改。
工业应用性
本发明适用于在图像内以块为单位交替进行帧编码和场编码的图像编码装置和图像解码装置，适用于动画发送服务器、接收它们的网络终端、可以记录再生动画的数字相机、带摄像头的移动电话机、DVD录像/再生机、PDA和个人计算机等。
本申请是2005年10月19日提交的申请号为200380100144.4、名称为“动态画像的编码方法及解码方法”的中国专利申请(国际申请日为2003年10月27日、国际申请号为PCT/JP2003/013679的PCT申请)的分案申请。