动态图像编码方法及动态图像解码方法转让专利
申请号 : CN200710097061.4
文献号 : CN100581260C
文献日 : 2010-01-13
发明人 : 羽饲诚 , 角野真也 , 近藤敏志 , 安倍清史
申请人 : 松下电器产业株式会社
摘要 :
动态图像编码装置，包括：在多幅参照图像插值预测时将2幅参照图像中的1幅固定为输入的默认参照图像编号DefRefNo所指示的参照图像、进行运动推定的运动推定部(101)；对每个像块对残差编码数据ERes、预测种类PredType、参照图像编号RefNo2及运动矢量MV1、MV2进行可变长编码，对每幅图像对默认参照图像编号DefRefNo，输出动态图像编码数据Str进行可变长编码的可变长编码部(107)。
权利要求 :
1、一种将待编码的当前图像分割成像块的图像编码方法，该方 法基于像块从参照图像中选择两个参照图像，对用于识别每个所选参 照图像的信息进行描述，并在所述像块上执行预测编码，所述方法包 括：为了对由多个像块构成的多像块图像单元进行编码，从多个参照 图像中，选择一个或两个用于共同参照的共同参照图像；
在选择两个用于共同参照的共同参照图像的情况下，对于所述两 个所选的参照图像，在所述多像块图像单元的共同信息区域中，描述 用于识别所述两个共同参照图像的共同信息；
在选择一个用于共同参照的共同参照图像的情况下，对于所述两 个所选的参照图像中的一个，在所述多像块图像单元的共同信息区域 中，描述用于识别所述一个共同参照图像的共同信息，以及对于每个 像块，还描述用于识别所选的两个参照图像中的另一个的信息；
使用所选的两个参照图像，生成所述多像块图像单元中包含的待 编码的当前像块的预测图像；以及使用所述预测图像对所述当前像块编码。
2、一种将待编码的当前图像分割成像块的图像编码装置，该装 置基于像块从参照图像中选择两个参照图像，对用于识别每个所选参 照图像的信息进行描述，并在所述像块上执行预测编码，所述装置包 括：进行选择操作的单元，为了对由多个像块构成的多像块图像单元 进行编码，从多个参照图像中，选择一个或两个用于共同参照的共同 参照图像；
执行如下操作的单元：
在选择两个用于共同参照的共同参照图像的情况下，对于所 述两个所选的参照图像，在所述多像块图像单元的共同信息区域中， 描述用于识别所述两个共同参照图像的共同信息；和在选择一个用于共同参照的共同参照图像的情况下，对于所 述两个所选的参照图像中的一个，在所述多像块图像单元的共同信息 区域中，描述用于识别所述一个共同参照图像的共同信息，以及对于 每个像块，还描述用于识别所选的两个参照图像中的另一个的信息；
进行生成操作的单元，使用所选的两个参照图像，生成所述多像 块图像单元中包含的待编码的当前像块的预测图像；和进行编码操作的单元，使用所述预测图像，对所述当前像块进行 编码。
说明书 :
本申请是基于2003年12月19提交的申请号为03800473.9的中 国专利申请提出的分案申请。
技术领域
本发明涉及一种对动态图像数据进行编码及解码的方法，以及记 录了用于通过软件实现该方法的程序的记录媒体。
背景技术
近年来，随着多媒体应用的发展，图像、声音、文本等所有媒体 信息一般能够统一地处理。这时，通过将所有的媒体数字化，能够统 一地处理媒体。但是，由于数字化了的图像具有庞大的数据量，因此 为了存储、传输，图像的信息压缩技术不可欠缺。而为了相互应用压 缩后的图像数据，压缩技术的标准化也很重要。作为图像压缩技术的 标准规格，有ITU(国际电气通信联合电气通信标准化部)的H.261、 H.263，ISO(国际标准化机构)的MPEG(运动图像专家组)-1、 MPEG-2、MPEG-4等。
作为这些动态图像编码方式共同的技术，有伴随运动补偿的图像 间预测。在这些动态图像编码方式的运动补偿中，将输入的图像分割 成预定大小的像块(block)，对每个像块，根据表示图像间的运动的 运动矢量生成预测图像。MPEG的图像间预测，使用根据1幅在显示 时刻上超前于编码对象图像的图像进行的前方预测、根据1幅在显示 时刻上滞后于编码对象图像的图像进行的后方预测、和根据在显示时 刻上超前于编码对象图像及在显示时刻上滞后于编码对象图像的共 计2幅图像进行像素插值预测的双向预测(参照例如 ISO/IEC14496-2：1999(E)信息技术-视听对象编码Part2：图像 (1999-12-01)P.1507.6.7时间预测结构)。
MPEG对于画面间预测的种类唯一地决定使用的参照画面，不能 选择任意地参照画面。而ITU的正处于标准化之中的H.264正在讨 论扩展的2方向预测，以便能够与编码对象图像的显示时刻无关地从 存储在图像存储器中的多幅已编码完毕的图像中选择任意的2幅参 照图像。
图1为表示H.264中的动态图像编码装置的构成的方框图。图1 的以前的动态图像编码装置在图像间预测时，采用执行能够从多幅图 像中选择参照图像的动态图像编码方式的装置。
该动态图像编码装置如图1所示包括运动推定部301、像素插值 部102、减法器103、图像编码部104、图像解码部105、加法器106、 可变长编码部302、多帧缓冲器108及开关109。
该动态图像编码装置将输入的图像数据Img分割成像块，对该 每个像块进行处理。减法器103从输入到动态图像编码装置中的图像 数据中减去预测图像数据Pred，作为残差数据Res输出。图像编码部 104对输入的残差数据Res进行正交变换、量子化等图像编码处理， 输出包含量子化正交变换系数等的残差编码数据ERes。图像解码部 105对输入的残差编码数据ERes进行逆量子化、逆正交变换等图像 解码处理，输出残差解码数据DRes。加法器106将残差解码数据DRes 与预测图像数据Pred相加，输出重构图像数据Recon。在重构图像 数据Recon中，有可能在以后的图像间预测中被参照的数据保存在多 帧缓冲器108中。
这里，用图2说明以往的动态图像编码装置所进行的用2幅参照 图像的插值预测。图2为用多幅参照图像进行的插值预测的概念图。 这里，图像pic为编码对象图像。图像FwRef1～FwRef3表示显示时 刻超前于编码对象图像pic的已编码完毕的图像，图像BwRef1～ BwRef3表示显示时刻滞后于编码对象图像pic的已编码完毕的图像。 像块Blk1根据显示时刻超前于编码对象图像pic的图像FwRef3所包 含的参照像块RefBlk11和显示时刻滞后于编码对象图像pic的图像 BwRef1所包含的参照像块RefBlk12的像素值进行预测。像块Blk2 根据显示时刻超前于编码对象图像pic的2幅图像FwRef1、FwRef2 所包含的参照像块RefBlk21、RefBlk22的像素值进行预测。像块Blk3 根据显示时刻滞后于编码对象图像的2幅图像BwRef1、BwRef2所 包含的参照像块RefBlk31、RefBlk32的像素值进行预测。即，将用 平均值等预定的方法对2个参照像块的对应位置的像素所得的结果 进行插值，作为预测图像。以往的动态图像编码装置的特征为如图2 所示那样，对每个像块用任意的2幅参照图像进行预测。以后，将上 述那样的用2幅参照图像进行预测的方法称为多个参照图像插值预 测。另外，预测方法除上述用像素插值生成预测图像的方法外，还有 原封不动地将任意的1幅图像所包含的像块作为预测图像的方法和 画面内预测的方法等，还可以在像块单位间切换预测方法。
运动推定部301对输入的编码对象像块决定像块的预测种类、图 像间预测时所使用的参照图像、运动矢量，输出预测种类PredType、 参照图像的编号RefNo1、RefNo2、运动矢量MV1、MV2。由于在多 个参照图像插值预测时选择2幅参照图像，因此运动推定部301输出 2个参照图像编号和2个运动矢量。此时，多帧缓冲器108输出与参 照图像编号RefNo1和运动矢量MV1相对应的参照像块RefBlk1和 与参照图像编号RefNo2和运动矢量mv2相对应的参照像块RefBlk2。 像素插值部102用平均值等对2个参照像块RefBlk1、RefBlk2的对 应的像素值插值，输出插值像块RefPol。而在多幅参照图像插值预测 以外的图像间预测时，由于选择1幅参照图像，因此运动推定部301 输出1个参照图像的编号RefNo1和1个运动矢量MV1。此时，多帧 缓冲器108输出与参照图像的编号RefNo1和运动矢量MV1相对应 的参照像块RefBlk。
在运动推定部301决定的预测种类PredType表示多幅参照图像 插值预测的情况下，开关109切换到“1”一侧，将插值像块RefPol 作为预测图像数据Pred使用。当预测种类PredType表示多幅参照图 像插值预测以外的图像间预测方法时，开关SW11切换到“0”一侧， 将参照像块RefBlk作为预测图像数据Pred使用。可变长编码部302 对残差编码数据ERes、预测种类PredType、参照图像的编号RefNo1、 RefNo2、运动矢量MV1、MV2，输出动态图像编码数据Str0进行可 变长编码。
图3为以往的动态图像编码装置的动态图像编码数据格式的概 念图。每1幅图像的编码数据Picture由构成图像的每个像块的1个 像块的编码数据Block等构成。这里，每1个这样的像块的编码数据 Block表示用多幅参照图像插值预测的像块的编码数据，编码数据中 包含2幅参照图像的参照图像的编号RefNo1、RefNo2、运动矢量 MV1、MV2以及预测模式PredType。
图4为表示以往的动态图像解码装置的构成的方框图。
如图4所示，该动态图像解码装置包括可变长度解码部601、运 动补偿部602、图像解码部404、加法器405、像素插值部406、多帧 缓冲器407和开关408。
可变长度解码部601对输入的动态图像编码数据Str0进行可变 长度解码，输出残差编码数据ERes、运动矢量MV1、MV2、参照图 像的编号RefNo1、RefNo2、预测种类PredType。图像解码部404对 输入的残差编码数据ERes进行逆量子化、逆正交变换等图像解码处 理，输出残差解码数据DRes。加法器405将残差解码数据DRes与 预测图像数据Pred相加，作为解码图像数据Dlmg输出到动态图像解 码装置外。多帧缓冲器407保存进行图像间预测的解码图像数据 Dlmg。
运动补偿部602根据预测种类PredType输出图像间预测所必需 的参照像块的参照图像的编号NRefNo1、NRefNo2和运动矢量MV1、 MV2，指示多帧缓冲器407输出参照像块。当预测种类PredType表 示多幅参照图像插值预测时，多帧缓冲器407输出与参照图像的编号 NRefNo1和运动矢量Nmv1相对应的参照像块RefBlk1和与参照图像 的编号NRefNo2和运动矢量NMV2相对应的参照像块RefBlk2。像 素插值部406用平均值等插值2个参照像块RefBlk1、RefBlk2的对 应的像素值，输出插值像块RefPol。而在预测种类PredType表示多 幅参照图像插值预测以外的图像间预测时，多帧缓冲器407输出与参 照图像的编号NRefNo1和运动矢量NMV1相对应的参照像块 RefBlk。
并且，在预测种类PredType表示多幅参照图像插值预测时，开 关408切换到“0”一侧，将插值像块RefPo1作为预测图像数据Pred 使用。而当预测种类PredType表示多幅参照图像插值预测以外的图 像间预测方法时，开关408切换到“1”一侧，将参照像块RefBlk作 为预测图像数据Pred使用。通过上述说明过的处理，动态图像解码 装置将动态图像编码数据Str0解码，输出图像解码数据Dlmg。
但是，在MPEG-4的动态图像编码方法中，定义了如下的多幅 参照图像插值预测方法，在使用被称为双向预测图像的多幅参照图像 插值预测型的图像中，通过根据已编码完毕的运动矢量，计算被称为 直接模式的由插值制作预测图像所使用的2幅参照图像的运动矢量， 省略像块的编码数据中的运动矢量及参照图像编号。
图5为MPEG-4的直接模式的说明图。这里，图像pic表示编码 对象图像，图像Ref1表示显示时刻超前于编码对象图像pic的参照 图像，图像Ref2表示显示时刻滞后于编码对象图像pic的参照图像， 像块Blk表示编码对象像块，像块Blk0表示参照图像Ref2中画面位 置与编码对象Blk相同的像块。并且，运动矢量MV01表示以编码像 块Blk0时使用的图像Ref1为参照图像的、指向前方的运动矢量，运 动矢量MV1表示指向参照图像Ref1的编码对象像块的运动矢量，运 动矢量MV2表示指向参照图像Ref2的编码对象像块的运动矢量，像 块RefBlk1表示被运动矢量MV1参照的参照像块，像块RefBlk2表 示被运动矢量MV2参照的参照像块。
用于编码对象像块Blk参照的2幅图像，使用显示时刻滞后的、 离得最近的图像Ref2作为后方参照图像，使用编码像块Blk0时参照 过的前方参照图像Ref1作为前方参照图像。
运动矢量的计算假定图像之间运动一定或没有运动进行。此时， 如果假设编码对象图像pic与参照图像Ref1之间的显示时刻的差值 为TRD1，参照图像Ref1与参照图像Ref2之间的显示时刻的差值为 TRD2，编码对象图像pic与参照图像Ref2之间的显示时刻的差值为 TRD3，则对编码对象像块进行编码时使用的运动矢量MV1及运动矢 量MV2可以分别由下面的计算公式算出：
MV1＝MV01×(TRD1/TRD2)……………………(式A)
MV2＝-MV01×(TRD3/TRD2)…………………(式B)
用以上的方法可以决定直接模式时的参照图像和运动矢量。上述 说明过的直接模式的处理，动态图像编码装置用图1的表示以往的动 态图像编码装置的构成的方框图的运动推定部301执行。并且，上述 说明过的直接模式的处理，动态图像解码装置用图4的表示以往的动 态图像解码装置的构成的方框图的运动补偿部602执行。
当对图像间的运动少的动态图像进行图像间预测时，图像间预测 误差非常小，由量子化等图像处理产生的残差编码数据ERes几乎为 0。在像以上说明过的直接模式那样，不编码运动矢量及参照图像编 号而用预定的方法决定的编码中，将根据编码对象像块的参照图像和 运动矢量的图像间预测的残差编码数据ERes全部为0的情况定义为 被称为跳跃(スキツプ)模式的预测种类PredType的1种。跳跃模 式由于只传送表示跳跃模式的预测种类PredType，因此能够以非常小 的代码量编码像块。通过分配比其他的预测种类短的可变长度代码字 给该跳跃模式或运行长度编码连续的跳跃模式的像块的个数，能够更 加有效地编码。
上述H.264将在1个像块中用直接模式进行图像间预测的残差编 码数据全部为0的情况定义为跳跃模式。在图1所示的动态图像编码 中，用跳跃模式编码像块时进行以下的处理。运动推定部301经过以 上说明过的直接模式的处理输出参照图像编号RefNo1、RefNo2、运 动矢量MV1、MV2和表示跳跃模式的预测种类PredType。可变长编 码部302在预测种类PredType表示跳跃模式时只对预测种类 PredType进行可变长编码，输出动态图像编码数据Str0。在图4所示 的动态图像解码装置中，如果输入用跳跃模式编码过的像块的编码数 据，则进行以下的处理。可变长度解码部601对预测种类PredType 进行可变长度解码。运动补偿部602在预测种类PredType表示为跳 跃模式时，通过以上说明过的直接模式的处理输出参照图像编号 NRefNo1、NRefNo2、运动矢量MV1、MV2和表示跳跃模式的预测 种类PredType。
如上所述，H.264能够与编码对象图像的显示时刻无关地从多幅 已编码完毕的图像中选择任意的参照图像。但是，由于在这种情况下 要对多幅已编码完毕的图像进行运动检测以选择任意的参照图像，因 此该运动检测的处理的负荷非常大。并且，由于该多幅参照图像插值 预测必需编码2幅参照图像的每1幅的参照图像编号和运动矢量，因 此存在降低编码效率的问题。
而且，在存在像用以往的技术说明过的双向预测图像那样，将显 示时刻滞后于编码对象图像的图像作为参照图像进行图像间预测的 图像时，必须以与显示时刻的顺序不同的顺序编码图像，因此产生了 因编码带来的延迟。在可视电话等实时通信的场合下，由于延迟会产 生问题，因此存在不能使用双向预测图像的情况。但是，H.264由于 能够不受显示顺序信息的影响选择任意的2幅参照图像，因此通过选 择2幅显示时刻超前于编码对象图像的图像进行多幅参照图像插值 预测，可以消除因编码产生的延迟。但是，由于此时多帧缓冲器中没 有保存显示时刻滞后于编码对象图像的图像，因此不能使用上述以往 的由显示时刻滞后于编码对象图像的图像决定运动矢量的直接模式。
作为这些动态图像编码方式共同的技术，有伴随运动补偿的图像 间预测。在这些动态图像编码方式的运动补偿中，将输入的图像分割 成预定大小的像块(block)，对每个像块，根据表示图像间的运动的 运动矢量生成预测图像。MPEG的图像间预测，使用根据1幅在显示 时刻上超前于编码对象图像的图像进行的前方预测、根据1幅在显示 时刻上滞后于编码对象图像的图像进行的后方预测、和根据在显示时 刻上超前于编码对象图像及在显示时刻上滞后于编码对象图像的共 计2幅图像进行像素插值预测的双向预测(参照例如 ISO/IEC14496-2：1999(E)信息技术-视听对象编码Part2：图像 (1999-12-01)P.1507.6.7时间预测结构)。
MPEG对于画面间预测的种类唯一地决定使用的参照画面，不能 选择任意地参照画面。而ITU的正处于标准化之中的H.264正在讨 论扩展的2方向预测，以便能够与编码对象图像的显示时刻无关地从 存储在图像存储器中的多幅已编码完毕的图像中选择任意的2幅参 照图像。
图1为表示H.264中的动态图像编码装置的构成的方框图。图1 的以前的动态图像编码装置在图像间预测时，采用执行能够从多幅图 像中选择参照图像的动态图像编码方式的装置。
该动态图像编码装置如图1所示包括运动推定部301、像素插值 部102、减法器103、图像编码部104、图像解码部105、加法器106、 可变长编码部302、多帧缓冲器108及开关109。
该动态图像编码装置将输入的图像数据Img分割成像块，对该 每个像块进行处理。减法器103从输入到动态图像编码装置中的图像 数据中减去预测图像数据Pred，作为残差数据Res输出。图像编码部 104对输入的残差数据Res进行正交变换、量子化等图像编码处理， 输出包含量子化正交变换系数等的残差编码数据ERes。图像解码部 105对输入的残差编码数据ERes进行逆量子化、逆正交变换等图像 解码处理，输出残差解码数据DRes。加法器106将残差解码数据DRes 与预测图像数据Pred相加，输出重构图像数据Recon。在重构图像 数据Recon中，有可能在以后的图像间预测中被参照的数据保存在多 帧缓冲器108中。
这里，用图2说明以往的动态图像编码装置所进行的用2幅参照 图像的插值预测。图2为用多幅参照图像进行的插值预测的概念图。 这里，图像pic为编码对象图像。图像FwRef1～FwRef3表示显示时 刻超前于编码对象图像pic的已编码完毕的图像，图像BwRef1～ BwRef3表示显示时刻滞后于编码对象图像pic的已编码完毕的图像。 像块Blk1根据显示时刻超前于编码对象图像pic的图像FwRef3所包 含的参照像块RefBlk11和显示时刻滞后于编码对象图像pic的图像 BwRef1所包含的参照像块RefBlk12的像素值进行预测。像块Blk2 根据显示时刻超前于编码对象图像pic的2幅图像FwRef1、FwRef2 所包含的参照像块RefBlk21、RefBlk22的像素值进行预测。像块Blk3 根据显示时刻滞后于编码对象图像的2幅图像BwRef1、BwRef2所 包含的参照像块RefBlk31、RefBlk32的像素值进行预测。即，将用 平均值等预定的方法对2个参照像块的对应位置的像素所得的结果 进行插值，作为预测图像。以往的动态图像编码装置的特征为如图2 所示那样，对每个像块用任意的2幅参照图像进行预测。以后，将上 述那样的用2幅参照图像进行预测的方法称为多个参照图像插值预 测。另外，预测方法除上述用像素插值生成预测图像的方法外，还有 原封不动地将任意的1幅图像所包含的像块作为预测图像的方法和 画面内预测的方法等，还可以在像块单位间切换预测方法。
运动推定部301对输入的编码对象像块决定像块的预测种类、图 像间预测时所使用的参照图像、运动矢量，输出预测种类PredType、 参照图像的编号RefNo1、RefNo2、运动矢量MV1、MV2。由于在多 个参照图像插值预测时选择2幅参照图像，因此运动推定部301输出 2个参照图像编号和2个运动矢量。此时，多帧缓冲器108输出与参 照图像编号RefNo1和运动矢量MV1相对应的参照像块RefBlk1和 与参照图像编号RefNo2和运动矢量mv2相对应的参照像块RefBlk2。 像素插值部102用平均值等对2个参照像块RefBlk1、RefBlk2的对 应的像素值插值，输出插值像块RefPol。而在多幅参照图像插值预测 以外的图像间预测时，由于选择1幅参照图像，因此运动推定部301 输出1个参照图像的编号RefNo1和1个运动矢量MV1。此时，多帧 缓冲器108输出与参照图像的编号RefNo1和运动矢量MV1相对应 的参照像块RefBlk。
在运动推定部301决定的预测种类PredType表示多幅参照图像 插值预测的情况下，开关109切换到“1”一侧，将插值像块RefPol 作为预测图像数据Pred使用。当预测种类PredType表示多幅参照图 像插值预测以外的图像间预测方法时，开关SW11切换到“0”一侧， 将参照像块RefBlk作为预测图像数据Pred使用。可变长编码部302 对残差编码数据ERes、预测种类PredType、参照图像的编号RefNo1、 RefNo2、运动矢量MV1、MV2，输出动态图像编码数据Str0进行可 变长编码。
图3为以往的动态图像编码装置的动态图像编码数据格式的概 念图。每1幅图像的编码数据Picture由构成图像的每个像块的1个 像块的编码数据Block等构成。这里，每1个这样的像块的编码数据 Block表示用多幅参照图像插值预测的像块的编码数据，编码数据中 包含2幅参照图像的参照图像的编号RefNo1、RefNo2、运动矢量 MV1、MV2以及预测模式PredType。
图4为表示以往的动态图像解码装置的构成的方框图。
如图4所示，该动态图像解码装置包括可变长度解码部601、运 动补偿部602、图像解码部404、加法器405、像素插值部406、多帧 缓冲器407和开关408。
可变长度解码部601对输入的动态图像编码数据Str0进行可变 长度解码，输出残差编码数据ERes、运动矢量MV1、MV2、参照图 像的编号RefNo1、RefNo2、预测种类PredType。图像解码部404对 输入的残差编码数据ERes进行逆量子化、逆正交变换等图像解码处 理，输出残差解码数据DRes。加法器405将残差解码数据DRes与 预测图像数据Pred相加，作为解码图像数据Dlmg输出到动态图像解 码装置外。多帧缓冲器407保存进行图像间预测的解码图像数据 Dlmg。
运动补偿部602根据预测种类PredType输出图像间预测所必需 的参照像块的参照图像的编号NRefNo1、NRefNo2和运动矢量MV1、 MV2，指示多帧缓冲器407输出参照像块。当预测种类PredType表 示多幅参照图像插值预测时，多帧缓冲器407输出与参照图像的编号 NRefNo1和运动矢量Nmv1相对应的参照像块RefBlk1和与参照图像 的编号NRefNo2和运动矢量NMV2相对应的参照像块RefBlk2。像 素插值部406用平均值等插值2个参照像块RefBlk1、RefBlk2的对 应的像素值，输出插值像块RefPol。而在预测种类PredType表示多 幅参照图像插值预测以外的图像间预测时，多帧缓冲器407输出与参 照图像的编号NRefNo1和运动矢量NMV1相对应的参照像块 RefBlk。
并且，在预测种类PredType表示多幅参照图像插值预测时，开 关408切换到“0”一侧，将插值像块RefPo1作为预测图像数据Pred 使用。而当预测种类PredType表示多幅参照图像插值预测以外的图 像间预测方法时，开关408切换到“1”一侧，将参照像块RefBlk作 为预测图像数据Pred使用。通过上述说明过的处理，动态图像解码 装置将动态图像编码数据Str0解码，输出图像解码数据Dlmg。
但是，在MPEG-4的动态图像编码方法中，定义了如下的多幅 参照图像插值预测方法，在使用被称为双向预测图像的多幅参照图像 插值预测型的图像中，通过根据已编码完毕的运动矢量，计算被称为 直接模式的由插值制作预测图像所使用的2幅参照图像的运动矢量， 省略像块的编码数据中的运动矢量及参照图像编号。
图5为MPEG-4的直接模式的说明图。这里，图像pic表示编码 对象图像，图像Ref1表示显示时刻超前于编码对象图像pic的参照 图像，图像Ref2表示显示时刻滞后于编码对象图像pic的参照图像， 像块Blk表示编码对象像块，像块Blk0表示参照图像Ref2中画面位 置与编码对象Blk相同的像块。并且，运动矢量MV01表示以编码像 块Blk0时使用的图像Ref1为参照图像的、指向前方的运动矢量，运 动矢量MV1表示指向参照图像Ref1的编码对象像块的运动矢量，运 动矢量MV2表示指向参照图像Ref2的编码对象像块的运动矢量，像 块RefBlk1表示被运动矢量MV1参照的参照像块，像块RefBlk2表 示被运动矢量MV2参照的参照像块。
用于编码对象像块Blk参照的2幅图像，使用显示时刻滞后的、 离得最近的图像Ref2作为后方参照图像，使用编码像块Blk0时参照 过的前方参照图像Ref1作为前方参照图像。
运动矢量的计算假定图像之间运动一定或没有运动进行。此时， 如果假设编码对象图像pic与参照图像Ref1之间的显示时刻的差值 为TRD1，参照图像Ref1与参照图像Ref2之间的显示时刻的差值为 TRD2，编码对象图像pic与参照图像Ref2之间的显示时刻的差值为 TRD3，则对编码对象像块进行编码时使用的运动矢量MV1及运动矢 量MV2可以分别由下面的计算公式算出：
MV1＝MV01×(TRD1/TRD2)……………………(式A)
MV2＝-MV01×(TRD3/TRD2)…………………(式B)
用以上的方法可以决定直接模式时的参照图像和运动矢量。上述 说明过的直接模式的处理，动态图像编码装置用图1的表示以往的动 态图像编码装置的构成的方框图的运动推定部301执行。并且，上述 说明过的直接模式的处理，动态图像解码装置用图4的表示以往的动 态图像解码装置的构成的方框图的运动补偿部602执行。
当对图像间的运动少的动态图像进行图像间预测时，图像间预测 误差非常小，由量子化等图像处理产生的残差编码数据ERes几乎为 0。在像以上说明过的直接模式那样，不编码运动矢量及参照图像编 号而用预定的方法决定的编码中，将根据编码对象像块的参照图像和 运动矢量的图像间预测的残差编码数据ERes全部为0的情况定义为 被称为跳跃(スキツプ)模式的预测种类PredType的1种。跳跃模 式由于只传送表示跳跃模式的预测种类PredType，因此能够以非常小 的代码量编码像块。通过分配比其他的预测种类短的可变长度代码字 给该跳跃模式或运行长度编码连续的跳跃模式的像块的个数，能够更 加有效地编码。
上述H.264将在1个像块中用直接模式进行图像间预测的残差编 码数据全部为0的情况定义为跳跃模式。在图1所示的动态图像编码 中，用跳跃模式编码像块时进行以下的处理。运动推定部301经过以 上说明过的直接模式的处理输出参照图像编号RefNo1、RefNo2、运 动矢量MV1、MV2和表示跳跃模式的预测种类PredType。可变长编 码部302在预测种类PredType表示跳跃模式时只对预测种类 PredType进行可变长编码，输出动态图像编码数据Str0。在图4所示 的动态图像解码装置中，如果输入用跳跃模式编码过的像块的编码数 据，则进行以下的处理。可变长度解码部601对预测种类PredType 进行可变长度解码。运动补偿部602在预测种类PredType表示为跳 跃模式时，通过以上说明过的直接模式的处理输出参照图像编号 NRefNo1、NRefNo2、运动矢量MV1、MV2和表示跳跃模式的预测 种类PredType。
如上所述，H.264能够与编码对象图像的显示时刻无关地从多幅 已编码完毕的图像中选择任意的参照图像。但是，由于在这种情况下 要对多幅已编码完毕的图像进行运动检测以选择任意的参照图像，因 此该运动检测的处理的负荷非常大。并且，由于该多幅参照图像插值 预测必需编码2幅参照图像的每1幅的参照图像编号和运动矢量，因 此存在降低编码效率的问题。
而且，在存在像用以往的技术说明过的双向预测图像那样，将显 示时刻滞后于编码对象图像的图像作为参照图像进行图像间预测的 图像时，必须以与显示时刻的顺序不同的顺序编码图像，因此产生了 因编码带来的延迟。在可视电话等实时通信的场合下，由于延迟会产 生问题，因此存在不能使用双向预测图像的情况。但是，H.264由于 能够不受显示顺序信息的影响选择任意的2幅参照图像，因此通过选 择2幅显示时刻超前于编码对象图像的图像进行多幅参照图像插值 预测，可以消除因编码产生的延迟。但是，由于此时多帧缓冲器中没 有保存显示时刻滞后于编码对象图像的图像，因此不能使用上述以往 的由显示时刻滞后于编码对象图像的图像决定运动矢量的直接模式。
发明内容
因此，本发明就是鉴于上述问题，目的是提供一种在多幅参照图 像插值预测时，能够有效地实现编码并能够削减处理量的动态图像编 码方法及动态图像解码方法。
为了达到上述目的，本发明的动态图像编码方法为以像块单位对 构成输入图像的各图像进行编码的动态图像编码方法，其特征在于， 包括：决定参照已编码完毕的图像进行编码的多个像块所共同参照的 图像的共同参照图像决定步骤；用上述共同参照的图像生成预测图像 的预测图像生成步骤；用上述预测图像对编码对象像块进行编码的编 码步骤。
因此，在用参照图像生成预测图像时，由于不需进行对每个像块 从多幅已编码完毕的图像中选择作为参照图像的图像的处理，因此可 以削减处理量。并且，由于不必对每个像块编码该参照图像，因此可 以削减代码量。一般地，图像数据中的大部分的像块选择相同的图像 作为最合适的参照图像的可能性很高。因此，通过例如以像块单位使 参照图像为共同的参照图像，能够在维持高编码效率的情况下削减处 理量。
或者，本发明的动态图像编码方法为以像块单位对构成输入图像 的各图像进行编码的动态图像编码方法，其特征在于，包括：决定参 照2幅已编码完毕的图像进行编码的多个像块所共同参照的第1图像 的共同参照图像决定步骤；参照上述第1图像和从各个像块已编码完 毕的图像中选择的第2图像生成预测图像的预测图像生成步骤；用上 述预测图像对编码对象像块进行编码的编码步骤。
因此，在用2幅图像作为参照图像生成预测图像时，由于对于1 幅参照图像不需要对每个像块从多幅已编码完毕的图像中选择1幅 图像的处理，因此能够削减处理量。并且，由于不必对每个像块编码 该参照图像，因此可以削减代码量。一般地，图像数据中的大部分的 像块选择相同的图像作为最合适的参照图像的可能性很高。因此，通 过例如以像块单位使一方的参照图像为共同的参照图像，能够在维持 高编码效率的情况下削减处理量。
这里，上述动态图像编码方法还可以包括将用于确定上述共同参 照图像的信息记述在生成的动态图像编码数据中的多个像块的共同 信息区域内的信息记述步骤。因此，可以将确定共同的参照图像的信 息记述在动态图像编码数据中，进行输出，在解码动态图像编码数据 时能够准确地确定参照图像。
本发明的动态图像解码方法为对各图像以像块单位被编码后的 动态图像编码数据进行解码的动态图像解码方法，其特征在于，包括： 决定参照已解码完毕的图像进行解码的多个像块所共同参照的图像 的共同参照图像决定步骤；用上述共同参照的图像生成预测图像的预 测图像生成步骤；用上述预测图像对解码对象像块进行解码的解码步 骤。
因此，在解码时能够正确地解码处理用共同的参照图像编码后输 出的动态图像编码数据。
或者，本发明的动态图像解码方法为对各图像以像块单位被编码 后的动态图像编码数据进行解码的动态图像解码方法，其特征在于， 包括：决定参照2幅已解码完毕的图像进行解码的多个像块所共同参 照的第1图像的共同参照图像决定步骤；参照上述第1图像和从各个 像块已解码完毕的图像中选择的第2图像生成预测图像的预测图像 生成步骤；用上述预测图像对解码对象像块进行解码的解码步骤。
因此，在解码时能够正确地解码处理用共同的参照图像和每个像 块的参照图像编码后输出的动态图像编码数据。
这里，上述动态图像解码方法还可以包括从上述动态图像编码数 据中的多个像块的共同信息区域内抽出用于确定上述共同的参照图 像的信息的信息抽出步骤。因此，能够从动态图像编码数据中抽出确 定共同的参照图像的信息，能够准确地特定参照图像。
另外，本发明不仅可以实现这样的动态图像编码方法和动态图像 解码方法，而且可以实现具有这样的动态图像编码方法和动态图像解 码方法所特有的步骤作为装置的动态图像编码装置和动态图像解码 装置。并且，还可以实现在计算机中执行这些步骤的程序或者实现用 上述动态图像编码方法编码过的动态图像编码数据。并且不用说，这 样的程序和动态图像编码数据可以通过CD-ROM等记录媒体或因特 网等传输媒体发送。
附图的简要说明
图1表示以往的动态图像编码装置的构成的方框图；
图2用多幅参照图像进行插值的概念图；
图3以往的动态图像编码装置的动态图像编码数据的格式的 概念图；
图4表示以往的动态图像解码装置的构成的方框图；
图5以往的直接模式的说明图；
图6表示实施形态1的动态图像编码装置的构成的方框图；
图7实施形态1的动态图像编码数据的格式的概念图；
图8表示实施形态2的动态图像解码装置的构成的方框图；
图9表示实施形态3的动态图像编码装置的构成的方框图；
图10实施形态3的动态图像编码数据的格式的概念图；
图11表示实施形态3的动态图像编码装置的变形例的构成的 方框图；
图12实施形态3的变形例的动态图像编码数据的格式的概念 图；
图13表示实施形态3的动态图像编码装置的变形例的构成的 方框图；
图14表示实施形态4的动态图像解码装置的构成的方框图；
图15表示实施形态4的动态图像解码装置的变形例的构成的 方框图；
图16实施形态5的显示顺序信息超前于编码对象图像的多幅 参照图像的直接模式的说明图；
图17实施形态5的显示顺序信息滞后于编码对象图像的多幅 参照图像的直接模式的说明图；
图18实施形态6的跳跃模式时的图像间预测的说明图；
图19对存储用计算机系统来实现上述各实施形态的动态图像 编码方法以及动态图像解码方法的程序的存储媒体的说明图，(a)为 表示了存储媒体的本体即软磁盘的物理格式的例子的说明图，(b)为 表示了从软磁盘的正面所看到的外观、横断面结构以及软磁盘的说明 图，(c)为表示了用于在软磁盘FD上进行上述程序的记录再生的构 成的说明图；
图20表示实现内容发送服务器的内容提供系统的全部构成的 方框图；
图21表示移动电话机的一例的简图；
图22表示移动电话机的内部构成的方框图；
图23表示数字播放用系统的整体构成的方框图。
本发明的最佳实施形态
下面参照附图就本发明的具体实施形态进行说明。
(实施形态1)
图6为表示本发明的实施形态1的动态图像编码装置的构成的方 框图。与图1中表示以往的动态图像编码装置的构成的方框图做相同 动作的单元或者相同的动作数据添加相同的附图标记，省略其说明。 另外，在下面说明的各实施形态的动态图像编码装置及动态图像解码 装置中，可以以像块单位对用2幅参照图像通过像素插值生成预测图 像的方法(多幅参照图像插值预测)、原封不动地将任意1幅图像中 包含的像块作为预测图像的方法、以及通过画面内预测生成预测图像 的方法等方法进行切换。
动态图像编码装置为将输入的图像数据Img分割成像块，对分 割的每个像块进行编码处理的装置，如图6所示包括运动推定部101、 像素插值部102、减法器103、图像编码部104、图像解码部105、加 法器106、可变长编码部107、多帧缓冲器108及开关109。
表示用多幅参照图像插值预测进行编码的像块所使用的一方的 参照图像的默认参照图像编号DefRefNo，被输入到动态图像编码装 置中。在多幅参照图像插值预测时，运动推定部101将2幅参照图像 中的1幅固定为输入的默认参照图像编号DefRefNo所指示的参照图 像，进行运动推定。因此，运动推定部101输出的参照图像编号RefNo1 的值与默认参照图像编号DefRefNo的值为同一值。可变长编码部107 对残差编码数据ERes、预测种类PredType、参照图像编号RefNo2、 运动矢量MV1、MV2、默认参照图像编号DefRefNo，输出动态图像 编码数据Str进行可变长编码。
下面对在上述那样构成的动态图像编码装置中，编码对象像块的 预测种类为多幅参照图像插值预测时的动作进行说明。
输入的图像数据Img按像块单位输入到运动推定部101及减法 器103中。
运动推定部101决定输入的编码对象像块的预测种类，将该预测 种类输出给开关109及可变长编码部107。并且，当决定的预测种类 PredType为多幅参照图像插值预测时，运动推定部101使2幅参照图 像中的1幅为输入的默认参照图像编号DefRefNo所表示的参照图 像，分别决定另一幅参照图像及对该2幅参照图像的运动矢量。然后， 运动推定部101将参照图像编号RefNo2及运动矢量MV1、MV2输 出给多帧缓冲器108及可变长编码部107，将参照图像编号RefNo1 输出给多帧缓冲器108。另外，默认参照图像编号DefRefNo也可以 从运动推定部101输出到可变长编码部107中。
接着，多帧缓冲器108将与参照图像编号RefNo1和运动矢量 MV1相对应的参照像块RefBlk1、以及与参照图像编号RefNo2和运 动矢量MV2相对应的参照像块RefBlk2输出给像素插值部102。像 素插值部102用平均值等对2个参照像块RefBlk1、RefBlk2所对应 的像素值进行插值，输出插值像块RefPol。这里，由于运动推定部 101决定的预测种类PredType为多幅参照图像插值预测，因此开关 109切换到“1”一侧，将插值像块RefPol作为预测图像数据Pred输 出给减法器103及加法器106。
减法器103从输入的图像数据Img中减去预测图像数据Pred， 作为残差数据Res输出给图像编码部104。图像编码部104对输入的 残差数据Res进行正交变换、量子化等图像编码处理，作为包含量子 化完毕的正交变换系数等的残差编码数据Eres，输出给图像解码部 105和可变长编码部107。图像解码部105对输入的残差编码数据 ERes进行逆量子化、逆正交变换等图像解码处理，作为残差解码数 据DRes输出给加法器106。加法器106将残差解码数据DRes与预 测图像数据Pred相加，作为重构图像数据Recon输出。在重构图像 数据Recon中，以后的图像间预测有可能参照的数据保存在多帧缓冲 器108中。
可变长编码部107对每个像块对输入的残差编码数据ERes、预 测种类PredType、参照图像编号RefNo2及运动矢量MV1、MV2进 行可变长编码，对每幅图像对默认参照图像编号DefRefNo进行可变 长编码，作为动态图像编码数据Str输出。
默认参照图像编号DefRefNo所表示的图像可以从存储在多帧缓 冲器108中的图像中任意地选择。例如，可以选择多帧缓冲器108中 具有最接近编码对象图像的显示顺序信息的显示顺序信息的、已编码 完毕的图像，或者多帧缓冲器108中具有超前于编码对象图像的显示 顺序信息但离其最近的显示顺序信息的、已编码完毕的图像，或者多 帧缓冲器108中具有滞后于编码对象图像的显示顺序信息但离其最 近的显示顺序信息的、已编码完毕的图像等。并且，也可以选择多帧 缓冲器108中编码顺序离编码对象图像最近的图像，或者多帧缓冲器 108中显示顺序信息超前于编码对象图像但编码顺序离其最近的图 像，或者多帧缓冲器108中显示顺序信息滞后于编码对象图像但编码 顺序离其最近的图像。
图7为实施形态1的动态图像编码数据的格式的概念图。用与图 3中的以往的动态图像编码装置的动态图像编码数据的格式的概念图 相同的数据添加相同的标记，其说明省略。与图3所示的以往的动态 图像编码装置的动态图像编码数据格式的不同点在于：每幅图像中都 包含默认参照图像编号DefRefNo，用多幅参照图像插值预测编码过 的像块的编码数据中包含的参照图像编号数据只有1个。
如上所述，如果采用本实施形态，由于参照图像的一方能够以像 块单位从多幅已编码完毕的图像中选择任意的图像，而对于参照图像 的另一方能够以图像单位固定为多幅已编码完毕的图像中的1幅图 像，因此可以不对每个像块编码固定的参照图像编号，所以能够改善 编码效率。
另外，作为指定默认参照图像的方法，本实施形态并不局限于上 述使用分配给上述图像的图像编号。也可以用例如编码对象图像所具 有的图像编号与作为默认参照图像而选择的图像所具有的图像编号 的相对的差分值，或者表示相对差分值的指令等信息指定。
并且，虽然本实施形态用默认参照图像编号只指定单方的参照图 像，但通过编码2个默认参照图像的编号，可以同时省略像块的编码 数据中的2个参照图像编号。
并且，虽然本实施形态就使用2幅参照图像通过像素插值生成预 测图像的多幅参照图像插值预测的情况进行了说明，但在原封不动地 将任意1幅图像所包含的像块作为预测图像的单数参照图像插值预 测时也同样能处理。此时，不必对每个像块记述参照图像，只需将参 照图像记述在共同信息区域。
并且，虽然本实施形态对每幅图像编码默认参照图像编号，但也 可以用例如对每多幅图像保存1个默认参照图像编号的句法(シンタ ツクス)结构编码，也可以用对多个像块构成的宏像块或多个宏像块 构成的片段等图像以下的句法结构保存1个默认参照图像编号的句 法结构编码。
(实施形态2)
图8为本发明的实施形态2的动态图像解码装置的方框图。对与 图4中表示以往的动态图像解码装置的构成的方框图做相同动作的 单元及相同的动作数据添加相同的附图标记，省略其说明。与图4的 不同点在于追加了默认参照图像编号缓冲器402。
该动态图像解码装置如图8所示包括可变长度解码部401、默认 参照图像编号缓冲器402、运动补偿部403、图像解码部404、加法 器405、像素插值部406、多帧缓冲器407和开关408。
可变长度解码部401对输入的动态图像编码数据Str进行可变长 度解码，输出残差编码数据ERes、预测种类PredType、参照图像编 号RefNo2、运动矢量MV1、MV2、默认参照图像编号DefRefNo。 由于解码过的默认参照图像编号DefRefNo必须被多个像块共同使 用，因此存储在默认参照图像编号缓冲器402中。存储在默认参照图 像编号缓冲器402中的默认参照图像编号DefRefNo输入到运动补偿 部403中，作为参照图像编号RefNo1。
下面就上述那样构成的动态图像解码装置中解码对象像块的预 测种类为多幅参照图像插值预测时的动作进行说明。
动态图像编码数据Str输入到可变长度解码部401中。可变长度 解码部401对输入的动态图像编码数据Str进行可变长度解码，将残 差编码数据ERes输出给图像解码部404，将参照图像编号RefNo2 及运动矢量MV1、MV2输出给运动补偿部403，将预测种类PredType 输出给运动补偿部403和开关408，将默认参照图像编号DefRefNo 输出给默认参照图像编号缓冲器402。默认参照图像编号缓冲器402 将存储的默认参照图像编号DefRefNo输出给运动补偿部403，作为 参照图像编号RefNo1。
由于预测种类PredType为多幅参照图像插值预测，因此运动补 偿部403将由默认参照图像编号缓冲器402输入的参照图像编号 NRefNo1、由可变长度解码部401输入的参照图像编号RefNo2及运 动矢量MV1、MV2输出给多帧缓冲器407，指示参照像块的输出。 多帧缓冲器407将与参照图像编号NRefNo1及运动矢量NMV1相对 应的参照像块RefBlk1和与参照图像编号NRefNo2及运动矢量 NMV2相对应的参照像块RefBlk2输出给像素插值部406。像素插值 部406用平均值等对2个参照像块RefBlk1、RefBlk2所对应的像素 值插值，输出插值像块RefPol。这里，由于预测种类PredType为多 幅参照图像插值预测，因此开关408切换到“0”一侧，将插值像块 RefPol作为预测图像数据Pred输出给加法器405。
而输入了残差编码数据ERes的图像解码部404对该残差编码数 据ERes进行逆量子化、逆正交变换等图像解码处理，将残差解码数 据DRes输出给加法器405。加法器405将残差解码数据DRes与预 测图像数据Pred相加，作为解码图像数据Dlmg输出到动态图像解码 装置外。多帧缓冲器407保存解码图像数据Dlmg，用于图像间预测。 通过这样的处理，动态图像解码装置解码动态图像编码数据Str，输 出解码图像数据Dlmg。
如上所述，如果采用本实施形态，能够正确地对使用了实施形态 1说明过的本发明的动态图像编码方法的动态图像编码装置编码过的 动态图像编码数据Str进行解码。
(实施形态3)
图9为本发明的实施形态3的动态图像编码装置的方框图。另外， 与图6中的实施形态1的动态图像编码装置的方框图中做相同动作的 单元及相同的动作数据添加相同的附图标记，省略其说明。
本实施形态的动态图像编码装置除实施形态1的构成外还包括 默认参照图像编号生成部201。默认参照图像编号生成部201用预定 的方法生成默认参照图像编号DefRefNo，输出给运动推定部101。 运动推定部101与实施形态1的动态图像编码装置一样，在多幅参照 图像插值预测时，将2幅参照图像中的1幅固定为输入的默认参照图 像编号DefRefNo所指示的参照图像，进行运动推定。可变长编码部 202对残差编码数据ERes、预测种类PredType、参照图像编号RefNo2、 运动矢量MV1、MV2，输出动态图像编码数据Str2进行可变长编码。
默认参照图像编号生成部201生成默认参照图像编号DefRefNo 的方法可以使用例如以下的方法。第1方法为将表示保存在多帧缓冲 器108中的已编码完毕的图像中的显示顺序信息离编码对象图像的 显示顺序信息最近的图像的图像编号作为默认参照图像编号 DefRefNo的方法。第2方法为将表示保存在多帧缓冲器108中的已 编码完毕的图像中的显示顺序信息超前于编码对象图像的显示顺序 信息但离其最近的图像的图像编号作为默认参照图像编号DefRefNo 的方法。第3方法为将表示保存在多帧缓冲器108中的已编码完毕的 图像中的显示顺序信息滞后于编码对象图像的显示顺序信息但离其 最近的图像的图像编号作为默认参照图像编号DefRefNo的方法。第 4方法为将表示保存在多帧缓冲器108中的已编码完毕的图像中的编 码顺序离编码对象图像最近的图像的图像编号作为默认参照图像编 号DefRefNo的方法。第5方法为将表示保存在多帧缓冲器108中的 已编码完毕的图像中的显示顺序信息超前于编码对象图像但编码顺 序离其最近的图像的图像编号作为默认参照图像编号DefRefNo的方 法。第6方法为将表示保存在多帧缓冲器108中的已编码完毕的图像 中的显示顺序信息滞后于编码对象图像但编码顺序离其最近的图像 的图像编号作为默认参照图像编号DefRefNo的方法。
本实施形态的动态图像编码装置的动态图像编码格式省略了图 7所示的动态图像编码数据格式中的默认参照图像编号DefRefNo， 为图10所示那样的数据格式。因此，由于不编码默认参照图像编号 DefRefNo也可以，因此改善了编码效率。
另外，虽然上述实施形态说明了通过将决定默认参照图像的方法 固定为某一个而在数据格式中不完全记述与默认参照图像有关的信 息来实现编码的方法，但默认参照图像的决定方法也可以在图像单位 间切换。例如，可以通过编码表示选择保存在多帧缓冲器中的已编码 完毕的图像中的具有离编码对象图像的显示顺序信息最近的显示顺 序信息的图像作为默认参照图像的方法的标识符，或编码表示选择保 存在多帧缓冲器中的已编码完毕的图像中的具有超前于编码对象图 像的显示顺序信息但离其最近的显示顺序信息的图像作为默认参照 图像的方法的标识符，或编码表示选择保存在多帧缓冲器中的已编码 完毕的图像中的具有滞后于编码对象图像的显示顺序信息但离其最 近的显示顺序信息的图像作为默认参照图像的方法的标识符来实现。
图11为此时的动态图像编码装置的方框图。默认参照图像编号 生成部203如图11所示，将表示选择默认参照图像的方法的标识符 Ident输出给可变长编码部204。可变长编码部204对残差编码数据 ERes、预测种类PredType、参照图像编号RefNo2、运动矢量MV1、 MV2及标识符Ident进行可变长编码，输出动态图像编码数据Str3。 此时的数据格式不包含图7的数据格式中所示的直接指定默认参照 图像的信息即默认参照图像编号DefRefNo，而是如图12所示那样包 含用于表示选择默认参照图像的方法的标识符Ident。
同样地，也可以对表示选择保存在多帧缓冲器中的已编码完毕的 图像中的编码顺序离编码对象图像最近的图像作为默认参照图像的 方法的标识符进行编码，或对表示选择保存在多帧缓冲器中的已编码 完毕的图像中的显示顺序信息超前于编码对象图像但编码顺序离其 最近的图像作为默认参照图像的方法的标识符进行编码，或对表示选 择保存在多帧缓冲器中的已编码完毕的图像中的显示顺序信息滞后 于编码对象图像但编码顺序离其最近的图像作为默认参照图像的方 法的标识符进行编码。另外，用该方法作成的动态图像编码数据可以 用具有以下说明的实施形态4的构成的解码方法解码。
并且，也可以不编码表示选择上述默认参照图像的方法的标识 符，而与实施形态1同样地如图7所示那样，对表示默认参照图像的 图像编号DefRefNo进行编码，或者对编码对象图像所具有的图像编 号与作为默认参照图像而选择的图像所具有的图像编号的相对的差 分值进行编码，或者对表示相对差分值的指令等信息进行编码。
图13为此时的动态图像编码装置的方框图。默认参照图像编号 生成部205如图13所示将默认参照图像编号DefRefNo输出给可变 长编码部206。可变长编码部206对残差编码数据ERes、预测种类 PredType、参照图像编号RefNo2、运动矢量MV1、MV2及默认参照 图像编号DefRefNo，输出动态图像编码数据Str4进行可变长编码。 此时的数据格式与图7所示的数据格式相同。另外，用该方法作成的 动态图像编码数据可以用实施形态2说明过的构成的解码方法解码。
(实施形态4)
图14为本发明的实施形态4的动态图像解码装置的方框图。另 外，与图8中实施形态2的动态图像解码装置的方框图做相同动作的 单元及相同的动作数据添加相同的附图标记，省略其说明。
本实施形态的动态图像解码装置不包括实施形态2的构成中所 示的默认参照图像编号缓冲器402，取而代之的是包括默认参照图像 编号生成部502。可变长度解码部501对输入的动态图像编码数据 Str2进行可变长度解码，输出残差编码数据ERes、预测种类PredType、 参照图像编号RefNo2、运动矢量MV1、MV2。默认参照图像编号生 成部502用与实施形态3说明过的默认参照图像编号生成部201相同 的方法生成默认参照图像编号DefRefNo，将该默认参照图像编号 DefRefNo作为参照图像编号RefNo1输出给运动补偿部403。
如上所述，如果采用本实施形态，能够正确地解码使用了实施形 态3说明过的本发明的动态图像编码方法的动态图像编码装置编码 过的动态图像编码数据Str2。
另外，当对包含有用于表示上述实施形态3的变形例所记述的选 择默认参照图像的方法的标识符Ident的动态图像编码数据Str3进行 解码时，动态图像解码装置可以如下这样地构成。
图15为此时动态图像解码装置的方框图，可变长度解码部503 如图15所示那样对输入的动态图像编码数据Str3进行可变长度解 码，输出残差编码数据ERes、预测种类PredType、参照图像编号 RefNo2、运动矢量MV1、MV2及用于表示选择默认参照图像的方法 的标识符Ident。默认(default)参照图像编号生成部504用可变长度 解码部503输入的标识符Ident所指示的选择默认参照图像的方法生 成默认参照图像编号DefRefNo，将该默认参照图像编号DefRefNo 作为参照图像编号RefNo1输出给运动补偿部403。
这样地，能够正确地解码包含有用于表示上述实施形态3说明过 的选择默认参照图像的方法的标识符Ident的动态图像编码数据Str3。
(实施形态5)
本实施形态对只参照显示顺序信息超前于编码对象图像的图像 进行编码时用直接模式编码时的情况进行说明。
图16为本发明的实施形态5的显示顺序信息超前于编码对象图 像的多幅参照图像的直接模式的说明图。这里，图像pic表示编码对 象图像，图像Ref1、Ref2表示参照图像，像块Blk表示编码对象像 块，像块Blk0表示参照图像Ref1中在画面内的位置与编码对象像块 Blk相同的像块。并且，运动矢量MV01表示编码像块Blk0时使用 的前方参照运动矢量，图像Ref3表示运动矢量MV01参照的参照图 像，运动矢量MV1表示从参照图像Ref1来的运动矢量，运动矢量 MV2表示从参照图像Ref2来的运动矢量，像块RefBlk1表示被运动 矢量MV1参照的参照像块，像块RefBlk2表示被运动矢量MV2参照 的参照像块。
参照图像从例如存储在多帧缓冲器中的已编码完毕的图像中，选 择显示顺序信息超前于编码对象图像的显示顺序信息但显示顺序信 息离它最近和第二近的图像。此时，如果假设编码对象图像pic与参 照图像Ref1之间的显示顺序信息的差值为TRD1，参照图像Ref1与 参照图像Ref3之间的显示顺序信息的差值为TRD2，编码对象图像 pic与参照图像Ref2之间的显示顺序信息的差值为TRD3，则编码编 码对象像块时使用的运动矢量MV1及运动矢量MV2可以分别由下 面的计算公式算出：
MV1＝MV01×(TRD1/TRD2)……………………(式A)
MV2＝MV01×(TRD3/TRD2)……………………(式B)
用以上的方法可以决定直接模式时的参照图像和运动矢量。
并且，上述H.264正在讨论通过使动态图像编码数据中包含用于 将已编码完毕的图像插入多帧缓冲器或从多帧缓冲器中删除已编码 完毕的图像的控制信息，明示地进行存储在多帧缓冲器中的图像的控 制的方法。通过这样的控制，可以有多帧缓冲器中只存储显示顺序信 息滞后于编码对象图像的图像的情况。下面对在多帧缓冲器中只存储 显示顺序信息滞后于编码对象图像的图像的情况下，使用多幅参照图 像插值预测的图像的直接模式的实现方法进行说明。
图17为本发明的实施形态5的显示顺序信息滞后于编码对象图 像的多幅参照图像的直接模式的说明图。这里，图像pic表示编码对 象图像，图像Ref1、Ref2表示参照图像，像块Blk表示编码对象像 块，像块Blk0表示参照图像Ref1中的在画面内的位置与编码对象像 块Blk相同的像块。并且，运动矢量MV01表示编码像块Blk0时使 用的前方参照运动矢量，运动矢量MV1表示从参照图像Ref1来的运 动矢量，运动矢量MV2表示从参照图像Ref2来的运动矢量，像块 RefBlk1表示被运动矢量MV1参照的参照像块，像块RefBlk2表示 被运动矢量MV2参照的参照像块。
参照图像从例如存储在多帧缓冲器中的已编码完毕的图像中，选 择显示顺序信息滞后于编码对象图像的显示顺序信息但显示顺序信 息离它最近和第二近的图像。此时，如果假设编码对象图像pic与参 照图像Ref1之间的显示顺序信息的差值为TRD1，参照图像Ref1与 参照图像Ref3之间的显示顺序信息的差值为TRD2，编码对象图像 pic与参照图像Ref2之间的显示顺序信息的差值为TRD3，则编码编 码对象像块时使用的运动矢量MV1及运动矢量MV2可以分别由下 面的计算公式(式C)及(式D)算出：
MV1＝-MV01×(TRD1/TRD2)……………………(式C)
MV2＝-MV01×(TRD3/TRD2)……………………(式D)
用以上的方法可以决定直接模式时的参照图像和运动矢量。
另外，上述直接模式的处理，图6所示的动态图像编码装置用运 动推定部101执行。并且，同样地，图8所示的动态图像解码装置用 运动补偿部403执行。
如上所述，通过采用具有本实施形态所记述的直接模式的动态图 像编码装置，即使在多帧缓冲器中只有显示顺序信息超前或滞后于编 码对象图像的、已编码完毕的图像的情况下，也能使用直接模式，因 此由于可以省略参照图像和运动矢量，所以能够改善编码效率。并且， 通过采用具有本实施形态所记述的直接模式的动态图像解码装置，能 够解码具有本实施形态所记述的直接模式的动态图像编码装置所输 出的动态图像编码数据。
并且，可以将跳跃模式定义为使用由本实施形态的直接模式算出 的参照图像、运动矢量，进行图像间预测的结果的残差编码数据为0 时的情况。由于本实施形态的直接模式即使在多帧缓冲器中只有显示 顺序信息超前或滞后于编码对象图像的、已编码完毕的图像的情况下 也能使用直接模式，因此即使在这样的情况下也能够选择跳跃模式， 通过采用具有上述说明的跳跃模式的动态图像解码装置，由于能够使 用跳跃模式，因此能够改善编码效率。并且，通过采用具有本实施形 态所记述的跳跃模式的动态图像解码装置，能够解码具有本实施形态 所记述的跳跃模式的动态图像编码装置所输出的动态图像编码数据。
另外，在对图16、图17的上述说明中，也可以自由地选择对于 参照图像Ref1的运动矢量，编码该运动矢量与上述说明的运动矢量 MV1的差分矢量。同样地，也可以自由地选择对于参照图像Ref2的 运动矢量，编码该运动矢量与上述说明的运动矢量MV2的差分矢量。
并且，虽然本实施形态，在多帧缓冲器中只有显示顺序信息超前 或滞后于编码对象图像的图像的情况下使用本实施形态说明过的跳 跃模式，但也可以更改步骤，例如，可以从存储在多帧缓冲器中的图 像中选择显示顺序信息离编码对象图像最近和第二近的图像，在选择 的2幅图像的显示顺序信息全都超前或全都滞后于编码对象图像的 情况下使用本实施形态说明过的跳跃模式。
(实施形态6)
在上述H.264中，包含多幅参照图像插值预测的图像的跳跃模 式，表示用直接模式进行图像间预测的结果的残差编码数据为0时的 情况。与此相对应，本实施形态的动态图像编码装置、动态图像解码 装置使跳跃模式所使用的预测方法为参照多帧缓冲器内已编码完毕 的图像中显示顺序信息离编码对象图像最近的参照图像的图像间预 测。
图18本发明的实施形态6的跳跃模式时的图像间预测的说明图。 这里，图像pic表示编码对象图像，图像Ref1表示具有编码对象图 像紧前面的显示顺序信息的已编码完毕的图像，图像Ref2表示具有 紧挨编码对象图像后面的显示顺序信息的已编码完毕的图像，像块 Blk表示编码对象像块，运动矢量MV1表示从参照图像Ref1来的0 值运动矢量，像块RefBlk1表示被运动矢量MV1参照的参照像块。 并且，使编码对象图像pic与图像Ref1之间的显示顺序信息的差值 TRD1小于编码对象图像pic与图像ref2之间的显示顺序信息的差值 TRD2。
本实施形态将显示顺序信息离编码对象图像最近的图像作为参 照图像。图18中，显示顺序信息离编码对象图像pic最近的图像为 图像Ref1。使对于图像Ref1的运动矢量MV1在图像内的垂直分量 和水平分量都为0，将运动矢量MV1参照的参照像块RefBlk作为预 测图像使用。通过使用这样的预测方法，由于动态图像编码装置和动 态图像解码装置能够唯-地决定参照图像和运动矢量，因此动态图像 编码数据中不必包含表示参照图像的信息和运动矢量。因此，将上述 说明过的图像间预测结果的残差编码数据为0时定义为跳跃模式，跳 跃模式的像块的编码数据中只要传送表示跳跃模式的预测种类就可 以了。
另外，虽然本实施形态将多帧缓冲器中已编码完毕的图像中显示 顺序信息离编码对象图像最近的图像作为参照图像，但也可以将多帧 缓冲器中已编码完毕的图像中显示顺序信息超前于编码对象图像但 离其最近的图像作为参照图像。
并且，虽然本实施形态将多帧缓冲器中已编码完毕的图像中显示 顺序信息离编码对象图像最近的图像作为参照图像，但也可以将多帧 缓冲器中已编码完毕的图像中显示顺序信息滞后于编码对象图像但 离其最近的图像作为参照图像。
并且，上述各实施形态中使用过的图像的显示顺序信息既可以是 表示显示图像的时刻的值也可以是表示图像的显示顺序的相对关系 的信息。
另外，上述图像的意思为同时具有画面和场，画面编码时可以作 为画面进行处理，隔行(インタ一レ一ス)编码(场编码)时可以作 为场进行处理。
并且，上述各实施形态即使在将1幅图像分割成顶部场和底部场 这2组场进行编码的隔行编码时也同样能够进行处理。该隔行编码由 于参照图像的编号为2倍，因此能够进一步提高编码效率。并且，此 时只要优先使用具有与编码对象图像相同的属性的图像作为默认参 照图像编号DefRefNo所指示的图像就可以了。即，如果编码对象图 像为顶部场则优先使用顶部场作为默认参照图像编号DefRefNo所指 示的图像。而当编码对象图像为底部场时优先使用底部场作为默认参 照图像编号DefRefNo所指示的图像。
(实施形态7)
另外，通过将实现上述各实施形态所叙述过的动态图像编码方法 以及动态图像解码方法的构成的程序记录到软磁盘等存储媒体上，可 以在独立的计算机系统上简单地实施上述各实施形态所叙述过的处 理。
图19是对存储用计算机系统来实现上述各实施形态的动态图像 编码方法以及动态图像解码方法的程序的存储媒体的说明图。
图19(b)表示从软磁盘的正面所看到的外观、横断面结构以及 软磁盘；图19(a)表示存储媒体的本体即软磁盘的物理格式的例子。 软磁盘FD内藏在壳体F内，该磁盘的表面形成从外周向内周的复数 条同心圆状状的磁道TR，各个磁道沿角度方向被分割成16个扇形区 Se。因此，存储了上述程序的软磁盘在分配到上述软磁盘FD上的区 域内记录着作为上述程序的动态图像编码方法。
而且，图19(c)表示在软磁盘FD上进行上述程序的记录再生 的构成。在将上述程序记录到软磁盘FD上的时候，通过软磁盘驱动 机构FDD从计算机系统Cs写入作为上述程序的动态图像编码方法以 及动态图像解码方法。并且，在用软磁盘内的程序将上述动态图像编 码方法以及动态图像解码方法构筑到计算机系统中的时候，用软磁盘 驱动器从软磁盘中读出程序，传送给计算机系统。
另外，虽然在上述说明中用软磁盘作为存储媒体进行说明，但使 用光盘也能同样地进行。而且，存储媒体不限于此，只要是能够记录 程序的东西，IC卡、ROM盒等也同样能够实施。
在这里，再说明上述实施形态中叙述过的动态图像编码方法以及 动态图像解码方法的应用例子和使用它的系统。
图20为表示实现内容发送服务器的内容提供系统ex100的全部 构成的方框图。通讯服务器的提供区域被分割成所需要的大小，各单 元内分别设置有作为固定无线电台的基站ex107～ex110。
该内容提供系统ex100通过因特网服务提供者ex102、电话网 ex104以及基站ex107～ex110将计算机ex111、PDA(个人数字助理) ex112、相机ex113、移动电话机ex114及带摄像头的移动电话机ex115 等各种设备与例如因特网ex101相连。
但是，内容提供系统ex100不限于图20那样的组合，任意组合 几种连接都可以。而且，也可以不通过固定无线电台即基站ex107～ ex110将各种设备直接与电话网ex104连接。
相机ex113是能拍摄动画的数码图像摄像机等设备。而且，移动 电话机可以是PDC(个人数字通信)方式、CDMA(码分多址访问 通信)方式、W-CDMA(宽带-码分多址访问通信)方式或者GSM(全 球数字移动电话系统)方式的移动电话机或PHS(Personal HandyPhone System)等的任何一种。
并且，流服务器ex103通过基站ex109、电话网ex104与相机ex113 连接，能够实时发送使用者用相机ex113发送的、编码过的数据。拍 摄的数据既可以在相机ex113上进行编码处理，也可以在发送处理数 据的服务器等上进行。而且，相机ex116拍摄的动画数据也可以通过 计算机ex111发送到流服务器ex103上。相机ex116是能拍摄静止画、 动画的数码相机等设备。在这种情况下，动画数据的编码在相机ex116 上进行、在计算机ex111上进行都可以。并且，编码处理在计算机ex111 或相机ex116所具有的LSIex117上处理。另外，可以组合成能够用 计算机ex111等读取动态图像编码、解码用的软件的存储媒体的某几 种存储媒体(CD-ROM，软磁盘，硬盘等)。并且，也可以用带摄像 头的移动电话机ex115发送动画数据。这时的动画数据就是在移动电 话机ex115所具有的LSI上被编码处理过的数据。
该内容提供系统ex100与上述实施形态一样编码处理用户用相 机ex113、相机ex116等拍摄的内容(例如拍摄了音乐实况(音楽ラ イブ)的动态图像)并发送到流服务器ex103中，同时，流服务器 ex103将上述内容数据流动发送给需要的客户。作为客户有能够解码 上述编码处理过的数据的计算机ex111、PDAex112、相机ex113和移 动电话机ex114等。这样一来，内容提供系统ex100就是能够在客户 中接收编码过的数据并再生，而且通过在客户中实时接收、解码、再 生，还能够实现个人广播的系统了。
构成这个系统的各设备的编码、解码，用上述各实施形态所叙述 的动态图像编码装置或动态图像解码装置就可以了。
拿移动电话机来作为其中的一个例子说明。
图21为表示使用了上述实施形态说明过的动态图像编码方法和 动态图像解码方法的移动电话机ex115的图。移动电话机ex115包括： 与基站ex110之间收发电波的天线ex201，CCD相机等能够拍摄图像、 静止画面的相机部ex203，液晶显示屏等显示相机部ex203拍摄的图 像、解码天线ex201接收的图像后的数据的显示部ex202，由操作键 ex204群构成的本体部，输出声音的扬声器等声音输出部ex208，输 入声音的麦克风等声音输入部ex205，保存拍摄的动画或静止画面的 数据、接收的邮件的数据、动画的数据或者静止画面的数据等、编码 过的数据或者解码了的数据的存储媒体ex207，使存储媒体ex207能 够安装在移动电话机ex115上的接口部ex206。存储媒体ex207为SD 卡等将能够在电气上改写和消除的非易失性存储器即EEPROM(电 可擦除可编程只读存储器)的一种即瞬时存储器元件保存在塑料壳体 内的构件。
再用图22说明移动电话机ex115。移动电话机ex115通过同步总 线ex313将电源电路ex310、操作输入控制部ex304、图像编码部 ex312、相机接口部ex303、LCD(液晶显示器)控制部ex302、图像解 码部ex309、复用分离部ex308、记录再生部ex307、调制解调电路 ex306及声音处理部ex305与统括地控制包括显示部ex202和操作键 ex204的本体部的各部分的主控制部ex311互相连接。
如果操作者通过操作结束电话及使电源键处于开着状态，则电源 电路ex310通过从电源给各个部分提供电力启动带摄像头的数码移 动电话机ex115，使其处于工作状态。
移动电话机ex115根据CPU，ROM，以及RAM等构成的主控 制部ex311的控制，用声音处理部ex305将在语音通话模式时声音输 入部ex205收集的声音信号转换成数字声音数据，用解调电路ex306 将其进行扩频处理，在用收发电路部ex301实施数模变换处理及频率 转换处理后通过天线ex201发送。或者，移动电话机ex115将在语音 通话模式时用天线ex201接收的接收数据放大，实施频率转换处理及 模数转换处理，用调制解调电路ex306进行逆向扩频处理，在用声音 处理部ex305转换成模拟声音数据之后，通过声音输出部ex208将其 输出。
另外，如果在数据通讯模式时发送电子邮件，本体部的操作键 ex204的操作输入的电子邮件的文本数据通过操作输入控制部ex304 输出到主控制部ex311。主控制部ex311用调制解调电路ex306扩频 文本数据，在用收发电路部ex301实施数模变换处理及频率变换处理 后通过天线ex201发送给基站ex110。
如果在数据通讯模式时发送图像数据，则通过相机接口部ex303 将相机部ex203拍摄的图像数据提供给图像编码部ex312。而且，在 不发送图像数据的时候，也可以通过相机接口部ex303和LCD控制 部ex302将相机部ex203拍摄的图像数据直接显示在显示部ex202上。
图像编码部ex312为具备本发明说明过的动态图像编码装置的 构件，通过用上述实施形态叙述过的动态图像编码装置中使用过的编 码方法压缩编码相机部ex203提供的图像数据将其变换成编码图像 数据，将其发送给复用分离部ex308。而且，这时移动电话机ex115 同时通过声音处理部ex305将声音输入部ex205在相机部分ex203拍 摄时收集到的声音作为数字声音数据发送到复用分离部ex308中。
复用分离部ex308以预定的方式复用复用图像编码部ex312提供 的编码图像数据和声音处理部ex305所提供的声音数据，用调制解调 电路ex306扩频处理其结果获得的复用数据，在用收发电路部ex301 实施数模变换处理和频率变换处理后通过天线ex201发送。
如果在数据通讯模式时接收与主页等连接的动态图像文件的数 据，则用调制解调电路ex306逆向扩频处理通过天线ex201从基站 ex110收到的接收数据，将其结果获得的复用复用数据发送给复用分 离部ex308。
当解码通过天线ex201收到的复用复用数据时，复用分离部 ex308通过分离复用复用数据将图像数据的比特流与声音数据的比特 流分开，通过同步总线ex313将该编码图像数据提供给图像解码部 ex309，同时将该声音数据提供给声音处理部ex305。
图像解码部ex309为具备本申请发明说明过的动态图像解码装 置的构件，通过用与上述实施形态记述过的编码方法相对应的解码方 法解码图像数据的比特流生成再生动态图像数据，通过LCD控制部 ex302将其提供给显示部ex202，据此，显示例如包含在与主页连接 的动态图像文件中的动画数据。这时，声音处理部ex305同时将声音 数据转换成模拟声音数据，然后将其提供给声音输出部ex208，据此， 再生例如与主页连接的动态图像文件中所包含的声音数据。
另外，不限于上述系统的例子，最近，使用卫星、地面波的数字 广播也提上了议事日程，如图23所示那样，在数字播放用的系统中 也至少能够嵌入上述实施形态的动态图像编码装置或动态图像解码 装置中的任何一种。具体地，广播站ex409通过电波将图像信息的比 特流传送给通讯或广播卫星ex410。接收到该信号的广播卫星ex410 发送广播用的电波，带有卫星广播接受设备的家庭天线ex406接收该 电波，通过电视机(接收机)ex401或机顶盒(STB)ex407等装置 解码比特流将其再生。并且，在读取记录在作为存储媒体的CD和 DVD等存储媒介ex401上的比特流并将其解码的再生装置ex403上， 也可以安装上述实施形态记述过的动态图像解码装置。此时，再生的 图像信号显示在监视器ex404上。并且，也可以考虑将动态图像解码 装置安装在与有线电视用的电缆ex405或卫星/地面波广播的天线 ex406相连的机顶盒ex407内，用电视机的监视器ex408将其再生的 结构。此时动态图像解码装置也可以不是安装在机顶盒内而是安装在 电视机内。并且，也可以用带天线ex411的汽车ex412从广播卫星 ex410或基站ex107等接收信号，将动画在汽车ex412所带的车载导 航设备ex413等显示装置上再生。
并且，也可以用上述实施形态记述过的动态图像编码装置编码图 像信号，然后记录到存储媒体上。具体的例子有将图像信号记录在 DVD盘ex421上的DVD记录装置或记录在硬盘上的磁盘记录装置等 记录装置ex420。而且，也可以记录在SD卡ex422上。如果记录装 置ex420具备上述实施形态记述过的动态图像解码装置，则可以再生 DVD盘ex421或SD卡ex422上记录的图像信号，用监视器ex408 显示。
另外，车载导航设备ex413的构成可以考虑除去了例如图22所 示构成中的相机部ex203、相机接口部ex303和图像编码部ex312的 构成，同样也可以考虑计算机ex111或电视机(接收机)ex401等。
并且，上述移动电话机ex114等终端除可以考虑同时具有编码器 和解码器的收发型终端外，还可以考虑只具有编码器的发送型终端和 只具有解码器的接收型终端这3种安装形式。
这样，可以将上述实施形态记述过的动态图像编码方法或动态图 像解码方法用在上述任何一种设备和系统中，通过这样，能够取得上 述实施形态所说明的效果。
而且，本发明不限于上述实施形态，只要不脱离本发明的范围， 可以作各种变形或修改。
如以上详细说明的那样，如果采用本发明的动态图像编码方法， 由于不必就一方的参照图像对每个像块从多幅已编码完毕的图像中 选择1幅图像，并且不必对每个像块编码该参照图像，因此能够实现 有效的编码并且能够削减处理量。
并且，如果采用本发明的动态图像解码方法，在解码用共同的参 照图像和每个像块的参照图像编码后输出的动态图像编码数据时能 够正确地解码处理。
工业应用性
如上所述，本发明的动态图像编码方法及动态图像解码方法可以 作为通过例如移动电话机、DVD装置及个人电脑等对构成输入图像 的各图像进行编码并输出动态图像编码数据，或解码该动态图像编码 数据的方法使用。
为了达到上述目的，本发明的动态图像编码方法为以像块单位对 构成输入图像的各图像进行编码的动态图像编码方法，其特征在于， 包括：决定参照已编码完毕的图像进行编码的多个像块所共同参照的 图像的共同参照图像决定步骤；用上述共同参照的图像生成预测图像 的预测图像生成步骤；用上述预测图像对编码对象像块进行编码的编 码步骤。
因此，在用参照图像生成预测图像时，由于不需进行对每个像块 从多幅已编码完毕的图像中选择作为参照图像的图像的处理，因此可 以削减处理量。并且，由于不必对每个像块编码该参照图像，因此可 以削减代码量。一般地，图像数据中的大部分的像块选择相同的图像 作为最合适的参照图像的可能性很高。因此，通过例如以像块单位使 参照图像为共同的参照图像，能够在维持高编码效率的情况下削减处 理量。
或者，本发明的动态图像编码方法为以像块单位对构成输入图像 的各图像进行编码的动态图像编码方法，其特征在于，包括：决定参 照2幅已编码完毕的图像进行编码的多个像块所共同参照的第1图像 的共同参照图像决定步骤；参照上述第1图像和从各个像块已编码完 毕的图像中选择的第2图像生成预测图像的预测图像生成步骤；用上 述预测图像对编码对象像块进行编码的编码步骤。
因此，在用2幅图像作为参照图像生成预测图像时，由于对于1 幅参照图像不需要对每个像块从多幅已编码完毕的图像中选择1幅 图像的处理，因此能够削减处理量。并且，由于不必对每个像块编码 该参照图像，因此可以削减代码量。一般地，图像数据中的大部分的 像块选择相同的图像作为最合适的参照图像的可能性很高。因此，通 过例如以像块单位使一方的参照图像为共同的参照图像，能够在维持 高编码效率的情况下削减处理量。
这里，上述动态图像编码方法还可以包括将用于确定上述共同参 照图像的信息记述在生成的动态图像编码数据中的多个像块的共同 信息区域内的信息记述步骤。因此，可以将确定共同的参照图像的信 息记述在动态图像编码数据中，进行输出，在解码动态图像编码数据 时能够准确地确定参照图像。
本发明的动态图像解码方法为对各图像以像块单位被编码后的 动态图像编码数据进行解码的动态图像解码方法，其特征在于，包括： 决定参照已解码完毕的图像进行解码的多个像块所共同参照的图像 的共同参照图像决定步骤；用上述共同参照的图像生成预测图像的预 测图像生成步骤；用上述预测图像对解码对象像块进行解码的解码步 骤。
因此，在解码时能够正确地解码处理用共同的参照图像编码后输 出的动态图像编码数据。
或者，本发明的动态图像解码方法为对各图像以像块单位被编码 后的动态图像编码数据进行解码的动态图像解码方法，其特征在于， 包括：决定参照2幅已解码完毕的图像进行解码的多个像块所共同参 照的第1图像的共同参照图像决定步骤；参照上述第1图像和从各个 像块已解码完毕的图像中选择的第2图像生成预测图像的预测图像 生成步骤；用上述预测图像对解码对象像块进行解码的解码步骤。
因此，在解码时能够正确地解码处理用共同的参照图像和每个像 块的参照图像编码后输出的动态图像编码数据。
这里，上述动态图像解码方法还可以包括从上述动态图像编码数 据中的多个像块的共同信息区域内抽出用于确定上述共同的参照图 像的信息的信息抽出步骤。因此，能够从动态图像编码数据中抽出确 定共同的参照图像的信息，能够准确地特定参照图像。
另外，本发明不仅可以实现这样的动态图像编码方法和动态图像 解码方法，而且可以实现具有这样的动态图像编码方法和动态图像解 码方法所特有的步骤作为装置的动态图像编码装置和动态图像解码 装置。并且，还可以实现在计算机中执行这些步骤的程序或者实现用 上述动态图像编码方法编码过的动态图像编码数据。并且不用说，这 样的程序和动态图像编码数据可以通过CD-ROM等记录媒体或因特 网等传输媒体发送。
附图的简要说明
图1表示以往的动态图像编码装置的构成的方框图；
图2用多幅参照图像进行插值的概念图；
图3以往的动态图像编码装置的动态图像编码数据的格式的 概念图；
图4表示以往的动态图像解码装置的构成的方框图；
图5以往的直接模式的说明图；
图6表示实施形态1的动态图像编码装置的构成的方框图；
图7实施形态1的动态图像编码数据的格式的概念图；
图8表示实施形态2的动态图像解码装置的构成的方框图；
图9表示实施形态3的动态图像编码装置的构成的方框图；
图10实施形态3的动态图像编码数据的格式的概念图；
图11表示实施形态3的动态图像编码装置的变形例的构成的 方框图；
图12实施形态3的变形例的动态图像编码数据的格式的概念 图；
图13表示实施形态3的动态图像编码装置的变形例的构成的 方框图；
图14表示实施形态4的动态图像解码装置的构成的方框图；
图15表示实施形态4的动态图像解码装置的变形例的构成的 方框图；
图16实施形态5的显示顺序信息超前于编码对象图像的多幅 参照图像的直接模式的说明图；
图17实施形态5的显示顺序信息滞后于编码对象图像的多幅 参照图像的直接模式的说明图；
图18实施形态6的跳跃模式时的图像间预测的说明图；
图19对存储用计算机系统来实现上述各实施形态的动态图像 编码方法以及动态图像解码方法的程序的存储媒体的说明图，(a)为 表示了存储媒体的本体即软磁盘的物理格式的例子的说明图，(b)为 表示了从软磁盘的正面所看到的外观、横断面结构以及软磁盘的说明 图，(c)为表示了用于在软磁盘FD上进行上述程序的记录再生的构 成的说明图；
图20表示实现内容发送服务器的内容提供系统的全部构成的 方框图；
图21表示移动电话机的一例的简图；
图22表示移动电话机的内部构成的方框图；
图23表示数字播放用系统的整体构成的方框图。
本发明的最佳实施形态
下面参照附图就本发明的具体实施形态进行说明。
(实施形态1)
图6为表示本发明的实施形态1的动态图像编码装置的构成的方 框图。与图1中表示以往的动态图像编码装置的构成的方框图做相同 动作的单元或者相同的动作数据添加相同的附图标记，省略其说明。 另外，在下面说明的各实施形态的动态图像编码装置及动态图像解码 装置中，可以以像块单位对用2幅参照图像通过像素插值生成预测图 像的方法(多幅参照图像插值预测)、原封不动地将任意1幅图像中 包含的像块作为预测图像的方法、以及通过画面内预测生成预测图像 的方法等方法进行切换。
动态图像编码装置为将输入的图像数据Img分割成像块，对分 割的每个像块进行编码处理的装置，如图6所示包括运动推定部101、 像素插值部102、减法器103、图像编码部104、图像解码部105、加 法器106、可变长编码部107、多帧缓冲器108及开关109。
表示用多幅参照图像插值预测进行编码的像块所使用的一方的 参照图像的默认参照图像编号DefRefNo，被输入到动态图像编码装 置中。在多幅参照图像插值预测时，运动推定部101将2幅参照图像 中的1幅固定为输入的默认参照图像编号DefRefNo所指示的参照图 像，进行运动推定。因此，运动推定部101输出的参照图像编号RefNo1 的值与默认参照图像编号DefRefNo的值为同一值。可变长编码部107 对残差编码数据ERes、预测种类PredType、参照图像编号RefNo2、 运动矢量MV1、MV2、默认参照图像编号DefRefNo，输出动态图像 编码数据Str进行可变长编码。
下面对在上述那样构成的动态图像编码装置中，编码对象像块的 预测种类为多幅参照图像插值预测时的动作进行说明。
输入的图像数据Img按像块单位输入到运动推定部101及减法 器103中。
运动推定部101决定输入的编码对象像块的预测种类，将该预测 种类输出给开关109及可变长编码部107。并且，当决定的预测种类 PredType为多幅参照图像插值预测时，运动推定部101使2幅参照图 像中的1幅为输入的默认参照图像编号DefRefNo所表示的参照图 像，分别决定另一幅参照图像及对该2幅参照图像的运动矢量。然后， 运动推定部101将参照图像编号RefNo2及运动矢量MV1、MV2输 出给多帧缓冲器108及可变长编码部107，将参照图像编号RefNo1 输出给多帧缓冲器108。另外，默认参照图像编号DefRefNo也可以 从运动推定部101输出到可变长编码部107中。
接着，多帧缓冲器108将与参照图像编号RefNo1和运动矢量 MV1相对应的参照像块RefBlk1、以及与参照图像编号RefNo2和运 动矢量MV2相对应的参照像块RefBlk2输出给像素插值部102。像 素插值部102用平均值等对2个参照像块RefBlk1、RefBlk2所对应 的像素值进行插值，输出插值像块RefPol。这里，由于运动推定部 101决定的预测种类PredType为多幅参照图像插值预测，因此开关 109切换到“1”一侧，将插值像块RefPol作为预测图像数据Pred输 出给减法器103及加法器106。
减法器103从输入的图像数据Img中减去预测图像数据Pred， 作为残差数据Res输出给图像编码部104。图像编码部104对输入的 残差数据Res进行正交变换、量子化等图像编码处理，作为包含量子 化完毕的正交变换系数等的残差编码数据Eres，输出给图像解码部 105和可变长编码部107。图像解码部105对输入的残差编码数据 ERes进行逆量子化、逆正交变换等图像解码处理，作为残差解码数 据DRes输出给加法器106。加法器106将残差解码数据DRes与预 测图像数据Pred相加，作为重构图像数据Recon输出。在重构图像 数据Recon中，以后的图像间预测有可能参照的数据保存在多帧缓冲 器108中。
可变长编码部107对每个像块对输入的残差编码数据ERes、预 测种类PredType、参照图像编号RefNo2及运动矢量MV1、MV2进 行可变长编码，对每幅图像对默认参照图像编号DefRefNo进行可变 长编码，作为动态图像编码数据Str输出。
默认参照图像编号DefRefNo所表示的图像可以从存储在多帧缓 冲器108中的图像中任意地选择。例如，可以选择多帧缓冲器108中 具有最接近编码对象图像的显示顺序信息的显示顺序信息的、已编码 完毕的图像，或者多帧缓冲器108中具有超前于编码对象图像的显示 顺序信息但离其最近的显示顺序信息的、已编码完毕的图像，或者多 帧缓冲器108中具有滞后于编码对象图像的显示顺序信息但离其最 近的显示顺序信息的、已编码完毕的图像等。并且，也可以选择多帧 缓冲器108中编码顺序离编码对象图像最近的图像，或者多帧缓冲器 108中显示顺序信息超前于编码对象图像但编码顺序离其最近的图 像，或者多帧缓冲器108中显示顺序信息滞后于编码对象图像但编码 顺序离其最近的图像。
图7为实施形态1的动态图像编码数据的格式的概念图。用与图 3中的以往的动态图像编码装置的动态图像编码数据的格式的概念图 相同的数据添加相同的标记，其说明省略。与图3所示的以往的动态 图像编码装置的动态图像编码数据格式的不同点在于：每幅图像中都 包含默认参照图像编号DefRefNo，用多幅参照图像插值预测编码过 的像块的编码数据中包含的参照图像编号数据只有1个。
如上所述，如果采用本实施形态，由于参照图像的一方能够以像 块单位从多幅已编码完毕的图像中选择任意的图像，而对于参照图像 的另一方能够以图像单位固定为多幅已编码完毕的图像中的1幅图 像，因此可以不对每个像块编码固定的参照图像编号，所以能够改善 编码效率。
另外，作为指定默认参照图像的方法，本实施形态并不局限于上 述使用分配给上述图像的图像编号。也可以用例如编码对象图像所具 有的图像编号与作为默认参照图像而选择的图像所具有的图像编号 的相对的差分值，或者表示相对差分值的指令等信息指定。
并且，虽然本实施形态用默认参照图像编号只指定单方的参照图 像，但通过编码2个默认参照图像的编号，可以同时省略像块的编码 数据中的2个参照图像编号。
并且，虽然本实施形态就使用2幅参照图像通过像素插值生成预 测图像的多幅参照图像插值预测的情况进行了说明，但在原封不动地 将任意1幅图像所包含的像块作为预测图像的单数参照图像插值预 测时也同样能处理。此时，不必对每个像块记述参照图像，只需将参 照图像记述在共同信息区域。
并且，虽然本实施形态对每幅图像编码默认参照图像编号，但也 可以用例如对每多幅图像保存1个默认参照图像编号的句法(シンタ ツクス)结构编码，也可以用对多个像块构成的宏像块或多个宏像块 构成的片段等图像以下的句法结构保存1个默认参照图像编号的句 法结构编码。
(实施形态2)
图8为本发明的实施形态2的动态图像解码装置的方框图。对与 图4中表示以往的动态图像解码装置的构成的方框图做相同动作的 单元及相同的动作数据添加相同的附图标记，省略其说明。与图4的 不同点在于追加了默认参照图像编号缓冲器402。
该动态图像解码装置如图8所示包括可变长度解码部401、默认 参照图像编号缓冲器402、运动补偿部403、图像解码部404、加法 器405、像素插值部406、多帧缓冲器407和开关408。
可变长度解码部401对输入的动态图像编码数据Str进行可变长 度解码，输出残差编码数据ERes、预测种类PredType、参照图像编 号RefNo2、运动矢量MV1、MV2、默认参照图像编号DefRefNo。 由于解码过的默认参照图像编号DefRefNo必须被多个像块共同使 用，因此存储在默认参照图像编号缓冲器402中。存储在默认参照图 像编号缓冲器402中的默认参照图像编号DefRefNo输入到运动补偿 部403中，作为参照图像编号RefNo1。
下面就上述那样构成的动态图像解码装置中解码对象像块的预 测种类为多幅参照图像插值预测时的动作进行说明。
动态图像编码数据Str输入到可变长度解码部401中。可变长度 解码部401对输入的动态图像编码数据Str进行可变长度解码，将残 差编码数据ERes输出给图像解码部404，将参照图像编号RefNo2 及运动矢量MV1、MV2输出给运动补偿部403，将预测种类PredType 输出给运动补偿部403和开关408，将默认参照图像编号DefRefNo 输出给默认参照图像编号缓冲器402。默认参照图像编号缓冲器402 将存储的默认参照图像编号DefRefNo输出给运动补偿部403，作为 参照图像编号RefNo1。
由于预测种类PredType为多幅参照图像插值预测，因此运动补 偿部403将由默认参照图像编号缓冲器402输入的参照图像编号 NRefNo1、由可变长度解码部401输入的参照图像编号RefNo2及运 动矢量MV1、MV2输出给多帧缓冲器407，指示参照像块的输出。 多帧缓冲器407将与参照图像编号NRefNo1及运动矢量NMV1相对 应的参照像块RefBlk1和与参照图像编号NRefNo2及运动矢量 NMV2相对应的参照像块RefBlk2输出给像素插值部406。像素插值 部406用平均值等对2个参照像块RefBlk1、RefBlk2所对应的像素 值插值，输出插值像块RefPol。这里，由于预测种类PredType为多 幅参照图像插值预测，因此开关408切换到“0”一侧，将插值像块 RefPol作为预测图像数据Pred输出给加法器405。
而输入了残差编码数据ERes的图像解码部404对该残差编码数 据ERes进行逆量子化、逆正交变换等图像解码处理，将残差解码数 据DRes输出给加法器405。加法器405将残差解码数据DRes与预 测图像数据Pred相加，作为解码图像数据Dlmg输出到动态图像解码 装置外。多帧缓冲器407保存解码图像数据Dlmg，用于图像间预测。 通过这样的处理，动态图像解码装置解码动态图像编码数据Str，输 出解码图像数据Dlmg。
如上所述，如果采用本实施形态，能够正确地对使用了实施形态 1说明过的本发明的动态图像编码方法的动态图像编码装置编码过的 动态图像编码数据Str进行解码。
(实施形态3)
图9为本发明的实施形态3的动态图像编码装置的方框图。另外， 与图6中的实施形态1的动态图像编码装置的方框图中做相同动作的 单元及相同的动作数据添加相同的附图标记，省略其说明。
本实施形态的动态图像编码装置除实施形态1的构成外还包括 默认参照图像编号生成部201。默认参照图像编号生成部201用预定 的方法生成默认参照图像编号DefRefNo，输出给运动推定部101。 运动推定部101与实施形态1的动态图像编码装置一样，在多幅参照 图像插值预测时，将2幅参照图像中的1幅固定为输入的默认参照图 像编号DefRefNo所指示的参照图像，进行运动推定。可变长编码部 202对残差编码数据ERes、预测种类PredType、参照图像编号RefNo2、 运动矢量MV1、MV2，输出动态图像编码数据Str2进行可变长编码。
默认参照图像编号生成部201生成默认参照图像编号DefRefNo 的方法可以使用例如以下的方法。第1方法为将表示保存在多帧缓冲 器108中的已编码完毕的图像中的显示顺序信息离编码对象图像的 显示顺序信息最近的图像的图像编号作为默认参照图像编号 DefRefNo的方法。第2方法为将表示保存在多帧缓冲器108中的已 编码完毕的图像中的显示顺序信息超前于编码对象图像的显示顺序 信息但离其最近的图像的图像编号作为默认参照图像编号DefRefNo 的方法。第3方法为将表示保存在多帧缓冲器108中的已编码完毕的 图像中的显示顺序信息滞后于编码对象图像的显示顺序信息但离其 最近的图像的图像编号作为默认参照图像编号DefRefNo的方法。第 4方法为将表示保存在多帧缓冲器108中的已编码完毕的图像中的编 码顺序离编码对象图像最近的图像的图像编号作为默认参照图像编 号DefRefNo的方法。第5方法为将表示保存在多帧缓冲器108中的 已编码完毕的图像中的显示顺序信息超前于编码对象图像但编码顺 序离其最近的图像的图像编号作为默认参照图像编号DefRefNo的方 法。第6方法为将表示保存在多帧缓冲器108中的已编码完毕的图像 中的显示顺序信息滞后于编码对象图像但编码顺序离其最近的图像 的图像编号作为默认参照图像编号DefRefNo的方法。
本实施形态的动态图像编码装置的动态图像编码格式省略了图 7所示的动态图像编码数据格式中的默认参照图像编号DefRefNo， 为图10所示那样的数据格式。因此，由于不编码默认参照图像编号 DefRefNo也可以，因此改善了编码效率。
另外，虽然上述实施形态说明了通过将决定默认参照图像的方法 固定为某一个而在数据格式中不完全记述与默认参照图像有关的信 息来实现编码的方法，但默认参照图像的决定方法也可以在图像单位 间切换。例如，可以通过编码表示选择保存在多帧缓冲器中的已编码 完毕的图像中的具有离编码对象图像的显示顺序信息最近的显示顺 序信息的图像作为默认参照图像的方法的标识符，或编码表示选择保 存在多帧缓冲器中的已编码完毕的图像中的具有超前于编码对象图 像的显示顺序信息但离其最近的显示顺序信息的图像作为默认参照 图像的方法的标识符，或编码表示选择保存在多帧缓冲器中的已编码 完毕的图像中的具有滞后于编码对象图像的显示顺序信息但离其最 近的显示顺序信息的图像作为默认参照图像的方法的标识符来实现。
图11为此时的动态图像编码装置的方框图。默认参照图像编号 生成部203如图11所示，将表示选择默认参照图像的方法的标识符 Ident输出给可变长编码部204。可变长编码部204对残差编码数据 ERes、预测种类PredType、参照图像编号RefNo2、运动矢量MV1、 MV2及标识符Ident进行可变长编码，输出动态图像编码数据Str3。 此时的数据格式不包含图7的数据格式中所示的直接指定默认参照 图像的信息即默认参照图像编号DefRefNo，而是如图12所示那样包 含用于表示选择默认参照图像的方法的标识符Ident。
同样地，也可以对表示选择保存在多帧缓冲器中的已编码完毕的 图像中的编码顺序离编码对象图像最近的图像作为默认参照图像的 方法的标识符进行编码，或对表示选择保存在多帧缓冲器中的已编码 完毕的图像中的显示顺序信息超前于编码对象图像但编码顺序离其 最近的图像作为默认参照图像的方法的标识符进行编码，或对表示选 择保存在多帧缓冲器中的已编码完毕的图像中的显示顺序信息滞后 于编码对象图像但编码顺序离其最近的图像作为默认参照图像的方 法的标识符进行编码。另外，用该方法作成的动态图像编码数据可以 用具有以下说明的实施形态4的构成的解码方法解码。
并且，也可以不编码表示选择上述默认参照图像的方法的标识 符，而与实施形态1同样地如图7所示那样，对表示默认参照图像的 图像编号DefRefNo进行编码，或者对编码对象图像所具有的图像编 号与作为默认参照图像而选择的图像所具有的图像编号的相对的差 分值进行编码，或者对表示相对差分值的指令等信息进行编码。
图13为此时的动态图像编码装置的方框图。默认参照图像编号 生成部205如图13所示将默认参照图像编号DefRefNo输出给可变 长编码部206。可变长编码部206对残差编码数据ERes、预测种类 PredType、参照图像编号RefNo2、运动矢量MV1、MV2及默认参照 图像编号DefRefNo，输出动态图像编码数据Str4进行可变长编码。 此时的数据格式与图7所示的数据格式相同。另外，用该方法作成的 动态图像编码数据可以用实施形态2说明过的构成的解码方法解码。
(实施形态4)
图14为本发明的实施形态4的动态图像解码装置的方框图。另 外，与图8中实施形态2的动态图像解码装置的方框图做相同动作的 单元及相同的动作数据添加相同的附图标记，省略其说明。
本实施形态的动态图像解码装置不包括实施形态2的构成中所 示的默认参照图像编号缓冲器402，取而代之的是包括默认参照图像 编号生成部502。可变长度解码部501对输入的动态图像编码数据 Str2进行可变长度解码，输出残差编码数据ERes、预测种类PredType、 参照图像编号RefNo2、运动矢量MV1、MV2。默认参照图像编号生 成部502用与实施形态3说明过的默认参照图像编号生成部201相同 的方法生成默认参照图像编号DefRefNo，将该默认参照图像编号 DefRefNo作为参照图像编号RefNo1输出给运动补偿部403。
如上所述，如果采用本实施形态，能够正确地解码使用了实施形 态3说明过的本发明的动态图像编码方法的动态图像编码装置编码 过的动态图像编码数据Str2。
另外，当对包含有用于表示上述实施形态3的变形例所记述的选 择默认参照图像的方法的标识符Ident的动态图像编码数据Str3进行 解码时，动态图像解码装置可以如下这样地构成。
图15为此时动态图像解码装置的方框图，可变长度解码部503 如图15所示那样对输入的动态图像编码数据Str3进行可变长度解 码，输出残差编码数据ERes、预测种类PredType、参照图像编号 RefNo2、运动矢量MV1、MV2及用于表示选择默认参照图像的方法 的标识符Ident。默认(default)参照图像编号生成部504用可变长度 解码部503输入的标识符Ident所指示的选择默认参照图像的方法生 成默认参照图像编号DefRefNo，将该默认参照图像编号DefRefNo 作为参照图像编号RefNo1输出给运动补偿部403。
这样地，能够正确地解码包含有用于表示上述实施形态3说明过 的选择默认参照图像的方法的标识符Ident的动态图像编码数据Str3。
(实施形态5)
本实施形态对只参照显示顺序信息超前于编码对象图像的图像 进行编码时用直接模式编码时的情况进行说明。
图16为本发明的实施形态5的显示顺序信息超前于编码对象图 像的多幅参照图像的直接模式的说明图。这里，图像pic表示编码对 象图像，图像Ref1、Ref2表示参照图像，像块Blk表示编码对象像 块，像块Blk0表示参照图像Ref1中在画面内的位置与编码对象像块 Blk相同的像块。并且，运动矢量MV01表示编码像块Blk0时使用 的前方参照运动矢量，图像Ref3表示运动矢量MV01参照的参照图 像，运动矢量MV1表示从参照图像Ref1来的运动矢量，运动矢量 MV2表示从参照图像Ref2来的运动矢量，像块RefBlk1表示被运动 矢量MV1参照的参照像块，像块RefBlk2表示被运动矢量MV2参照 的参照像块。
参照图像从例如存储在多帧缓冲器中的已编码完毕的图像中，选 择显示顺序信息超前于编码对象图像的显示顺序信息但显示顺序信 息离它最近和第二近的图像。此时，如果假设编码对象图像pic与参 照图像Ref1之间的显示顺序信息的差值为TRD1，参照图像Ref1与 参照图像Ref3之间的显示顺序信息的差值为TRD2，编码对象图像 pic与参照图像Ref2之间的显示顺序信息的差值为TRD3，则编码编 码对象像块时使用的运动矢量MV1及运动矢量MV2可以分别由下 面的计算公式算出：
MV1＝MV01×(TRD1/TRD2)……………………(式A)
MV2＝MV01×(TRD3/TRD2)……………………(式B)
用以上的方法可以决定直接模式时的参照图像和运动矢量。
并且，上述H.264正在讨论通过使动态图像编码数据中包含用于 将已编码完毕的图像插入多帧缓冲器或从多帧缓冲器中删除已编码 完毕的图像的控制信息，明示地进行存储在多帧缓冲器中的图像的控 制的方法。通过这样的控制，可以有多帧缓冲器中只存储显示顺序信 息滞后于编码对象图像的图像的情况。下面对在多帧缓冲器中只存储 显示顺序信息滞后于编码对象图像的图像的情况下，使用多幅参照图 像插值预测的图像的直接模式的实现方法进行说明。
图17为本发明的实施形态5的显示顺序信息滞后于编码对象图 像的多幅参照图像的直接模式的说明图。这里，图像pic表示编码对 象图像，图像Ref1、Ref2表示参照图像，像块Blk表示编码对象像 块，像块Blk0表示参照图像Ref1中的在画面内的位置与编码对象像 块Blk相同的像块。并且，运动矢量MV01表示编码像块Blk0时使 用的前方参照运动矢量，运动矢量MV1表示从参照图像Ref1来的运 动矢量，运动矢量MV2表示从参照图像Ref2来的运动矢量，像块 RefBlk1表示被运动矢量MV1参照的参照像块，像块RefBlk2表示 被运动矢量MV2参照的参照像块。
参照图像从例如存储在多帧缓冲器中的已编码完毕的图像中，选 择显示顺序信息滞后于编码对象图像的显示顺序信息但显示顺序信 息离它最近和第二近的图像。此时，如果假设编码对象图像pic与参 照图像Ref1之间的显示顺序信息的差值为TRD1，参照图像Ref1与 参照图像Ref3之间的显示顺序信息的差值为TRD2，编码对象图像 pic与参照图像Ref2之间的显示顺序信息的差值为TRD3，则编码编 码对象像块时使用的运动矢量MV1及运动矢量MV2可以分别由下 面的计算公式(式C)及(式D)算出：
MV1＝-MV01×(TRD1/TRD2)……………………(式C)
MV2＝-MV01×(TRD3/TRD2)……………………(式D)
用以上的方法可以决定直接模式时的参照图像和运动矢量。
另外，上述直接模式的处理，图6所示的动态图像编码装置用运 动推定部101执行。并且，同样地，图8所示的动态图像解码装置用 运动补偿部403执行。
如上所述，通过采用具有本实施形态所记述的直接模式的动态图 像编码装置，即使在多帧缓冲器中只有显示顺序信息超前或滞后于编 码对象图像的、已编码完毕的图像的情况下，也能使用直接模式，因 此由于可以省略参照图像和运动矢量，所以能够改善编码效率。并且， 通过采用具有本实施形态所记述的直接模式的动态图像解码装置，能 够解码具有本实施形态所记述的直接模式的动态图像编码装置所输 出的动态图像编码数据。
并且，可以将跳跃模式定义为使用由本实施形态的直接模式算出 的参照图像、运动矢量，进行图像间预测的结果的残差编码数据为0 时的情况。由于本实施形态的直接模式即使在多帧缓冲器中只有显示 顺序信息超前或滞后于编码对象图像的、已编码完毕的图像的情况下 也能使用直接模式，因此即使在这样的情况下也能够选择跳跃模式， 通过采用具有上述说明的跳跃模式的动态图像解码装置，由于能够使 用跳跃模式，因此能够改善编码效率。并且，通过采用具有本实施形 态所记述的跳跃模式的动态图像解码装置，能够解码具有本实施形态 所记述的跳跃模式的动态图像编码装置所输出的动态图像编码数据。
另外，在对图16、图17的上述说明中，也可以自由地选择对于 参照图像Ref1的运动矢量，编码该运动矢量与上述说明的运动矢量 MV1的差分矢量。同样地，也可以自由地选择对于参照图像Ref2的 运动矢量，编码该运动矢量与上述说明的运动矢量MV2的差分矢量。
并且，虽然本实施形态，在多帧缓冲器中只有显示顺序信息超前 或滞后于编码对象图像的图像的情况下使用本实施形态说明过的跳 跃模式，但也可以更改步骤，例如，可以从存储在多帧缓冲器中的图 像中选择显示顺序信息离编码对象图像最近和第二近的图像，在选择 的2幅图像的显示顺序信息全都超前或全都滞后于编码对象图像的 情况下使用本实施形态说明过的跳跃模式。
(实施形态6)
在上述H.264中，包含多幅参照图像插值预测的图像的跳跃模 式，表示用直接模式进行图像间预测的结果的残差编码数据为0时的 情况。与此相对应，本实施形态的动态图像编码装置、动态图像解码 装置使跳跃模式所使用的预测方法为参照多帧缓冲器内已编码完毕 的图像中显示顺序信息离编码对象图像最近的参照图像的图像间预 测。
图18本发明的实施形态6的跳跃模式时的图像间预测的说明图。 这里，图像pic表示编码对象图像，图像Ref1表示具有编码对象图 像紧前面的显示顺序信息的已编码完毕的图像，图像Ref2表示具有 紧挨编码对象图像后面的显示顺序信息的已编码完毕的图像，像块 Blk表示编码对象像块，运动矢量MV1表示从参照图像Ref1来的0 值运动矢量，像块RefBlk1表示被运动矢量MV1参照的参照像块。 并且，使编码对象图像pic与图像Ref1之间的显示顺序信息的差值 TRD1小于编码对象图像pic与图像ref2之间的显示顺序信息的差值 TRD2。
本实施形态将显示顺序信息离编码对象图像最近的图像作为参 照图像。图18中，显示顺序信息离编码对象图像pic最近的图像为 图像Ref1。使对于图像Ref1的运动矢量MV1在图像内的垂直分量 和水平分量都为0，将运动矢量MV1参照的参照像块RefBlk作为预 测图像使用。通过使用这样的预测方法，由于动态图像编码装置和动 态图像解码装置能够唯-地决定参照图像和运动矢量，因此动态图像 编码数据中不必包含表示参照图像的信息和运动矢量。因此，将上述 说明过的图像间预测结果的残差编码数据为0时定义为跳跃模式，跳 跃模式的像块的编码数据中只要传送表示跳跃模式的预测种类就可 以了。
另外，虽然本实施形态将多帧缓冲器中已编码完毕的图像中显示 顺序信息离编码对象图像最近的图像作为参照图像，但也可以将多帧 缓冲器中已编码完毕的图像中显示顺序信息超前于编码对象图像但 离其最近的图像作为参照图像。
并且，虽然本实施形态将多帧缓冲器中已编码完毕的图像中显示 顺序信息离编码对象图像最近的图像作为参照图像，但也可以将多帧 缓冲器中已编码完毕的图像中显示顺序信息滞后于编码对象图像但 离其最近的图像作为参照图像。
并且，上述各实施形态中使用过的图像的显示顺序信息既可以是 表示显示图像的时刻的值也可以是表示图像的显示顺序的相对关系 的信息。
另外，上述图像的意思为同时具有画面和场，画面编码时可以作 为画面进行处理，隔行(インタ一レ一ス)编码(场编码)时可以作 为场进行处理。
并且，上述各实施形态即使在将1幅图像分割成顶部场和底部场 这2组场进行编码的隔行编码时也同样能够进行处理。该隔行编码由 于参照图像的编号为2倍，因此能够进一步提高编码效率。并且，此 时只要优先使用具有与编码对象图像相同的属性的图像作为默认参 照图像编号DefRefNo所指示的图像就可以了。即，如果编码对象图 像为顶部场则优先使用顶部场作为默认参照图像编号DefRefNo所指 示的图像。而当编码对象图像为底部场时优先使用底部场作为默认参 照图像编号DefRefNo所指示的图像。
(实施形态7)
另外，通过将实现上述各实施形态所叙述过的动态图像编码方法 以及动态图像解码方法的构成的程序记录到软磁盘等存储媒体上，可 以在独立的计算机系统上简单地实施上述各实施形态所叙述过的处 理。
图19是对存储用计算机系统来实现上述各实施形态的动态图像 编码方法以及动态图像解码方法的程序的存储媒体的说明图。
图19(b)表示从软磁盘的正面所看到的外观、横断面结构以及 软磁盘；图19(a)表示存储媒体的本体即软磁盘的物理格式的例子。 软磁盘FD内藏在壳体F内，该磁盘的表面形成从外周向内周的复数 条同心圆状状的磁道TR，各个磁道沿角度方向被分割成16个扇形区 Se。因此，存储了上述程序的软磁盘在分配到上述软磁盘FD上的区 域内记录着作为上述程序的动态图像编码方法。
而且，图19(c)表示在软磁盘FD上进行上述程序的记录再生 的构成。在将上述程序记录到软磁盘FD上的时候，通过软磁盘驱动 机构FDD从计算机系统Cs写入作为上述程序的动态图像编码方法以 及动态图像解码方法。并且，在用软磁盘内的程序将上述动态图像编 码方法以及动态图像解码方法构筑到计算机系统中的时候，用软磁盘 驱动器从软磁盘中读出程序，传送给计算机系统。
另外，虽然在上述说明中用软磁盘作为存储媒体进行说明，但使 用光盘也能同样地进行。而且，存储媒体不限于此，只要是能够记录 程序的东西，IC卡、ROM盒等也同样能够实施。
在这里，再说明上述实施形态中叙述过的动态图像编码方法以及 动态图像解码方法的应用例子和使用它的系统。
图20为表示实现内容发送服务器的内容提供系统ex100的全部 构成的方框图。通讯服务器的提供区域被分割成所需要的大小，各单 元内分别设置有作为固定无线电台的基站ex107～ex110。
该内容提供系统ex100通过因特网服务提供者ex102、电话网 ex104以及基站ex107～ex110将计算机ex111、PDA(个人数字助理) ex112、相机ex113、移动电话机ex114及带摄像头的移动电话机ex115 等各种设备与例如因特网ex101相连。
但是，内容提供系统ex100不限于图20那样的组合，任意组合 几种连接都可以。而且，也可以不通过固定无线电台即基站ex107～ ex110将各种设备直接与电话网ex104连接。
相机ex113是能拍摄动画的数码图像摄像机等设备。而且，移动 电话机可以是PDC(个人数字通信)方式、CDMA(码分多址访问 通信)方式、W-CDMA(宽带-码分多址访问通信)方式或者GSM(全 球数字移动电话系统)方式的移动电话机或PHS(Personal HandyPhone System)等的任何一种。
并且，流服务器ex103通过基站ex109、电话网ex104与相机ex113 连接，能够实时发送使用者用相机ex113发送的、编码过的数据。拍 摄的数据既可以在相机ex113上进行编码处理，也可以在发送处理数 据的服务器等上进行。而且，相机ex116拍摄的动画数据也可以通过 计算机ex111发送到流服务器ex103上。相机ex116是能拍摄静止画、 动画的数码相机等设备。在这种情况下，动画数据的编码在相机ex116 上进行、在计算机ex111上进行都可以。并且，编码处理在计算机ex111 或相机ex116所具有的LSIex117上处理。另外，可以组合成能够用 计算机ex111等读取动态图像编码、解码用的软件的存储媒体的某几 种存储媒体(CD-ROM，软磁盘，硬盘等)。并且，也可以用带摄像 头的移动电话机ex115发送动画数据。这时的动画数据就是在移动电 话机ex115所具有的LSI上被编码处理过的数据。
该内容提供系统ex100与上述实施形态一样编码处理用户用相 机ex113、相机ex116等拍摄的内容(例如拍摄了音乐实况(音楽ラ イブ)的动态图像)并发送到流服务器ex103中，同时，流服务器 ex103将上述内容数据流动发送给需要的客户。作为客户有能够解码 上述编码处理过的数据的计算机ex111、PDAex112、相机ex113和移 动电话机ex114等。这样一来，内容提供系统ex100就是能够在客户 中接收编码过的数据并再生，而且通过在客户中实时接收、解码、再 生，还能够实现个人广播的系统了。
构成这个系统的各设备的编码、解码，用上述各实施形态所叙述 的动态图像编码装置或动态图像解码装置就可以了。
拿移动电话机来作为其中的一个例子说明。
图21为表示使用了上述实施形态说明过的动态图像编码方法和 动态图像解码方法的移动电话机ex115的图。移动电话机ex115包括： 与基站ex110之间收发电波的天线ex201，CCD相机等能够拍摄图像、 静止画面的相机部ex203，液晶显示屏等显示相机部ex203拍摄的图 像、解码天线ex201接收的图像后的数据的显示部ex202，由操作键 ex204群构成的本体部，输出声音的扬声器等声音输出部ex208，输 入声音的麦克风等声音输入部ex205，保存拍摄的动画或静止画面的 数据、接收的邮件的数据、动画的数据或者静止画面的数据等、编码 过的数据或者解码了的数据的存储媒体ex207，使存储媒体ex207能 够安装在移动电话机ex115上的接口部ex206。存储媒体ex207为SD 卡等将能够在电气上改写和消除的非易失性存储器即EEPROM(电 可擦除可编程只读存储器)的一种即瞬时存储器元件保存在塑料壳体 内的构件。
再用图22说明移动电话机ex115。移动电话机ex115通过同步总 线ex313将电源电路ex310、操作输入控制部ex304、图像编码部 ex312、相机接口部ex303、LCD(液晶显示器)控制部ex302、图像解 码部ex309、复用分离部ex308、记录再生部ex307、调制解调电路 ex306及声音处理部ex305与统括地控制包括显示部ex202和操作键 ex204的本体部的各部分的主控制部ex311互相连接。
如果操作者通过操作结束电话及使电源键处于开着状态，则电源 电路ex310通过从电源给各个部分提供电力启动带摄像头的数码移 动电话机ex115，使其处于工作状态。
移动电话机ex115根据CPU，ROM，以及RAM等构成的主控 制部ex311的控制，用声音处理部ex305将在语音通话模式时声音输 入部ex205收集的声音信号转换成数字声音数据，用解调电路ex306 将其进行扩频处理，在用收发电路部ex301实施数模变换处理及频率 转换处理后通过天线ex201发送。或者，移动电话机ex115将在语音 通话模式时用天线ex201接收的接收数据放大，实施频率转换处理及 模数转换处理，用调制解调电路ex306进行逆向扩频处理，在用声音 处理部ex305转换成模拟声音数据之后，通过声音输出部ex208将其 输出。
另外，如果在数据通讯模式时发送电子邮件，本体部的操作键 ex204的操作输入的电子邮件的文本数据通过操作输入控制部ex304 输出到主控制部ex311。主控制部ex311用调制解调电路ex306扩频 文本数据，在用收发电路部ex301实施数模变换处理及频率变换处理 后通过天线ex201发送给基站ex110。
如果在数据通讯模式时发送图像数据，则通过相机接口部ex303 将相机部ex203拍摄的图像数据提供给图像编码部ex312。而且，在 不发送图像数据的时候，也可以通过相机接口部ex303和LCD控制 部ex302将相机部ex203拍摄的图像数据直接显示在显示部ex202上。
图像编码部ex312为具备本发明说明过的动态图像编码装置的 构件，通过用上述实施形态叙述过的动态图像编码装置中使用过的编 码方法压缩编码相机部ex203提供的图像数据将其变换成编码图像 数据，将其发送给复用分离部ex308。而且，这时移动电话机ex115 同时通过声音处理部ex305将声音输入部ex205在相机部分ex203拍 摄时收集到的声音作为数字声音数据发送到复用分离部ex308中。
复用分离部ex308以预定的方式复用复用图像编码部ex312提供 的编码图像数据和声音处理部ex305所提供的声音数据，用调制解调 电路ex306扩频处理其结果获得的复用数据，在用收发电路部ex301 实施数模变换处理和频率变换处理后通过天线ex201发送。
如果在数据通讯模式时接收与主页等连接的动态图像文件的数 据，则用调制解调电路ex306逆向扩频处理通过天线ex201从基站 ex110收到的接收数据，将其结果获得的复用复用数据发送给复用分 离部ex308。
当解码通过天线ex201收到的复用复用数据时，复用分离部 ex308通过分离复用复用数据将图像数据的比特流与声音数据的比特 流分开，通过同步总线ex313将该编码图像数据提供给图像解码部 ex309，同时将该声音数据提供给声音处理部ex305。
图像解码部ex309为具备本申请发明说明过的动态图像解码装 置的构件，通过用与上述实施形态记述过的编码方法相对应的解码方 法解码图像数据的比特流生成再生动态图像数据，通过LCD控制部 ex302将其提供给显示部ex202，据此，显示例如包含在与主页连接 的动态图像文件中的动画数据。这时，声音处理部ex305同时将声音 数据转换成模拟声音数据，然后将其提供给声音输出部ex208，据此， 再生例如与主页连接的动态图像文件中所包含的声音数据。
另外，不限于上述系统的例子，最近，使用卫星、地面波的数字 广播也提上了议事日程，如图23所示那样，在数字播放用的系统中 也至少能够嵌入上述实施形态的动态图像编码装置或动态图像解码 装置中的任何一种。具体地，广播站ex409通过电波将图像信息的比 特流传送给通讯或广播卫星ex410。接收到该信号的广播卫星ex410 发送广播用的电波，带有卫星广播接受设备的家庭天线ex406接收该 电波，通过电视机(接收机)ex401或机顶盒(STB)ex407等装置 解码比特流将其再生。并且，在读取记录在作为存储媒体的CD和 DVD等存储媒介ex401上的比特流并将其解码的再生装置ex403上， 也可以安装上述实施形态记述过的动态图像解码装置。此时，再生的 图像信号显示在监视器ex404上。并且，也可以考虑将动态图像解码 装置安装在与有线电视用的电缆ex405或卫星/地面波广播的天线 ex406相连的机顶盒ex407内，用电视机的监视器ex408将其再生的 结构。此时动态图像解码装置也可以不是安装在机顶盒内而是安装在 电视机内。并且，也可以用带天线ex411的汽车ex412从广播卫星 ex410或基站ex107等接收信号，将动画在汽车ex412所带的车载导 航设备ex413等显示装置上再生。
并且，也可以用上述实施形态记述过的动态图像编码装置编码图 像信号，然后记录到存储媒体上。具体的例子有将图像信号记录在 DVD盘ex421上的DVD记录装置或记录在硬盘上的磁盘记录装置等 记录装置ex420。而且，也可以记录在SD卡ex422上。如果记录装 置ex420具备上述实施形态记述过的动态图像解码装置，则可以再生 DVD盘ex421或SD卡ex422上记录的图像信号，用监视器ex408 显示。
另外，车载导航设备ex413的构成可以考虑除去了例如图22所 示构成中的相机部ex203、相机接口部ex303和图像编码部ex312的 构成，同样也可以考虑计算机ex111或电视机(接收机)ex401等。
并且，上述移动电话机ex114等终端除可以考虑同时具有编码器 和解码器的收发型终端外，还可以考虑只具有编码器的发送型终端和 只具有解码器的接收型终端这3种安装形式。
这样，可以将上述实施形态记述过的动态图像编码方法或动态图 像解码方法用在上述任何一种设备和系统中，通过这样，能够取得上 述实施形态所说明的效果。
而且，本发明不限于上述实施形态，只要不脱离本发明的范围， 可以作各种变形或修改。
如以上详细说明的那样，如果采用本发明的动态图像编码方法， 由于不必就一方的参照图像对每个像块从多幅已编码完毕的图像中 选择1幅图像，并且不必对每个像块编码该参照图像，因此能够实现 有效的编码并且能够削减处理量。
并且，如果采用本发明的动态图像解码方法，在解码用共同的参 照图像和每个像块的参照图像编码后输出的动态图像编码数据时能 够正确地解码处理。
工业应用性
如上所述，本发明的动态图像编码方法及动态图像解码方法可以 作为通过例如移动电话机、DVD装置及个人电脑等对构成输入图像 的各图像进行编码并输出动态图像编码数据，或解码该动态图像编码 数据的方法使用。