图像编码方法、图像解码方法、图像编码装置、图像解码装置转让专利
申请号 : CN200580005148.3
文献号 : CN1922888B
文献日 : 2010-07-21
发明人 : 木全英明 , 北原正树
申请人 : 日本电信电话株式会社
摘要 :
在根据过去编码后的帧的图像信息，制作预测图像，并按每个区域对图像信息进行编码的图像编码中，使编码效率提高。在动作矢量存储存储器(107)中，预先存储多个动作矢量的候补。动作矢量选择部(109)从预先存储在动作矢量存储存储器(107)中的多个动作矢量中，选择所使用的动作矢量。预测图像制作部(104)使用选择到的动作矢量，从参照图像，制作预测图像。差分编码部(103)对当前区域的图像信息与预测图像的差分进行编码。动作矢量指定编码部(110)对指定由动作矢量选择部(109)选择的动作矢量的信息进行编码。
权利要求 :
1.一种图像编码方法，从过去编码后的帧的图像信息来制作预测图像，并按每个区域对图像信息进行编码，其特征在于，执行如下步骤：动作矢量选择步骤，使用编码对象帧所属的层信息，从预先存储的多个动作矢量中，选择动作矢量；
预测图像制作步骤，使用由所述动作矢量选择步骤选择的动作矢量，从参照图像制作预测图像；和差分编码步骤，对当前区域的图像信息与预测图像的差分进行编码。
2.根据权利要求1所述的图像编码方法，其特征在于，执行如下步骤：动作矢量指定编码步骤，对指定由所述动作矢量选择步骤选择的动作矢量的信息进行编码。
3.一种图像编码方法，从过去编码后的帧的图像信息来制作预测图像，并按每个区域对图像信息进行编码，其特征在于，执行如下步骤：动作矢量选择步骤，根据画面内的区域的位置信息，从预先存储的多个动作矢量中选择动作矢量；
预测图像制作步骤，使用由所述动作矢量选择步骤选择的动作矢量，从参照图像制作预测图像；和差分编码步骤，对当前区域的图像信息与预测图像的差分进行编码。
4.一种图像编码方法，从过去编码后的多个帧的图像信息选择参照图像，并制作预测图像，按每个区域对图像信息进行编码，其特征在于，执行如下步骤：参照动作矢量设定步骤，设定预先存储的多个动作矢量与指定参照图像的参照图像指定信息的对应关系；
参照图像选择步骤，选择参照图像；
参照图像指定编码步骤，对指定参照图像的参照图像指定信息进行编码；
动作矢量选择步骤，使用编码对象帧所属的层信息，从预先存储的多个动作矢量中，选择对应于参照图像指定信息的动作矢量；
预测图像制作步骤，使用由所述动作矢量选择步骤选择的动作矢量，从参照图像制作预测图像；和差分编码步骤，对当前区域的图像信息与预测图像的差分进行编码。
5.根据权利要求1、2或4所述的图像编码方法，其特征在于，执行如下步骤：动作探索步骤，使用当前区域的图像信息与参照图像，探索动作矢量；
探索动作矢量选择步骤，选择由所述动作矢量选择步骤选择的动作矢量与由所述动作探索步骤得到的动作矢量中的任一动作矢量；
探索动作矢量编码步骤，在所述探索动作矢量选择步骤中，当选择了由所述动作探索步骤得到的动作矢量时，对该动作矢量进行编码；和探索动作矢量指定编码步骤，对指定由所述探索动作矢量选择步骤中选择的动作矢量的信息进行编码。
6.根据权利要求1、2或4所述的图像编码方法，其特征在于，执行如下步骤：动作探索步骤，使用当前区域的图像信息与参照图像，探索动作矢量；和差分动作矢量编码步骤，对由所述动作矢量选择步骤中选择的动作矢量与由所述动作探索步骤得到的动作矢量的差分进行编码。
7.根据权利要求6所述的图像编码方法，其特征在于，执行如下步骤：动作矢量存储步骤，存储动作矢量；
动作矢量存储确定步骤，确定是否存储动作矢量；和动作矢量存储指定编码步骤，对指定是否存储动作矢量的信息进行编码。
8.根据权利要求6所述的图像编码方法，其特征在于，执行如下步骤：动作矢量存储步骤，存储动作矢量；和
动作矢量衡量步骤，使用动作矢量衡量信息，变更动作矢量的值。
9.根据权利要求8所述的图像编码方法，其特征在于，执行如下步骤：衡量编码步骤，对动作矢量衡量信息进行编码。
10.一种图像解码方法，从过去解码后的帧的图像信息来制作预测图像，并按每个区域对图像信息进行解码，其特征在于，执行如下步骤：动作矢量选择步骤，使用解码对象帧所属的层信息，从预先存储的多个动作矢量中，选择动作矢量；
预测图像制作步骤，使用由所述动作矢量选择步骤选择的动作矢量，从参照图像制作预测图像；和解码图像制作步骤，对当前区域的图像信息与预测图像的差分进行解码，并制作解码图像。
11.根据权利要求10所述的图像解码方法，其特征在于，执行如下步骤：动作矢量指定解码步骤，对指定由所述动作矢量选择步骤选择的动作矢量的信息进行解码。
12.一种图像解码方法，从过去解码后的帧的图像信息来制作预测图像，并按每个区域对图像信息进行解码，其特征在于，执行如下步骤：动作矢量选择步骤，根据画面内的区域的位置信息，从预先存储的多个动作矢量中，选择动作矢量；
预测图像制作步骤，使用由所述动作矢量选择步骤选择的动作矢量，从参照图像制作预测图像；和解码图像制作步骤，对当前区域的图像信息与预测图像的差分进行解码，并制作解码图像。
13.一种图像解码方法，从过去解码后的多个帧的图像信息选择参照图像，制作预测图像，并按每个区域对图像信息进行解码，其特征在于，执行如下步骤：参照动作矢量设定步骤，设定预先存储的多个动作矢量与指定参照图像的参照图像指定信息的对应关系；
参照图像指定解码步骤，对指定参照图像的参照图像指定信息进行解码；
参照图像选择步骤，选择参照图像；
动作矢量选择步骤，使用解码对象帧所属的层信息，从预先存储的多个动作矢量中，选择对应于参照图像指定信息的动作矢量；
预测图像制作步骤，使用由所述动作矢量选择步骤选择的动作矢量，从参照图像制作预测图像；和解码图像制作步骤，对当前区域的图像信息与预测图像的差分进行解码，并制作解码图像。
14.根据权利要求10、11或13所述的图像解码方法，其特征在于，执行如下步骤：探索动作矢量指定解码步骤，对指定是否将动作矢量编码的信息进行解码；和探索动作矢量解码步骤，在对动作矢量进行编码的情况下，对动作矢量进行解码。
15.根据权利要求10、11或13所述的图像解码方法，其特征在于，执行如下步骤：差分动作矢量解码步骤，对差分动作矢量进行解码；和差分动作矢量算出步骤，从差分动作矢量与由所述动作矢量选择步骤选择的动作矢量，算出动作矢量。
16.根据权利要求15所述的图像解码方法，其特征在于，执行如下步骤：动作矢量存储步骤，存储动作矢量；和
动作矢量存储指定解码步骤，对指定是否存储动作矢量的信息进行解码。
17.根据权利要求15所述的图像解码方法，其特征在于，执行如下步骤：动作矢量存储步骤，存储动作矢量；和
动作矢量衡量步骤，使用动作矢量衡量信息，变更动作矢量的值。
18.根据权利要求17所述的图像解码方法，其特征在于，执行如下步骤：衡量解码步骤，对动作矢量衡量信息进行解码。
19.一种图像编码装置，从过去编码后的帧的图像信息来制作预测图像，并按每个区域对图像信息进行编码，其特征在于，具备：动作矢量选择部，使用编码对象帧所属的层信息，从预先存储的多个动作矢量中，选择动作矢量；
预测图像制作部，使用由所述动作矢量选择部选择的动作矢量，从参照图像制作预测图像；和差分编码部，对当前区域的图像信息与预测图像的差分进行编码。
20.一种图像解码装置，从过去解码后的帧的图像信息来制作预测图像，并按每个区域对图像信息进行解码，其特征在于，具备：动作矢量选择部，使用解码对象帧所属的层信息，从预先存储的多个动作矢量中，选择动作矢量；
预测图像制作部，使用由所述动作矢量选择部选择的动作矢量，从参照图像制作预测图像；和解码图像制作部，对当前区域的图像信息与预测图像的差分进行解码，并制作解码图像。
说明书 :
技术领域
本发明涉及一种使用了帧间预测编码方式的、多个帧的图像编码技术。
本申请对2004年8月16日申请的特愿2004-236520号主张优先权，这里援引其内容。
背景技术
在MPEG-1、MPBG-2、或H.261，H.263等国际标准运动图像编码中，编码各帧的输出时刻。将这些时刻信息称为TR(TemporalReference)，对每个帧执行固定长度编码。系统预先设定作为基准的时间间隔，用该时间间隔与TR的积来表示从序列开头的时刻。编码器对TR设定输入图像的时刻信息，编码各帧，解码器在TR指定的时刻输出各帧的解码图像。
另一方面，通常在运动图像编码中，为了使用时间方向的相关来实现高的编码效率，使用帧间预测编码。在帧的编码模式中，有不使用帧间的相关来编码的I帧、根据过去编码后的1个帧来预测的P帧、和根据过去编码后的2个帧来预测的B帧。
B帧必需在参照图像存储器中存储2帧大小的解码图像。尤其是在视频编码方式H.263与H.264中，在参照图像存储器中存储2帧以上的多个帧大小的解码图像，从该存储器中选择参照图像来预测。参照图像可对每个块进行选择，编码指定参照图的参照图像指定信息。在参照图像存储器中，有短时间用(STRM)与长时间用(LTRM)，在STRM中存储当前帧的解码图像，在LTRM中选择存储STRM中存储的图像。作为记载LTRM与STRM的控制方法的文献，例如下述的非专利文献1。
在MPEG-1、MPBG-2的B帧中，将根据过去的帧来预测的方法称为前向帧间预测，将根据未来帧来预测的方法称为后向帧间预测。后向帧间预测中的参照帧的显示时刻与当前帧相比，为未来。此时，在显示当前帧之后，输出后向帧间预测的参照帧。在B帧中根据2个帧来预测的情况下(双向帧间预测)，内插来自2个帧的图像信息，制作1帧大小的图像信息，将其设为预测图像。
图1中示出后向帧间预测中的参照帧之显示时刻为未来的情况下的、运动图像的预测关系实例。在按IBBPBBP的顺序编码第1帧至第7帧的编码模式的情况下，由于存在图1上侧所示的预测关系(IBBPBBP)，所以在实际编码的情况下，如图1下侧所示，按1423756的顺序来编码帧。此时编码后的TR顺序与编码帧一样，为对应于1423756的值。
在H.264的B帧中，与MPBG-1、MPEG-2相比，扩展了后向帧间预测的概念，后向帧间预测中的参照帧的显示时刻只要与当前帧相比为过去即可。此时，先输出后向帧间预测的参照帧。虽然如上所述，但在H.264中，可在参照图像存储器中存储多个解码图像。因此，定义前向帧间预测用的参照图像指定信息L0与后向帧间预测用的参照图像指定信息L1，分别独立地指定前向帧间预测用的参照图像与后向帧间预测用的参照图像。
为了对每个块指定参照图像，首先，对块的预测模式(前向帧间预测或后向帧间预测或双向帧间预测)进行编码，在预测模式为前向帧间预测的情况下，对参照图像指定信息L0进行编码，在为后向帧间预测的情况下，对参照图像指定信息L1进行编码，在为双向帧间预测的情况下，对参照图像指定信息L0与参照图像指定信息L1进行编码。
若如此定义，则后向帧间预测中的参照帧的显示时刻与当前帧相比，不必是未来。在H.264的B帧中，后向帧间预测也可如此将过去的帧指定为参照图像，并且指定可以以块单位来变更，所以，除了双向帧间预测的情况，可制作与P帧一样的预测图像。
图2中示出后向帧间预测中的参照帧的显示时刻为过去的情况下的、运动图像的预测关系实例。与图1的情况不同，即便在以IBBPBBP的顺序来编码第1帧至第7帧的编码模式的情况下，也由于存在图2上侧所示的预测关系(IBBPBBP)，所以，如图2下侧所示，按1423567的顺序对帧进行编码。
作为B帧的动作矢量编码方法，提议时间直接模式方法。该技术例如用于国际标准方式H.264中。该技术是如下方法，即按编码的顺序，存储最近的P帧的动作矢量，以时间间隔衡量(scale)该动作矢量信息，算出动作矢量。
例如，就图3所示的帧a、b、c而言，按帧a、帧c、帧b的顺序编码，帧a与帧c由P帧编码，帧b由B帧编码。若将P帧的相同位置块的动作矢量设为mv，则由式(1)来计算B帧的当前块的前向预测动作矢量fmv与后向预测动作矢量bmv。
fmv＝(mv×TRab)/TRac
bmv＝(mv×TRbc)/TRac ……(1)
TRab、TRbc、TRac分别表示帧a与帧b的时间间隔、帧b与帧c的时间间隔、帧a与帧c的时间间隔。作为应用此的技术，在下述的非专利文献2中，提出如下方法，即，按编码顺序存储最近的P帧的动作矢量，用作当前P帧的动作矢量。根据这些方法，在连续编码的多个帧之间有动作连续性的情况下，可编码效率高地对动作矢量进行编码。
若构成为不在参照图像存储器中存储这种B帧的解码图像，则即便不对B帧进行解码，也可对下一帧进行解码。由此，通过不对B帧进行解码，可降低帧速率，可实现时间可衡量功能。
另外，在H.264中，如图4所示，对宏块进行2分割或4分割，在4分割的情况下，可构成能进一步将纵横8个像素的区域进行2分割或4分割的树构造。该分割后的每个区域可具有不同的动作矢量。参照图像可以以将宏块2分割或4分割的单位来选择。将这种宏块的分割图案编码为编码模式信息。
另外，作为实现时间可衡量编码的方法，有MCTF(MotionCompensated Temporal Filtering)编码。该MCTF编码方法是如下方法，即，沿时间方向对视频数据进行滤波(基带分割)，利用视频数据的时间方向的相关，使视频数据的能量紧凑化。
图5中示出在时间方向上倍频程(octave)分割低频区域的原理图。设定GOP(Group Of Picture)，在GOP内沿时间方向滤波。也可在每次应用时间方向的滤波器时，执行动作补偿。在时间方向的滤波器中，一般提出Haar基础(参照非专利文献3)。
另外，Haar基础一般可应用图6A-图6B所示的提高方案(LiftingScheme)。利用该方法，可使运算量变小来进行滤波。就该提高方案而言，‘predict’是与通常的预测编码一样的处理，是求出预测图像与原图像的残差的处理。
非专利文献1：Thomas Wiegand，Xiaozheng Zhang，and BerndGirod，“Long-Term Memory Mot ion-Compensated Prediction，”IEEETransactions on Circuits and Systems for Video Technology，vol.9，no.1，pp.70-84，Feb.1999
非专利文献2：Alexis Michael Tourapis，“Direct Predictionfor Predictive(P)and Bidirectionally Predictive(B)frames inVideo Coding，”JVT-C128，Joint Video Team(JVT)of ISO/IECMPEG&ITU-T VCEG Meeting，May，2002
非专利文献3：Jens-Rainer Ohm，“Three-Dimensional SubbandCoding with Motion Compensation，”IEEE Trans.Image Proc.，vol.3，no.5，pp.559-571，1994
在现有的直接模式中，存储之前编码后的帧的动作矢量，以时间间隔衡量该动作矢量，进而算出动作矢量。因此，在帧间没有动作连续性的情况下，不能算出效率高的动作矢量。
另一方面，通常在运动图像编码中，为了使用时间方向的相关来实现高的编码效率，使用帧间预测编码。在帧的编码模式中，有不使用帧间的相关来编码的I帧、根据过去编码后的1个帧来预测的P帧、和根据过去编码后的2个帧来预测的B帧。
B帧必需在参照图像存储器中存储2帧大小的解码图像。尤其是在视频编码方式H.263与H.264中，在参照图像存储器中存储2帧以上的多个帧大小的解码图像，从该存储器中选择参照图像来预测。参照图像可对每个块进行选择，编码指定参照图的参照图像指定信息。在参照图像存储器中，有短时间用(STRM)与长时间用(LTRM)，在STRM中存储当前帧的解码图像，在LTRM中选择存储STRM中存储的图像。作为记载LTRM与STRM的控制方法的文献，例如下述的非专利文献1。
在MPEG-1、MPBG-2的B帧中，将根据过去的帧来预测的方法称为前向帧间预测，将根据未来帧来预测的方法称为后向帧间预测。后向帧间预测中的参照帧的显示时刻与当前帧相比，为未来。此时，在显示当前帧之后，输出后向帧间预测的参照帧。在B帧中根据2个帧来预测的情况下(双向帧间预测)，内插来自2个帧的图像信息，制作1帧大小的图像信息，将其设为预测图像。
图1中示出后向帧间预测中的参照帧之显示时刻为未来的情况下的、运动图像的预测关系实例。在按IBBPBBP的顺序编码第1帧至第7帧的编码模式的情况下，由于存在图1上侧所示的预测关系(IBBPBBP)，所以在实际编码的情况下，如图1下侧所示，按1423756的顺序来编码帧。此时编码后的TR顺序与编码帧一样，为对应于1423756的值。
在H.264的B帧中，与MPBG-1、MPEG-2相比，扩展了后向帧间预测的概念，后向帧间预测中的参照帧的显示时刻只要与当前帧相比为过去即可。此时，先输出后向帧间预测的参照帧。虽然如上所述，但在H.264中，可在参照图像存储器中存储多个解码图像。因此，定义前向帧间预测用的参照图像指定信息L0与后向帧间预测用的参照图像指定信息L1，分别独立地指定前向帧间预测用的参照图像与后向帧间预测用的参照图像。
为了对每个块指定参照图像，首先，对块的预测模式(前向帧间预测或后向帧间预测或双向帧间预测)进行编码，在预测模式为前向帧间预测的情况下，对参照图像指定信息L0进行编码，在为后向帧间预测的情况下，对参照图像指定信息L1进行编码，在为双向帧间预测的情况下，对参照图像指定信息L0与参照图像指定信息L1进行编码。
若如此定义，则后向帧间预测中的参照帧的显示时刻与当前帧相比，不必是未来。在H.264的B帧中，后向帧间预测也可如此将过去的帧指定为参照图像，并且指定可以以块单位来变更，所以，除了双向帧间预测的情况，可制作与P帧一样的预测图像。
图2中示出后向帧间预测中的参照帧的显示时刻为过去的情况下的、运动图像的预测关系实例。与图1的情况不同，即便在以IBBPBBP的顺序来编码第1帧至第7帧的编码模式的情况下，也由于存在图2上侧所示的预测关系(IBBPBBP)，所以，如图2下侧所示，按1423567的顺序对帧进行编码。
作为B帧的动作矢量编码方法，提议时间直接模式方法。该技术例如用于国际标准方式H.264中。该技术是如下方法，即按编码的顺序，存储最近的P帧的动作矢量，以时间间隔衡量(scale)该动作矢量信息，算出动作矢量。
例如，就图3所示的帧a、b、c而言，按帧a、帧c、帧b的顺序编码，帧a与帧c由P帧编码，帧b由B帧编码。若将P帧的相同位置块的动作矢量设为mv，则由式(1)来计算B帧的当前块的前向预测动作矢量fmv与后向预测动作矢量bmv。
fmv＝(mv×TRab)/TRac
bmv＝(mv×TRbc)/TRac ……(1)
TRab、TRbc、TRac分别表示帧a与帧b的时间间隔、帧b与帧c的时间间隔、帧a与帧c的时间间隔。作为应用此的技术，在下述的非专利文献2中，提出如下方法，即，按编码顺序存储最近的P帧的动作矢量，用作当前P帧的动作矢量。根据这些方法，在连续编码的多个帧之间有动作连续性的情况下，可编码效率高地对动作矢量进行编码。
若构成为不在参照图像存储器中存储这种B帧的解码图像，则即便不对B帧进行解码，也可对下一帧进行解码。由此，通过不对B帧进行解码，可降低帧速率，可实现时间可衡量功能。
另外，在H.264中，如图4所示，对宏块进行2分割或4分割，在4分割的情况下，可构成能进一步将纵横8个像素的区域进行2分割或4分割的树构造。该分割后的每个区域可具有不同的动作矢量。参照图像可以以将宏块2分割或4分割的单位来选择。将这种宏块的分割图案编码为编码模式信息。
另外，作为实现时间可衡量编码的方法，有MCTF(MotionCompensated Temporal Filtering)编码。该MCTF编码方法是如下方法，即，沿时间方向对视频数据进行滤波(基带分割)，利用视频数据的时间方向的相关，使视频数据的能量紧凑化。
图5中示出在时间方向上倍频程(octave)分割低频区域的原理图。设定GOP(Group Of Picture)，在GOP内沿时间方向滤波。也可在每次应用时间方向的滤波器时，执行动作补偿。在时间方向的滤波器中，一般提出Haar基础(参照非专利文献3)。
另外，Haar基础一般可应用图6A-图6B所示的提高方案(LiftingScheme)。利用该方法，可使运算量变小来进行滤波。就该提高方案而言，‘predict’是与通常的预测编码一样的处理，是求出预测图像与原图像的残差的处理。
非专利文献1：Thomas Wiegand，Xiaozheng Zhang，and BerndGirod，“Long-Term Memory Mot ion-Compensated Prediction，”IEEETransactions on Circuits and Systems for Video Technology，vol.9，no.1，pp.70-84，Feb.1999
非专利文献2：Alexis Michael Tourapis，“Direct Predictionfor Predictive(P)and Bidirectionally Predictive(B)frames inVideo Coding，”JVT-C128，Joint Video Team(JVT)of ISO/IECMPEG&ITU-T VCEG Meeting，May，2002
非专利文献3：Jens-Rainer Ohm，“Three-Dimensional SubbandCoding with Motion Compensation，”IEEE Trans.Image Proc.，vol.3，no.5，pp.559-571，1994
在现有的直接模式中，存储之前编码后的帧的动作矢量，以时间间隔衡量该动作矢量，进而算出动作矢量。因此，在帧间没有动作连续性的情况下，不能算出效率高的动作矢量。
发明内容
本发明为了解决上述问题而做出，其目的在于，在图像编码中，从预先存储的动作矢量候补中选择动作矢量，并使编码效率提高。
为了解决上述问题，第1发明是一种图像编码方法，根据过去编码后的帧的图像信息，制作预测图像，对每个区域编码图像信息，其特征在于，执行如下步骤：动作矢量选择步骤，从预先存储的多个动作矢量中，选择动作矢量；预测图像制作步骤，使用所述动作矢量选择步骤选择到的动作矢量，根据参照图像，制作预测图像；差分编码步骤，编码当前区域的图像信息与预测图像的差分。
第2发明就上述第1发明的图像编码方法而言，其特征在于：所述动作矢量选择步骤根据画面内的区域的位置信息，从所述多个动作矢量中选择动作矢量。
第3发明就上述第1或第2发明的图像编码方法而言，执行如下步骤：动作矢量指定编码步骤，编码指定所述动作矢量选择步骤选择的动作矢量之信息。
第4发明是一种图像编码方法，从过去编码后的多个帧的图像信息中，选择参照图像，制作预测图像，对每个区域编码图像信息，其特征在于，执行如下步骤：参照动作矢量设定步骤，设定预先存储的多个动作矢量与指定参照图像的参照图像指定信息的对应关系；参照图像选择步骤，选择参照图像；参照图像指定编码步骤，编码指定参照图像的参照图像指定信息；动作矢量选择步骤，从预先存储的多个动作矢量中，选择对应于参照图像指定信息的动作矢量；预测图像制作步骤，使用所述动作矢量选择步骤选择到的动作矢量，根据参照图像，制作预测图像；差分编码步骤，编码当前区域的图像信息与预测图像的差分。
第5发明就上述第1、3或4发明的图像编码方法而言，其特征在于，执行如下步骤：动作探索步骤，使用当前区域的图像信息与参照图像，探索动作矢量；探索动作矢量选择步骤，选择所述动作矢量选择步骤选择到的动作矢量与所述动作探索步骤得到的动作矢量中任一动作矢量；探索动作矢量编码步骤，在所述探索动作矢量选择步骤中选择到所述动作探索步骤得到的动作矢量的情况下，编码该动作矢量；探索动作矢量指定编码步骤，编码指定所述探索动作矢量选择步骤中选择到的动作矢量的信息。
第6发明就上述第1、3或4发明的图像编码方法而言，其特征在于，执行如下步骤：动作探索步骤，使用当前区域的图像信息与参照图像，探索动作矢量；差分动作矢量编码步骤，编码所述动作矢量选择步骤中选择到的动作矢量与所述动作探索步骤得到的动作矢量的差分。
第7发明就上述第5或6发明的图像编码方法而言，其特征在于，执行如下步骤：动作矢量存储步骤，存储动作矢量；动作矢量存储确定步骤，确定是否存储动作矢量；动作矢量存储指定编码步骤，编码指定是否存储动作矢量的信息。
第8发明就上述第5或6发明的图像编码方法而言，其特征在于，执行如下步骤：动作矢量存储步骤，存储动作矢量；动作矢量衡量步骤，使用动作矢量衡量信息，变更动作矢量的值。
第9发明就上述第8发明的图像编码方法而言，其特征在于：执行衡量编码步骤，编码动作矢量衡量信息。
第10发明是一种图像解码方法，根据过去解码后的帧的图像信息，制作预测图像，对每个区域解码图像信息，其特征在于，执行如下步骤：动作矢量选择步骤，从预先存储的多个动作矢量中，选择动作矢量；预测图像制作步骤，使用所述动作矢量选择步骤选择到的动作矢量，根据参照图像，制作预测图像；解码图像制作步骤，解码当前区域的图像信息与预测图像的差分，制作解码图像。
第11发明就上述第10发明的图像解码方法而言，其特征在于：所述动作矢量选择步骤根据画面内的区域的位置信息，从所述多个动作矢量中，选择动作矢量。
第12发明就上述第10或11发明的图像解码方法而言，其特征在于：执行动作矢量指定解码步骤，解码指定所述动作矢量选择步骤选择的动作矢量的信息。
第13发明是一种图像解码方法，从过去解码后的多个帧的图像信息中，选择参照图像，制作预测图像，对每个区域解码图像信息，其特征在于，执行如下步骤：参照动作矢量设定步骤，设定预先存储的多个动作矢量与指定参照图像的参照图像指定信息的对应关系；参照图像指定解码步骤，解码指定参照图像的参照图像指定信息；参照图像选择步骤，选择参照图像；动作矢量选择步骤，从预先存储的多个动作矢量中，选择对应于参照图像指定信息的动作矢量；预测图像制作步骤，使用所述动作矢量选择步骤选择到的动作矢量，根据参照图像，制作预测图像；解码图像制作步骤，解码当前区域的图像信息与预测图像的差分，制作解码图像。
第14发明就上述第10、12或13发明的图像解码方法而言，其特征在于，执行如下步骤：探索动作矢量指定解码步骤，解码指定是否编码动作矢量的信息；探索动作矢量解码步骤，在编码动作矢量的情况下，解码动作矢量。
第15发明就上述第10、12或13发明的图像解码方法而言，其特征在于，执行如下步骤：差分动作矢量解码步骤，解码差分动作矢量；差分动作矢量算出步骤，根据差分动作矢量与所述动作矢量选择步骤选择到的动作矢量，算出动作矢量。
第16发明就上述第14或15发明的图像解码方法而言，其特征在于，执行如下步骤：动作矢量存储步骤，存储动作矢量；动作矢量存储指定解码步骤，解码指定是否存储动作矢量的信息。
第17发明就上述第14或15发明的图像解码方法而言，其特征在于，执行如下步骤：动作矢量存储步骤，存储动作矢量；动作矢量衡量步骤，使用动作矢量衡量信息，变更动作矢量的值。
第18发明就上述第17发明的图像解码方法而言，其特征在于：执行衡量解码步骤，解码动作矢量衡量信息。
根据第1发明的图像编码方法或第10发明的图像解码方法，可从预先存储的多个动作矢量中，选择所使用的动作矢量，制作预测图像。在以前的直接模式中，由于存储1帧大小的过去编码后的帧之动作矢量，使用画面内相同位置的区域之动作矢量来制作预测图像，所以不能选择动作矢量。根据本发明，由于可从动作矢量候补中选择动作矢量，所以，可使编码效率提高。另外，根据该方法，即便在连续的帧间没有动作的连续性的情况下，也由于可从多个动作矢量候补中选择动作矢量，所以可高效选择动作矢量。
动作矢量可在对编码对象帧进行编码之前预先存储，也可在对编码对象区域进行编码之前预先存储。例如，可在编码由以规定速度移动的摄像机拍摄的运动图像的情况下，预先测量帧间的图像内容的移动距离，将之存储为动作矢量。另外，也可在由多个摄像机拍摄的情况下，测量摄像机间的空间距离，将之存储为动作矢量。这样，在预先得到可测定的动作量的情况下，也可将该动作量存储为动作矢量。另外，具有多个这种动作矢量候补，对每个区域选择该动作矢量候补。
作为从多个预先存储的动作矢量中选择一个动作矢量的基准，例如可利用区域的画面内的位置。这可通过第2发明的图像编码方法或第11发明的图像解码方法来实现。例如，在根据摄像机的动作信息来算出动作矢量的情况下，有时在画面的上侧与下侧，动作矢量不同。在这种情况下，若预先与画面的上侧与下侧一致后算出动作矢量，存储在存储器中，则当编码各区域时，若使用区域的位置信息，从多个动作矢量中选择一个动作矢量，则可高效编码。另外，作为选择动作矢量的基准，在可衡量编码的情况下，也可利用编码对象的帧所属的层信息。
例如，在图7所示的、使用基本层与扩展层来执行时间可衡量编码的情况下，准备存储对应于各层的动作矢量之存储器，当编码各帧时，只要选择存储在该帧所属的层用存储器中的动作矢量即可。该方法即便是图5所示的MCTF编码也一样，只要准备对应于备层的动作矢量存储器，使用层信息来选择动作矢量即可。
另外，也可对帧或多个区域每个编码这种动作矢量信息。该动作矢量信息在图像解码侧解码后存储。
根据第3发明的图像编码方法或第12发明的图像解码方法，通过对指定从多个动作矢量中选择的动作矢量之信息进行编码，可在图像编码侧编码效率高地选择动作矢量。
另外，在通常动作矢量编码中，由于独立对纵向分量与横向分量进行编码，所以，对2个符号进行编码，而在如此从多个动作矢量中选择一个的情况下，由于对指定动作矢量的信息进行编码，所以，变为仅对1个符号进行编码，编码效率提高。
根据第4发明的图像编码方法或第13发明的图像解码方法，在从多个帧中选择参照图像编码的情况下，使用指定该参照图像的信息，动作矢量也可同时指定，可削减指定动作矢量的信息之编码量。预先存储的动作矢量被分类为多个类目，各类目对应于各参照图像。由此，将一个动作矢量的类目对应于指定参照图像的信息。与以前的直接模式一样，从属于该类目的动作矢量中，选择帧内相同位置的动作矢量。另外，参照动作矢量设定步骤不必在各区域执行，只要对帧或多个区域每个执行一次即可。
指定参照图像的参照图像指定信息与参照图像的对应关系可设定多个，例如在B帧中，可分别单独设定前向预测用对应关系与后向预测用对应关系。此时，参照动作矢量设定步骤在前向预测用与后向预测用中执行两次。
根据第5发明的图像编码方法或第14发明的图像解码方法，执行动作探索，求出动作矢量，从该动作矢量与预先存储的动作矢量中，选择一个动作矢量后进行编码。由此，预先存储的动作矢量即便在编码效率差的区域中，也可使编码效率提高。探索动作矢量指定编码步骤对指定使用探索到的动作矢量还是使用预先存储的动作矢量之信息进行编码，但也可单独编码该信息，或与编码模式组合后进行编码。在编码模式中，包含是否帧内编码、是否再分割区域、在B帧的情况下预测方向为何方向等信息。作为该编码模式之一，例如也可表示是否使用预先存储的动作矢量。另外，在动作矢量指定编码步骤中，在对指定从预先存储的动作矢量中选择的动作矢量之信息进行编码的情况下，也可在该信息中组合指定是否选择通过动作探索得到的动作矢量之信息。例如，有2个预先存储的动作矢量，作为指定从这些动作矢量中选择的动作矢量的信息，当分别应用数值0与1时，将由动作探索得到的动作矢量指定为数值2。
根据第6发明的图像编码方法或第15发明的图像解码方法，执行动作探索，求出动作矢量，编码该动作矢量与预先存储的动作矢量的差分，由此，预先存储的动作矢量在编码效率差的情况下，可高效设定动作矢量。
根据第7发明的图像编码方法或第16发明的图像解码方法，可存储执行动作探索后求出的动作矢量。由此，可更新预先存储的动作矢量。作为更新动作矢量的方法，例如可废弃最早存储的动作矢量，重新存储动作矢量。另外，如第4发明的图像编码方法或第13发明的图像解码方法所示，也可在使用指定参照图像的信息，也同时指定动作矢量的情况下，废弃选择到的参照图像内相同位置的动作矢量，重新存储动作矢量。并且，可判定是否存储执行动作探索后求出的动作矢量。由于存储的动作矢量在下一帧以后使用，所以若仅存储可提高下一帧以后的编码效率的动作矢量，则可削减存储动作矢量的存储器量。
根据第8发明的图像编码方法或第17发明的图像解码方法，在存储执行动作探索后求出的动作矢量的情况下，可在使用动作矢量衡量信息来变更值后进行存储。例如，可在动作探索中求出1/4像素精度的动作矢量，当存储时，变更为整数像素精度的动作矢量。此时，虽然丧失整数像素以下精度的动作矢量信息，但可减小表现动作矢量的数值。由此，可削减存储动作矢量的存储器量。
根据第9发明的图像编码方法或第18发明的图像解码方法，通过编码动作矢量衡量信息，可对帧或每个区域变更存储的动作矢量的精度。由此，可更适当地削减存储动作矢量的存储器量。例如，在纹理细的区域中存储1/4像素等细精度的动作矢量，在无纹理的区域中存储整数像素等粗精度的动作矢量。
在本发明的差分编码步骤中，可无损耗编码差分信息，也可有损耗编码差分信息。
根据本发明，可从预先存储的多个动作矢量中，选择使用的动作矢量，制作预测图像。在以前的直接模式中，由于存储1帧大小的过去编码后的帧之动作矢量，使用画面内相同位置的区域之动作矢量来制作预测图像，所以不能选择动作矢量。根据本发明，由于可从动作矢量候补中选择动作矢量，所以可使编码效率提高。另外，根据该方法，即便在连续的帧间没有动作的连续性的情况下，也由于可从多个动作矢量候补中选择动作矢量，所以可选择效率高的动作矢量。
为了解决上述问题，第1发明是一种图像编码方法，根据过去编码后的帧的图像信息，制作预测图像，对每个区域编码图像信息，其特征在于，执行如下步骤：动作矢量选择步骤，从预先存储的多个动作矢量中，选择动作矢量；预测图像制作步骤，使用所述动作矢量选择步骤选择到的动作矢量，根据参照图像，制作预测图像；差分编码步骤，编码当前区域的图像信息与预测图像的差分。
第2发明就上述第1发明的图像编码方法而言，其特征在于：所述动作矢量选择步骤根据画面内的区域的位置信息，从所述多个动作矢量中选择动作矢量。
第3发明就上述第1或第2发明的图像编码方法而言，执行如下步骤：动作矢量指定编码步骤，编码指定所述动作矢量选择步骤选择的动作矢量之信息。
第4发明是一种图像编码方法，从过去编码后的多个帧的图像信息中，选择参照图像，制作预测图像，对每个区域编码图像信息，其特征在于，执行如下步骤：参照动作矢量设定步骤，设定预先存储的多个动作矢量与指定参照图像的参照图像指定信息的对应关系；参照图像选择步骤，选择参照图像；参照图像指定编码步骤，编码指定参照图像的参照图像指定信息；动作矢量选择步骤，从预先存储的多个动作矢量中，选择对应于参照图像指定信息的动作矢量；预测图像制作步骤，使用所述动作矢量选择步骤选择到的动作矢量，根据参照图像，制作预测图像；差分编码步骤，编码当前区域的图像信息与预测图像的差分。
第5发明就上述第1、3或4发明的图像编码方法而言，其特征在于，执行如下步骤：动作探索步骤，使用当前区域的图像信息与参照图像，探索动作矢量；探索动作矢量选择步骤，选择所述动作矢量选择步骤选择到的动作矢量与所述动作探索步骤得到的动作矢量中任一动作矢量；探索动作矢量编码步骤，在所述探索动作矢量选择步骤中选择到所述动作探索步骤得到的动作矢量的情况下，编码该动作矢量；探索动作矢量指定编码步骤，编码指定所述探索动作矢量选择步骤中选择到的动作矢量的信息。
第6发明就上述第1、3或4发明的图像编码方法而言，其特征在于，执行如下步骤：动作探索步骤，使用当前区域的图像信息与参照图像，探索动作矢量；差分动作矢量编码步骤，编码所述动作矢量选择步骤中选择到的动作矢量与所述动作探索步骤得到的动作矢量的差分。
第7发明就上述第5或6发明的图像编码方法而言，其特征在于，执行如下步骤：动作矢量存储步骤，存储动作矢量；动作矢量存储确定步骤，确定是否存储动作矢量；动作矢量存储指定编码步骤，编码指定是否存储动作矢量的信息。
第8发明就上述第5或6发明的图像编码方法而言，其特征在于，执行如下步骤：动作矢量存储步骤，存储动作矢量；动作矢量衡量步骤，使用动作矢量衡量信息，变更动作矢量的值。
第9发明就上述第8发明的图像编码方法而言，其特征在于：执行衡量编码步骤，编码动作矢量衡量信息。
第10发明是一种图像解码方法，根据过去解码后的帧的图像信息，制作预测图像，对每个区域解码图像信息，其特征在于，执行如下步骤：动作矢量选择步骤，从预先存储的多个动作矢量中，选择动作矢量；预测图像制作步骤，使用所述动作矢量选择步骤选择到的动作矢量，根据参照图像，制作预测图像；解码图像制作步骤，解码当前区域的图像信息与预测图像的差分，制作解码图像。
第11发明就上述第10发明的图像解码方法而言，其特征在于：所述动作矢量选择步骤根据画面内的区域的位置信息，从所述多个动作矢量中，选择动作矢量。
第12发明就上述第10或11发明的图像解码方法而言，其特征在于：执行动作矢量指定解码步骤，解码指定所述动作矢量选择步骤选择的动作矢量的信息。
第13发明是一种图像解码方法，从过去解码后的多个帧的图像信息中，选择参照图像，制作预测图像，对每个区域解码图像信息，其特征在于，执行如下步骤：参照动作矢量设定步骤，设定预先存储的多个动作矢量与指定参照图像的参照图像指定信息的对应关系；参照图像指定解码步骤，解码指定参照图像的参照图像指定信息；参照图像选择步骤，选择参照图像；动作矢量选择步骤，从预先存储的多个动作矢量中，选择对应于参照图像指定信息的动作矢量；预测图像制作步骤，使用所述动作矢量选择步骤选择到的动作矢量，根据参照图像，制作预测图像；解码图像制作步骤，解码当前区域的图像信息与预测图像的差分，制作解码图像。
第14发明就上述第10、12或13发明的图像解码方法而言，其特征在于，执行如下步骤：探索动作矢量指定解码步骤，解码指定是否编码动作矢量的信息；探索动作矢量解码步骤，在编码动作矢量的情况下，解码动作矢量。
第15发明就上述第10、12或13发明的图像解码方法而言，其特征在于，执行如下步骤：差分动作矢量解码步骤，解码差分动作矢量；差分动作矢量算出步骤，根据差分动作矢量与所述动作矢量选择步骤选择到的动作矢量，算出动作矢量。
第16发明就上述第14或15发明的图像解码方法而言，其特征在于，执行如下步骤：动作矢量存储步骤，存储动作矢量；动作矢量存储指定解码步骤，解码指定是否存储动作矢量的信息。
第17发明就上述第14或15发明的图像解码方法而言，其特征在于，执行如下步骤：动作矢量存储步骤，存储动作矢量；动作矢量衡量步骤，使用动作矢量衡量信息，变更动作矢量的值。
第18发明就上述第17发明的图像解码方法而言，其特征在于：执行衡量解码步骤，解码动作矢量衡量信息。
根据第1发明的图像编码方法或第10发明的图像解码方法，可从预先存储的多个动作矢量中，选择所使用的动作矢量，制作预测图像。在以前的直接模式中，由于存储1帧大小的过去编码后的帧之动作矢量，使用画面内相同位置的区域之动作矢量来制作预测图像，所以不能选择动作矢量。根据本发明，由于可从动作矢量候补中选择动作矢量，所以，可使编码效率提高。另外，根据该方法，即便在连续的帧间没有动作的连续性的情况下，也由于可从多个动作矢量候补中选择动作矢量，所以可高效选择动作矢量。
动作矢量可在对编码对象帧进行编码之前预先存储，也可在对编码对象区域进行编码之前预先存储。例如，可在编码由以规定速度移动的摄像机拍摄的运动图像的情况下，预先测量帧间的图像内容的移动距离，将之存储为动作矢量。另外，也可在由多个摄像机拍摄的情况下，测量摄像机间的空间距离，将之存储为动作矢量。这样，在预先得到可测定的动作量的情况下，也可将该动作量存储为动作矢量。另外，具有多个这种动作矢量候补，对每个区域选择该动作矢量候补。
作为从多个预先存储的动作矢量中选择一个动作矢量的基准，例如可利用区域的画面内的位置。这可通过第2发明的图像编码方法或第11发明的图像解码方法来实现。例如，在根据摄像机的动作信息来算出动作矢量的情况下，有时在画面的上侧与下侧，动作矢量不同。在这种情况下，若预先与画面的上侧与下侧一致后算出动作矢量，存储在存储器中，则当编码各区域时，若使用区域的位置信息，从多个动作矢量中选择一个动作矢量，则可高效编码。另外，作为选择动作矢量的基准，在可衡量编码的情况下，也可利用编码对象的帧所属的层信息。
例如，在图7所示的、使用基本层与扩展层来执行时间可衡量编码的情况下，准备存储对应于各层的动作矢量之存储器，当编码各帧时，只要选择存储在该帧所属的层用存储器中的动作矢量即可。该方法即便是图5所示的MCTF编码也一样，只要准备对应于备层的动作矢量存储器，使用层信息来选择动作矢量即可。
另外，也可对帧或多个区域每个编码这种动作矢量信息。该动作矢量信息在图像解码侧解码后存储。
根据第3发明的图像编码方法或第12发明的图像解码方法，通过对指定从多个动作矢量中选择的动作矢量之信息进行编码，可在图像编码侧编码效率高地选择动作矢量。
另外，在通常动作矢量编码中，由于独立对纵向分量与横向分量进行编码，所以，对2个符号进行编码，而在如此从多个动作矢量中选择一个的情况下，由于对指定动作矢量的信息进行编码，所以，变为仅对1个符号进行编码，编码效率提高。
根据第4发明的图像编码方法或第13发明的图像解码方法，在从多个帧中选择参照图像编码的情况下，使用指定该参照图像的信息，动作矢量也可同时指定，可削减指定动作矢量的信息之编码量。预先存储的动作矢量被分类为多个类目，各类目对应于各参照图像。由此，将一个动作矢量的类目对应于指定参照图像的信息。与以前的直接模式一样，从属于该类目的动作矢量中，选择帧内相同位置的动作矢量。另外，参照动作矢量设定步骤不必在各区域执行，只要对帧或多个区域每个执行一次即可。
指定参照图像的参照图像指定信息与参照图像的对应关系可设定多个，例如在B帧中，可分别单独设定前向预测用对应关系与后向预测用对应关系。此时，参照动作矢量设定步骤在前向预测用与后向预测用中执行两次。
根据第5发明的图像编码方法或第14发明的图像解码方法，执行动作探索，求出动作矢量，从该动作矢量与预先存储的动作矢量中，选择一个动作矢量后进行编码。由此，预先存储的动作矢量即便在编码效率差的区域中，也可使编码效率提高。探索动作矢量指定编码步骤对指定使用探索到的动作矢量还是使用预先存储的动作矢量之信息进行编码，但也可单独编码该信息，或与编码模式组合后进行编码。在编码模式中，包含是否帧内编码、是否再分割区域、在B帧的情况下预测方向为何方向等信息。作为该编码模式之一，例如也可表示是否使用预先存储的动作矢量。另外，在动作矢量指定编码步骤中，在对指定从预先存储的动作矢量中选择的动作矢量之信息进行编码的情况下，也可在该信息中组合指定是否选择通过动作探索得到的动作矢量之信息。例如，有2个预先存储的动作矢量，作为指定从这些动作矢量中选择的动作矢量的信息，当分别应用数值0与1时，将由动作探索得到的动作矢量指定为数值2。
根据第6发明的图像编码方法或第15发明的图像解码方法，执行动作探索，求出动作矢量，编码该动作矢量与预先存储的动作矢量的差分，由此，预先存储的动作矢量在编码效率差的情况下，可高效设定动作矢量。
根据第7发明的图像编码方法或第16发明的图像解码方法，可存储执行动作探索后求出的动作矢量。由此，可更新预先存储的动作矢量。作为更新动作矢量的方法，例如可废弃最早存储的动作矢量，重新存储动作矢量。另外，如第4发明的图像编码方法或第13发明的图像解码方法所示，也可在使用指定参照图像的信息，也同时指定动作矢量的情况下，废弃选择到的参照图像内相同位置的动作矢量，重新存储动作矢量。并且，可判定是否存储执行动作探索后求出的动作矢量。由于存储的动作矢量在下一帧以后使用，所以若仅存储可提高下一帧以后的编码效率的动作矢量，则可削减存储动作矢量的存储器量。
根据第8发明的图像编码方法或第17发明的图像解码方法，在存储执行动作探索后求出的动作矢量的情况下，可在使用动作矢量衡量信息来变更值后进行存储。例如，可在动作探索中求出1/4像素精度的动作矢量，当存储时，变更为整数像素精度的动作矢量。此时，虽然丧失整数像素以下精度的动作矢量信息，但可减小表现动作矢量的数值。由此，可削减存储动作矢量的存储器量。
根据第9发明的图像编码方法或第18发明的图像解码方法，通过编码动作矢量衡量信息，可对帧或每个区域变更存储的动作矢量的精度。由此，可更适当地削减存储动作矢量的存储器量。例如，在纹理细的区域中存储1/4像素等细精度的动作矢量，在无纹理的区域中存储整数像素等粗精度的动作矢量。
在本发明的差分编码步骤中，可无损耗编码差分信息，也可有损耗编码差分信息。
根据本发明，可从预先存储的多个动作矢量中，选择使用的动作矢量，制作预测图像。在以前的直接模式中，由于存储1帧大小的过去编码后的帧之动作矢量，使用画面内相同位置的区域之动作矢量来制作预测图像，所以不能选择动作矢量。根据本发明，由于可从动作矢量候补中选择动作矢量，所以可使编码效率提高。另外，根据该方法，即便在连续的帧间没有动作的连续性的情况下，也由于可从多个动作矢量候补中选择动作矢量，所以可选择效率高的动作矢量。
附图说明
图1是表示预测关系例1的图，上侧表示IBBPBBP的预测关系，下侧表示编码顺序。
图2是表示预测关系例2的图，上侧表示IBBPBBP的预测关系，下侧表示编码顺序。
图3是说明直接模式中的动作矢量的图。
图4是H.264的块分割的模式图。
图5是说明MCTF编码中的时间方向的滤波器的图。
图6A是说明Haar基础下的提高方案(Lifting Scheme)的图，表示分析(编码)侧处理。
图6B是说明Haar基础下的提高方案的图，表示合成(解码)侧处理。
图7是表示可衡量编码的帧结构例的图。
图8是表示本发明第1实施方式的图像编码装置的结构框图。
图9是表示本发明第1实施方式的图像解码装置的结构框图。
图10是表示本发明第2实施方式的图像编码装置的结构框图。
图11是表示本发明第2实施方式的图像解码装置的结构框图。
图12是表示本发明第3实施方式的图像编码装置的结构框图。
图13是表示本发明第3实施方式的图像解码装置的结构框图。
图14是表示本发明第4实施方式的、基于第3实施方式的图像编码装置的结构框图，表示执行衡量信息编码时的结构。
图15是表示本发明第4实施方式的、基于第3实施方式的图像解码装置的结构框图，表示执行衡量信息解码时的结构。
图16是表示本发明第4实施方式的、基于第1实施方式的图像编码装置的结构框图，表示执行衡量信息编码时的结构。
图17是表示本发明第4实施方式的、基于第1实施方式的图像解码装置的结构框图，表示执行衡量信息解码时的结构。
图18是表示本发明第4实施方式的、基于第2实施方式的图像编码装置的结构框图，表示执行衡量信息编码时的结构。
图19是表示本发明第4实施方式的、基于第2实施方式的图像解码装置的结构框图，表示执行衡量信息解码时的结构。
图20是表示本发明第4实施方式的、基于第3实施方式的图像编码装置的结构框图，表示不执行衡量信息编码时的结构。
图21是表示本发明第4实施方式的、基于第3实施方式的图像解码装置的结构框图，表示不执行衡量信息解码时的结构。
图22是表示本发明第4实施方式的、基于第1实施方式的图像编码装置的结构框图，表示不执行衡量信息编码时的结构。
图23是表示本发明第4实施方式的、基于第1实施方式的图像解码装置的结构框图，表示不执行衡量信息解码时的结构。
图24是表示本发明第4实施方式的、基于第2实施方式的图像编码装置的结构框图，表示不执行衡量信息编码时的结构。
图25是表示本发明第4实施方式的、基于第2实施方式的图像解码装置的结构框图，表示不执行衡量信息解码时的结构。
图26是表示本发明第5实施方式的图像编码装置的结构框图。
图27是表示本发明第5实施方式的图像解码装置的结构框图。
图28是表示本发明第6实施方式的图像编码装置的结构框图。
图29是表示本发明第6实施方式的图像解码装置的结构框图。
图30是表示本发明第9实施方式的图像编码装置的结构框图。
图31是表示本发明第9实施方式的图像解码装置的结构框图。
图32是表示本发明第9实施方式中、从多个动作矢量中选择动作矢量、以使编码量最小时的图像编码装置的结构框图。
图33是表示本发明第9实施方式中、从多个动作矢量中选择动作矢量、以使编码量最小时的图像解码装置的结构框图。
图34是表示本发明第10实施方式的图像编码装置的结构框图。
图35是表示本发明第10实施方式的图像解码装置的结构框图。
图2是表示预测关系例2的图，上侧表示IBBPBBP的预测关系，下侧表示编码顺序。
图3是说明直接模式中的动作矢量的图。
图4是H.264的块分割的模式图。
图5是说明MCTF编码中的时间方向的滤波器的图。
图6A是说明Haar基础下的提高方案(Lifting Scheme)的图，表示分析(编码)侧处理。
图6B是说明Haar基础下的提高方案的图，表示合成(解码)侧处理。
图7是表示可衡量编码的帧结构例的图。
图8是表示本发明第1实施方式的图像编码装置的结构框图。
图9是表示本发明第1实施方式的图像解码装置的结构框图。
图10是表示本发明第2实施方式的图像编码装置的结构框图。
图11是表示本发明第2实施方式的图像解码装置的结构框图。
图12是表示本发明第3实施方式的图像编码装置的结构框图。
图13是表示本发明第3实施方式的图像解码装置的结构框图。
图14是表示本发明第4实施方式的、基于第3实施方式的图像编码装置的结构框图，表示执行衡量信息编码时的结构。
图15是表示本发明第4实施方式的、基于第3实施方式的图像解码装置的结构框图，表示执行衡量信息解码时的结构。
图16是表示本发明第4实施方式的、基于第1实施方式的图像编码装置的结构框图，表示执行衡量信息编码时的结构。
图17是表示本发明第4实施方式的、基于第1实施方式的图像解码装置的结构框图，表示执行衡量信息解码时的结构。
图18是表示本发明第4实施方式的、基于第2实施方式的图像编码装置的结构框图，表示执行衡量信息编码时的结构。
图19是表示本发明第4实施方式的、基于第2实施方式的图像解码装置的结构框图，表示执行衡量信息解码时的结构。
图20是表示本发明第4实施方式的、基于第3实施方式的图像编码装置的结构框图，表示不执行衡量信息编码时的结构。
图21是表示本发明第4实施方式的、基于第3实施方式的图像解码装置的结构框图，表示不执行衡量信息解码时的结构。
图22是表示本发明第4实施方式的、基于第1实施方式的图像编码装置的结构框图，表示不执行衡量信息编码时的结构。
图23是表示本发明第4实施方式的、基于第1实施方式的图像解码装置的结构框图，表示不执行衡量信息解码时的结构。
图24是表示本发明第4实施方式的、基于第2实施方式的图像编码装置的结构框图，表示不执行衡量信息编码时的结构。
图25是表示本发明第4实施方式的、基于第2实施方式的图像解码装置的结构框图，表示不执行衡量信息解码时的结构。
图26是表示本发明第5实施方式的图像编码装置的结构框图。
图27是表示本发明第5实施方式的图像解码装置的结构框图。
图28是表示本发明第6实施方式的图像编码装置的结构框图。
图29是表示本发明第6实施方式的图像解码装置的结构框图。
图30是表示本发明第9实施方式的图像编码装置的结构框图。
图31是表示本发明第9实施方式的图像解码装置的结构框图。
图32是表示本发明第9实施方式中、从多个动作矢量中选择动作矢量、以使编码量最小时的图像编码装置的结构框图。
图33是表示本发明第9实施方式中、从多个动作矢量中选择动作矢量、以使编码量最小时的图像解码装置的结构框图。
图34是表示本发明第10实施方式的图像编码装置的结构框图。
图35是表示本发明第10实施方式的图像解码装置的结构框图。
具体实施方式
参照附图来说明本发明的图像编码装置与图像解码装置的实施方式。表示将图像分割为多个块后编码时的步骤。设存储3个动作矢量，从中选择一个进行编码。
说明第1实施方式的图像编码装置。图8中示出装置概要。具备：取入图像信息的图像输入部101；制作预测图像的预测图像制作部104；对输入图像信息与预测图像的差分进行编码的差分编码部103；执行动作探索的动作探索部102；存储动作矢量的动作矢量存储存储器107；从动作矢量存储存储器107中选择一个动作矢量的动作矢量选择部109；动作矢量指定编码部110，对指定由动作矢量选择部109选择到的动作矢量之动作矢量指定信息进行编码；探索动作矢量选择部108，选择由动作探索部102探索的动作矢量或由动作矢量选择部109选择的动作矢量的任意一个；探索动作矢量指定编码部111，对指定由探索动作矢量选择部108选择到的动作矢量的探索动作矢量指定信息进行编码；对由动作探索部102探索的动作矢量进行编码的探索动作矢量编码部112；存储解码图像的参照图像存储器106；解码部105，对由差分编码部103制作的差分编码数据进行解码，制作解码图像；编码量测量部113，测量由差分编码部103制作的差分编码数据的编码量与动作矢量的编码量的合计。
设动作矢量存储存储器107中预先存储3个动作矢量。另外，设动作矢量指定编码部110对指定存储在动作矢量存储存储器107中的3个动作矢量之动作矢量指定信息，分别输出0、10、11的代码。另外，设探索动作矢量指定编码部111在为动作探索部102探索的动作矢量的情况下，输出0，在为动作矢量选择部109选择的动作矢量的情况下，输出1。设探索动作矢量编码部112使用MPBG-4中采用的动作矢量编码方法来编码动作矢量的各分量。另外，设已编码前一帧，在参照图像存储器106中存储解码图像。
在这种前提下如下编码输入图像。首先，图像输入部101取入帧，分割成宏块。之后，如下所示对每个宏块进行编码。
动作探索部102对当前宏块执行动作探索。探索动作矢量选择部108选择由动作探索得到的动作矢量。预测图像制作部104使用动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量将发生编码量进行测量。
之后，动作矢量选择部109从动作矢量存储存储器107中选择第1动作矢量。探索动作矢量选择部108选择由动作矢量选择部109选择到的动作矢量。预测图像制作部104使用动作矢量制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量发生编码量。
之后，动作矢量选择部109从动作矢量存储存储器107中选择第2动作矢量。探索动作矢量选择部108选择由动作矢量选择部109选择到的动作矢量。预测图像制作部104使用动作矢量制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量发生编码量。
动作矢量选择部109从动作矢量存储存储器107中选择第3动作矢量。探索动作矢量选择部108选择由动作矢量选择部109选择到的动作矢量。预测图像制作部104使用动作矢量制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量发生编码量。
探索动作矢量选择部108选择编码量测量部113得到的发生编码量最少时的动作矢量。在选择由动作矢量选择部109选择到的动作矢量的情况下，动作矢量选择部109进一步选择编码量测量部113得到的发生编码量最少时的动作矢量。
预测图像制作部104使用由以上得到的动作矢量，制作预测图像，差分编码部103对差分进行编码。探索动作矢量指定编码部111编码探索动作矢量指定信息。在探索动作矢量指定信息指定由动作矢量选择部109选择的动作矢量的情况下，动作矢量指定编码部110编码动作矢量指定信息。在探索动作矢量指定信息指定由动作探索部102得到的动作矢量的情况下，探索动作矢量编码部112编码动作矢量。
全部宏块执行以上处理。解码部105对编码后的差分进行解码，使用预测图像，制作解码图像，并将解码图像存储在参照图像存储器106中。如上所示，可对当前帧进行编码。
下面，说明解码装置。图9示出装置概要。具备：制作预测图像的预测图像制作部205；解码图像制作部201，解码差分信息，使用预测图像，制作解码图像；存储动作矢量的动作矢量存储存储器207；解码动作矢量指定信息的动作矢量指定解码部204；动作矢量选择部209，使用动作矢量指定信息，从动作矢量存储存储器207中选择一个动作矢量；解码探索动作矢量指定信息的探索动作矢量指定解码部203；探索动作矢量选择部208，使用探索动作矢量指定信息，选择动作矢量；解码动作矢量的探索动作矢量解码部202；存储解码图像的参照图像存储器206。
设动作矢量存储存储器207中预先存储3个动作矢量。设前一帧已被解码，在参照图像存储器206中存储解码图像。
在这种前提下，如下所示对由所述图像编码装置编码的编码数据进行解码。首先，对每个宏块如下制作解码图像。探索动作矢量指定解码部203对探索动作矢量指定信息进行解码。探索动作矢量选择部208使用探索动作矢量指定信息，选择解码动作矢量还是解码动作矢量指定信息。在解码动作矢量的情况下，探索动作矢量解码部202解码动作矢量。在解码动作矢量指定信息的情况下，动作矢量指定解码部204解码动作矢量指定信息，动作矢量选择部209使用动作矢量指定信息，从动作矢量存储存储器207中选择一个动作矢量。之后，预测图像制作部205使用动作矢量，制作预测图像，解码图像制作部201对差分信息进行解码，使用预测图像，制作解码图像。
所有的宏块执行以上处理。解码图像制作部201将解码图像存储在参照图像存储器206中。如上所述，可解码当前帧。
根据本实施方式，在动作矢量存储存储器107中存储良好反映视频的动作信息之动作矢量的情况下，即，在动作探索部102探索的动作矢量的编码量多的情况下，通过编码动作矢量指定信息来代替编码动作矢量，可削减动作矢量的编码量。
在上述第1实施方式中，选择由动作探索部102探索的动作矢量或存储在动作矢量存储存储器107中的动作矢量的任意一个，但也可对探索的动作矢量与存储在动作矢量存储存储器107中的动作矢量之差分进行编码。图10和图11中示出装置概要。此时，如图10所示，图像编码装置中不具备探索动作矢量编码部112、探索动作矢量指定编码部111与探索动作矢量选择部108，代之以具备对动作矢量的差分进行编码的差分动作矢量编码部117。
另外，如图11所示，图像解码装置中不具备探索动作矢量解码部202、探索动作矢量指定解码部203与探索动作矢量选择部208，而具备：对差分动作矢量进行解码的差分动作矢量解码部217；差分动作矢量算出部218，根据差分动作矢量与由动作矢量选择部209选择的动作矢量，算出动作矢量。
图像编码装置对每个宏块如下求出动作矢量。动作探索部102对当前宏块执行动作探索。预测图像制作部104使用探索到的动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。之后，动作矢量选择部109从动作矢量存储存储器107中选择第1动作矢量。差分动作矢量编码部117对由动作探索得到的动作矢量与第1动作矢量的差分进行编码。编码量测量部113测量发生编码量。
动作矢量选择部109从动作矢量存储存储器107中选择第2动作矢量。差分动作矢量编码部117对由动作探索得到的动作矢量与第2动作矢量的差分进行编码。编码量测量部113测量发生编码量。
动作矢量选择部109从动作矢量存储存储器107中选择第3动作矢量。差分动作矢量编码部117对由动作探索得到的动作矢量与第3动作矢量的差分进行编码。编码量测量部113测量发生编码量。动作矢量选择部109选择由编码量测量部113得到的发生编码量最少时的动作矢量。
图像解码装置对每个宏块如下求出动作矢量。动作矢量指定解码部204解码动作矢量指定信息，动作矢量选择部209使用动作矢量指定信息，从动作矢量存储存储器207中选择一个动作矢量。差分动作矢量解码部217解码差分动作矢量，差分动作矢量算出部218根据差分动作矢量与由动作矢量选择部209选择的动作矢量，制作动作矢量。
在第1和第2实施方式中，图像编码装置也可将动作探索部102得到的动作矢量重写存储在动作矢量存储存储器107中。
在以上实施方式中，也可对指定是否存储在动作矢量存储存储器107中的信息进行编码。图12和图13示出根据第1实施方式来实现本实施方式时的装置概要。此时，如图12所示，除图8的结构外，新具备存储动作矢量的动作矢量存储部118、确定是否存储动作矢量的动作矢量存储确定部119、对指定是否存储动作矢量的信息进行编码的动作矢量存储指定编码部120。
动作矢量存储确定部119例如在探索动作矢量选择部108选择由动作探索得到的动作矢量的情况下，确定存储该动作矢量。在该动作矢量存储确定部119确定为存储动作矢量的情况下，动作矢量存储部118将动作矢量存储在动作矢量存储存储器107中。动作矢量存储指定编码部120对指定是否存储动作矢量的信息进行编码。动作矢量存储指定编码部120也可按每个宏块对动作矢量存储指定信息编码，或以切片或帧等多个宏块为单位对动作矢量存储指定信息进行编码。
为了解码如此制作的编码数据，如图13所示，图像解码装置除图9的结构外，还具备：存储动作矢量的动作矢量存储部219；解码指定是否存储动作矢量的信息之动作矢量存储指定解码部220。动作矢量存储指定解码部220对指定是否存储动作矢量的信息进行解码，在指定为存储的情况下，动作矢量存储部219将动作矢量存储在动作矢量存储存储器207中。
在以上的实施方式中，进而也可在存储在动作矢量存储存储器107中之前，通过衡量动作矢量，减小动作矢量的分量的值，减少需要存储的存储器量。图14和图15示出根据第3实施方式来实现本实施方式时的装置概要。
为了实现本实施方式，如图14所示，只在要图像编码装置中具备使用动作矢量衡量信息来变更动作矢量的值之动作矢量衡量部121即可。也可预先在动作矢量存储存储器107中存储精度低、例如以整数像素精度衡量的动作矢量，在由动作矢量选择部109选择动作矢量之后，动作矢量衡量部121将动作矢量衡量为精度较高的、例如一半像素精度或1/4像素精度的动作矢量。另外，在存储动作矢量的情况下，也可在动作矢量存储部118将动作矢量存储在动作矢量存储存储器107中之前，动作矢量衡量部121将动作矢量从精度高的一半像素精度或1/4像素精度的动作矢量衡量为精度低的整数像素精度的动作矢量。
并且，也可对该动作矢量的衡量计算所需的信息、即动作矢量衡量信息进行编码。动作矢量衡量信息例如在动作矢量衡量部121将动作矢量从整数像素精度衡量为一半像素精度的情况下，可以是指定用于得到该衡量后的值之计算式的信息。由此，例如可以以宏块或多个宏块的单位来变更衡量的计算式。此时，图像编码装置具备对动作矢量衡量信息进行编码的衡量编码部122。
另一方面，如图15所示，在图像解码装置中，具备：动作矢量衡量部221，使用动作矢量衡量信息，变更动作矢量的值；解码动作矢量衡量信息的衡量解码部222。动作矢量衡量部221的动作与图像编码装置的动作矢量衡量部121一样。另外，衡量解码部222对动作矢量的衡量计算所需的动作矢量衡量信息进行解码，变更衡量的计算式。
另外，在上述说明中，根据第3实施方式来实现本实施方式，但例如也可根据第1实施方式或第2实施方式来实现。图16和图17示出根据第1实施方式时的装置概要。另外，图18和图19示出根据第2实施方式时的装置概要。在这些图中，对第1实施方式或第2实施方式附加动作矢量衡量部121和衡量编码部122(图像编码装置侧)、以及动作矢量衡量部221和衡量解码部222(图像解码装置侧)。
另外，从上述说明可知，也可不执行衡量信息的编码(图像编码装置的情况)或解码(图像解码装置的情况)，图20-图25示出此时的装置概要。这些图20-图25分别对应于图14-图19，从图14-图19中删除衡量编码部122(图像编码装置的情况)或衡量解码部222(图像解码装置的情况)。
下面，作为第5实施方式，示出具备存储2帧大小的解码图像之参照图像存储器、和存储2帧大小的动作矢量的动作矢量存储存储器，在由参照图像指定信息指定参照图像的同时、还指定动作矢量的方法实例。示出将图像分割为多个块后进行编码时的步骤。
说明第5实施方式的图像编码装置。图26示出装置概要。具备：取入图像信息的图像输入部101；制作预测图像的预测图像制作部104；对输入图像信息与预测图像的差分进行编码的差分编码部103；执行动作探索的动作探索部102；存储动作矢量的动作矢量存储存储器107；从动作矢量存储存储器107中选择一个动作矢量的动作矢量选择部109；存储解码图像的参照图像存储器106；选择参照图像的参照图像选择部114；对参照图像指定信息进行编码的参照图像指定编码部115；参照动作矢量设定部116，设定存储在动作矢量存储存储器107中的动作矢量与指定参照图像的参照图像指定信息的对应关系；探索动作矢量选择部108，选择由动作探索部102探索到的动作矢量或由动作矢量选择部109选择到的动作矢量的任意一个；探索动作矢量指定编码部111，对指定由探索动作矢量选择部108选择的动作矢量之探索动作矢量指定信息进行编码；对由动作探索部102探索到的动作矢量进行编码的探索动作矢量编码部112；解码部105，对由差分编码部103制作的差分编码数据进行解码，制作解码图像；编码量测量部113，测量由差分编码部103制作的差分编码数据的编码量与动作矢量的编码量的合计。
设动作矢量存储存储器107中预先存储2帧大小的动作矢量。这里，由于1帧由多个宏块结构，所以存储2个帧中的总宏块数量的动作矢量。设参照图像存储器106中预先存储2帧大小的解码图像。另外，设参照图像指定编码部115对参照图像指定信息执行1比特固定长度编码。另外，设探索动作矢量指定编码部111在为由动作探索部102探索到的动作矢量的情况下输出0，在为由动作矢量选择部109选择到的动作矢量的情况下输出1。设探索动作矢量编码部112使用MPEG-4中采用的动作矢量编码方法来对动作矢量的各分量进行编码。另外，设动作矢量选择部109选择由参照图像指定信息指定的帧的动作矢量中、与当前宏块位置相同的动作矢量。
设参照动作矢量设定部116使指定第1参照图像的参照图像指定信息对应于第1动作矢量，使指定第2参照图像的参照图像指定信息对应于第2动作矢量。
在这种前提下，如下编码输入图像。首先，参照动作矢量设定部116执行参照图像指定信息与动作矢量的对应。之后，图像输入部101取入帧，分割为宏块。之后，对每个宏块如下编码。
参照图像选择部114从参照图像存储器106中选择第1参照图像。动作探索部102对当前宏块执行动作探索。探索动作矢量选择部108选择由动作探索得到的动作矢量。预测图像制作部104使用动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。探索动作矢量编码部112编码动作矢量。编码量测量部113测量发生编码量。
之后，动作矢量选择部109从动作矢量存储存储器107中选择由参照图像指定信息对应的第1动作矢量。探索动作矢量选择部108选择由动作矢量选择部109选择到的动作矢量。预测图像制作部104使用动作矢量制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量发生编码量。
之后，参照图像选择部114从参照图像存储器106中选择第2参照图像。动作探索部102对当前宏块执行动作探索。探索动作矢量选择部108选择由动作探索得到的动作矢量。预测图像制作部104使用动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。探索动作矢量编码部112对动作矢量进行编码。编码量测量部113测量发生编码量。
之后，动作矢量选择部109从动作矢量存储存储器107中选择由参照图像指定信息对应的第2动作矢量。探索动作矢量选择部108选择由动作矢量选择部109选择到的动作矢量。预测图像制作部104使用动作矢量制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量发生编码量。
参照图像选择部114选择由编码量测量部113得到的发生编码量最少时的参照图像，探索动作矢量选择部108选择编码量测量部113得到的发生编码量最少时的动作矢量。预测图像制作部104使用得到的动作矢量与参照图像，制作预测图像，差分编码部103对差分进行编码。参照图像指定编码部115对参照图像指定信息进行编码。探索动作矢量指定编码部111对探索动作矢量指定信息进行编码。在由探索动作矢量选择部108选择为对动作探索部102得到的动作矢量进行编码的情况下，探索动作矢量编码部112对动作矢量进行编码。
对全部宏块执行以上处理。解码部105对编码后的差分进行解码，使用预测图像，制作解码图像，并将解码图像存储在参照图像存储器106中。如上所示，可编码当前帧。
下面，说明解码装置。图27示出装置概要。具备：制作预测图像的预测图像制作部205；解码图像制作部201，对差分信息解码，使用预测图像，制作解码图像；存储动作矢量的动作矢量存储存储器207；存储解码图像的参照图像存储器206；对参照图像指定信息进行解码的参照图像指定解码部211；参照动作矢量设定部216，设定存储在动作矢量存储存储器207中的动作矢量与指定参照图像的参照图像指定信息的对应关系；参照图像选择部210，使用参照图像指定信息，从参照图像存储器206中选择参照图像；动作矢量选择部209，使用参照图像指定信息，从动作矢量存储存储器207中选择一个动作矢量；对探索动作矢量指定信息进行解码的探索动作矢量指定解码部203；探索动作矢量选择部208，使用探索动作矢量指定信息，选择动作矢量；对动作矢量进行解码的探索动作矢量解码部202。
设动作矢量存储存储器207中预先存储2帧大小的动作矢量。设参照图像存储器206中预先存储2帧大小的解码图像。
在这种前提下，如下所示解码由所述图像编码装置编码的编码数据。首先，参照动作矢量设定部216执行参照图像指定信息与动作矢量的对应。之后，对每个宏块如下制作解码图像。
参照图像指定解码部211对进行参照图像指定信息解码。参照图像选择部210选择参照图像。探索动作矢量指定解码部203对探索动作矢量指定信息进行解码。探索动作矢量选择部208使用探索动作矢量指定信息，选择是否解码动作矢量。在对动作矢量进行解码的情况下，探索动作矢量解码部202对动作矢量进行解码。在不对动作矢量进行解码的情况下，动作矢量选择部209从动作矢量存储存储器207中，选择由参照图像指定信息对应的动作矢量。之后，预测图像制作部205使用动作矢量，制作预测图像，解码图像制作部201对差分信息进行解码，使用预测图像，制作解码图像。
全部宏块执行以上处理。解码图像制作部201将解码图像存储在参照图像存储器206中。如上所述，可对当前帧进行解码。
在上述第5实施方式中，参照动作矢量设定部116、216预先设定参照图像指定信息与动作矢量的对应，但也可对该对应信息进行编码。图28和图29示出根据第5实施方式来实现本实施方式时的装置概要。此时，如图28所示，图像编码装置中具备参照动作矢量对应编码部123，如图29所示，图像解码装置中具备参照动作矢量对应解码部223。这种对应信息的更新也可以以宏块或多个宏块、或多个帧单位来进行。
另外，在动作矢量存储存储器107中存储2帧大小的动作矢量。即，使动作矢量对应于参照图像指定信息与宏块在画面内的位置信息的组合。这样，不是每个宏块对应不同的动作矢量，而以例如切片单位来对应动作矢量。例如，在将画面分割为两个切片的情况下，只要使动作矢量对应于切片序号与参照图像指定信息的组合即可。
另外，仅设定一个动作矢量与参照图像指定信息的对应，也可设定多个对应。此时，只要编码或解码选择应用的对应的信息即可。例如MPEG-2的B帧那样，对宏块定义前向预测模式与后向预测模式，设定前向预测模式时的对应与后向预测模式时的对应。在前向预测模式下，使第1动作矢量对应于参照图像指定信息1，使第2动作矢量对应于参照图像指定信息2。另外，在后向预测模式下，使第2动作矢量对应于参照图像指定信息1，使第1动作矢量对应于参照图像指定信息2。此时，按每个宏块对指定前向预测模式或后向预测模式的编码模式信息进行编码或解码。
也可利用图26和图27所示的实施方式的结构，将本发明应用于时间可衡量编码中。将基本层的解码图像存储在第1参照图像存储器中，将扩展层的解码图像存储在第2参照图像存储器中。另外，基本层的帧将第1参照图像存储器设为参照图像，扩展层的帧从第2参照图像存储器与第1参照图像存储器中选择参照图像。
就存储在动作矢量存储存储器107中的动作矢量而言，与上述第5实施方式一样，使第1参照图像指定信息对应于第1动作矢量，使第2参照图像指定信息对应于第2动作矢量。此时，在对基本层的帧进行编码或解码的情况下，由于仅使用第1参照图像存储器，所以选择第1动作矢量。另外，在对扩展层的帧进行编码或解码的情况下，当从第2参照图像存储器中选择参照图像的情况下，选择第2动作矢量。
并且，也可向动作矢量存储存储器107、207追加1帧大小，对扩展层的帧进行编码或解码的情况下，当从第1参照图像存储器中选择参照图像的情况下，选择该动作矢量。这样，若应用于时间可衡量编码中，则可对每个层选择不同的动作矢量。由于倾向于基本层中帧时间间隔大、扩展层中帧时间间隔小，所以，这样可有效选择不同的动作矢量。
另外，还可利用图26和图27所示的实施方式的结构，将本发明应用于多视点编码或立体声编码。在MPEG-2多视点轮廓(profile)中采用的立体声编码中，将1视点(视点A)的视频设为基本层，将其它视点(视点B)的视频设为扩展层，应用与上述时间可衡量编码一样的方法。即，将视点A的解码图像存储在第1参照图像存储器中，将视点B的解码图像存储在第2参照图像存储器中。另外，视点A的帧将第1参照图像存储器设为参照图像，视点B的帧从第2参照图像存储器与第1参照图像存储器中选择参照图像。
就存储在动作矢量存储存储器107中的动作矢量而言，与第5实施方式一样，使第1参照图像指定信息对应于第1动作矢量，使第2参照图像指定信息对应于第2动作矢量。此时，在对视点A的帧进行编码或解码的情况下，由于仅使用第1参照图像存储器，所以选择第1动作矢量。另外，在编码或解码视点B的帧的情况下，当从第2参照图像存储器中选择参照图像的情况下，选择第2动作矢量。
并且，在向动作矢量存储存储器107附加1帧大小，对视点B的帧进行编码或解码的情况下，当从第1参照图像存储器中选择参照图像时，也可选择该动作矢量。这样，可对不同视点选择不同的动作矢量。在动作信息对每个视点不同的情况下有效。另外，由于视点间的动作信息(视差信息)也可存储在动作矢量存储存储器107中，所以，在视差不随时间变化而变化的情况下，可削减动作矢量(视差矢量)的编码量。
另外，与上述实施方式一样，通过存储由动作探索部102探索到的动作矢量、或在存储时衡量也利于减轻动作矢量存储存储器107的存储器量。另外，也可对由动作探索部102得到的动作矢量、与存储在动作矢量存储存储器107中的动作矢量的差分进行编码。
作为第9实施方式，示出具备存储1帧大小的解码图像的参照图像存储器、和存储3帧大小的动作矢量的动作矢量存储存储器，根据区域的画面内位置信息来选择动作矢量的方法实例。本实施方式是对由摄像机拍摄的图像进行编码的实例，示出在动作矢量存储存储器中，存储根据利用GPS(Global Positioning System：全球定位系统)等得到的摄像机的位置信息变化、测定动作量所得到的动作矢量的实例。利用GPS等得到的摄像机的动作信息对应于画面整体的全球动作量。在本实施方式中，设对每个宏块进行编码。
首先，说明图像编码装置。图30示出装置概要。图像编码装置具备：取入图像信息的图像输入部101；制作预测图像的预测图像制作部104；对输入图像信息与预测图像的差分进行编码的差分编码部103；存储动作矢量的动作矢量存储存储器107；从动作矢量存储存储器107中选择一个动作矢量的动作矢量选择部109；解码部105，对由差分编码部103制作的差分编码数据进行解码，制作解码图像；存储解码图像的参照图像存储器106；生成动作矢量的动作矢量生成部124；对生成的动作矢量进行编码的生成动作矢量编码部125。
设动作矢量生成部124根据摄像机的位置信息变化，推定对应于画面上部区域、画面中部区域与画面下部区域的动作量，生成3个动作矢量，存储在动作矢量存储存储器107中。这里，设对应画面上部区域的动作矢量作为第一动作矢量，存储在动作矢量存储器107中，对应画面中部区域的动作矢量作为第二动作矢量，存储在动作矢量存储器107中，对应画面下部区域的动作矢量作为第三动作矢量，存储在动作矢量存储器107中。动作矢量选择部109根据编码对象宏块的画面内位置，从动作矢量存储存储器107中选择动作矢量。若为画面上部，则选择第一动作矢量，若为画面中部，则选择第二动作矢量，若为画面下部，则选择第三动作矢量。
在这种前提下，如下编码输入图像。
首先，动作矢量生成部124生成3个动作矢量，存储在动作矢量存储存储器107中。生成动作矢量编码部125对动作矢量生成部124生成的3个动作矢量进行编码。图像输入部101取入帧，分割为宏块。之后，对每个宏块如下编码。
动作矢量选择部109根据各宏块的画面内位置，从动作矢量存储存储器107中选择动作矢量。预测图像制作部104使用动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。对全部宏块执行以上处理。解码部105对编码后的差分进行解码，使用预测图像，制作解码图像，并将解码图像存储在参照图像存储器106中。
如上所示，可编码当前帧。
下面，说明解码装置。图31示出装置概要。图像解码装置具备：制作预测图像的预测图像制作部205；解码图像制作部201，对差分信息进行解码，使用预测图像，制作解码图像；存储动作矢量的动作矢量存储存储器207；存储解码图像的参照图像存储器206；动作矢量选择部209，从动作矢量存储存储器207中选择一个动作矢量；对生成动作矢量进行解码的生成动作矢量解码部224。
生成动作矢量解码部224对3个动作矢量进行解码，将得到的动作矢量存储在动作矢量存储存储器207中。
在这种前提下，如下所示对由所述图像编码装置编码的编码数据进行解码。首先，生成动作矢量解码部224对动作矢量进行解码，存储在动作矢量存储存储器207中。
之后，对每个宏块如下制作解码图像。动作矢量选择部209根据宏块的画面内位置信息，从动作矢量存储存储器207中选择动作矢量。之后，预测图像制作部205使用选择到的动作矢量，制作预测图像，解码图像制作部201对差分信息进行解码，使用预测图像，制作解码图像。
对全部宏块执行以上处理。解码图像制作部201将解码图像存储在参照图像存储器206中。
如上所述，可解码当前帧。
在本实施方式中，根据宏块的位置信息，唯一选择动作矢量，但也可从多个动作矢量中选择动作矢量，使编码量最小。图32中示出此时的图像编码装置的结构。除图30的结构外，还具备测量编码量的编码量测量部113、和编码指定动作矢量的信息的动作矢量指定编码部110。在该结构中，对每个宏块测定对应于存储在动作矢量存储存储器107中的3个动作矢量之编码量，由动作矢量指定编码部110编码指定编码量最少时的动作矢量之信息。另外，图33示出图像解码装置的结构。除图31的结构外，还具备对指定动作矢量的信息进行解码的动作矢量指定解码部204。通过由动作矢量指定解码部204对得到指定动作矢量的信息进行解码，可对每个宏块选择动作矢量。
下面，作为第10实施方式，示出具备存储2帧大小的解码图像的参照图像存储器、和存储2帧大小的动作矢量的动作矢量存储存储器，在由参照图像指定信息指定参照图像的同时、还指定动作矢量的方法实例。本实施方式是编码由摄像机拍摄的图像的实例，示出在动作矢量存储存储器中，存储根据利用GPS等得到的摄像机的位置信息变化、测定存储在参照图像存储器中的各帧与当前帧的动作量所得到的动作矢量的实例。利用GPS等得到的摄像机的动作信息对应于画面整体的全球动作量。在本实施方式中，设对每个宏块进行编码。
首先，说明图像编码装置。图34示出装置概要。图像编码装置具备：取入图像信息的图像输入部101；制作预测图像的预测图像制作部104；对输入图像信息与预测图像的差分进行编码的差分编码部103；存储动作矢量的动作矢量存储存储器107；从动作矢量存储存储器107中选择一个动作矢量的动作矢量选择部109；存储解码图像的参照图像存储器106；选择参照图像的参照图像选择部114；对参照图像指定信息进行编码的参照图像指定编码部115；参照动作矢量设定部116，设定存储在动作矢量存储存储器107中的动作矢量与指定参照图像的参照图像指定信息的对应关系；解码部105，对由差分编码部103制作的差分编码数据进行解码，制作解码图像；生成动作矢量的动作矢量生成部124；对生成的动作矢量进行编码的生成动作矢量编码部125；测量编码量的编码量测量部113。
设动作矢量生成部124根据摄像机的位置信息变化，生成存储在参照图像存储器106中的各帧与当前帧之间的动作矢量，存储在动作矢量存储存储器107中。设参照动作矢量设定部116使第一动作矢量对应于第一参照图像，使第二动作矢量对应于第二参照图像。设在1帧编码后，将第一参照图像的图像作为第二参照图像，存储在参照图像存储器106中，将解码图像作为第一参照图像，存储在参照图像存储器106中。
在这种前提下，如下对输入图像进行编码。
首先，参照动作矢量设定部116执行参照图像指定信息与动作矢量的对应。图像输入部101将输入图像分割成宏块。动作矢量生成部124对输入图像生成2个动作矢量，存储在动作矢量存储存储器107中。生成动作矢量编码部125对动作矢量生成部124生成的2个动作矢量进行编码。之后，对每个宏块如下编码。
参照图像选择部114选择第一参照图像。动作矢量选择部109根据由参照动作矢量设定部116对应的参照图像指定信息，从动作矢量存储存储器107中选择动作矢量。预测图像制作部104使用动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量编码量。
之后，参照图像选择部114选择第二参照图像。动作矢量选择部109根据由参照动作矢量设定部116对应的参照图像指定信息，从动作矢量存储存储器107中选择动作矢量。预测图像制作部104使用选择到的动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量编码量。
之后，参照图像选择部114选择编码量测量部113得到的编码量少的参照图像，作为用于当前帧的编码之参照图像。动作矢量选择部109根据由参照动作矢量设定部116对应的参照图像指定信息，从动作矢量存储存储器107中选择对应于当前帧编码中使用的参照图像之动作矢量。预测图像制作部104使用动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。
对全部宏块执行以上处理。解码部105对编码后的差分进行解码，使用预测图像，制作解码图像，并将解码图像作为第一参照图像存储在参照图像存储器106中。
如上所示，可对当前帧进行编码。
下面，说明解码装置。图35示出装置概要。图像解码装置具备：制作预测图像的预测图像制作部205；解码图像制作部201，对差分信息进行解码，使用预测图像，制作解码图像；存储动作矢量的动作矢量存储存储器207；存储解码图像的参照图像存储器206；对参照图像指定信息进行解码的参照图像指定解码部211；参照动作矢量设定部216，设定存储在动作矢量存储存储器207中的动作矢量与指定参照图像的参照图像指定信息的对应关系；参照图像选择部210，使用参照图像指定信息，从参照图像存储器206中选择参照图像；动作矢量选择部209，使用参照图像指定信息，从动作矢量存储存储器207中选择一个动作矢量；对生成动作矢量进行解码的生成动作矢量解码部224。
设参照图像存储器206中预先存储2帧大小的解码图像。
在这种前提下，如下所示对由所述图像编码装置编码的编码数据进行解码。首先，参照动作矢量设定部216执行参照图像指定信息与动作矢量的对应。生成动作矢量解码部224对动作矢量进行解码，存储在动作矢量存储存储器207中。
下面，对每个宏块如下制作解码图像。参照图像指定解码部211对参照图像指定信息进行解码。参照图像选择部210根据解码的参照图像指定信息，选择参照图像。动作矢量选择部209从动作矢量存储存储器207中，选择由参照图像指定信息对应的动作矢量。之后，预测图像制作部205使用选择到的动作矢量，制作预测图像，解码图像制作部201对差分信息进行解码，使用预测图像，制作解码图像。
对全部宏块执行以上处理。解码图像制作部201将解码图像作为第一参照图像，存储在参照图像存储器206中。
如上所述，可对当前帧进行解码。
在以上的实施方式中，对差分数据进行不可逆编码，但也可对差分数据进行可逆编码。此时，在图像编码装置中不具备解码部105，在参照图像存储器106中不存储解码图像，而存储原图像。
以上说明的图像编码和解码处理也可由计算机与软件程序来实现，也可将该程序记录在计算机可读取的记录媒体中提供，或通过网络来提供。
另外，在以上的实施方式中，主要说明图像编码装置和图像解码装置，但也可由对应于这些图像编码装置和图像解码装置各部动作的步骤来实现本发明的图像编码方法和图像解码方法。
上面，参照附图说明了本发明的实施方式，但上述实施方式不过是本发明的示例，本发明显然不限于上述实施方式。因此，在不脱离本发明的精神和范围的范围下，可进行结构要素的追加、省略、置换等变更。例如，也可对上述实施方式的结构要素彼此进行适当组合。
产业上的可利用性
本发明可用于使用了帧间预测编码方式的多个帧的图像编码。在本发明中，由于从预先存储的多个动作矢量中选择使用的动作矢量，制作预测图像，所以可从动作矢量候补中选择动作矢量，使编码效率提高。另外，即便在连续的帧间没有动作连续性的情况下，也由于可从多个动作矢量候补中选择动作矢量，所以，可选择效率高的动作矢量。
说明第1实施方式的图像编码装置。图8中示出装置概要。具备：取入图像信息的图像输入部101；制作预测图像的预测图像制作部104；对输入图像信息与预测图像的差分进行编码的差分编码部103；执行动作探索的动作探索部102；存储动作矢量的动作矢量存储存储器107；从动作矢量存储存储器107中选择一个动作矢量的动作矢量选择部109；动作矢量指定编码部110，对指定由动作矢量选择部109选择到的动作矢量之动作矢量指定信息进行编码；探索动作矢量选择部108，选择由动作探索部102探索的动作矢量或由动作矢量选择部109选择的动作矢量的任意一个；探索动作矢量指定编码部111，对指定由探索动作矢量选择部108选择到的动作矢量的探索动作矢量指定信息进行编码；对由动作探索部102探索的动作矢量进行编码的探索动作矢量编码部112；存储解码图像的参照图像存储器106；解码部105，对由差分编码部103制作的差分编码数据进行解码，制作解码图像；编码量测量部113，测量由差分编码部103制作的差分编码数据的编码量与动作矢量的编码量的合计。
设动作矢量存储存储器107中预先存储3个动作矢量。另外，设动作矢量指定编码部110对指定存储在动作矢量存储存储器107中的3个动作矢量之动作矢量指定信息，分别输出0、10、11的代码。另外，设探索动作矢量指定编码部111在为动作探索部102探索的动作矢量的情况下，输出0，在为动作矢量选择部109选择的动作矢量的情况下，输出1。设探索动作矢量编码部112使用MPBG-4中采用的动作矢量编码方法来编码动作矢量的各分量。另外，设已编码前一帧，在参照图像存储器106中存储解码图像。
在这种前提下如下编码输入图像。首先，图像输入部101取入帧，分割成宏块。之后，如下所示对每个宏块进行编码。
动作探索部102对当前宏块执行动作探索。探索动作矢量选择部108选择由动作探索得到的动作矢量。预测图像制作部104使用动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量将发生编码量进行测量。
之后，动作矢量选择部109从动作矢量存储存储器107中选择第1动作矢量。探索动作矢量选择部108选择由动作矢量选择部109选择到的动作矢量。预测图像制作部104使用动作矢量制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量发生编码量。
之后，动作矢量选择部109从动作矢量存储存储器107中选择第2动作矢量。探索动作矢量选择部108选择由动作矢量选择部109选择到的动作矢量。预测图像制作部104使用动作矢量制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量发生编码量。
动作矢量选择部109从动作矢量存储存储器107中选择第3动作矢量。探索动作矢量选择部108选择由动作矢量选择部109选择到的动作矢量。预测图像制作部104使用动作矢量制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量发生编码量。
探索动作矢量选择部108选择编码量测量部113得到的发生编码量最少时的动作矢量。在选择由动作矢量选择部109选择到的动作矢量的情况下，动作矢量选择部109进一步选择编码量测量部113得到的发生编码量最少时的动作矢量。
预测图像制作部104使用由以上得到的动作矢量，制作预测图像，差分编码部103对差分进行编码。探索动作矢量指定编码部111编码探索动作矢量指定信息。在探索动作矢量指定信息指定由动作矢量选择部109选择的动作矢量的情况下，动作矢量指定编码部110编码动作矢量指定信息。在探索动作矢量指定信息指定由动作探索部102得到的动作矢量的情况下，探索动作矢量编码部112编码动作矢量。
全部宏块执行以上处理。解码部105对编码后的差分进行解码，使用预测图像，制作解码图像，并将解码图像存储在参照图像存储器106中。如上所示，可对当前帧进行编码。
下面，说明解码装置。图9示出装置概要。具备：制作预测图像的预测图像制作部205；解码图像制作部201，解码差分信息，使用预测图像，制作解码图像；存储动作矢量的动作矢量存储存储器207；解码动作矢量指定信息的动作矢量指定解码部204；动作矢量选择部209，使用动作矢量指定信息，从动作矢量存储存储器207中选择一个动作矢量；解码探索动作矢量指定信息的探索动作矢量指定解码部203；探索动作矢量选择部208，使用探索动作矢量指定信息，选择动作矢量；解码动作矢量的探索动作矢量解码部202；存储解码图像的参照图像存储器206。
设动作矢量存储存储器207中预先存储3个动作矢量。设前一帧已被解码，在参照图像存储器206中存储解码图像。
在这种前提下，如下所示对由所述图像编码装置编码的编码数据进行解码。首先，对每个宏块如下制作解码图像。探索动作矢量指定解码部203对探索动作矢量指定信息进行解码。探索动作矢量选择部208使用探索动作矢量指定信息，选择解码动作矢量还是解码动作矢量指定信息。在解码动作矢量的情况下，探索动作矢量解码部202解码动作矢量。在解码动作矢量指定信息的情况下，动作矢量指定解码部204解码动作矢量指定信息，动作矢量选择部209使用动作矢量指定信息，从动作矢量存储存储器207中选择一个动作矢量。之后，预测图像制作部205使用动作矢量，制作预测图像，解码图像制作部201对差分信息进行解码，使用预测图像，制作解码图像。
所有的宏块执行以上处理。解码图像制作部201将解码图像存储在参照图像存储器206中。如上所述，可解码当前帧。
根据本实施方式，在动作矢量存储存储器107中存储良好反映视频的动作信息之动作矢量的情况下，即，在动作探索部102探索的动作矢量的编码量多的情况下，通过编码动作矢量指定信息来代替编码动作矢量，可削减动作矢量的编码量。
在上述第1实施方式中，选择由动作探索部102探索的动作矢量或存储在动作矢量存储存储器107中的动作矢量的任意一个，但也可对探索的动作矢量与存储在动作矢量存储存储器107中的动作矢量之差分进行编码。图10和图11中示出装置概要。此时，如图10所示，图像编码装置中不具备探索动作矢量编码部112、探索动作矢量指定编码部111与探索动作矢量选择部108，代之以具备对动作矢量的差分进行编码的差分动作矢量编码部117。
另外，如图11所示，图像解码装置中不具备探索动作矢量解码部202、探索动作矢量指定解码部203与探索动作矢量选择部208，而具备：对差分动作矢量进行解码的差分动作矢量解码部217；差分动作矢量算出部218，根据差分动作矢量与由动作矢量选择部209选择的动作矢量，算出动作矢量。
图像编码装置对每个宏块如下求出动作矢量。动作探索部102对当前宏块执行动作探索。预测图像制作部104使用探索到的动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。之后，动作矢量选择部109从动作矢量存储存储器107中选择第1动作矢量。差分动作矢量编码部117对由动作探索得到的动作矢量与第1动作矢量的差分进行编码。编码量测量部113测量发生编码量。
动作矢量选择部109从动作矢量存储存储器107中选择第2动作矢量。差分动作矢量编码部117对由动作探索得到的动作矢量与第2动作矢量的差分进行编码。编码量测量部113测量发生编码量。
动作矢量选择部109从动作矢量存储存储器107中选择第3动作矢量。差分动作矢量编码部117对由动作探索得到的动作矢量与第3动作矢量的差分进行编码。编码量测量部113测量发生编码量。动作矢量选择部109选择由编码量测量部113得到的发生编码量最少时的动作矢量。
图像解码装置对每个宏块如下求出动作矢量。动作矢量指定解码部204解码动作矢量指定信息，动作矢量选择部209使用动作矢量指定信息，从动作矢量存储存储器207中选择一个动作矢量。差分动作矢量解码部217解码差分动作矢量，差分动作矢量算出部218根据差分动作矢量与由动作矢量选择部209选择的动作矢量，制作动作矢量。
在第1和第2实施方式中，图像编码装置也可将动作探索部102得到的动作矢量重写存储在动作矢量存储存储器107中。
在以上实施方式中，也可对指定是否存储在动作矢量存储存储器107中的信息进行编码。图12和图13示出根据第1实施方式来实现本实施方式时的装置概要。此时，如图12所示，除图8的结构外，新具备存储动作矢量的动作矢量存储部118、确定是否存储动作矢量的动作矢量存储确定部119、对指定是否存储动作矢量的信息进行编码的动作矢量存储指定编码部120。
动作矢量存储确定部119例如在探索动作矢量选择部108选择由动作探索得到的动作矢量的情况下，确定存储该动作矢量。在该动作矢量存储确定部119确定为存储动作矢量的情况下，动作矢量存储部118将动作矢量存储在动作矢量存储存储器107中。动作矢量存储指定编码部120对指定是否存储动作矢量的信息进行编码。动作矢量存储指定编码部120也可按每个宏块对动作矢量存储指定信息编码，或以切片或帧等多个宏块为单位对动作矢量存储指定信息进行编码。
为了解码如此制作的编码数据，如图13所示，图像解码装置除图9的结构外，还具备：存储动作矢量的动作矢量存储部219；解码指定是否存储动作矢量的信息之动作矢量存储指定解码部220。动作矢量存储指定解码部220对指定是否存储动作矢量的信息进行解码，在指定为存储的情况下，动作矢量存储部219将动作矢量存储在动作矢量存储存储器207中。
在以上的实施方式中，进而也可在存储在动作矢量存储存储器107中之前，通过衡量动作矢量，减小动作矢量的分量的值，减少需要存储的存储器量。图14和图15示出根据第3实施方式来实现本实施方式时的装置概要。
为了实现本实施方式，如图14所示，只在要图像编码装置中具备使用动作矢量衡量信息来变更动作矢量的值之动作矢量衡量部121即可。也可预先在动作矢量存储存储器107中存储精度低、例如以整数像素精度衡量的动作矢量，在由动作矢量选择部109选择动作矢量之后，动作矢量衡量部121将动作矢量衡量为精度较高的、例如一半像素精度或1/4像素精度的动作矢量。另外，在存储动作矢量的情况下，也可在动作矢量存储部118将动作矢量存储在动作矢量存储存储器107中之前，动作矢量衡量部121将动作矢量从精度高的一半像素精度或1/4像素精度的动作矢量衡量为精度低的整数像素精度的动作矢量。
并且，也可对该动作矢量的衡量计算所需的信息、即动作矢量衡量信息进行编码。动作矢量衡量信息例如在动作矢量衡量部121将动作矢量从整数像素精度衡量为一半像素精度的情况下，可以是指定用于得到该衡量后的值之计算式的信息。由此，例如可以以宏块或多个宏块的单位来变更衡量的计算式。此时，图像编码装置具备对动作矢量衡量信息进行编码的衡量编码部122。
另一方面，如图15所示，在图像解码装置中，具备：动作矢量衡量部221，使用动作矢量衡量信息，变更动作矢量的值；解码动作矢量衡量信息的衡量解码部222。动作矢量衡量部221的动作与图像编码装置的动作矢量衡量部121一样。另外，衡量解码部222对动作矢量的衡量计算所需的动作矢量衡量信息进行解码，变更衡量的计算式。
另外，在上述说明中，根据第3实施方式来实现本实施方式，但例如也可根据第1实施方式或第2实施方式来实现。图16和图17示出根据第1实施方式时的装置概要。另外，图18和图19示出根据第2实施方式时的装置概要。在这些图中，对第1实施方式或第2实施方式附加动作矢量衡量部121和衡量编码部122(图像编码装置侧)、以及动作矢量衡量部221和衡量解码部222(图像解码装置侧)。
另外，从上述说明可知，也可不执行衡量信息的编码(图像编码装置的情况)或解码(图像解码装置的情况)，图20-图25示出此时的装置概要。这些图20-图25分别对应于图14-图19，从图14-图19中删除衡量编码部122(图像编码装置的情况)或衡量解码部222(图像解码装置的情况)。
下面，作为第5实施方式，示出具备存储2帧大小的解码图像之参照图像存储器、和存储2帧大小的动作矢量的动作矢量存储存储器，在由参照图像指定信息指定参照图像的同时、还指定动作矢量的方法实例。示出将图像分割为多个块后进行编码时的步骤。
说明第5实施方式的图像编码装置。图26示出装置概要。具备：取入图像信息的图像输入部101；制作预测图像的预测图像制作部104；对输入图像信息与预测图像的差分进行编码的差分编码部103；执行动作探索的动作探索部102；存储动作矢量的动作矢量存储存储器107；从动作矢量存储存储器107中选择一个动作矢量的动作矢量选择部109；存储解码图像的参照图像存储器106；选择参照图像的参照图像选择部114；对参照图像指定信息进行编码的参照图像指定编码部115；参照动作矢量设定部116，设定存储在动作矢量存储存储器107中的动作矢量与指定参照图像的参照图像指定信息的对应关系；探索动作矢量选择部108，选择由动作探索部102探索到的动作矢量或由动作矢量选择部109选择到的动作矢量的任意一个；探索动作矢量指定编码部111，对指定由探索动作矢量选择部108选择的动作矢量之探索动作矢量指定信息进行编码；对由动作探索部102探索到的动作矢量进行编码的探索动作矢量编码部112；解码部105，对由差分编码部103制作的差分编码数据进行解码，制作解码图像；编码量测量部113，测量由差分编码部103制作的差分编码数据的编码量与动作矢量的编码量的合计。
设动作矢量存储存储器107中预先存储2帧大小的动作矢量。这里，由于1帧由多个宏块结构，所以存储2个帧中的总宏块数量的动作矢量。设参照图像存储器106中预先存储2帧大小的解码图像。另外，设参照图像指定编码部115对参照图像指定信息执行1比特固定长度编码。另外，设探索动作矢量指定编码部111在为由动作探索部102探索到的动作矢量的情况下输出0，在为由动作矢量选择部109选择到的动作矢量的情况下输出1。设探索动作矢量编码部112使用MPEG-4中采用的动作矢量编码方法来对动作矢量的各分量进行编码。另外，设动作矢量选择部109选择由参照图像指定信息指定的帧的动作矢量中、与当前宏块位置相同的动作矢量。
设参照动作矢量设定部116使指定第1参照图像的参照图像指定信息对应于第1动作矢量，使指定第2参照图像的参照图像指定信息对应于第2动作矢量。
在这种前提下，如下编码输入图像。首先，参照动作矢量设定部116执行参照图像指定信息与动作矢量的对应。之后，图像输入部101取入帧，分割为宏块。之后，对每个宏块如下编码。
参照图像选择部114从参照图像存储器106中选择第1参照图像。动作探索部102对当前宏块执行动作探索。探索动作矢量选择部108选择由动作探索得到的动作矢量。预测图像制作部104使用动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。探索动作矢量编码部112编码动作矢量。编码量测量部113测量发生编码量。
之后，动作矢量选择部109从动作矢量存储存储器107中选择由参照图像指定信息对应的第1动作矢量。探索动作矢量选择部108选择由动作矢量选择部109选择到的动作矢量。预测图像制作部104使用动作矢量制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量发生编码量。
之后，参照图像选择部114从参照图像存储器106中选择第2参照图像。动作探索部102对当前宏块执行动作探索。探索动作矢量选择部108选择由动作探索得到的动作矢量。预测图像制作部104使用动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。探索动作矢量编码部112对动作矢量进行编码。编码量测量部113测量发生编码量。
之后，动作矢量选择部109从动作矢量存储存储器107中选择由参照图像指定信息对应的第2动作矢量。探索动作矢量选择部108选择由动作矢量选择部109选择到的动作矢量。预测图像制作部104使用动作矢量制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量发生编码量。
参照图像选择部114选择由编码量测量部113得到的发生编码量最少时的参照图像，探索动作矢量选择部108选择编码量测量部113得到的发生编码量最少时的动作矢量。预测图像制作部104使用得到的动作矢量与参照图像，制作预测图像，差分编码部103对差分进行编码。参照图像指定编码部115对参照图像指定信息进行编码。探索动作矢量指定编码部111对探索动作矢量指定信息进行编码。在由探索动作矢量选择部108选择为对动作探索部102得到的动作矢量进行编码的情况下，探索动作矢量编码部112对动作矢量进行编码。
对全部宏块执行以上处理。解码部105对编码后的差分进行解码，使用预测图像，制作解码图像，并将解码图像存储在参照图像存储器106中。如上所示，可编码当前帧。
下面，说明解码装置。图27示出装置概要。具备：制作预测图像的预测图像制作部205；解码图像制作部201，对差分信息解码，使用预测图像，制作解码图像；存储动作矢量的动作矢量存储存储器207；存储解码图像的参照图像存储器206；对参照图像指定信息进行解码的参照图像指定解码部211；参照动作矢量设定部216，设定存储在动作矢量存储存储器207中的动作矢量与指定参照图像的参照图像指定信息的对应关系；参照图像选择部210，使用参照图像指定信息，从参照图像存储器206中选择参照图像；动作矢量选择部209，使用参照图像指定信息，从动作矢量存储存储器207中选择一个动作矢量；对探索动作矢量指定信息进行解码的探索动作矢量指定解码部203；探索动作矢量选择部208，使用探索动作矢量指定信息，选择动作矢量；对动作矢量进行解码的探索动作矢量解码部202。
设动作矢量存储存储器207中预先存储2帧大小的动作矢量。设参照图像存储器206中预先存储2帧大小的解码图像。
在这种前提下，如下所示解码由所述图像编码装置编码的编码数据。首先，参照动作矢量设定部216执行参照图像指定信息与动作矢量的对应。之后，对每个宏块如下制作解码图像。
参照图像指定解码部211对进行参照图像指定信息解码。参照图像选择部210选择参照图像。探索动作矢量指定解码部203对探索动作矢量指定信息进行解码。探索动作矢量选择部208使用探索动作矢量指定信息，选择是否解码动作矢量。在对动作矢量进行解码的情况下，探索动作矢量解码部202对动作矢量进行解码。在不对动作矢量进行解码的情况下，动作矢量选择部209从动作矢量存储存储器207中，选择由参照图像指定信息对应的动作矢量。之后，预测图像制作部205使用动作矢量，制作预测图像，解码图像制作部201对差分信息进行解码，使用预测图像，制作解码图像。
全部宏块执行以上处理。解码图像制作部201将解码图像存储在参照图像存储器206中。如上所述，可对当前帧进行解码。
在上述第5实施方式中，参照动作矢量设定部116、216预先设定参照图像指定信息与动作矢量的对应，但也可对该对应信息进行编码。图28和图29示出根据第5实施方式来实现本实施方式时的装置概要。此时，如图28所示，图像编码装置中具备参照动作矢量对应编码部123，如图29所示，图像解码装置中具备参照动作矢量对应解码部223。这种对应信息的更新也可以以宏块或多个宏块、或多个帧单位来进行。
另外，在动作矢量存储存储器107中存储2帧大小的动作矢量。即，使动作矢量对应于参照图像指定信息与宏块在画面内的位置信息的组合。这样，不是每个宏块对应不同的动作矢量，而以例如切片单位来对应动作矢量。例如，在将画面分割为两个切片的情况下，只要使动作矢量对应于切片序号与参照图像指定信息的组合即可。
另外，仅设定一个动作矢量与参照图像指定信息的对应，也可设定多个对应。此时，只要编码或解码选择应用的对应的信息即可。例如MPEG-2的B帧那样，对宏块定义前向预测模式与后向预测模式，设定前向预测模式时的对应与后向预测模式时的对应。在前向预测模式下，使第1动作矢量对应于参照图像指定信息1，使第2动作矢量对应于参照图像指定信息2。另外，在后向预测模式下，使第2动作矢量对应于参照图像指定信息1，使第1动作矢量对应于参照图像指定信息2。此时，按每个宏块对指定前向预测模式或后向预测模式的编码模式信息进行编码或解码。
也可利用图26和图27所示的实施方式的结构，将本发明应用于时间可衡量编码中。将基本层的解码图像存储在第1参照图像存储器中，将扩展层的解码图像存储在第2参照图像存储器中。另外，基本层的帧将第1参照图像存储器设为参照图像，扩展层的帧从第2参照图像存储器与第1参照图像存储器中选择参照图像。
就存储在动作矢量存储存储器107中的动作矢量而言，与上述第5实施方式一样，使第1参照图像指定信息对应于第1动作矢量，使第2参照图像指定信息对应于第2动作矢量。此时，在对基本层的帧进行编码或解码的情况下，由于仅使用第1参照图像存储器，所以选择第1动作矢量。另外，在对扩展层的帧进行编码或解码的情况下，当从第2参照图像存储器中选择参照图像的情况下，选择第2动作矢量。
并且，也可向动作矢量存储存储器107、207追加1帧大小，对扩展层的帧进行编码或解码的情况下，当从第1参照图像存储器中选择参照图像的情况下，选择该动作矢量。这样，若应用于时间可衡量编码中，则可对每个层选择不同的动作矢量。由于倾向于基本层中帧时间间隔大、扩展层中帧时间间隔小，所以，这样可有效选择不同的动作矢量。
另外，还可利用图26和图27所示的实施方式的结构，将本发明应用于多视点编码或立体声编码。在MPEG-2多视点轮廓(profile)中采用的立体声编码中，将1视点(视点A)的视频设为基本层，将其它视点(视点B)的视频设为扩展层，应用与上述时间可衡量编码一样的方法。即，将视点A的解码图像存储在第1参照图像存储器中，将视点B的解码图像存储在第2参照图像存储器中。另外，视点A的帧将第1参照图像存储器设为参照图像，视点B的帧从第2参照图像存储器与第1参照图像存储器中选择参照图像。
就存储在动作矢量存储存储器107中的动作矢量而言，与第5实施方式一样，使第1参照图像指定信息对应于第1动作矢量，使第2参照图像指定信息对应于第2动作矢量。此时，在对视点A的帧进行编码或解码的情况下，由于仅使用第1参照图像存储器，所以选择第1动作矢量。另外，在编码或解码视点B的帧的情况下，当从第2参照图像存储器中选择参照图像的情况下，选择第2动作矢量。
并且，在向动作矢量存储存储器107附加1帧大小，对视点B的帧进行编码或解码的情况下，当从第1参照图像存储器中选择参照图像时，也可选择该动作矢量。这样，可对不同视点选择不同的动作矢量。在动作信息对每个视点不同的情况下有效。另外，由于视点间的动作信息(视差信息)也可存储在动作矢量存储存储器107中，所以，在视差不随时间变化而变化的情况下，可削减动作矢量(视差矢量)的编码量。
另外，与上述实施方式一样，通过存储由动作探索部102探索到的动作矢量、或在存储时衡量也利于减轻动作矢量存储存储器107的存储器量。另外，也可对由动作探索部102得到的动作矢量、与存储在动作矢量存储存储器107中的动作矢量的差分进行编码。
作为第9实施方式，示出具备存储1帧大小的解码图像的参照图像存储器、和存储3帧大小的动作矢量的动作矢量存储存储器，根据区域的画面内位置信息来选择动作矢量的方法实例。本实施方式是对由摄像机拍摄的图像进行编码的实例，示出在动作矢量存储存储器中，存储根据利用GPS(Global Positioning System：全球定位系统)等得到的摄像机的位置信息变化、测定动作量所得到的动作矢量的实例。利用GPS等得到的摄像机的动作信息对应于画面整体的全球动作量。在本实施方式中，设对每个宏块进行编码。
首先，说明图像编码装置。图30示出装置概要。图像编码装置具备：取入图像信息的图像输入部101；制作预测图像的预测图像制作部104；对输入图像信息与预测图像的差分进行编码的差分编码部103；存储动作矢量的动作矢量存储存储器107；从动作矢量存储存储器107中选择一个动作矢量的动作矢量选择部109；解码部105，对由差分编码部103制作的差分编码数据进行解码，制作解码图像；存储解码图像的参照图像存储器106；生成动作矢量的动作矢量生成部124；对生成的动作矢量进行编码的生成动作矢量编码部125。
设动作矢量生成部124根据摄像机的位置信息变化，推定对应于画面上部区域、画面中部区域与画面下部区域的动作量，生成3个动作矢量，存储在动作矢量存储存储器107中。这里，设对应画面上部区域的动作矢量作为第一动作矢量，存储在动作矢量存储器107中，对应画面中部区域的动作矢量作为第二动作矢量，存储在动作矢量存储器107中，对应画面下部区域的动作矢量作为第三动作矢量，存储在动作矢量存储器107中。动作矢量选择部109根据编码对象宏块的画面内位置，从动作矢量存储存储器107中选择动作矢量。若为画面上部，则选择第一动作矢量，若为画面中部，则选择第二动作矢量，若为画面下部，则选择第三动作矢量。
在这种前提下，如下编码输入图像。
首先，动作矢量生成部124生成3个动作矢量，存储在动作矢量存储存储器107中。生成动作矢量编码部125对动作矢量生成部124生成的3个动作矢量进行编码。图像输入部101取入帧，分割为宏块。之后，对每个宏块如下编码。
动作矢量选择部109根据各宏块的画面内位置，从动作矢量存储存储器107中选择动作矢量。预测图像制作部104使用动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。对全部宏块执行以上处理。解码部105对编码后的差分进行解码，使用预测图像，制作解码图像，并将解码图像存储在参照图像存储器106中。
如上所示，可编码当前帧。
下面，说明解码装置。图31示出装置概要。图像解码装置具备：制作预测图像的预测图像制作部205；解码图像制作部201，对差分信息进行解码，使用预测图像，制作解码图像；存储动作矢量的动作矢量存储存储器207；存储解码图像的参照图像存储器206；动作矢量选择部209，从动作矢量存储存储器207中选择一个动作矢量；对生成动作矢量进行解码的生成动作矢量解码部224。
生成动作矢量解码部224对3个动作矢量进行解码，将得到的动作矢量存储在动作矢量存储存储器207中。
在这种前提下，如下所示对由所述图像编码装置编码的编码数据进行解码。首先，生成动作矢量解码部224对动作矢量进行解码，存储在动作矢量存储存储器207中。
之后，对每个宏块如下制作解码图像。动作矢量选择部209根据宏块的画面内位置信息，从动作矢量存储存储器207中选择动作矢量。之后，预测图像制作部205使用选择到的动作矢量，制作预测图像，解码图像制作部201对差分信息进行解码，使用预测图像，制作解码图像。
对全部宏块执行以上处理。解码图像制作部201将解码图像存储在参照图像存储器206中。
如上所述，可解码当前帧。
在本实施方式中，根据宏块的位置信息，唯一选择动作矢量，但也可从多个动作矢量中选择动作矢量，使编码量最小。图32中示出此时的图像编码装置的结构。除图30的结构外，还具备测量编码量的编码量测量部113、和编码指定动作矢量的信息的动作矢量指定编码部110。在该结构中，对每个宏块测定对应于存储在动作矢量存储存储器107中的3个动作矢量之编码量，由动作矢量指定编码部110编码指定编码量最少时的动作矢量之信息。另外，图33示出图像解码装置的结构。除图31的结构外，还具备对指定动作矢量的信息进行解码的动作矢量指定解码部204。通过由动作矢量指定解码部204对得到指定动作矢量的信息进行解码，可对每个宏块选择动作矢量。
下面，作为第10实施方式，示出具备存储2帧大小的解码图像的参照图像存储器、和存储2帧大小的动作矢量的动作矢量存储存储器，在由参照图像指定信息指定参照图像的同时、还指定动作矢量的方法实例。本实施方式是编码由摄像机拍摄的图像的实例，示出在动作矢量存储存储器中，存储根据利用GPS等得到的摄像机的位置信息变化、测定存储在参照图像存储器中的各帧与当前帧的动作量所得到的动作矢量的实例。利用GPS等得到的摄像机的动作信息对应于画面整体的全球动作量。在本实施方式中，设对每个宏块进行编码。
首先，说明图像编码装置。图34示出装置概要。图像编码装置具备：取入图像信息的图像输入部101；制作预测图像的预测图像制作部104；对输入图像信息与预测图像的差分进行编码的差分编码部103；存储动作矢量的动作矢量存储存储器107；从动作矢量存储存储器107中选择一个动作矢量的动作矢量选择部109；存储解码图像的参照图像存储器106；选择参照图像的参照图像选择部114；对参照图像指定信息进行编码的参照图像指定编码部115；参照动作矢量设定部116，设定存储在动作矢量存储存储器107中的动作矢量与指定参照图像的参照图像指定信息的对应关系；解码部105，对由差分编码部103制作的差分编码数据进行解码，制作解码图像；生成动作矢量的动作矢量生成部124；对生成的动作矢量进行编码的生成动作矢量编码部125；测量编码量的编码量测量部113。
设动作矢量生成部124根据摄像机的位置信息变化，生成存储在参照图像存储器106中的各帧与当前帧之间的动作矢量，存储在动作矢量存储存储器107中。设参照动作矢量设定部116使第一动作矢量对应于第一参照图像，使第二动作矢量对应于第二参照图像。设在1帧编码后，将第一参照图像的图像作为第二参照图像，存储在参照图像存储器106中，将解码图像作为第一参照图像，存储在参照图像存储器106中。
在这种前提下，如下对输入图像进行编码。
首先，参照动作矢量设定部116执行参照图像指定信息与动作矢量的对应。图像输入部101将输入图像分割成宏块。动作矢量生成部124对输入图像生成2个动作矢量，存储在动作矢量存储存储器107中。生成动作矢量编码部125对动作矢量生成部124生成的2个动作矢量进行编码。之后，对每个宏块如下编码。
参照图像选择部114选择第一参照图像。动作矢量选择部109根据由参照动作矢量设定部116对应的参照图像指定信息，从动作矢量存储存储器107中选择动作矢量。预测图像制作部104使用动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量编码量。
之后，参照图像选择部114选择第二参照图像。动作矢量选择部109根据由参照动作矢量设定部116对应的参照图像指定信息，从动作矢量存储存储器107中选择动作矢量。预测图像制作部104使用选择到的动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。编码量测量部113测量编码量。
之后，参照图像选择部114选择编码量测量部113得到的编码量少的参照图像，作为用于当前帧的编码之参照图像。动作矢量选择部109根据由参照动作矢量设定部116对应的参照图像指定信息，从动作矢量存储存储器107中选择对应于当前帧编码中使用的参照图像之动作矢量。预测图像制作部104使用动作矢量，制作预测图像。差分编码部103对当前图像与预测图像的差分进行编码。
对全部宏块执行以上处理。解码部105对编码后的差分进行解码，使用预测图像，制作解码图像，并将解码图像作为第一参照图像存储在参照图像存储器106中。
如上所示，可对当前帧进行编码。
下面，说明解码装置。图35示出装置概要。图像解码装置具备：制作预测图像的预测图像制作部205；解码图像制作部201，对差分信息进行解码，使用预测图像，制作解码图像；存储动作矢量的动作矢量存储存储器207；存储解码图像的参照图像存储器206；对参照图像指定信息进行解码的参照图像指定解码部211；参照动作矢量设定部216，设定存储在动作矢量存储存储器207中的动作矢量与指定参照图像的参照图像指定信息的对应关系；参照图像选择部210，使用参照图像指定信息，从参照图像存储器206中选择参照图像；动作矢量选择部209，使用参照图像指定信息，从动作矢量存储存储器207中选择一个动作矢量；对生成动作矢量进行解码的生成动作矢量解码部224。
设参照图像存储器206中预先存储2帧大小的解码图像。
在这种前提下，如下所示对由所述图像编码装置编码的编码数据进行解码。首先，参照动作矢量设定部216执行参照图像指定信息与动作矢量的对应。生成动作矢量解码部224对动作矢量进行解码，存储在动作矢量存储存储器207中。
下面，对每个宏块如下制作解码图像。参照图像指定解码部211对参照图像指定信息进行解码。参照图像选择部210根据解码的参照图像指定信息，选择参照图像。动作矢量选择部209从动作矢量存储存储器207中，选择由参照图像指定信息对应的动作矢量。之后，预测图像制作部205使用选择到的动作矢量，制作预测图像，解码图像制作部201对差分信息进行解码，使用预测图像，制作解码图像。
对全部宏块执行以上处理。解码图像制作部201将解码图像作为第一参照图像，存储在参照图像存储器206中。
如上所述，可对当前帧进行解码。
在以上的实施方式中，对差分数据进行不可逆编码，但也可对差分数据进行可逆编码。此时，在图像编码装置中不具备解码部105，在参照图像存储器106中不存储解码图像，而存储原图像。
以上说明的图像编码和解码处理也可由计算机与软件程序来实现，也可将该程序记录在计算机可读取的记录媒体中提供，或通过网络来提供。
另外，在以上的实施方式中，主要说明图像编码装置和图像解码装置，但也可由对应于这些图像编码装置和图像解码装置各部动作的步骤来实现本发明的图像编码方法和图像解码方法。
上面，参照附图说明了本发明的实施方式，但上述实施方式不过是本发明的示例，本发明显然不限于上述实施方式。因此，在不脱离本发明的精神和范围的范围下，可进行结构要素的追加、省略、置换等变更。例如，也可对上述实施方式的结构要素彼此进行适当组合。
产业上的可利用性
本发明可用于使用了帧间预测编码方式的多个帧的图像编码。在本发明中，由于从预先存储的多个动作矢量中选择使用的动作矢量，制作预测图像，所以可从动作矢量候补中选择动作矢量，使编码效率提高。另外，即便在连续的帧间没有动作连续性的情况下，也由于可从多个动作矢量候补中选择动作矢量，所以，可选择效率高的动作矢量。