层间运动预测方法

摘要

本发明涉及一种方法，用于从与低分辨率图像的宏块相关联的运动数据中，产生用于至少一个高分辨率图像的宏块的至少一个运动预测值。所述方法包括以下步骤：-定义由非交叠宏块组成的虚拟结构，称为虚拟基础层宏块；-基于高分辨率宏块在高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在虚拟图像中识别用于高分辨率宏块的对应的虚拟基础层宏块；-基于对应的低分辨率宏块对的场/帧模式，以及基于高分辨率宏块的帧/场模式，从与对应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出用于每个识别的虚拟基础层宏块的运动数据；-对与对应的虚拟基础层宏块相关联的运动数据进行重采样，以产生至少一个运动预测值。

权利要求

1.一种作为可缩放视频编码或解码处理过程的一部分的方法，所述方法用于从与低分辨率图像的宏块相关联的运动数据中产生用于至少一个高分辨率图像的宏块的至少一个运动预测值，所述低分辨率图像的宏块被称为低分辨率宏块，所述高分辨率图像的宏块被称为高分辨率宏块，所述方法的特征在于包括以下步骤：-定义(190)由非交叠宏块组成的虚拟结构，称为虚拟基础层宏块，所述虚拟结构具有与所述低分辨率图像相同的尺寸；

-基于所述高分辨率宏块在所述高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在所述虚拟结构中识别(200)用于所述高分辨率宏块的相应的虚拟基础层宏块；

-导出(210)用于每个识别的虚拟基础层宏块的运动数据，所述运动数据基于相应的低分辨率宏块对的场模式或帧模式，以及基于所述高分辨率宏块的场模式或帧模式，从与所述相应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出；

-对与所述相应的虚拟基础层宏块相关联的运动数据进行重采样(220)，以产生所述至少一个运动预测值。

2.如权利要求1所述的方法，其中，若所述高分辨率宏块具有帧模式，且若所述相应的低分辨率宏块对具有场模式，则导出步骤(210)包括以下步骤：-以比例2对所述低分辨率宏块对的运动数据进行垂直上采样(1500)，所述低分辨率宏块对由顶宏块和底宏块组成，每个上采样后的宏块由上部分和下部分组成；以及-将上采样后的顶宏块的上部分的运动数据和上采样后的底宏块的上部分的运动数据进行合并(1510)，并将上采样后的顶宏块的下部分的运动数据和上采样后的底宏块的下部分的运动数据进行合并(1510)。

3.如权利要求1或2所述的方法，其中，若所述高分辨率宏块具有场模式，且若所述相应的低分辨率宏块对具有帧模式，则导出步骤 (210)包括如下步骤：以比例2对与所述相应的低分辨率宏块对相关联的运动数据进行垂直下采样。

4.一种编码设备(8)，用于对由宏块组成的高分辨率图像的序列以及低分辨率图像的序列进行编码，所述组成高分辨率图像的宏块被称为高分辨率宏块，所述低分辨率图像被称为低分辨率宏块，所述设备包括：-第一编码装置(80)，用于编码所述低分辨率图像，所述第一编码装置产生用于所述低分辨率图像的宏块的运动数据和基础层数据流；

-继承装置(82)，用于从被称为低分辨率宏块的低分辨率图像的宏块的运动数据中导出用于被称为高分辨率宏块的至少一个高分辨率图像的宏块的运动数据；以及-第二编码装置(81)，用于使用所述导出的运动数据对所述高分辨率图像进行编码，所述第二编码装置产生增强层数据流；

其特征在于，所述继承装置(82)包括：

-用于定义由非交叠宏块组成的虚拟结构的装置，所述非交叠宏块被称为虚拟基础层宏块，所述虚拟结构具有与所述低分辨率图像相同的尺寸；

-用于基于所述高分辨率宏块在所述高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在所述虚拟结构中识别用于所述高分辨率宏块的相应的虚拟基础层宏块的装置；

-用于基于相应的低分辨率宏块对的场模式或帧模式，以及基于所述高分辨率宏块的场模式或帧模式，从与所述相应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出用于每个识别的虚拟基础层宏块的运动数据的装置；以及-用于对与所述相应的虚拟基础层宏块相关联的运动数据进行重采样，以产生所述至少一个运动预测值的装置。

5.如权利要求4所述的设备，其中，所述第一编码装置是MPEG-4AVC视频编码器。

6.一种解码设备(9)，用于至少对编码的高分辨率图像序列进行解码，所述编码的图像以数据流的形式出现，每个图像被分为非交叠 的宏块，所述设备包括：-第一解码装置(91)，用于至少对所述数据流的第一部分进行解码，以产生低分辨率图像和用于所述低分辨率图像的宏块的运动数据；

-继承装置(82)，用于从低分辨率图像的宏块的运动数据中导出用于至少一个高分辨率图像的宏块的运动数据；以及-第二解码装置(92)，用于使用所述导出的运动数据至少对所述数据流的第二部分进行解码，以产生高分辨率图像；

其特征在于，所述继承装置(82)包括：

-用于定义由非交叠宏块组成的虚拟结构的装置，所述非交叠宏块被称为虚拟基础层宏块，所述虚拟结构具有与所述低分辨率图像相同的尺寸；

-用于基于所述高分辨率宏块在所述高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在所述虚拟结构中识别用于所述高分辨率宏块的相应的虚拟基础层宏块的装置；

-用于基于相应的低分辨率宏块对的场模式或帧模式，以及基于所述高分辨率宏块的场模式或帧模式，从与所述相应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出用于每个识别的虚拟基础层宏块的运动数据的装置；以及-用于对与所述相应的虚拟基础层宏块相关联的运动数据进行重采样，以产生所述至少一个运动预测值的装置。

7.如权利要求6所述的设备，其中，所述第一解码装置是MPEG-4AVC视频解码器。

说明书

层间运动预测方法

技术领域

[0001] 本发明涉及用于从与低分辨率图像序列的像素块相关联的运动数据中，产生用于高分辨率图像序列的像素块的至少一个运动预测值的方法。

背景技术

[0002] 现有的可缩放分级编码方法允许对信息进行分级编码，以便于其能够以不同的分辨率和/或质量等级而解码。因此，可缩放编码设备产生的数据流被分为多个层，基础层和一个或更多个增强层。这些设备允许唯一的数据流适用于可变的传送条件(带宽、误码率......)和接收设备的能力(CPU、再现设备特性......)。空间可缩放分级编码(或解码)方法对数据的称为基础层的第一部分进行编码(或解码)，基础层与低分辨率图像，也称为基础层图像(BL图像)相关；根据这个基础层对至少另一个称为增强层的数据部分进行编码(或解码)，增强层与高分辨率的图像，也称为增强层图像(EL图像)相关。与增强层相关的编码信息或编码数据可以通过称为层间预测或层间继承的方法从与基础层相关的编码信息中继承(即导出)。因此，高分辨率图像的每个宏块根据经典预测模式(例如，双向预测模式、直接预测模式、前向/后向预测......)进行时间预测，或根据层间预测模式进行预测。在前者中，与高分辨率宏块相关联的运动信息/数据(例如，与高分辨率图像的像素宏块/块相关联的分区模式(用于将所述宏块/块分离为多个子块)、与所述块相关联的编码模式、可能的运动矢量和与某些块相关联的允许参考用于预测所述块的图像的一个或更多个图像参考索引)必须被从与低分辨率图像的宏块相关联的运动数据中导出或继承，不论低或高分辨率图像的格式是例如逐行的还是隔行的。

发明内容

[0003] 本发明涉及一种作为视频编码或解码处理过程的一部分的方法，所述方法用于从与低分辨率图像的宏块相关联的运动数据中产生用于至少一个高分辨率图像的宏块的至少一个运动预测值，所述低分辨率图像的宏块被称为低分辨率宏块，所述高分辨率图像的宏块被称为高分辨率宏块。所述方法包括以下步骤：

[0004] -定义由非交叠宏块组成的虚拟结构，称为虚拟基础层宏块，所述虚拟结构具有与所述低分辨率图像相同的尺寸；

[0005] -基于所述高分辨率宏块在所述高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在所述虚拟图像中识别用于所述高分辨率宏块的相应的虚拟基础层宏块；

[0006] -基于相应的低分辨率宏块对的场/帧模式，以及基于所述高分辨率宏块的帧/场模式，从与所述相应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出用于每个识别的虚拟基础层宏块的运动数据；

[0007] -对与所述相应的虚拟基础层宏块相关联的运动数据进行重采样，以产生所述至少一个运动预测值。

[0008] 若高分辨率宏块具有帧模式，且若相应的低分辨率宏块对具有场模式，则导出步骤包括以下步骤：

[0009] -以比例2对由顶宏块和底宏块组成的所述低分辨率宏块对进行垂直上采样，每个上采样后的宏块由上部分和下部分组成；以及

[0010] -将上采样后的顶宏块的上部分的运动数据和上采样后的底宏块的上部分的运动数据进行合并，并将上采样后的顶宏块的下部分的运动数据和上采样后的底宏块的下部分的运动数据进行合并。

[0011] 若高分辨率宏块具有场模式，且若所述相应的低分辨率宏块对具有帧模式，则导出步骤包括如下步骤：以比例2对与所述相应的低分辨率宏块对相关联的运动数据进行垂直下采样。

[0012] 本发明还涉及一种设备，用于对由宏块组成的高分辨率图像的序列以及低分辨率图像的序列进行编码，所述组成高分辨率图像的宏块被称为高分辨率宏块，所述低分辨率图像被称为低分辨率宏块。所述设备包括：

[0013] -第一编码装置，用于编码所述低分辨率图像，所述第一编码装置产生用于所述低分辨率图像的宏块的运动数据和基础层数据流；

[0014] -继承装置，用于从被称为低分辨率宏块的低分辨率图像的宏块的运动数据中导出用于被称为高分辨率宏块的至少一个高分辨率图像的宏块的运动数据；以及[0015] -第二编码装置，用于使用所述导出的运动数据对所述高分辨率图像进行编码，所述第二编码装置产生增强层数据流。

[0016] 所述继承装置包括：

[0017] -用于定义由非交叠宏块组成的虚拟结构的装置，所述非交叠宏块被称为虚拟基础层宏块，所述虚拟结构具有与所述低分辨率图像相同的尺寸；

[0018] -用于基于所述高分辨率宏块在所述高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在所述虚拟图像中识别用于所述高分辨率宏块的相应的虚拟基础层宏块的装置；

[0019] -用于基于相应的低分辨率宏块对的场/帧模式，以及基于所述高分辨率宏块的帧/场模式，从与所述相应的低分辨率宏块对的至少-个宏块相关联的运动数据中导出用于每个识别的虚拟基础层宏块的运动数据的装置；以及

[0020] -用于对与所述相应的虚拟基础层宏块相关联的运动数据进行重采样，以产生所述至少一个运动预测值的装置。

[0021] 根据具体实施例，第一编码装置是MPEG-4AVC视频编码器。

[0022] 本发明还涉及一种解码设备，用于至少对编码的高分辨率图像序列进行解码，所述编码的图像以数据流的形式出现，每个图像被分为非交叠的宏块。所述设备包括：

[0023] -第一解码装置，用于至少对所述数据流的第一部分进行解码，以产生低分辨率图像和用于所述低分辨率图像的宏块的运动数据；

[0024] -继承装置，用于从低分辨率图像的宏块的运动数据中导出用于至少一个高分辨率图像的宏块的运动数据；以及

[0025] -第二解码装置，用于使用所述导出的运动数据至少对所述数据流的第二部分进行解码，以产生高分辨率图像。

[0026] 所述继承装置包括：

[0027] -用于定义由非交叠宏块组成的虚拟结构的装置，所述非交叠宏块被称为虚拟基础层宏块，所述虚拟结构具有与所述低分辨率图像相同的尺寸；

[0028] -用于基于所述高分辨率宏块在所述高分辨率图像中的位置，以及基于低分辨率和高分辨率图像尺寸的比例，在所述虚拟图像中识别用于所述高分辨率宏块的相应的虚拟基础层宏块的装置；

[0029] -用于基于相应的低分辨率宏块对的场/帧模式，以及基于所述高分辨率宏块的帧/场模式，从与所述相应的低分辨率宏块对的至少一个宏块相关联的运动数据中导出用于每个识别的虚拟基础层宏块的运动数据的装置；以及

[0030] -用于对与所述相应的虚拟基础层宏块相关联的运动数据进行重采样，以产生所述至少一个运动预测值的装置。

[0031] 根据具体实施例，第一解码装置是MPEG-4AVC视频解码器。

附图说明

[0032] 通过以下一些实施例的描述，本发明的其他特征和优点是显而易见的，以下的描述结合附图进行，其中：

[0033] -图1描述了一对垂直放置的宏块，以帧模式(图的左侧部分)或场模式(图的右侧部分)进行编码；

[0034] -图2描述了根据本发明的方法的流程图；

[0035] -图3示出了从基础层TOP和BOTTOM宏块的隔行对中产生虚拟基础层TOP和BOTTOM场宏块的处理过程；

[0036] -图4示出了UP和DOWN逐行宏块垂直下采样的处理过程；

[0037] -图5示出了TOP和BOTTOM宏块合并的处理过程；

[0038] -图6示出了隔行宏块对合并的处理过程；

[0039] -图7示出了逐行BL宏块(垂直)下采样的处理过程；

[0040] -图8描述了BL逐行宏块清除过程的框图；

[0041] -图9示出了4×4和8×4子分区合并的处理过程；

[0042] -图10描述了下采样宏块导出处理过程的框图；

[0043] -图11示出了不同的垂直下采样的情况；

[0044] -图12示出了隔行BL TOP和BOTTOM宏块合并的处理过程；

[0045] -图13示出了在场图像中的TOP和BOTTOM宏块；

[0046] -图14示出了在帧图像(MBAFF)中的TOP和BOTTOM宏块；

[0047] -图15示出了隔行TOP和BOTTOM宏块合并过程的两个步骤；

[0048] -图16描述了上采样宏块内容合并处理过程的框图；

[0049] -图17描述了虚拟基础层结构；

[0050] -图18描述了根据本发明的给定的EL MB的层间预测处理过程；

[0051] -图19描述了根据本发明的编码设备；以及

[0052] -图20描述了根据本发明的解码设备。

具体实施方式

[0053] 当前由JVT(MPEG&ITU)在ISO/IEC MPEG&ITU-T VCEG中题为《Scalable Video Coding-Joint Draft 4》的文档JVT-Q202中定义的SVC标准(以下称为JSVM4)中，只考虑了针对逐行素材的空间可缩放性。在两个(或更多)连续空间层(基础层和增强层)之间的运动层间预测只处理了逐行视频序列的情况。本发明提出扩展层间预测处理过程，以支持隔行/逐行可缩放性的任意组合。

[0054] 根据许多视频编码标准，隔行图像包括与在不同时刻捕捉的底场进行隔行交织的顶场，隔行图像可以用两个场图像(场图像模式)进行编码，即对图像的两个场分别编码，或用帧图像(帧图像模式)进行编码，即图像可以被编码为单个帧。在题为《Text of14496-2 ThirdEdition》的文档ISO/IEC JTC 1/SC 29/WG 11N5546中描述的MPEG-4AVC允许独立地对整个图像或独立地对每两个垂直宏块对做出决定。当决定在图像级做出时，称为PAFF编码(PAFF代表Image AdaptativeFrame/Field(图像自适应帧/场))，当决定在宏块对级做出时，称为MBAFF(代表Macroblock Adaptative Frame/Field(宏块自适应帧/场))。更准确地，根据MPEG-4AVC，当隔行图像被编码为帧图像且允许MBAFF时，每一对垂直宏块MB可以隔行，即场模式(图1的右侧部分)，或逐行，即帧模式(图1的左侧部分)进行编码。在图1中，灰色线表示图像的偶数线，与奇数线，即图像的白色线隔行交织。当垂直宏块对处于场模式时，对中的每个MB被称为场宏块。当垂直宏块对处于帧模式时，对中的每个MB被称为帧宏块。

[0055] 根据本发明的方法允许从与低分辨率图像的一些宏块(也称为基础层宏块，标记为BL MB)相关联的运动数据中，产生用于高分辨率图像的宏块(也称为增强层宏块，标记为EL MB)的至少一个层间运动预测值，不论高和低分辨率序列的格式如何(隔行或逐行)。与高分辨率图像的宏块相关联的层间运动预测值，更简单地称为运动预测值，是运动数据(例如分区/子分区类型、可能存在的允许识别参考图像的参考索引、运动矢量......)与之相关联的宏块。根据MPEG-4AVC，对图像序列中的每个图像，参考索引从两个参考列表(列表0以及列表1)中选择，定义如下：

[0056] -每个参考索引与给定的参考图像编号相关联；

[0057] -对每个列表，一些参考索引被标记为无效；以及

[0058] -每个8×8块，即8乘以8像素大小的块，可以用于每个列表作为单个参考索引。

[0059] 无效的参考索引对应于在解码处理过程中还不可用(未解码)的参考场或帧。

[0060] 使用如JSVM4文档中描述的ESS(代表Extended Spatial Scalability(扩展空间可缩放性))方法之类的运动下采样方法产生运动预测值。若所考虑的高分辨率图像是隔行的，则两个层间预测模式可潜在地用于编码或解码每个EL宏块：

[0061] 1.层间隔行(IL_I)模式：对应于TOP或BOTTOM场数据的宏块，即场宏块；

[0062] 2.层间逐行(IL_P)模式：对应于FRAME数据的宏块，即帧宏块。

[0063] 本发明提出了用于产生这样的层间宏块预测值的方法。为了这个目的，本发明在于，在步骤190根据BL MB定义“虚拟基础层”(VBL)宏块，而不是深入修改JSVM4中描述的方法。“虚拟基础层”(VBL)宏块是运动数据与之相关联的结构。由于多数与隔行相关的问题在VBL数据导出过程中报告，使用VBL结构避免或至少明显限制了JSVM4上采样处理过程的修改。事实上，“虚拟基础层”(VBL)宏块确保了BL和EL宏块之间的兼容性，有利于JSVM4中定义的层间预测直接再用于逐行图像。BL宏块首先被转换为全部具有与EL宏块场/帧模式兼容的场/帧模式的VBL宏块，而不是直接对BL宏块实施重采样处理过程。实际中，这种方法要求使用以下结构：VBL帧(具有与BL图像相同的尺寸)、形成与BL图像相同尺寸的VBL场的VBL TOP场和VBL BOTTOM场(具有与BL图像相同的宽度，和BL图像一半的高度)，如图17所示。每个VBL结构被分为运动数据与其相关联的称为VBL帧MB、VBL TOP场MB和VBL BOTTOM场MB的宏块。接着，使用VBLMB替代原始BL MB，应用JSVM4中描述的经典ESS下采样方法，用于从BL MB中导出用于高分辨率图像MB的运动信息。层间运动预测方法可以是用于编码图像序列的处理过程的部分和用于解码图像序列的处理过程的部分。在编码处理过程中，计算所有潜在的层间运动预测值。接着，编码处理过程使用层间预测模式或经典预测模式选择编码当前的EL MB。若编码处理过程选择了层间预测模式，则解码处理过程只计算相应的层间预测值。参照图2，用于当前EL MB(其层间模式IL_mode是IL_P，即帧模式，或IL_I，即场模式)的层间运动预测处理过程实现以下步骤：

[0064] -识别200相应的VBL宏块{c0，c1，...cN}；

[0065] -对每个相应的位于(xi，yi)的VBL宏块ci，i＝0...N，根据层间预测模式，从与BL宏块相关联的运动数据中导出210相关联的运动数据；以及

[0066] -使用JSVM4中描述的ESS处理过程，从各个VBL MB导出220层间运动预测值，其中在垂直方向比例等于henh/hbase，在水平方向比例等于wenh/wbase，其中henh和wenh是HL图片的高度和宽度，hbase和wbase是BL图片的高度和宽度。

[0067] 在解码侧，层间模式IL_mode从比特流中导出。在编码侧，该模式通过编码模式决定方法导出。该方法例如基于后验准则，即它选择使失真和编码成本的线性组合最小化的模式。

[0068] 图18作为示例，示出在低分辨率图像为隔行并在MBAFF模式下编码为帧图像，以及在高分辨率图像为隔行并在MBAFF模式下编码为帧图像的情况下，层间运动预测处理过程。给定EL宏块(填以黑色，本示例中视为帧宏块)，首先识别其对应的VBL宏块。相应的BL宏块可以具有与EL宏块不同的帧/场模式。例如，在图18中，右侧的BL宏块对由两个场宏块组成，而EL宏块处于帧模式。在这种情况下，转换与BL宏块相关联的运动数据。因此，被转换的运动信息与具有和EL宏块相同的场/帧模式的VBL宏块相关联。最终，使用JSVM4中描述的‘标准’逐行重采样处理过程，从VBL宏块向EL宏块进行层间预测。

[0069] 以下情况需要帧-场宏块转换。

[0070] 情况1.BL和EL帧使用MBAFF模式编码，EL MB是场编码而相应的BL MB是帧编码。这需要帧至场的转换。

[0071] 情况2.EL MB是帧编码，BL是帧图像且相应的BL MB是场编码。在这种情况下，需要场至帧的转换。

[0072] 情况3.BL图像是逐行帧；EL MB是在帧图像中场编码或属于场图像；而EL场高度He/2低于BL帧高度Hb。在这种情况下，需要帧至场的转换。

[0073] 步骤200在于识别相应的VBL宏块{c0，c1，...cN}。若EL MB模式是IL_P，即使用VBL帧MB，则相应的VBL MB将使用以下处理过程来确定：

[0074] xs＝[x*wbase/wenh]/16

[0075] ys＝[y*hbase/henh]/16

[0076] xe＝[(x+15)*wbase/wenh]/16

[0077] ye＝[(y+15)*hbase/henh]/16

[0078] 其中(x，y)是所考虑的EL MB的左上采样位置，(wbase，hbase)是基础图像尺寸，(wenh，henh)是增强图像尺寸。相应的VBL宏块{c0，c1，...cN}位于由左上位置(xs，ys)和右下位置(xe，ye)所界定的窗口之内。

[0079] 若EL MB模式是IL_I，即使用VBL TOP或BOTTOM场MB，则相应的VBL MB将使用以下处理过程来确定：

[0080] xs＝[(x-x0)*wbase/wenh]/16

[0081] ys＝[(y-y0)*(hbase/2)/henh]/16

[0082] xe＝[(x+15-x0)*wbase/wenh]/16

[0083] ye＝[(y+15-y0)*(hbase/2)/henh]/16

[0084] 相应的VBL宏块{c0，c1，...cN}位于由左上位置(xs，ys)和右下位置(xe，ye)所界定的窗口之内。

[0085] 步骤210在于产生产生VBL MB，更具体地，在于导出与VBL MB相关联的运动数据。根据BL图像编码模式，VBL TOP MB的产生如下：

[0086] -若BL图像被编码为帧图像，则若位于(xi，2*yi)的BL MB是逐行的，VBL TOP MB ci是包括位于(xi，2*yi+1)的BL MB和位于(xi，2*yi)的BL MB的MB对的垂直下采样版本。随后定义新的下采样处理过程，用于导出如图3所示的逐行宏块对的垂直下采样宏块版本，否则，若位于(xi，2*yi)的BL MB是隔行的，与VBL TOP MB ci相关联的运动数据是与位于(xi，2*yi)的TOP BL MB相关联的运动数据的拷贝。

[0087] -若BL图像被编码为场图像，与VBL TOP MB ci相关联的运动数据是与位于(xi，yi)的TOP BL MB相关联的运动数据的拷贝。

[0088] 根据BL图像编码模式，VBL BOTTOM MB的产生如下：

[0089] -若BL图像被编码为帧图像，则若位于(xi，2*yi+1)的BL MB是逐行的，VBL BOTTOM MB ci是包括位于(xi，2*yi+1)的BL MB和位于(xi，2*yi)的BL MB的MB对的垂直下采样版本。使用如图4所示的新的下采样处理过程产生，否则，若位于(xi，2*yi+1)的BL MB是隔行的，与VBL BOTTOM MB ci相关联的运动数据是与位于(xi，2*yi+1)的BOTTOM BL MB相关联的运动数据的拷贝。

[0090] -若BL图像被编码为场图像，与VBL BOTTOM MB ci相关联的运动数据是与位于(xi，yi)的BOTTOM BL MB相关联的运动数据的拷贝。

[0091] 根据BL图像编码模式，VBL帧MB的产生如下：

[0092] -若BL图像被编码为帧图像，如图5所示，若位于(xi，yi)的BL MB是逐行的，则与VBL帧MB ci相关联的运动数据是与位于(xi，yi)的BLMB相关联的运动数据的直接拷贝，否则，若位于(xi，yi)的BL MB是隔行的，VBL帧MB ci是包括位于(xi，yi)的BL MB和位于(xi，yi+1-2*(yi％2))的BL MB的MB对的合并版本。随后定义新的合并处理过程，其允许把2个宏块合并为逐行宏块。

[0093] 在这种情况下，MB对中的VBL帧MB UP和DOWN是相同的，因为它们是从相同的TOP和BOTTOM BL MB中产生的。

[0094] -若BL图像被编码为场图像，如图6所示，VBL帧MB ci是位于(xi，yi/2)的BL TOP场MB和位于(xi，yi/2)的BL BOTTOM场MB的合并版本。这个VBL帧MB使用新的合并处理过程而产生。

[0095] 用于导出逐行宏块对的垂直下采样宏块版本的新的下采样处理过程应用于位于(mbX，2*mbY)和(mbX，2*mbY+1)的、以逐行格式编码的BL宏块对(UP和DOWN)。其在于比例为2的垂直下采样(图7中描述了一个示例)。该处理过程输出位于(mbX，mbY)的下采样宏块。

[0096] 如图7所示，两个BL UP和DOWN宏块中的每一个在垂直下采样后产生16×8分区。因此，基本上，垂直下采样宏块被分为两个16×8分区。垂直下采样处理过程可产生MPEG-4AVC标准所禁止的配置，如：

[0097] -8×8子分区内不同的参考索引(例如，若一个BL宏块被分为4个8×8块且两个相邻的上和下8×8块具有不同的参考索引，则它一旦被下采样，将产生被分为两个具有不同参考索引的8×4块的8×8块)；或

[0098] -高为2个像素的子分区(例如，若输入的8×8块被子分区为8×4，则它一旦被下采样，将产生8×2大小的子分区)。

[0099] 因此，首先对BL UP和DOWN MB应用清除处理过程，以避免这样的配置。首先清除逐行BL宏块对的每一个宏块，以避免具有无效运动矢量的分区。图8所示的用于一个标记为MBBL的BL宏块的处理过程连续地应用于该宏块对的UP和DOWN MB。它基本实现了以下三个步骤：

[0100] -移除800无效分区；

[0101] -参考索引均化(homogenization)810；以及

[0102] -合并8204×4和4×8子分区。

[0103] 步骤800在于移除无效分区，即使用无效参考索引的分区，对应于在解码处理过程中还不可用的参考场和帧的分区。

[0104] 若MBBL的模式不是INTRA，则执行以下处理过程：

[0105] 对每个列表(0和1)执行以下处理过程：

[0106] -首先，把具有无效参考索引的分区归类为INVALID，并把其他分区归类为VALID。

[0107] -接着，若至少一个分区是VALID，则对于每个被归类为INVALD的分区，执行无效分区的移除。例如，把未归类为INVALD的宏块的相邻分区的子分区、运动矢量和参考索引拷贝给INVALD分区。相邻分区可以按以下顺序扫描：水平、垂直、对角。接着把该分区归类为VALID。

[0108] 若对于两个列表，所有的分区都为INVALD，则把MBBL的模式设为INVALD。

[0109] 若MBBL的模式是INTRA，则不做任何处理。

[0110] 步骤810在于对MBBL的分区内的参考索引进行均化。它只在MBBL的模式未被设为INVALD时实施。

[0111] -若BL宏块分区等于16×8或8×8，对宏块的每个上分区实施以下处理过程：

[0112] -若至少对于一个列表(0或1)，宏块的下分区具有与其上分区不同的参考索引，则对每个列表(0和1)实施以下处理过程：

[0113] -识别使用最小参考索引rl的上或下分区(标记为refPart)。

[0114] -另一分区被强制具有与refPart相同的参考索引rl、子分区(若适用)和运动矢量。

[0115] 可能地，在步骤815，实施分区合并处理过程。若分区没有被子分区，且若对于每个列表其参考索引和运动矢量是相同的，则把分区合并为单个分区。宏块模式修改如下：

[0116] -16×8和8×16转化为16×16。

[0117] -8×8按以下转化：

[0118] -若左8×8块被合并在一起且右8×8块被合并在一起，则转化为8×16；

[0119] -若上8×8块被合并在一起且下8×8块被合并在一起，则转化为16×8；

[0120] -若4个8×8块被合并在一起，则转化为16×16。

[0121] 步骤815是可选的。

[0122] 步骤820在于合并4×4和8×4子分区。它只在MBBL的模式未被设为INVALD时实施。若MBBL的模式不为INVALD也不为INTRA且宏块分区等于8×8，则对宏块中具有等于8×4或4×4的子分区的每个8×8分区实施子分区合并。8×4子分区合并为8×8子分区，4×4子分区合并为4×8子分区，如图9所示。对每个合并区域，对每个列表(0和1)，合并区域运动矢量被设为两个待合并的部分的平均运动矢量。

[0123] 在清除处理过程之后，产生名为MBD的下采样宏块。它具有两个相应的BL清除宏块，BMbUp和BMbDown。图10描述了被实施用于产生下采样宏块MBD的处理过程的流程图。

[0124] 若BMbUp和BmbDown为INTRA，则MBD的模式被设为INTRA。

[0125] 否则，若BMbUp和BMbDown是INTRA或INVALID(这里考虑三种情况，BMbUp是INTRA，BMbDown是INVALID；或BMbUp是INVALID，BMbDown是INTRA；或两个宏块BMbUp和BMbDown都是INVALID)，MBD的模式被设为INVALID。

[0126] 否则，实施以下处理过程：

[0127] 在步骤1000，MBD被分为两个16×8部分(以下标记为16×8PartUp和16×8PartDown)。每个16×8部分具有一个相应的BL帧宏块(16×8PartUp对应于BMbUp，
16×8PartDown对应于BMbDown)。

[0128] 在步骤1200，使用以下处理过程(如图11所示)建立每个16×8部分16×8PartZ(Z由Up或Down替代)：

[0129] -若BMbZ是INVALID或INTRA，把16×8PartZ归类为NEUTRAL。

[0130] -否则，若BMbZ分区是16×16，则16×8PartZ分区是16×8(图11a)。对于每个列表，16×8PartZ的参考索引是BMbZ的参考索引。

[0131] -否则，16×8PartZ分区是8×8。16×8PartZ的两个8×8块接着被子分区如下：

[0132] -若BMbZ分区是16×8，对两个块，则针对两个块的子分区是8×4(图11b)。

[0133] -否则，若BMbZ分区是8×16，则对两个块的子分区是8×8(图11c)。

[0134] -否则，若BMbZ分区是8×8，用左和右替代W，实施以下处理过程(图11d中的示例)：

[0135] -若至少一个W BMbZ 8×8块被分为4×8，则W 8×8块子分区是4×4。

[0136] -否则，W 8×8块子分区是8×4。

[0137] -每个导出的16×8PartZ的分区/子分区，继承其参考索引和运动矢量如下：

[0138] -识别所考虑的分区/子分区的左上块坐标(b4X，b4Y)。

[0139] -把坐标为(b4X，b4Y/2)的BMbZ的4×4块的参考索引和运动矢量拷贝给所考虑的分区/子分区。

[0140] 步骤1200在于若存在NEUTRAL分区则将其移除。若两个16×8部分中的一个被归类为NEUTRAL，其内容(分区/子分区、参考索引和运动矢量)从另一16×8部分的内容拷贝得到。

[0141] 步骤1300在于导出MBD分区如下：

[0142] -若16×8PartUp和16×8PartDown分区是16×8，则MBD分区是16×8。

[0143] -否则，MBD分区被设为8×8。

[0144] 可能地，在步骤1400，实施步骤815的分区合并处理过程。步骤1400是可选的。

[0145] 对两个以隔行格式编码的BL宏块实施用于将TOP宏块(即来自BLTOP场)和BOTTOM宏块(即来自BL BOTTOM场)合并为逐行宏块对(UP和DOWN)的新的合并处理过程。所考虑的第一个宏块是TOP宏块BMbTop。第二个宏块是BOTTOM宏块BMbBot。如图12所示，该处理过程的输出是一对逐行宏块UP和DOWN。BMbTop和BMbBot定义如下：

[0146] -若BL图像被编码为场图像，BMbTop是位于(mbX，mbY)的BLTOP场宏块，BMbBot是位于(mbX，mby)的BL BOTTOM场宏块，如图13所示；

[0147] -否则(BL图像被编码为帧图像)，BMbTop和BMbBot是位于(mbX，2*mbY)和(mbX，2*mbY+1)的BL帧宏块——这只适用于BL帧宏块对以隔行模式编码的情况，如图14所示。

[0148] 参照图15，该处理过程包括以下两个步骤：

[0149] -步骤1500，用于以比例2垂直上采样BMbTop和BMbBot，该步骤产生两个上采样TOP宏块，即MbTopUp和MbTopDown，和两个上采样B OTTOM宏块，即MbBottomUp和MbBottomDown。

[0150] -步骤1510，用于将上采样宏块MbTopUp和MbBottomUp合并为一个宏块MbUp，将上采样宏块MbTopDown和MbBottomDown合并为一个宏块MbDown。

[0151] 步骤1500在于在垂直方向上以比例2进行宏块上采样。该步骤在于在水平方向上以比例1和在垂直方向上以比例2直接应用JSVM4(JointVideo Team(JVT)of ISO/IEC MPEG & ITU-T VCEG JVT-Q202，“Scalable Video Coding-Joint Draft 4”，J.Reichel，H.Schwarz，M.Wien)中所定义的ESS上采样处理过程。

[0152] 步骤1510应用于两个宏块MbIn1和MbIn2并产生一个合并的宏块MbOut。参照图15，若宏块MbIn1和MbIn2分别与MbTopUp和MbBotUp相关，则MbOut与MbUp相关，若宏块MbIn1和MbIn2分别与MbTopDown和MbBotDown相关，则MbOut与MbDown相关。

[0153] 根据第一实施例，MbIn1所关联的运动数据与MbOut相关联。

[0154] -若MbOut不是INTRA，通过先前所述的无效分区移除处理过程移除无效分区；

[0155] -若MbOut被归类为INVALID，MbIn2所关联的运动数据与MbOut相关联。然后，应用以下处理过程：

[0156] -若MbOut不是INTRA，通过先前所述的无效分区移除处理过程移除无效分区；

[0157] 根据优选实施例，参照图16，步骤1510在于实施以下子步骤：

[0158] 在子步骤1600，MbIn1所关联的运动数据与MbOut相关联。

[0159] 接着，若MbOut不是INTRA，实施以下处理过程：

[0160] -对每个列表(0和1)实施以下处理过程：

[0161] -在子步骤1610，把具有无效参考索引的分区归类为INVALID，并把其他分区归类为VALID。INVALID分区处理如下：

[0162] -在子步骤1620，MbOut分区被强制为8×8。INVALID分区被分为8×8分区。MbOut模式被强制为8×8。对每个8×8分区，实施以下处理过程：

[0163] -在子步骤1630，若MbIn2中相应的8×8块使用有效参考索引，该MbIn28×8块的子分区(若存在)、参考索引和运动矢量被拷贝到所考虑的MbOut 8×8分区。这个分区被归类为VALID。否则，MbOut 8×8分区被归类为INVALID。

[0164] -若至少一个MbOut 8×8分区是VALID，则在子步骤1640，对每个被归类为INVALID的分区，实现无效分区的移除。例如，把未被归类为INVALID的宏块的相邻分区的子分区、运动矢量和参考索引拷贝给INVALID分区。相邻分区可以按以下顺序扫描：水平、垂直、对角。接着把该分区归类为VALID。

[0165] 若对于两个列表，所有的分区都是INVALID，则把模式设为INVALID。

[0166] 在子步骤1650，可通过实施步骤815的分区合并处理过程来合并MbOut分区。子步骤1650是可选的。

[0167] 在图2、8、10和16中，所表现的框是纯功能实体，不必对应于物理分离实体。即它们可以用软件的形式开发，或在一个或多个集成电路中实现。

[0168] 用于产生层间运动预测值的方法可以用于编码视频信号的处理过程和JSVM4中描述的编码视频信号的处理过程。

[0169] 本发明还涉及图19所示的编码设备8。编码设备8包括用于编码低分辨率图像的第一编码模块80。模块80产生用于所述低分辨率图像的基础层数据流和运动数据。优选地，模块80适于产生与MPEG4 AVC标准兼容的基础层数据流。编码设备8包括继承装置82，用于从第一编码模块80产生的低分辨率图像的运动数据中导出高分辨率图像的运动数据。继承装置82适于执行根据本发明的方法的步骤200至220。编码设备8包括用于编码高分辨率图像的第二编码模块81。第二编码模块81使用继承装置82导出的运动数据以编码高分辨率图像。这样，第二编码模块81产生增强层数据流。优选地，编码设备8还包括模块83(例如复用器)，用于将第一编码模块80和第二编码模块81分别提供的基础层数据流和增强层数据流进行合并，以产生单个数据流。因此，若EL MB由第二编码模块81使用层间预测模式进行编码，由于与所述EL MB相关的运动数据是从与模块80提供的BL MB相关的运动数据中导出的，因此与所述EL MB相关的运动数据不被编码到数据流中(或只是部分编码，由于可能编码四分之一像素运动细化)。这可以节省一些比特。另一方面，若使用经典模式(例如双向模式)编码EL MB，则与所述EL MB相关的运动数据被编码到数据流中。

[0170] 本发明还涉及图20所示的解码设备9，用于从例如编码设备8产生的数据流解码高分辨率图像。解码设备9包括第一解码模块91，用于解码数据流的第一部分，称为基础层数据流，以便导出低分辨率图像和用于所述低分辨率图像的运动数据。优选地，模块91适于解码与MPEG4 AVC标准兼容的数据流。解码设备9包括继承装置82，用于从第一解码模块91产生的低分辨率图像的运动数据导出高分辨率图像的运动数据。继承装置82适于执行根据本发明的方法的步骤200至220。解码设备9包括第二解码模块92，用于解码数据流的第二部分，称为增强层数据流。第二解码模块92使用继承装置82导出的运动数据以解码数据流的第二部分。这样，第二解码模块92产生高分辨率图像。有利地，解码设备9还包括提取模块90(例如解复用器)，用于从所接收的数据流中提取基础层数据流和增强层数据流。

[0171] 根据另一实施例，解码设备接收两个数据流：基础层数据流和增强层数据流。在这种情况下，设备9不包括提取模块90。