视频信息编码与解码的方法,运动补偿视频编码器与相应的解码器转让专利

申请号 : CN01812464.X

文献号 : CN100581266C

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : J·拉伊尼马

申请人 : 诺基亚有限公司

摘要 :

提出一种对视频信息编码的方法,其中部分当前视频信息被划分成宏块,为了将一个宏块分成块规定一定数目的可用宏块分段。而且,对于每种可用的宏块分段规定至少一种可用的预测方法,每种预测方法对所述的宏块内的块产生预测运动系数,得到一定的有限数目的可用宏块分段-预测方法对。对于一个宏块,选择一种可用的宏块分段-预测方法对,然后宏块被分成块,利用所选的宏块分段-预测方法对产生对于所述的宏块内块的预测运动系数。也提出了相应的解码方法,编码器和解码器。

权利要求 :

1.一种用于对视频信息编码的方法,包括从至少一种预测块的运 动系数中,导出被编码的视频帧的宏块内块的预测运动系数,所述至 少一种预测块是预先在所述视频帧内被编码的宏块或块,所述方法包 括以下步骤:-将所述视频帧分成宏块,

-规定一定数目的可用宏块分段,所述可用宏块分段指定宏块可 以被分割成块的可能的方式;

-对每个可用宏块分段规定至少一种可用的预测方法,由此提供 一定的有限数目的可用宏块分段-预测方法对,每种预测方法规定一 种利用至少一个预测块的运动系数导出宏块内块的预测运动系数的方 法;

-为一个宏块选择一个可用宏块分段-预测方法对,和

-将宏块分成块,并利用所选的宏块分段-预测方法对导出所述 的宏块内块的预测运动系数。

2.依据权利要求1的对视频信息编码的方法,其特征在于利用一 组预测块的运动系数导出所述的宏块内的一个块的预测运动系数,一 个预测块是所述的宏块内所述的块的一个相邻的块。

3.依据权利要求1的对视频信息编码的方法,其特征在于至少一 种可用的宏块分段-预测方法对规定,所述的宏块内的一个块的预测 运动系数从一个预测块的运动系数中导出。

4.依据权利要求1的对视频信息编码的方法,其特征在于至少一 种可用的宏块分段-预测方法对规定,所述的宏块内一个块的预测运 动系数从多个已经编码的相邻的块的运动系数导出。

5.依据权利要求4的对视频信息编码的方法,其特征在于所述预 测运动系数是从多个已经编码的相邻的块的运动系数的中值导出的。

6.依据权利要求1的对视频信息编码的方法,其特征在于至少一 种可用的宏块分段-预测方法对规定,所述的宏块内一个块的预测运 动系数是从所述的宏块内预测块的运动系数导出的。

7.依据权利要求1的对视频信息编码的方法,其特征在于用于产 生块的预测运动系数的预测块被规定为一种包含某种预先确定的像素 的块,所述像素的位置相对于所述块限定。

8.依据权利要求7的对视频信息编码的方法,其特征在于第一块 的预先确定的像素位置与第二块的预先确定的像素位置不同。

9.依据权利要求4的对视频信息编码的方法,其特征在于被用来 导出一个块的预测运动系数的一个预测块被规定为包含某个预先确定 的像素的一个块,所述像素的位置相对于所述块限定。

10.依据权利要求9的对视频信息编码的方法,其特征在于至少对 于与某个第一宏块分段-预测方法对有关的某些第一块,所述预先确 定的像素包括与来自左面的块相邻的最上面的像素,盖在该块上面的 最左面的像素,与该块的右上方的像素角对角的像素。

11.依据权利要求1的对视频信息编码的方法,其特征在于宏块和 由宏块分段产生的块是矩形的。

12.依据权利要求11的对视频信息编码的方法,其特征在于可用 的宏块分段包括得到一块的第一宏块分段,用一条垂直线将一个宏块 划分一次的第二宏块分段,用一条水平线将一个宏块划分一次的第三 宏块分段,用一条垂直线将一个宏块划分一次、用一条水平线划分一 次的第四宏块分段,将一个宏块用一条垂直线划分成两个垂直列和用 三条水平线划分成四个水平行的第五宏块分段,和将一个宏块用三条 垂直线划分成四个垂直列和一条水平线划分成两个水平行的第六宏块 分段。

13.依据权利要求11的对视频信息编码的方法,其特征在于对每 个可用的宏块分段规定一种预测方法,一个块的预测块被规定为包含 某个预先确定的像素的一个块,所述像素的位置相对于所述块限定, 从一个块特定的预测块的运动系数导出某些第一块的预测系数,从多 个块特定的预测块的运动系数导出某些第二块的预测系数。

14.依据权利要求1的对视频信息编码的方法,其特征在于宏块分 段-预测方法对的选择是基于使成本函数为最小,使得所选择的宏块 分段-预测方法对依据解码图象的重建误差和发送编码图像所需要的 位数的组合量度而产生最小成本。

15.依据权利要求1的对视频信息编码的方法,其特征在于为每个 可用的宏块分段规定一个宏块分段-预测方法对。

16.依据权利要求15的对视频信息编码的方法,其特征在于还包 括步骤:-在信息流中提供指明所选的宏块分段的信息,该信息流将被发 送到解码器或存入存储媒体。

17.依据权利要求1的对视频信息编码的方法,其特征在于,还包 括步骤:-在信息流中提供指明所选的宏块分段-预测方法对的信息,该 信息流将被发送到解码器或存入存储媒体。

18.依据权利要求1的对视频信息编码的方法,其特征在于还包括 以下步骤:-估计关于参考视频帧的宏块内块的运动,

-利用包括一组基本函数和运动系数的模型表示宏块内块的运 动,和-将这样获得的运动系数表示为预测运动系数和差运动系数之和 。

19.依据权利要求18的对视频信息编码的方法,其特征在于用于 表示块的运动的模型是平移运动模型。

20.依据权利要求18的对视频信息编码的方法,其特征在于对宏 块分段-预测方法对的选择是基于使成本函数为最小,该成本函数包 括至少一种与宏块分段-预测方法对有关的重建误差的量度,和为指 明宏块分段-预测方法对和表示所述的宏块内块的差运动系数所需的 信息量的量度。

21.依据权利要求18的对视频信息编码的方法,其特征在于还包 括以下的步骤:-在信息流中提供指明所选的宏块分段-预测方法对的信息,该 信息流将被发送到解码器供解码,或者存入存储媒体,和-在信息流中提供关于差运动系数的信息。

22.依据权利要求18的对视频信息编码的方法,其特征在于还包 括以下步骤:-利用运动系数,基本函数和关于宏块分段的信息重建宏块内块 的运动,-利用参考视频帧和所述块的所重建的运动确定所预测的视频信 息,-根据所预测的视频信息和所述宏块的视频信息之间的差确定相 应的预测误差视频信息,-将预测误差视频信息编码并将它用预测误差系数表示,和

-在信息流中提供关于预测误差系数的信息,该信息流将被发送 到解码器供解码,或存入存储装置。

23.一种对已编码的视频信息进行解码的方法,包括从至少一种预 测块的运动系数中,导出被解码的视频帧的宏块内块的预测运动系数, 所述至少一种预测块是预先在所述视频帧内被解码的宏块或块,所述 方法包括以下的步骤:-规定一定数目可用的宏块分段,所述可用的宏块分段指定宏块 可以被分割成块的可能的方式;

-为每个可用的宏块分段规定至少一种可用的预测方法,由此提 供一定的有限数目的可用宏块分段-预测方法对,每种预测方法规定 一种利用至少一个预测块的运动系数导出宏块内块的预测运动系数的 方法;

-对指示为宏块所选的宏块分段-预测方法对的信息进行接收, 和-关于所述规定的宏块分段-预测方法对,确定与所述的宏块的 宏块分段有关的预测方法,以及-利用所确定的预测方法导出所述的宏块内的块的预测运动系数 。

24.依据权利要求23的对已编码视频信息解码的方法,其特征在 于规定与某种可用的宏块分段有关的至少二个预测方法。

25.依据权利要求23的对已编码的视频信息解码的方法,其特征 在于对于每种可用的宏块分段规定唯一的预测方法。

26.依据权利要求23的对已编码的视频信息解码的方法,其特征 在于还包括以下步骤:-接收关于描述一个宏块内的块的运动的差运动系数的信息,和

-重建作为所导出的预测运动系数和差运动系数之和的所述的宏 块内块的运动系数。

27.依据权利要求26的对已编码的视频信息解码的方法,其特征 在于还包括以下的步骤:-接收关于描述预测误差视频信息的预测误差系数的信息,和

-至少利用运动系数和预测误差视频信息确定已解码的部分当前 视频信息。

28.依据权利要求23的对已编码的视频信息解码的方法,其特征 在于,对至少指示为宏块所选的宏块分段的信息进行接收的步骤包括 接收所选择的宏块分段-预测方法对的指示。

29.一种对视频信息进行运动补偿编码的编码器,所述编码器包括 用于从至少一种预测块的运动系数中,导出被编码的视频帧的宏块内 块的预测运动系数的装置,所述至少一种预测块是预先在视频帧内被 编码的宏块或块,所述编码器还包括:-用于接收视频信息帧的装置,

-用于将所述视频信息帧划分成宏块的装置,

-用于规定一定数目可用的宏块分段的装置,所述可用的宏块分 段规定宏块可以被分割成块的可能的方式,-用于为每种可用的宏块分段规定至少一种可用的预测方法的装 置,由此提供某种有限数目的可用宏块分段-预测方法对,每种预测 方法利用至少一个预测块的运动系数为宏块内的块导出预测运动系数 规定一种方法;

-用于从可用的宏块分段-预测方法对中选择一个宏块分段-预 测方法对的装置,-用于利用由所选的宏块分段-预测方法对指定的所述宏块分段 分割一个宏块的装置,和-用于利用所选的预测方法导出所述的宏块内的块的预测运动系 数的装置。

30.依据权利要求29的对视频信息进行运动补偿编码的编码器, 其特征在于,所述编码器还包括:-用于存储参考视频帧的装置,

-用于至少利用所述参考视频帧估计视频信息帧中块的运动场的 装置,-用于获得描述所估计的运动场的运动系数的装置,和

-用于利用运动系数和预测运动系数导出差运动系数的装置。

31.依据权利要求29的对视频信息进行运动补偿编码的编码器, 其特征在于,通过所述用于从可用的宏块分段-预测方法对中选择一 个宏块分段-预测方法对的装置,至少一个可用的宏块分段-预测方 法对规定,从一个预测块的所述运动系数中导出所述宏块内块的所述 预测运动系数。

32.依据权利要求29的对视频信息进行运动补偿编码的编码器, 其特征在于,通过所述用于从可用的宏块分段-预测方法对中选择一 个宏块分段-预测方法对的装置,至少一个可用的宏块分段-预测方 法对规定,从多个已经编码的相邻的块的运动系数中导出所述宏块内 块的所述预测运动系数。

33.依据权利要求32的对视频信息进行运动补偿编码的编码器, 其特征在于,所述编码器还包括:用于从所述多个已经编码的相邻的 块的运动系数的中值中导出所述预测运动系数的装置。

34.依据权利要求29的对视频信息进行运动补偿编码的编码器, 其特征在于,通过所述用于从可用的宏块分段-预测方法对中选择一 个宏块分段-预测方法对的装置,至少一个可用的宏块分段-预测方 法对规定,从所述宏块内预测块的运动系数中导出所述宏块内块的所 述预测运动系数。

35.依据权利要求29的对视频信息进行运动补偿编码的编码器, 其特征在于,所述编码器还包括:用于利用包括某种预先确定的像素 的预测块,导出块的预测运动系数的装置,所述某种预先确定的像素 的位置相对于所述块限定。

36.依据权利要求29的对视频信息进行运动补偿编码的编码器, 其特征在于,所述编码器还包括:用于响应成本函数最小化来选择一 个宏块分段-预测方法,使得所选择的宏块分段-预测方法对依据解 码图象的重建误差和发送编码图像所需要的位数的组合量度而产生最 小成本的装置。

37.依据权利要求29的对视频信息进行运动补偿编码的编码器, 其特征在于,通过所述用于从可用的宏块分段-预测方法对中选择一 个宏块分段-预测方法对的装置,为每种可用的宏块分段规定一种宏 块分段-预测方法对。

38.依据权利要求37的对视频信息进行运动补偿编码的编码器, 其特征在于,所述编码器还包括:用于在信息流中提供表示所选择的 宏块分段的信息的装置,该信息流将被传送到相应的解码器。

39.依据权利要求29的对视频信息进行运动补偿编码的编码器, 其特征在于,所述编码器还包括:用于在信息流中提供表示所选择的 宏块分段-预测方法对的信息的装置,该信息流将被传送到相应的解 码器。

40.依据权利要求29的对视频信息进行运动补偿编码的编码器, 其特征在于,所述编码器还包括::-用于估计关于参考视频帧的宏块内块的运动的装置;

-用于用包括一组基本函数和运动系数的模型表示所述宏块内块 的运动的装置;以及-用于表示作为所述预测运动系数和差运动系数之和的这样获得 的运动系数的装置。

41.依据权利要求40的对视频信息进行运动补偿编码的编码器, 其特征在于,所述编码器还包括:用于通过成本函数最小化选择宏块 分段-预测方法对的装置,所述成本函数至少包括一种与宏块分段- 预测方法对有关的重建误差的量度,和为指明宏块分段-预测方法对 和表示所述的宏块内块的差运动系数所需的信息量的量度。

42.依据权利要求40的对视频信息进行运动补偿编码的编码器, 其特征在于,所述编码器还包括:-用于利用所述运动系数、基本函数和关于所述宏块分段的信息 重建所述块的运动的装置;

-用于利用所述参考视频帧和所述重建的块的运动确定预测的视 频信息的装置;

-用于根据所述预测的视频信息和所述宏块的视频信息之间的差 确定相应的预测误差视频信息的装置;

-用于对所述预测误差视频信息进行编码并用预测误差系数对其 进行表示的装置;和-用于在信息流中提供关于所述预测误差系数的信息的装置,该 信息流将被传送到一个解码器。

43.一种对已编码的视频信息进行运动补偿解码的解码器,所述解 码器包括用于从至少一种预测块的运动系数中,导出被解码的视频帧 的宏块内块的预测运动系数的装置,所述至少一种预测块是预先在视 频帧内被解码的宏块或块,所述解码器还包括:-用于规定一定数目可用的宏块分段的装置,所述可用的宏块分 段指定宏块可以被分割成块的可能的方式;

-用于为每种可用的宏块分段规定至少一种可用的预测方法,由 此提供某种有限数目的可用宏块分段-预测方法对的装置,每种预测 方法利用至少一个预测块的运动系数为宏块内的块导出预测运动系数 规定一种方法;

-用于对至少指示为宏块所选的宏块分段的编码视频信息进行接 收的装置;

-用于关于所规定的宏块分段-预测方法对,确定与所述宏块的 分段有关的所述预测方法的装置,和-用于利用所确定的预测方法,导出所述的宏块内的块的预测运 动系数的装置。

44.依据权利要求43的对已编码视频信息进行运动补偿解码的解 码器,其特征在于所述编码器还包括:-用于接收关于描述宏块内的块的运动的差运动系数的信息的装 置,和-用于利用所导出的预测运动系数和差运动系数重建所述宏块内 块的运动系数的装置。

45.依据权利要求43的对已编码的视频信息进行运动补偿解码的 解码器,其特征在于,所述解码器还包括:用于接收所选择的宏块分 段-预测方法对的指示的装置。

46.一种包括依据权利要求29的编码器的存储设备。

47.一种包括依据权利要求29的编码器的移动站。

48.一种包括依据权利要求43的解码器的移动站。

49.一种包括依据权利要求29的编码器的网络部件。

50.依据权利要求49的网络部件,其特征在于,该网络部件是移 动通信网的一个网络部件。

51.依据权利要求43的解码器,其特征在于为每个可用的宏块分 段规定唯一的预测方法。

52.依据权利要求43的解码器,其特征在于至少一种可用的宏块 分段-预测方法对规定,从一个预测块的运动系数中导出所述的宏块 内的一个块的预测运动系数。

53.依据权利要求43的解码器,其特征在于至少一种可用的宏块 分段-预测方法对规定,从多个已经编码的相邻块的运动系数中导出 所述的宏块内一个块的预测运动系数。

54.依据权利要求53的解码器,其特征在于所述预测运动系数是 从多个已经编码的相邻块的运动系数的中值导出的。

55.依据权利要求43的解码器,其特征在于用于产生块的预测运 动系数的预测块被规定为一种包含某种预先确定的像素的块,所述像 素的位置相对于所述块限定。

56.依据权利要求43的解码器,其特征在于相邻宏块的宏块分段 影响一个宏块所用的一个可用的宏块分段-预测方法对的确定。

说明书 :

技术领域

本发明涉及视频编码。特别是,涉及利用运动补偿预测的视频信息 补偿。

背景技术

典型情况下,视频序列由许多视频帧组成,视频帧由许多像素组 成,每个像素用一组数字位表示。由于一个视频帧中像素数目很大和一 个典型的视频序列中视频帧的数目很大,为表示视频序列所需的数据量 迅速变得很大,例如,一个视频帧可包含一个640乘480像素的阵列, 每个像素具有每种颜色成分用8位的RGB(红、绿、蓝)颜色表示,总 共每帧7,372,800位。另一个例子是一个包含176×144像素的QCIF(四 分之一公共中间帧)视频帧,QCIF在小型(几平方厘米)LCD显示器上 提供一种可接受的清晰图像,典型情况下可用在运动通信设备中,如果 每个像素的颜色还是用每种颜色成分8位表示,每帧总的位数是 608,256。
另一种方案是,可以利用一种相关的亮度/色度模型,称为YUV彩 色模型来表示视频帧,人的视觉系统对于强度(亮度)的变化要比颜色 (色度)的变化敏感。YUV彩色模型利用这个性质,用一个亮度分量Y 和两个色度分量UV表示一个图像,对于色度分量比亮度分量使用较低 的分辨率。用这种方法,对图像中颜色信息编码所需的信息量可随图像 质量可接受的降低而降低。色度分量较低的分辨率通常是通过空间的子 采样达到的,典型的做法是,图像中16×16的像素块用表示亮度信息 的16×16像素块和对于每个色度分量一个8×8像素块来编码。因此色 度分量被x和y方向中一个为2的因数子采样,所得到的一个16×16 像素亮度块和两个8×8像素色度块的集合在此被称为一个YUV宏块。 一个QCIF图像包括11×9YUV宏块。亮度块和色度块用8位分辨率表 示,每个YUV宏块所需的总位数是(16×16×8)+2×(8×8×8)= 3072位。这样,表示一个视频帧所需的位数是99×3072=304,128位。
在包含用YUV编码的,按每秒15-30帧的速率记录/显示的QCIF 格式的帧序列的视频序列中,发送每帧中每个像素的信息所需的数据量 分别为4Mbps(每秒百万位)以上。在通常的电视电话中,编码的视频 信息是利用固定线路的电话网发送的,典型情况下发送位速率是64千 位/秒的倍数,在运动电视电话中,只在无线电通信链路上部分地传输, 可用的发送位速率可能低到20千位/秒,因此,很明显需要这样一些方 法,使得用于表示视频序列的信息量可以减少。视频编码解决降低信息 量的问题,这些信息量是为了用可接受的图像质量表示视频序列需要发 送的。
在典型的视频序列中相继帧之间的图像内容变化很大程度上是情 景中运动的结果,这种运动可以是由于摄像机运动引起的,或者是由于 情景中存在的目标的运动。因此,典型的视频序列是以很大的时间相关 性为其特征的,这种相关性沿着运动轨线为最高。视频序列的有效压缩 通常利用视频序列的这种性质。运动补偿的预测是一种被广泛承认的压 缩视频信号的技术,它利用这样的事实,即在一个典型的视频序列中, 在给出这两个段之间的运动轨线后,可以利用在某个其他的已被编码和 发送的帧中一个段的图像强度/色度值预测一个特定的帧段中图像强度 /色度值。有时,发送一个未参照任何其他帧而进行编码的帧是适当的, 这样可防止由于误差积累引起的图像质量降质,并提供附加的功能,如 随机接入视频序列,这样一种帧被称为INTRA帧。
一种利用运动补偿预测的示范性视频编码系统简图示于附图的图1 和2中,图1示出采用运动补偿的编码器10,图2示出相应的解码器20, 利用运动补偿的视频编码器工作原理是使预测误差帧En(x,y)为最小, 它是当前正在编码的帧In(x,y)和预测帧Pn(x,y)之间的差。因而预测误 差帧为
En(x,y)=In(x,y)-Pn(x,y)              (1)
预测帧Pn(x,y)是利用一个参考帧Rn(x,y)的像素值和当前帧与参考 帧之间的像素运动构成的。参考帧是以前被编码和发送的帧之一(例 如,在当前帧前面的一个帧)。更精确地说,预测帧是通过在参考帧 Rn(x,y)中找到预测像素并按照运动信息的说明运动预测像素。像素的运 动可以被表示为当前帧In(x,y)中位置(x,y)上一个像素的水平和垂直 位移Δx(x,y)和Δy(x,y)。数字对〔Δx(x,y),Δy(x,y)〕被称为这个 像素的运动向量。
在编码器10的运动场估算方框11中计算运动向量〔Δx(x,y),Δ y(x,y)〕将该当前帧〔Δx(·),Δy(·)〕的所有像素的运动向量组称 为运动向量场。由于在一个帧中有很大数量的像素发送对于每个像素的 单独的运动向量不是很有效的。而在多数的视频编码方案中,将该当前 帧分为大的图像段Sk,并将这些段的信息发送给该解码器。
在编码器10的运动场编码方框12中对运动向量场编码,运动场编 码是指利用某些预先确定的函数表示一个帧中的运动的过程,或者,换 句话说,将它用一个模型表示。几乎所有通常使用的运动向量场模型是 相加的运动模型。运动补偿视频编码方案可以用以下的通用公式规定图 像段的运动向量:
Δx ( x , y ) = Σ i = 0 N - 1 a i f i ( x , y ) - - - ( 2 )
Δy ( x , y ) = Σ i = 0 M - 1 b i g i ( x , y ) - - - ( 3 )
其中系数ai和bi被称为运动系数。它们被发送到解码器(图1和2 中的信息流2)。函数fi和gi被称为运动场基本函数,它们无论对于编 码器还是解码器都是已知的。可以利用系数和基本函数构成近似的运动 向量场
在编码器10的视频补偿预测方框13中构成预测帧Pn(x,y),它由下 式给出:

其中参考帧Rn(x,y)可在给定时刻上编码器10的帧存储器17中 得到。
在预测误差编码方框14中,典型的做法是,通过将预测误差帧 En(x,y)表示为某些2维函数的有限序列(变换)将它压缩。例如,可以 使用一种2维的离散余弦变换(DCT)。在将与每个函数有关的变换系 数发送到解码器以前被量化和熵编码(图1和2中的信息流1)。因为 由量化引入的误差,这种操作通常在预测误差帧En(x,y)中产生某些降 质。为了抵消这种降质,视频补偿的编码器包括一个预测误差解码方框 15,在其中利用变换系数构成解码的预测误差帧这个解码的预 测误差帧被添加到预测帧Pn(x,y)上,所得的解码的当前帧被存入 帧存储器17供进一步作为下一个参考帧Rn+1(x,y)使用。
携带有关运动向量信息的信息流2与有关预测误差的信息在多路转 换器16中组合,典型情况下包含至少这样两种信息的信息流3被发送 到解码器20。
在解码器20的帧存储器24中有一个以前重新构成的参考帧 Rn(x,y),与编码器10的视频补偿预测方框13中类似,在解码器20的 视频补偿预测方框21中构成预测帧Pn(x,y)。在预测误差解码方框22 中使用所发送的预测误差帧En(x,y)的变换系数构成解码的预测误差帧 通过将预测帧Pn(x,y)和解码的预测误差帧相加构成解码 的当前帧的像素。
I ~ n ( x , y ) = P n ( x , y ) + E ~ n ( x , y )

这个解码的当前帧可被存入帧存储器24作为下一个参考帧Rn+1 (x,y)。
往下让我们较详细地讨论视频补偿和运动信息的传输。为了使发送 运动系数到解码器所需的信息量为最少,可以从邻近的段的系数预测系 数。当使用这种运动场预测时,运动场被表达为预测运动场和细化运动 场之和,预测运动场是利用与当前帧的邻近段有关的运动向量构成的。 利用相同的规则集和或许在编码器和解码器中的某些辅助信息实施预 测。细化运动场被编码,与这细化运动场有关的运动系数被发送到解码 器。典型情况下这种方法导致节省发送位速率。图1中的虚线表示几个 可能信息的例子,在运动场估值方框11和运动场编码方框12中某些运 动估值和编码方案可能需要这些信息。
多项式运动模型是一种广泛使用的运动模型族。(参看,例如H. Nguyen and E.Dubois,“Representation of motion information for image coding,”in Proc.Picture Coding Symposium′90,Cambridge, massachusetts,March 26-18,1990,pp.841-845 and Centre de Morphologie Mathcmatique(CMM),“Segmentation algorithm by multicriteria region merging,”Document SIM(95)19,COST 211ter Project Meeting,May 1995)。用若干函数描述运动向量的值,这些 函数是两维多项式函数的线性组合。平移的运动模型是最简单的模型, 描述每一段的运动向量只需要两个系数,运动向量的值由以下公式给 出:
Δx(x,y)=a0
Δy(x,y)=b0          (6)
这种模型被广泛地应用在各种国际标准(ISO MPEG-1,MPEG-2, MPEG-4,ITU-T Recommendations H.261和H.263)中,用来描述16 ×16和8×8像素块的运动,典型情况下利用平移运动模型的系统按全 像素分辨率或全像素分辨率的某个整分数,例如以1/2或1/3像素分辨率 的准确度实施运动估值。
两种其他的广泛应用的模型是由以下等式给出的仿射运动模型:
Δx(x,y)=a0+a1x+a2y
Δy(x,y)=b0+b1x+b2y    (7)
和由以下等式给出的二次的运动模型:
Δx(x,y)=a0+a1x+a2y+a3xy+a4x2+a5y2
Δy(x,y)=b0+b1x+b2y+b3xy+b4x2+b5y2     (8)
仿射运动模型在运动系数数目和预测性能之间提出一种非常方便 的变换,能够只用几个系数表示一般实物运动的类型,如平移、旋转、 变焦和剪切。二次运动模型提供良好的预测性能,但在编码上没有仿射 模型普及,因为它使用较多的运动系数,而预测性能并没有显著地优 于,例如,仿射运动模型的性能。而且,估计二次运动比估计仿射运动 在计算上更加花钱。
运动场估值方框11计算用于给定段Sk的〔Δx(x,y),Δy(x,y)〕 的初始运动系数aoi,...,ani,boi,...,bni,初始运动系数使该段中某些预测 误差的量度为最小。在最简单的情况下,运动场估值使用当前帧In(x,y) 和参考帧Rn(x,y)作为输入值。典型情况下运动场估值方框输出用于〔Δ x(x,y),Δy(x,y)〕的[Δx(x,y),Δy(x,y)]初始运动系数到运动场编 码方框12。
将当前帧分段成段Sk可以,例如,用这样一种方法实施,即每段对 应于在视频序列中运动的某个目标,但这种类型的分段是一个非常复杂 的步骤。一种典型的计算上不太复杂的将视频帧分段的方法是将它划分 为宏块,并进一步将宏块划分成矩形块。在本描述中术语宏块通常是指 视频帧的一部分。宏块的一个例子是以前描述过的YUV宏块。图3示出 一个例子,其中视频帧30被划分成具有一定像素数目的宏块31。取决 于编码方法,可以有许多可能的宏块分段。图3示出一种情况,在其中 有四种可能的方法将一个宏块分段:宏块31A被分成块32,宏块31B被 一条垂直划分线分成块33,宏块31C被一条水平划分线分成块34。第 四种可能的分段是将一个宏块看作一个单一块。图3中所示的宏块分段 是作为例子给出的;它们决不是一个可能的或可行的宏块分段的详尽目 录。
运动场编码方框12对于将哪一种运动向量场发送到解码器和对运 动向量场如何编码作出最后决定。它可以修改当前帧的分段,运动模型 和运动系数以便使描述一个令人满意的运动向量场所需的信息量为最 少。典型的做法是,通过估计每种可替代的宏块分段的成本和选择达到 最小成本的分段来实施对分段的决策。作为成本的量度,最通常使用的 是Lagrangian成本函数
L(Sk)=D(Sk)+λR(Sk),
利用Lagrangian乘法器λ将重建误差D(Sk)的量度与发送R(Sk) 所需位数的量度联系起来。Lagrangian成本表示在所发送的视频信息质 量和传输中所需带宽之间的一种交换。一般,较好的图像质量,也就是 小的D(Sk),需要较大的发送信息量,也就是大的R(Sk)。
在目前利用平移运动模型的系统中,典型的做法是通过计算周围的 已经发送的运动系数的中值构成预测运动系数。这种方法在传输带宽的 有效利用和图像质量方面达到相当好的性能。这种方法的主要优点是运 动系数的预测是直接的。
预测运动系数与正被预测段的运动系数对应得越准确,为发送关于 细化运动场的信息所需的位数越少。可以在,例如邻近的块中选择这样 的块,它的运动系数最接近要被预测的块的运动系数。发信号将为预测 所选的段通知解码器。这种方法的主要缺点是在已经发送的图像段中找 出最佳的预测候选者是一种复杂的任务:为了评估所有可能的预测侯选 者,编码器必须完成详尽的计算,然后选择最佳的预测块,这个步骤必 须对每块分开实施。
存在这样的系统,其中用于压缩的视频流的传输容量是非常有限 的,而且对视频信息的编码不应该太复杂。例如,无线运动终端具有有 限的空间用于附加的部件,因为它们由电池供电,一般情况下它们不可 能提供可与台式计算机相比拟的计算能力。在蜂窝系统的无线接入网 中,对于视频流的可用传输容量可能低到20K bps。因此,需要一种视 频编码方法,它在计算上是简单的,提供良好的图像质量并在所需的传 输带宽方面达到良好的性能。而且,为了保持编码方法在计算上是简单 的,编码方法应该利用简单的运动模型提供满意的结果。

发明内容

本发明的一个目的是提供一种方法,利用视频补偿对于视频信息的 编码/解码提供灵活和通用的运动系数预测。本发明一个进一步的目的 是对于视频信息的编码/解码提供一种视频补偿方法,在传输带宽和图 像质量方面提供良好性能而在计算上相当简单。还有一个目的是提出一 种对视频信息编码/解码的方法,当使用比较简单的运动模型,和平移 的运动模型时,提供令人满意的结果。
通过将用于某个宏块的运动系数预测方法与对宏块的分段相联系 达到了本发明这些和其他的目的。
依据本发明的一种用于对视频信息编码的方法,包括从至少一种预 测块的运动系数中,导出被编码的视频帧的宏块内块的预测运动系数, 所述至少一种预测块是预先在视频帧内被编码的宏块或块,所述方法包 括以下步骤:
-将所述视频帧分成宏块,-规定一定数目可用的宏块分段,所述 可用的宏块分段被指定了宏块可以被分割成块的可能的方式;
-对每个可用的宏块分段规定至少一种可用的预测方法,由此提供 一定的有限数目的可用宏块分段-预测方法对,每种预测方法规定一种 利用至少一个预测块的运动系数导出宏块内块的预测运动系数的方 法;
-为一个宏块选择可用宏块分段-预测方法对之一,和
-将宏块分成块,并利用所选的宏块分段-预测方法对导出所述的 宏块内块的预测运动系数。
另外,本发明还涉及一种对视频信息实施视频补偿编码的编码器, 所述编码器被配置为从至少一种预测块的运动系数中,导出被编码的视 频帧的宏块内块的预测运动系数,所述至少一种预测块是预先在视频帧 内被编码的宏块或块,所述编码器还被配置为:
-接收视频信息帧,
-将所述视频信息帧划分成宏块,
-规定一定数目可用的宏块分段,所述可用的宏块分段规定宏块可 以被分割成块的可能的方式,
-为每种可用的宏块分段规定至少一种可用的预测方法,由此提供 某种有限数目的可用宏块分段-预测方法对,每种预测方法利用至少一 个预测块的运动系数为宏块内的块导出预测运动系数规定一种方法;
-从可用的宏块分段-预测方法对中选择一个宏块分段-预测方 法对,
-利用由所选的宏块分段-预测方法对指定的所述宏块分段分割 一个宏块,和
-利用所选的预测方法导出所述的宏块内的块的预测运动系数。
在依据本发明的方法中,一部分当前的视频信息,典型的做法是一 个当前帧,被划分-或,换句话说,被分成段-成宏块,这些宏块可以 具有任何预先确定的形状,但典型的做法,它们是四边形的。而且,规 定一定的可能将宏块分段成块的数目,这些被称为可用的宏块分段。在 这份描述中将一个宏块分成块被称为宏块的分段。典型的做法是,利用 一部分参考的视频信息(典型的做法是一个参考帧)估计一部分当前的 视频信息内一个块的运动,通常利用一组基本函数和运动系数将块的运 动模型化。在依据本发明的方法中所用的运动模型是一种方便的平移运 动模型,但并没有限制使用任何其他的运动模型。在依据本发明的方法 中,至少某些运动系数被表示为预测运动系数与差运动系数之和,某种 预测方法被用于确定预测运动系数。
典型的做法是,通过将一帧分段成宏块,然后按一定的扫描次序处 理宏块,例如在整个帧内从左到右,从顶到底一个接一个地对一部分当 前的视频信息,例如一个当前帧进行编码。换句话说,在本例中编码过 程是从顶到底按行进行的。本发明并不限制扫描宏块的方法。一个宏块 可被分段,在一个宏块内块的运动场被估值。利用已经处理过的邻近宏 块中某些块的运动系数或者相同宏块中已经处理过的某些块的运动系 数产生对于某一块的预测运动系数。已经处理过的宏块的分段和与这些 宏块有关的块的运动系数是已经知道的。
在依据本发明的编码和解码方法中有特色的特征是对于每个宏块 分段有限数目的预测方法。这样构成一定的预先确定的容许的宏块分段 和预测方法对。在此术语预测方法是指两点:首先,它规定对于当前宏 块内某块产生预测运动系数中使用哪些块,其次,它规定对于所述的块 产生预测运动系数中如何使用与这些预测块有关的运动系数。因此,一 个宏块分段一预测方法对毫不含糊地既指明对一个宏块的分段,又指明 如何产生宏块内块的预测运动系数。预测方法可详细说明,例如,一个 块的预测运动系数是从利用某些特定的预测块的运动系数算得的平均 值得到的,或者一个块的预测运动系数是从一个特定的预测块的运动系 数得到的。词“平均值”在此是指描述某组数目的特征值;它可以是, 例如,算术平均值,几何平均值,加权平均值,中值或模。而且,可以 通过从一块的运动系数或平均运动系数推测另一块获得一块的预测系 数。
通过限制每个宏块分段可能的预测方法的数目,与,例如,利用任 何邻近块或它们的组合自由地确定最佳预测运动系数候选者的编码过 程相比较,编码过程的复杂性被降低。在这样一种情况下,存在大量的 预测运动系数候选者,当在对于每种预测方法以前规定预测块并且每个 宏块分段的预测方法数目有限时,可以估计每个宏块分段-预测方法对 的成本。然后可以选择使成本最低的对。
有利的是,每个宏块分段只有一个可用的预测方法。这样就更进一 步降低编码方法的复杂性。而且,在这种情况下,可以直接从所选的宏 块分段推断一块的预测方法。因此必定不需要发送关于预测方法的信息 到解码实体。这样,在这种情况下,将自适应特点,也就是在一个帧内 所用的各种预测方法,添加到编码的信息中并没有增加所发送信息的 量。
通过选择可用的预测块和适当地规定宏块分段-特定的预测方 法,可以利用至少三个预先确定的预测块产生预测运动系数和每个宏块 分段只允许一种预测方法,实现高性能的视频编码方法。对于每个宏 块,选择使成本函数为最小的宏块分段一预测方法对。由本发明所提供 的对运动信息简单的自适应编码在计算和所发送的信息量方面是有效 的,并且获得良好的图像质量。
在依据本发明的方法中被处理的宏块可以是,例如,一个YUV宏块 的亮度分量。依据本发明的方法也可应用于亮度分量和一个YUV宏块的 一个或两个色度分量。该方法可交替地应用于其他的彩色模型或仅有亮 度(单色调)的图像。本发明的使用并不限于任何特定的彩色模型。
一种依据本发明的对已编码的视频信息进行解码的方法,包括从至 少一种预测块的运动系数中,导出被解码的视频帧的宏块内块的预测运 动系数,所述至少一种预测块是预先在视频帧内被解码的宏块或块,所 述方法包括以下的步骤:
-规定一定数目可用的宏块分段,所述可用的宏块分段被指定了宏 块可以被分割成块的可能的方式;
-为每个可用的宏块分段规定至少一种可用的预测方法,由此提供 一定的有限数目的可用宏块分段-预测方法对,每种预测方法规定一种 利用至少一个预测块的运动系数导出宏块内块的预测运动系数的方 法;
-对至少指示从宏块所选的宏块分段的信息进行接收,和
-关于所述规定的宏块分段-预测方法对,确定与所述的宏块的宏 块分段有关的预测方法,并
-利用所确定的预测方法导出所述的宏块内的块的预测运动系 数。
本发明还涉及一种对已编码的视频信息实施解码的解码器,所述解 码器被配置为从至少一种预测块的运动系数中,导出被解码的视频帧的 宏块内块的预测运动系数,所述至少一种预测块是预先在视频帧内被解 码的宏块或块,所述解码器还被配置为:
-规定一定数目可用的宏块分段,所述可用的宏块分段被指定了宏 块可以被分割成块的可能的方式;
-为每种可用的宏块分段规定至少一种可用的预测方法,由此提供 某种有限数目的可用宏块分段-预测方法对,每种预测方法利用至少一 个预测块的运动系数为从宏块内的块中导出预测运动系数规定一种方 法;
-对至少指示从宏块所选的宏块分段的信息进行接收;
-关于所规定的宏块分段-预测方法对,确定与所述宏块的分段有 关的所述预测方法,和
-利用所确定的预测方法,导出所述的宏块内的块的预测运动系 数。
本发明还涉及一种存储设备和一种包括依据本发明的编码器的网 络部件,并涉及一种包括依据本发明的编码器和/或解码器的运动站。
在所附的权利要求中特别阐述了作为本发明的特征考虑的新的特 性。然而,发明本身,无论关于它的结构还是它的操作方法,将与它的 附加的目的和优点一起从以下的特定的实施方案的描述连同阅读附图 得到最好的理解。

附图说明

图1示出一种依据现有技术用于对视频信号视频补偿编码的编码 器,
图2示出一种依据现有技术用于对视频信号视频补偿解码的解码 器,
图3示出一种依据现有技术将一个视频帧分段成宏块和块的方法,
图4示出依据本发明的一种视频补偿视频编码方法的流程图,
图5示出依据本发明的一种视频补偿视频解码方法的流程图,
图6示出各种预测方法,包含不同的预测块,可被用于对依据本发 明的方法中一个当前块C提供预测运动系数,
图7示出多个宏块分段-预测方法对,可用在依据本发明的第一优 选实施方案的方法中,
图8示出多个宏块分段-预测方法对,可用在依据本发明的第二优 选实施方案的方法中,
图9示出依据本发明的运动场估值块和运动场编码块,
图10示出依据本发明的一个视频补偿预测块,
图11示出依据本发明的一个运动站,和
图12简要示出包含依据本发明的网络部件的一种运动远程通信 网。
详述
在依据现有技术的视频补偿视频编码和解码的描述中详细地讨论 图1-3。
图4示出一种依据本发明用于对视频信息编码的方法的流程图。只 有涉及运动编码的特点被示于图4中。例如,它并没有表示预测误差帧 的形成或编码。典型的做法是,这些特点包含在依据本发明的编码方法 中,当然,可以用任何适当的方式实施。
在步骤401中,规定可用的宏块分段,可用的宏块分段可以包括, 例如,如图3中所示出的那些宏块分段。在步骤402中,为每个可用的 宏块分段规定用于预测运动系数的至少一种预测方法,得到一定数目的 可用宏块分段-预测方法对。典型的做法是,对于一定的宏块分段使用 一种平均的预测方法,对于其他的宏块分段从一个单一的已经处理过的 块的运动系数导出预测运动系数,所述的块或者位于当前的宏块中,或 者位于邻近的宏块之一中。通过,例如事先测试各种预测方法可以找到 与每个宏块分段有关的有利的预测方法。用于表示运动场的运动模型可 以影响预测方法的选择。而且,在编码期间选择一种适当的运动模型是 可能的。典型的做法是,在对视频流编码以前脱机实施步骤401和402。 通常,例如,当一个编码器被设计和实施时它们已被实施。
步骤403-413是对视频流中每一帧实施的。在步骤403中一个当前 的视频帧被分成宏块,在步骤404中,开始对一个当前的宏块编码,所 述的宏块是当前进行着视频补偿编码的宏块。在步骤405中,利用可用 的宏块分段方法之一将当前的宏块分成块。在这点上,对于当前宏块哪 种分段是最适当的宏块分段必定没有什么想法,所以选择最佳宏块分段 的一种方法是调查所有的分段方案,然后按照某种准则选择最合适的。
在步骤406中,当前宏块内块的运动向量场被估值,并,例如,按 照在本申请中以前描述过的方法对运动场编码。这样得到对于每个所述 的块的初始运动系数ai和bi。在步骤407中,产生当前宏块内至少一块 的预测运动系数aip和bip。如果每个宏块分段只有一种预测方法,这是 一件简单的任务。否则,选择对于当前的宏块分段可用的预测方法之 一,按照这个预测方法导出预测运动系数。在步骤408中,当前的宏块 内块的初始运动系数被表示为预测运动系数和差运动系数aid与bid之 和。
搜索最佳的宏块分段-预测方法对的一种简单方法示于步骤409- 411中。在步骤408中,计算与当前宏块分段-预测方法对有关的成本L (Sk)。这个成本表示已解码图像的重建误差和发送已解码图像所需的 位数之间的交换,它利用Lagrangian倍数λ将重建误差的量度D(Sk) 与发送所需的位的量度R(Sk)联系在一起。典型情况下,发送所需的 位的量度R(Sk)是指至少表示差运动系数所需的位和表示相联系的预 测误差所需的位,它也可以包含某些信号信息。
每个可能的宏块分段-预测方法对被检查,步骤405-409的环被 重复直到预测运动系数和与所有可用的宏块分段-观测方法对对应的 成本函被评估为止(步骤410)。在步骤411中,选择得到最小成本的 宏块分段-预测方法对。
在步骤412中,指明对于当前宏块的所选的宏块分段-预测方法对 的信息和在当前的宏块内至少一块的差运动系数aid和bid被发送到接收 机或存入存储媒体中。指明所选的宏块分段-预测方法对的信息可以, 例如,明白地指明宏块的分块和预测方法。如果每个宏块分段只有一种 可能的预测方法,发送只指明当前块的宏块分段的信息可能就够了,在 步骤413中,检查是否当前帧内所有的宏块已被处理过。如果还没有, 则在步骤404中开始下一个宏块的处理。
在依据本发明的方法中,照此方式发送对一个帧内某些宏块或某些 块的运动系数是可能的。这是可能发生的,例如,如果没有宏块分段- 预测方法对在要发送的信息量方面与为了表示初始运动系数ai和bi以 及相关联的预测误差信息所需的信息量相比较有所减少的话。对于宏块 分段-预测方法对未被规定的某些宏块或块使用预测方法也是可能 的。
图5示出一种依据本发明用于对已编码的视频流解码的方法的流程 图。在步骤501中,通过,例如,从存储部件提取以前已被存储的信息 来规定关于可用的宏块分段的信息。解码方法需要了解一个接收到的已 编码视频流可能包括哪类的宏块分段。在步骤502中,规定关于可用的 宏块分段-预测方法对。典型情况下,步骤501和502在接收已编码视 频流以前被脱机实施。它们可以,例如,在解码器的设计和实施期间被 实施。
步骤503-507在对一个视频帧解码期间被实施。在步骤503中,接 收指明对一个当前的宏块分段和预测方法的信息。如果每个宏块分段只 有一种可用的预测方法,如以前解释过的那样,指明预测方法的信息是 不需要的。在步骤504中,指明对于当前宏块内至少一块的差运动系数 aid和bid的信息被接收到。在步骤505中,利用在步骤503中接收到的 信息,解码实体确定预测方法,利用所确定的预测方法将产生对于当前 宏块内的块的预测运动系数。预测方法指明与某一块有关的预测块,并 如何利用预测块的运动系数产生对于当前块的预测系数,并不需要发送 关于与当前宏块内当前块有关的预测运动系数值的信息,因为它们可以 根据接收到的有关对于当前宏块所选的分段和预测方法的信息在解码 器中被确定。在步骤506中,产生预测运动系数aip和bip,在步骤507 中,利用差运动系数和预测运动系数产生运动系数ai和bi。
图6简要示出用于对一个当前块C提供预测运动系数的四种不同的 预测方法60A,60B,60C和60D。这四种预测方法是作为预测方法的例 子给出的,可用在依据本发明的方法中,依据它们与当前块C的空间关 系确定预测块(也就是,用于构成对于当前块的预测运动系数的那些 块)。在这些预测方法中,预测块受某些像素位置支配。这些像素位置 只是规定对于一个当前块的预测块的一种方法,它们在此被描述是为了 帮助理解在某些预测方法中如何选择预测块。在图6所示的方法中,像 素位置对于所有的方法是相同的。预测块L被规定为包括像素位置61 的块,像素位置61是从左侧邻近块C最上面的像素。同样,预测块U 被规定为包括像素位置62的块,而像素位置62是从上面邻近块C最左 边的像素。而且,预测块UR被规定为包括像素位置63的块,而像素位 置63是与块C的右顶角像素角对角的像素。
在第一预测方法60A中,使用三个预测块L,U和UR。可以从L,U 和UR预测块的运动系数的平均值导出为块C所产生的预测运动系数 aip,bip。平均值可以是,例如,块L,U和UR的运动系数值的中值。在 第二预测方法60B中,预测运动系数是从预测块L的运动系数导出的。 同样,在第三预测方法中,预测运动系数是从预测块U的运动系数导出 的,在第四预测方法中,它们是从预测块UR的运动系数导出的。在产 生对于所述的块的预测运动系数中只使用一个预测块时,提出只有一个 像素位置与某一块有关的概念,在产生对于所述的块的预测运动系数中 使用一个以上的预测块时,提出一个以上的像素位置与一个块有关的概 念,也被用于图7和8中。
在图6中示出的用于预测方法60A的相邻宏块的分段只是一个例 子。当用如图6中所示的像素位置规定预测块时,可毫不含糊地确定预 测块,不管相邻宏块或当前宏块的宏块分段如何。图6中三种像素位置 是一个例子,像素的数目可以不同,它们可位于其他的地方。典型情况 下,规定预测块的像素位置与一个当前块C相关联,它们位于当前块C 的边缘上。
在依据本发明第一优选实施方案的方法中,有一定数目的可用宏块 分段和与每个宏块分段有关的至少一种预测方法,图7简要示出三种宏 块分段70,71和72,它们是在本发明第一优选实施方案中可用宏块分 段的一个例子。在宏块分段70中,矩形宏块实际上未被分段,而是被 当作一个单一的块处理。在宏块分段71中,利用一条垂直线将宏块划 分成两个矩形块。同样,在宏块分段72中,用一条水平线将宏块划分 成两个矩形块。宏块大小可以是16×16像素,可以采用,例如,平移 的运动模型。
图7还示出在依据第一优选实施方案的方法中与宏块分段有关的预 测方法其他方案的几个例子。如图6中所示,利用与当前宏块内的块具 有一种空间关系的某些像素位置规定对于当前宏块内的块的预测块。作 为一个例子,图7中的像素位置是与图6中相同的。当前的宏块被按照 例子70分段时,对于包含当前宏块的单一块的预测系数可以利用L,U 和UR预测块(宏块分段-预测方法对70A)的运动系数的平均值导出, 或者它们可以从预测块L(对70B),预测块U(对70C)或预测块UR (对70D)的运动系数导出。
图7也示出某些预测方法的方案,例如宏块分段71和72。如图7 中可见,一个宏块内的每一块最好拥有自己的相关联的预测块。当前宏 块内已经被处理过的块本身可以作为相同的宏块内其他块的预测块。作 为一个例子,考虑宏块分段-预测方法对71A,其中对于当前宏块内每 一块C1和C2的预测运动系数从块特有的预测块的运动系数的平均值导 出。在这预测方法中块C1对于块C2起着预测块的作用。宏块分段-预 测方法对71B,71C,71D和71E是与宏块分段71有关的可能的预测方 法的又一些例子。同样,对于宏块分段72提出各种预测方法的方案。
在依据本发明的第一优选实施方案的方法中,通常对于宏块分段- 预测方法对70A,70B,70C,70D,71A,71B,71C,71D,71E,72A,72B, 72C和72D中每对的Lagrangian成本函数被评估。然后,如以上关于依 据本发明的编码方法中所描述的那样,使成本函数为最小的对被选作在 对宏块编码中使用的实际的宏块分段。
而且,相邻宏块的分段影响对当前宏块可用的宏块分段一预测方法 对的数目。换句话说,相邻宏块的分段可导致这样一种情况,在其中图 7中所示的某些对不可能用于一个当前的宏块或者某些额外的宏块分段 -预测方法对,但对于当前的宏块是可用的。如果相邻宏块的宏块分段 将对于某种宏块分段可用的宏块分段-预测方法对的选择限制为,例如, 只有一个宏块分段-预测方法对,则除了指明当前宏块分段的信息外, 发送指明所选的预测方法的信息可能是不必要的。当,例如,使用依据 本发明第一优选实施方案的方法时,解调实体可以从以前接收到的宏块 分段推断预测方法。
在依据本发明第二优选实施方案的方法中,每个宏块分段只有一种 可用的预测方法。在这种情况下,指明所选的宏块分段的信息可被用于 隐含地指明所选的预测方法(参照图4中步骤412)。在这种情况下典型 的做法是,在对于每个可用的宏块分段-预测方法对的编码过程中评估 成本函数,使成本函数为最小的对被选择在对当前宏块的编码中使用。 图8示出多个宏块分段-预测方法对的一个例子,可以使用在依据第二 优选实施方案的方法中。
图8示出六种可能的宏块分段:单一块(宏块分段70),宏块用垂直 划分线划分一次(71)或用水平划分线划分一次(72),宏块用垂直划分 线划分一次和用水平划分线划分一次(83),宏块用垂直划分线划分一次 和用水平划分线划分三次(84),用垂直划分线划分三次和用水平划分线 划分一次(85)。如图6和7中所示的那样,图8中的小黑方块简单表示 预测方法。
在本发明的这个实施方案中,预测方法70A与宏块分段70相关联, 预测方法71B被连同宏块分段71使用,预测方法72B被连同宏块分段72 使用。这些宏块分段-预测方法对的选择是非常直观的。当前的宏块被 用宏块分段71分段时,预料左面的块C1和右面的块C2以某种不同的方 式运动是合乎情理的,假定左面的块C1将以类似方式运动到预测块L并 从块C1的预测块L的运动系数导出对于块C1的预测运动系数是完全自 然的。同样,在导出对于右面的块C2的预测运动系数中使用块C2的预 测块UR的运动系数是讲得通的。类似的理由适用于与宏块分段72关联 的预测方法。当前的宏块未被分成较小的块时(宏块分段70),并不清楚 哪些相邻的块将提供良好的预测运动系数,在预测方法70A中利用三种 预测块L,U和UR计算预测运动系数的平均值。
在与宏块分段83有关的预测方法中,利用三种预测块作为平均值 导出对于当前宏块内每块的预测运动系数。对于当前宏块内的块C4,没 有可用的UR预测块,因为该块还未被处理。因此,利用当前宏块内块 C1,C2和C3导出对于块C4的预测运动系数。如图8中所规定的那样, 作为预测块的平均值导出与宏块分段84有关的块C1,C3,C5和C7的 预测运动系数。对于与宏块分段84有关的块C2,C4,C6和C8,分别从 每块的左边的块,也就是当前宏块的块C1,C3,C5和C7的运动系数导 出预测运动系数。如图8中所规定的那样,作为平均值产生与宏块分段 85有关的块的预测运动系数。在宏块分段85中又没有对于块C8可用的 UR预测块,因此,对于该块在产生预测运动系数中使用相同宏块内的块 C3,C4和C7,与宏块分段85有关的预测方法的第二种合乎情理的方案 是,例如,对于宏块85上行中块的中值预测,并顺序使用这些块的运 动系数,导出对于下行中块的预测运动系数。
预测块的数目和用作预测块的块的选择可还取决于帧中当前宏块 的位置和帧内块/宏块的扫描次序。例如,如果编码过程从帧的左顶角 开始,则在帧的左顶角中的块没有可用的预测块。因此,对于这一块的 预测运动系数通常为零。对于帧的上边界上的块,通常使用左边的预测 块(预测块L)进行预测。对于左边的帧边界上的块,没有左边的(L) 预测块可用。如果对于左边的帧边界上的块采用平均预测,可以假定这 些块的运动系数为零。同样,对于在右边的帧边界上的块,没有右上 (UR)的预测块。可以,例如,使用与图8中关于宏块分段83的块C4 所描述的类似方法导出对于这些块的预测运动系数。
在依据本发明的方法中所用的预测方法的细节并不限于中值预测 或单一块预测。在以前的描述中它们是作为例子提出的。而且,任何已 经处理过的块可用于构成对于某一块的预测运动场/系数。以上讨论过 的宏块分段-预测方法对也是作为一些可行的对的例子提出的。在依据 本发明的其他的实施方案的方法中,宏块分段,预测方法和宏块分段与 预测方法之间的映像可以与以上所描述的不同。
图9示出依据本发明的运动场估值方框11′和运动场编码方框12′的 一个例子。图10示出依据本发明的视频补偿预测方框13′/21′的一个例 子。典型情况下依据本发明的编码器包括所有这些方框,而依据本发明 的解码器包括视频补偿预测方框21′。
在运动场编码方框11′中,有一个宏块分段方框111,它将输入的宏 块分成块。可用的宏块分段方框112包含有关可能的宏块分段Sk。在图 9中,通过将每种分段表示成从宏块分段块111离开的箭头来说明可能 的宏块分段的数目。在运动向量场估值方框113中处理各种宏块分段, 与每种宏块分段对应的初始运动系数a0i,...,ani,b0i,...,bni被进一步发 送到视频补偿预测方框12′。运动向量场编码方框121将与每个分段有 关的被估值的运动场编码。分段-预测方法映像方框122负责对预测运 动场方框123指明与每个宏块分段有关的正确的预测方法。在差运动系 数构成方框124中块的运动场被表示为差运动系数。在宏块分段选择方 框125中计算宏块分段-预测方法对的成本,并选择最适当的宏块分段 -预测方法对。差运动系数和指明所选的分段的某些信息被进一步传 送。指明所选的分段的信息也可以是隐含的。例如,如果只有一个宏块 分段产生四块,并且所发送的数据格式对于正在接收与某个宏块有关的 四对差运动系数的接收机是清楚的,它可以确定正确的分段,如果每个 宏块分段有各种可用的预测方法,可能需要发送也指明所选的预测方法 的某些信息。典型的做法是,关于预测误差帧的信息也发送到解码器, 以便能够准确地重建图像。
视频补偿预测方框13′/21′接收关于差运动系数的信息和关于一个 宏块分段的(隐含的或明显的)信息。如果每个宏块分段有一个以上的 预测方法可用,它也可以接收关于所选的预测方法的信息。在预测运动 系数构成方框131中分段信息被用于产生正确的预测运动系数。分段- 预测方法映像方框132被用于存储关于允许的宏块分段和预测方法对的 信息。在运动系数构成方框133中构成的预测运动系数和接收到的差运 动系数被用于构成运动系数。运动系数被进一步发送到运动向量场解码 方框134。
可以利用硬件或软件,或利用它们的适当组合实现依据本发明的编 码器或解码器。用软件实现的编码器或解码器可以是,例如,一个分离 的程序或者一个可被各种程序使用的软件积木块。在以上的描述和附图 中,功能块被表示为分离的单元,但是,这些块的功能可用一个软件程 序单元实现。
在一个功能单元中实现依据本发明的编码器和依据本发明的解码 器也是可能的。这样的一种单元被称为编码器解码器。依据本发明的编 码解码器可以是一个计算机程序或者一个计算机程序部件,或者它至少 可以部分地用硬件实现。
图11示出一种依据本发明实施方案的运动站MS、一个中央处理单 元、微处理器μP控制负责运动站不同功能块:随机存取存储器RAM,射 频块RF,只读存储器ROM,具有显示器DPL和键盘KBD的用户接口UI, 和数码相机块CAM。微处理器的操作指令,也就是程序代码和运动站的 基本功能在运动站中已经事先,例如,在制造过程期间存入ROM中。按 照它的程序,微处理器利用RF块在无线电路径上发送和接收消息。微 处理器监测用户接口UI的状态并控制数码相机块CAM,对用户的命令作 出响应,命令相机块CAM将数字图像记录到RAM中,一旦图像被捕获, 或另一种方案,在捕获过程期间,微处理器将图像分段成为图像段,并 对各段实施视频补偿编码,以便如以前的描述中所解释的那样,产生被 补偿的图像,用户可以命令运动站在它的显示器上显示图像或利用RF 块将压缩的图像发送到另一个运动站,一个有线电话或另一个远程通信 设备。在一种优选实施方案中,只要第一段-被编码就开始这样的图像 数据发送,所以接收者可以用最少的延时开始相应的解码过程。在另一 种实施方案中,运动站包括一个专用于编码并可能也用于数字视频数据 解码的编码器方框ENC。
图12是依据本发明实施方案的一种运动远程通信网的简图。运动 站MS借助于无线电链路与基站BTS通信,基站被进一步通过所谓的Abis 接口连到控制和管理几个基站的基站控制器BSC。由许多基站BTS(典 型情况下,由几十个基站)和控制基站的一个单一的基站控制器BSC组 成的实体被称为基站子系统BSS。尤其是,基站控制器BSC管理无线电 通信信道和转交。另一方面,基站控制器BSC被通过所谓的A接口连到 协调到达或来自运动站的连接的形成的运动服务交换中心MSC,通过运 动服务交换中心MSC完成对运动通信网外部的进一步连接。在运动通信 网的外部可以还存在通过网关GTW连到运动通信网的其他网络,例如, 因特网或公共交换电话网(PSTN)。在这样一种外部网络中,或在远程 通信网中,可以放置视频解码或编码站,如计算机PC。在本发明的实施 方案中,运动远程通信网包括一个视频服务器VSRVR,提供视频数据到 预订这样一种服务的MS。如以前在本文件中所描述的那样,这种视频数 据被利用视频补偿视频压缩方法压缩,视频服务器可以对一个联机的视 频源起着网关的功能或者它可以包括以前记录到的电视片断。典型的电 视电话应用可以包括,例如,两个运动站或一个运动站MS和一个连到 PSTN的电视电话,一个连到因特网的PC,或一个或者连到因特网或者 连到PSTN的H.261兼容的终端。
从以上的描述看来,对于本领域的技术人员将是明显的,可以在本 发明的范围内完成各种修改。虽然本发明的许多优选实施方案已被作了 详细描述,应该清楚,对它的许多修改和变更是可能的,所有这些都将 落在本发明的真正精神和范围内。