用于在电信通信系统中传送视频帧的方法和设备转让专利

申请号 : CN200610153497.6

文献号 : CN100591131C

文献日 :

基本信息:

PDF:

法律信息:

相似专利:

发明人 : J·莱尼马

申请人 : 诺基亚有限公司

摘要 :

一种在一个电信通信系统中编码视频帧的方法包括:形成连续静态帧的一个视频帧,储存至少一帧的帧重现数据作为一个参考帧和较早编码的邻接块的移动数据,借助一个或多个较早编码的邻接块的移动数据确定该被编码的块的移动数据,该邻接块是借助储存的参考帧形成的,确定表示被编码块的帧重现数据和移动数据,由此提供一个预定的编码效率和图像质量。

权利要求 :

1.一种用于在包括连续静态视频帧的视频系列的视频帧中编码 图像块的方法,所述方法包括:存储至少一个视频帧作为参考帧;

存储要编码的图像块的一个或者多个先前已编码的邻接块的运 动数据;

将要编码的图像块的参考帧与先前已编码的邻接块的参考帧进 行比较;和使用与要编码的图像块具有相同参考帧的仅一个或多个先前已 编码的邻接块的所存储运动数据,定义针对要编码的图像块的运动 数据。

2.根据权利要求1所述的方法,还包括:

为所述要编码的图像块选择运动数据以供使用,以提供具有预 定的画面质量的预定的编码效率。

3.根据权利要求1或者2所述的方法,其中所述参考帧被存储 为块。

4.根据权利要求1或者2所述的方法,其中所述参考帧被存储 为帧。

5.根据权利要求1或2所述的方法,其中如果仅有一个邻接块 被中间编码并且所述邻接块具有与为要编码的图像块获得第一运动 数据所使用的参考帧相同的参考帧,那么就仅仅使用一个先前已编 码的邻接块的所存储的运动数据,编码所述要编码的图像块。

6.根据权利要求1或2所述的方法,其中所述图像块的运动借 助于运动矢量来表示。

7.根据权利要求1或2所述的方法,其中所述先前已编码的邻 接块是所述要编码的块的最接近的邻接块。

8.根据权利要求1或2所述的方法,其中所述先前已编码的邻 接块并不在所述要编码的帧块的最接近的距离处,而是远离所述要 编码的块。

9.根据权利要求2所述的方法,还包括:

通过比较要编码的图像块和使用选定的运动数据而得到的预测 块,获得预测误差。

10.根据权利要求2所述的方法,还包括:

使用拉格朗日函数来估算编码效率。

11.一种用户终端,包括:

用于从连续的静态视频帧形成视频序列的装置;

用于将至少一个视频帧存储为参考帧的装置;

用于存储要编码的图像块的一个或者多个先前已编码的邻接块 的运动数据的装置;

用于将要编码的图像块的参考帧与先前已编码的邻接块的参考 帧进行比较的装置;和用于使用与要编码的图像块具有相同参考帧的仅一个或多个先 前已编码的邻接块的所存储运动数据,定义针对要编码的图像块的 运动数据的装置。

12.根据权利要求11所述的用户终端,还包括:用于为要编码的图像块选择运动数据以供使用,以提供具有预 定的画面质量的预定编码效率的装置。

13.根据权利要求11或者12所述的用户终端,其中所述参考帧 被存储为块。

14.根据权利要求11或者12所述的用户终端,其中所述参考帧 被存储为帧。

15.根据权利要求11或者12所述的用户终端,其中如果仅有一 个邻接块被中间编码并且所述邻接块具有与用于为要编码的图像块 获得第一运动数据所使用的参考帧相同的参考帧,那么就仅仅使用 一个先前已编码的邻接块的所存储的运动数据,编码所述要编码的 图像块。

16.根据权利要求11或者12所述的用户终端,其中所述图像 块的运动借助于运动矢量来表示。

17.根据权利要求11或者12所述的用户终端,其中所述先前已 编码的邻接块是所述要编码的块的最接近的邻接块。

18.根据权利要求11或者12所述的用户终端,其中所述先前已 编码的邻接块并不在所述要编码的帧块的最接近的距离处,而是远 离所述要编码的块。

19.根据权利要求12所述的用户终端,还包括:用于通过比较要编码的图像块和使用选定的运动数据而得到的 预测块,获得预测误差的装置。

20.根据权利要求12所述的用户终端,还包括:使用拉格朗日函数来估算编码效率的装置。

21.一种视频编码器,包括:

用于从连续静态视频帧形成视频序列的装置;

用于将至少一个视频帧存储为参考帧的装置;

用于存储要编码的图像块的一个或者多个先前已编码的邻接块 的运动数据的装置;

用于将要编码的图像块的参考帧与先前已编码的邻接块的参考 帧进行比较的装置;和用于使用与要编码的图像块具有相同参考帧的仅一个或多个先 前已编码的邻接块的所存储运动数据,定义针对要编码的图像块的 运动数据的装置。

22.根据权利要求21所述的视频编码器,还包括:用于为要编码的图像块选择运动数据以供使用,以提供具有预 定的画面质量的预定的编码效率的装置。

23.根据权利要求21或者22所述的视频编码器,其中所述参考 帧被存储为帧。

24.根据权利要求21或者22所述的视频编码器,其中所述参考 帧被存储为块。

25.根据权利要求21或者22所述的视频编码器,其中如果仅有 一个邻接块被中间编码并且所述邻接块具有与为要编码的图像块获 得第一运动数据所使用的参考帧相同的参考帧,那么就仅仅使用一 个先前已编码的邻接块的所存储的运动数据,编码所述要编码的图 像块。

26.根据权利要求21或者22所述的视频编码器,所述图像块的 运动借助于运动矢量来表示。

27.根据权利要求21或者22所述的视频编码器,其中所述先前 已编码的邻接块是所述要编码的块的最接近的邻接块。

28.根据权利要求21或者22所述的视频编码器,其中所述先前 已编码的邻接块并不在所述要编码的帧块的最接近的距离处,而是 远离所述要编码的块。

29.根据权利要求22所述的视频编码器,还包括:用于通过比较要编码的图像块和使用选定的运动数据而得到的 预测块,获得预测误差的装置。

30.根据权利要求22所述的视频编码器,还包括:用于使用拉格朗日函数来估算编码效率的装置。

说明书 :

本申请是分案申请,其母案申请的国家申请号为00819925.6,其 母案申请的国际申请号为PCT/F100/00686,申请日为2000年8月11 日,发明创造的名称为“用于在电信通信系统中传送视频帧的方法和 设备”。

技术领域

本发明涉及在一个电信通信系统中用于编码和译码一个视频帧的 方法和设备,当该视频帧由一串连续的静态的帧组成时,其中发送的 帧一般被分成帧块或段,例如像素组,对在每个帧块中的每个帧和数 据的细节一般包括指示该帧块的亮度,颜色和位置的信息。

背景技术

由于需要大量数据传送一个视频帧,在电信通信系统中,例如电 视电话,电视会议系统或国际互联网连接中传送视频帧是要求的一个 任务,因为需要多位传送数据,所以该数据传输率必须更高。已开发 各种方法来解决该问题。为传送一个帧,该帧通常分成其大小被选择 适应该系统的帧块。帧块信息一般包括在该帧本身中的该帧块的亮 度、颜色和位置的信息。该帧块数据由每块使用理想的编码方法进行 压缩。压缩是基于排除次要的数据。压缩方法主要分为三类:视频冗 余简缩,空间冗余简缩和暂时冗余简缩。压缩时一般用这些方法的各 种组合。
例如应用YUV颜色模式到频谱冗余简缩。YUV颜色模式使用这样一 个事实,即人类眼睛对亮度的改变灵敏于对色度即颜色的改变。该YUV 模式具有一个亮度分量(Y)和两个色度分量(U,V)。该色度分量也 是二次取样的。例如,按H.263视频编码标准一个亮度块是16×16个 像素和覆盖与亮度块相同区域的该两个色度块是8×8个像素。一个亮 度块和两个色度块的组合在该标准中被称为一个宏块。
为减小空间冗余,使用例如离散余弦变换(DCT),其中被压缩的 块最好是8×8个像素。在DCT中,一个帧块的像素表示被变换到一个 空间频率表示。此外,只有存在在一个帧块中的信号频率具有高幅度 系数,而不存在一个帧块中的信号的系数接近零。DCT也是一种无损耗 变换以及只是在量化时对信号引起干扰。
可以通过利用这样一个事实来减小暂时冗余,即连续帧通常彼此 是类似的,所以替代压缩每个单独帧将产生该帧块的移动数据。基本 原理如下:探索已更早被编码的尽可能好的一个参考块用于被编码的 帧块,模拟该参考块和被编码的该帧之间的移动和传送计算的移动矢 量系数到接收机。在被编码的该块和该参考块之间的差被表示成一个 预测误差分量或帧。问题是发现通过比较所要求的产生尽可能好的一 个编码系数的一个参考块(足够好的图像质量和尽可能少的位数)和 高的计算能力和由此还有计算时间。

发明内容

本发明的目的在于提供一种改进编码视频帧的方法,改进的视频 编码器和改进的用户终端。本发明是基于使用至少一个或多个参考帧 或参考块和一个或多个较早编码的邻接块的帧再生数据以便编码该帧 再生数据。为使用选择按本发明方法或按其他已知方法编码的帧再生 数据和移动数据取决于所要求的编码效率是如何用足够的图像质量得 到的。
在一个电信通信系统中用编码视频帧的方法达到该目的。该方法 包括:形成连续的静态帧的一个视频帧,存储至少一个帧的帧再生数 据作为较早编码的邻接块的一个参考帧和移动数据,借助一个或多个 较早编码的邻接块确定被编码块的移动数据,该邻接块借助该存储的 参考帧来形成,确定被编码的帧的帧再生数据,为使用选择代表被编 码的块的帧再生数据和移动数据,从而提供了具有预定图像质量的一 个预定的编码效率。
在一个电信通信系统中,用编码视频帧的方法达到该目的,包括: 形成连续的静态帧的一个视频帧,存储至少一个帧的帧再生数据作为 较早的编码的邻接块的一个参考帧和移动数据,仅使用具有用来编码 被编码块的帧再生数据的相同参考帧的邻接块确定一个被编码帧块的 移动数据,为使用选择帧再生数据和移动数据,从而提供了具有预定 图像质量的一个预定的编码效率。
本发明还涉及一个用户终端包括:用于形成连续静态帧的一个视 频帧的装置,用于存储至少一个帧的帧再生数据作为较早编码的邻接 块的一个参考帧和移动数据的装置,用于借助一个或多个较早编码的 邻接块确定被编码块的移动数据的装置,该邻接块借助存储的参考帧 来形成,用于确定被编码帧的帧再生数据的装置,用于为使用选择代 表被编码块的帧再生数据和移动数据的装置,从而提供了具有预定图 像质量的一个预定的编码效率。
本发明还涉及一个用户终端包括:用于形成连续静态帧的一个视 频帧的装置,用于存储至少一个帧的帧再生数据作为较早编码的邻接 块的一个参考帧和移动数据的装置,用于仅使用具有用来编码被编码 块的帧再生数据的相同参考帧的邻接块确定一个被编码帧块的移动数 据的装置,用于为使用选择帧再生数据和移动数据的装置,从而提供 了具有预定图像质量的一个预定的编码效率。
本发明还涉及一个视频编码器包括:用于形成连续静态帧的一个 视频帧的装置,用于存储至少一个帧的帧再生数据作为较早编码的邻 接块的一个参考帧和移动数据的装置,用于借助一个或多个较早编码 的邻接块的移动数据确定被编码块的移动数据的装置,该邻接块借助 存储的参考帧来形成,用于确定被编码帧的帧再生数据的装置,用于 为使用选择代表被编码块的帧再生数据和移动数据的装置,从而提供 了具有预定图像质量的一个预定的编码效率。
本发明还涉及一个视频编码器包括:用于形成连续静态帧的一个 视频帧的装置,用于存储至少一个帧的帧再生数据作为较早编码的邻 接块的一个参考帧和移动数据的装置,用于仅使用具有用来编码被编 码块的帧再生数据的相同参考帧的邻接块确定一个被编码帧块的移动 数据的装置,用于为使用选择帧再生数据和移动数据的装置,从而提 供了具有预定图像质量的一个预定的编码效率。
本发明还涉及能由计算机读出并执行电信通信系统中编码视频帧 方法的计算机程序,其包括:形成连续静态帧的一个视频帧,存储至 少一个帧的帧再生数据作为较早编码的邻接块的一个参考帧和移动数 据,借助一个或多个较早编码的邻接块的移动数据确定被编码块的移 动数据,该邻接块借助存储的参考帧来形成,确定被编码帧的帧再生 数据,为使用选择代表被编码块的帧再生数据和移动数据,从而提供 了具有预定图像质量的一个预定的编码效率。
本发明还涉及能由计算机该出并执行电信通信系统中编码视频帧 方法的计算机程序,其包括:形成连续静态帧的一个视频帧,存储至 少一个帧的帧再生数据作为较早编码的邻接块的一个参考帧和移动数 据,仅使用具有用来编码被编码块的帧再生数据的相同参考帧的邻接 块确定一个被编码帧块的移动数据,为使用选择帧再生数据和移动数 据,从而提供了具有预定图像质量的一个预定的编码效率。
本发明的方法和设备提供在计算时间和计算效率方面的节省,同 时保持良好的图像质量。

附图说明

以下借助参照附图的优选实施例描述本发明,其中:
图1说明一个电信通信系统的例子,
图2a-2c说明使用一个参考帧的矢量的一个估算过程,
图3说明使用邻接块的一个移动矢量的一个估算过程,
图4是一个流程图,说明寻找一个参考块和预测一个移动矢量的 方法步骤,
图5说明寻找一个参考块和预测一个移动矢量的一个例子,
图6说明编码器的一个例子,
图7说明译码器的一个例子,
图8说明用户终端的一个例子,
图9说明寻找一个参考块和预测一个移动矢量的第二个例子。

具体实施方式

图1以简化方式说明能应用本发明解决方案的一个数字数据传输 系统。这里是一个蜂窝无线电系统的一部分,该系统包括一个基站 104,它用无线电连接108和110同用户终端100和102连络,用户终 端100和102可以是固定安置的终端或在一个运载工具中或可以是便 携式的终端。在该基站中的收发信机连接到一个天线单元,由它实施 对用户终端的无线电链路。该基站还与一个发送连接网络中另外处的 终端的基站拉制器106连接。该基站控制器以集中的方式控制若干与 其连接的基站。在该基站控制器中的一个控制单元维护调用控制,数 据业务控制,移动性管理,收集统计量,和发信令。
蜂窝无线电系统也可连接到公共电话网络,其中代码转换机属于 该系统的情况将用在该公共电话网络和该蜂窝无线电网络之间的语音 的不同的数字编码格式变换到彼此相适应,例如从该固定网络的 64Kbit/s转换到蜂窝无线电网络格式(例如13Kbit/s)和反过来也一 样。
对本专业技术人员显见的是,本发明也可应用到固定的电信通信 系统,例如国际因特网。
编码一个视频帧的目的在于减少传送该帧所要求的位数。图2a-2c 以简单方式表示移动的现有技术编码方法,其基于使用较早存储在存 储器中的一个参考帧预测一个帧块(术语块也在文本中使用)的移动 矢量。这种编码类型称为交互编码,其意味着在压缩编码情况下使用 一串帧中的帧之间的类似性。
在图2a-2c示例中,参考帧206已被分成多个块或段并较早被编 码。图2b-2c并不表示多个帧块。该参考帧可以是在该帧串中被编码 的帧之前或之后。图2a表示被编码的目前帧204,它也被分成多个块, 其中为清晰起见只表示一块200。这些块的尺寸是N×M。这些块一般 是正方形的,即N=M,但是例如按它们的几何尺寸,也可以是矩形的。 表示在图2c中的目前块200和参考块214在几何尺寸上并不要求类 似,这是因为实际上拍成电影的目标也改变,例如旋转或扭曲。该块 的尺寸和形状被确定适合用于每个考虑下列要素的情况,例如:一个 小的块尺寸提供一较好的图像,但降低了确定的移动矢量的可靠性, 因为该确定是仅借助几个像素进行的。如果使用较小的块,则还必须 产生更多的移动矢量数据,这是因为接着必须将该帧分成更多的块。 此外,当块尺寸大时,确定移动矢量中的快算法是更有效的。例如, 在某些目前视频编码标准中N=M=16。
为了估算该移动,在用于被编码的块200的参考帧206中寻找尽 可能配对的一个参考块是图2c中的214。这些参考块的适合性取决于 选择标准。该选择标准的目的一般是寻找一个块,借助该块有可能以 这样一种方式将要求传送该被编码块的位数减到最小,即图像质量将 保持十分良好。这样该选择标准将取决于应用目标而可以变化。
搜索通常在一个区域中的参考帧206中和由图2b和2c中搜索区 域210描绘的极近距离的某个区域中进行,该一个区域是对应目前帧 204中被编码的块200的一个帧位置中。通过限制该搜索区域小于整个 参考帧,将减少搜索使用的时间和所要求的计算。确定该搜索区域的 尺寸以适用于应用目标,例如通过基于较早编码的帧串的帧确定移动 是慢或快;如果移动慢,则搜索区域可限制得小于移动快的情况。在 预测移动矢量的周围一般进行这种搜索。
在图2a-2c的例子中帧块的位置是用该块左上角中的座标(x,y) 表示的。座标x表示在水平方向的像素或块的位置,而座标y表示在 垂直方向的像素或块的位置。该被编码的块的座标标记为202。在图 2c中,在搜索区域210中已找可能最好的参考帧块214。座标(x,y) 208是这些位置,在那里可能是被编码的块200,如果它没有移动并且 由此和坐标202相同。它们被这样表示其目的用于说明。块212描绘 块200,如果它没有移动并且它们被这样表示目的是为了说明。现在被 编码的帧块的移动能表示成从座标(x+u,y+v)216到座标(x,y)208 的改变。通常,座标(x,y)如上定义,所以被编码的块的移动矢量218 可表示成坐标(u,v)·移动矢量也可使用移动矢量系数和移动模的定 义来表示。
图3以一个简单方式表示现有技术移动编码方法,该编码方法基 于使用被编码帧的较早编码的邻接块预测一个被编码帧块的移动矢量 系数。已经较早地被编码并用来预测该被编码帧块的移动矢量系数的 该被编码的帧块304的邻接块在此被称预测候选。在图3中,该预测 候选是邻接块300,302,306。预测候选300,302,306在图3例中 用某些像素位置308,310,312标记用于识别。预测候选306是在该 编码块的左边并用像素位置308标记,预测候选300高于被编码块并 用像素位置310标记,而预测候选302是在该编码块的右上角用像素 位置312标记。如由图3看出,像素位置308,310,312是以很贴近 编码块304地驻留在它们的块中。应当指出邻接块的数量和位置相对 被编码块可以与图3中所表示的不相同。
在图3所示的情况中,三个预测候选全部用来预测该被编码块304 的移动矢量系数。所要求的移动矢量系数例如可以预测为从这些预测 候选得到的移动矢量系数的一个中值。也有可能只使用一个预测候选 以预测该块304的移动矢量系数,在此情况下,该系数从该预测块306 的移动矢量系数,该预测块300的移动矢量系数或该预测块302的移 动矢量系数得到。
还可以使用比贴近距离更远的较早编码的邻接块,但在此情况下 应考虑在块移动方面的差异通常随距离增长而增加。
帧间的和帧内的编码典型地是编码视频帧中的一块接一块所组合 以得到最可能好的结果。一个内部编码帧能在适当的间隔上传送以防 止从一帧到另一个帧由该传输频道引起的可能的误差的积累,从而最 后导致帧解码的失败。
能使用图2a-2c和3中所示的方法于编码和解码。按编码器使用 的方法,必要的帧数据被传输到解码器作为一个位流。
应指出,如在图3中所示的那样,块也可以分段。最好在这样一 些情况中分段,即在那里帧的不同部分以不同的方式移动,例如背景 保持相同,而一个单独目标例如一个人,一辆车或类似物在移动。一 个帧块可以通过按段垂直地分割它进行分段,如在块300中那样,这 里没有水平地分块的例子,或如在块306那样在两个方向进行分块。 依靠分段通过使用另一个已编码帧的一适当部分还可能减少传输的位 数。
当确定被编码的帧块的移动矢量系数时,使用各种已知的移动估 算模式。不同的模式适于确定例如表示垂直的和水平的移动或表示转 动不同的移动。这样的模式包括拟似的移动模式,其中一个像素,帧 段或块的移动由一个公式表示,其中ΔX和Δy形成移动矢量
ΔX(x,y)=a0+a1x+a2y
Δy(x,y)=b0+b1x+b2y    (1)
其中a0,a1,a2,b0,b1和b2是移动矢量系数以及x和y是矢量分量, 其中x表示在水平方向一个像素或一个块的位置,而y表示在垂直方 向一个像素或一个块的位置,或转换模式,其中一个像素,帧段或块 的移动由一个公式表示,其中ΔX和Δy形成移动矢量
ΔX(x,y)=a0
Δy(x,y)=b0        (2)
其中a0和b0是移动矢量系数,x和y是矢量分量。所使用的移动 模式存储在编码器和解码器的存储器中。如果某些移动模式用于编码 中,则该编码器按移动(例如向上移动,指示在编码中使用的向上移 动的一个模式)选择模式,而按该使用的模式的信息与该移动矢量系 数一起传输到该解码器。
图4是表示视频帧编码方法步骤的流程图。在下列说明书中,例 如,一个帧块系指按由像素形成的YUV模式的一个块,段或宏块。在 方块400开始执行该方法。
在方块402中,一个视频帧由连续的静态帧形成。为形成该视频 帧,静态帧最好在这样一个速度上传送,在该速度上,似人可视系统 不再区分彼此分开的帧。
在方块404中,帧块的编码再生数据(例如像素的颜色和亮度以 及从计算移动矢量系数得到的预测误差帧)存储在存储器中。帧再生 数据例如按应用标准H.263或MPEG编码。如上描述移动矢量系数和预 测误差帧的定义。一个或多个参考帧由存储在存储器中的帧再生数据 形成。此外,较早编码的邻接块的移动数据,即移动矢量系数和一个 可能使用的移动模式存储在存储器中。最优选使用紧靠该被编码的块 的邻接块,但有时也可能使用在该帧中远离的较早编码的块。
在方块406中,被编码块的移动数据借助较早编码的邻接块确定, 最好使用一个或多个邻接块的移动矢量系数。
在方块408中,使用例如一个参考帧确定被编码块的再生数据。
该方法能通过仅使用该邻接块计算被编码帧块的移动数据来加 强,该邻接块具有被用来编码该被编码块的帧再生数据的相同参考 帧。通常在该相同帧串中的帧之间存在着类似性,所以很可能的是在 一个较早编码的帧中找到相应于该被编码块的块或十分类似的块,由 此已找到一个合适的参考块用于一个较早编码的邻接块。例如,在该 参考帧中将使用一个或多个邻接块的移动矢量系数和将限制该被编码 块的参考块的搜索区域到由该邻接块的移动矢量系数确定的环境。
对于其中只有一个帧间编码的邻接块具有与被编码的块相同的参 考帧的情况,该邻接块的移动矢量被选择为一个移动矢量候选,另外 的候选例如可以是由某些邻接块移动矢量计算的一个中值。
应指出,用来编码该块的块以相同方式(帧间)编码,该被编码 的块将用此方式编码,即,如果邻接块是内部编码的,则它不具有参 考帧。如果不存在具有参考帧的预测候选,则可使用现有技术的内部 编码或可检测存储在存储器中的所有参考帧。
一个参考块是帧块,那样即用其编码帧块的帧再生数据的视频编 码器按压缩编码方式使用。选择尽可能与被编码块配对的和由较早编 码并存储在存储器中的一个或多个参考帧搜索的一个帧块作为该参考 块,由此预测误差帧保持尽可能小。
在方块410中,选择该编码方法,用该方法,该被编码的帧块的 帧再生数据和移动数据能被最有利地编码,即,一个预定的编码效率 随一个预定的图像质量实现。应指出,尽管选择该被编码块的编码方 法或者是借助邻接块的移动数据的上述编码方法,或者任何现有技术 方法,例如帧间编码(inter-coding)方法,其中被编码块直接借助 从参考帧获得的参考块编码的。在选择编码方法时,其目的可以例如 是使位数尽可能少同时图像质量对应正常视频图像,或者使位数配对 使用的标准,即使更少的位数将足以获得按应用目标的图像质量。
例如可以借助拉格朗日(Lagrangian)函数估算编码效率,其确 定最有效的段和编码并且它是
L(SK)=D(SK)+λR(SK)        (3)
其中
D(SK)是去扩展(despread)帧中产生的误差。
R(SK)是要求传送该帧的位数,和
λ是拉格朗日常数。
拉格朗日函数描绘了在被传送帧的质量和传输路径上要求的带宽 之间的连接;通常,图像质量越高,带宽越大。选择最有利的压缩编 码经常是在要求的位数和图像质量之间的折衷。
箭头412描绘该方法的一块接一块的重复性直到该帧被编码为 止。应指出该方法最好重复直到帧串中的所有帧被编码为止。
在方块414中执行方法结束。
图5说明当仅使用具有用于编码被编码块的帧再生数据的相同参 考帧的邻接块时,预测移动矢量和获得一个参考块的例子。应指出, 在编码块时通常也使用现有技术方法。最后,该编码方法被选择用于 提供具有满意图像质量的编码效率达到要求的使用场合。
被编码的帧页500分为多个块,其中只表示几个块乃是为清楚起 见。块506是被编码的一个。帧502,504,532和508是存储在存储 器中的参考帧。标记号码1的较早编码的邻接块的块510和514的参 考帧是帧502。与帧502相比较,被编码的块506和参考块510和514 在帧500中不移动。在图中标记号码2的邻接块512的参考帧是帧 504,以及在图中标记号码4的邻接块516的参考帧是帧508。将帧504 和508相比较,在帧500中的块已移动。帧532在编码被编码块506 的邻接块的任一块时并未加以使用,即它不是任一邻接块的一个参考 帧,所以在该例中未使用该帧532去获得用于被编码的块506的一个 参考帧。
接着,邻接块510和514用作被编码块506的移动矢量的预测候 选。进行检测为的是观察预测候选的编码类型(帧间)是否与在编码 目前块中使用的一个相同。如果相同,则块526被用作一个参考块而 移动矢量系数通过计算已由比较块510和518的位置得到的移动矢量 系数的一个平均值或中值而得到,据此得到移动矢量系数用于邻接块 510,和块514和520的位置,据此得到移动矢量系数用于邻接块514。 此外,通过将被编码的块506与参考块526相比较确定一个预测误差 帧。在图5的例子中,在帧500和502中的块位置未改变,所以移动 矢量系数未被确定。
接着,检测邻接块512的编码类型,如果它与在目前块506中使 用的一个相同,则在帧504中寻找一个参考块,而由比较块512和522 得到的移动矢量系数用作块506的移动矢量系数。然后借助该参考块 528确定该预测误差帧。
接着,检测邻接块516的编码类型。如果它与在目前块506中使 用的一个相同,则在帧508中寻找一个参考块,而由比较块516和524 得到的移动矢量系数用作块516的移动矢量系数。然后借助该参考块 530确定该预测误差帧。
块506的移动矢量系数也可以由计算块510,512和514的移动矢 量系数的一个中值或平均值来得到。
同样,如果使用某些移动模式,则指示所使用的移动模式。
块534是内部编码的,所以它不具有参考帧,所以在编码块506 时不使用,除非如果找到一个优选的编码方法。
邻接块的数量和位置以及存储的参考帧的数量可以不同于在图5 中所示的情况。
图9说明预测移动矢量和获得一个参考块的第二个例子。在该例 中,被编码的块仅借助一个邻接块进行编码,只要只有一个邻接块已 被帧间编码,和该邻接块具有与被编码的块相同的参考帧。
被编码的帧900被分成多个块,其中为清楚起见只表示几个块。 块912是被编码的一个块。帧902,904和906是存储在存储器中的参 考帧。较早编码的邻接块914的参考帧(标记为1)是帧902,而块910 的参考帧(标记为2)是帧904。块908是内部编码的,所以它不具有 参考帧。
在图9中的例子将测试对于被编码的块912能否获得存储在存储 器中的所有参考帧的适合的参考块,在本例中为帧902,904,906。 当测试帧902是否具有一个合适的参考块时,块914的移动矢量被用 作该移动矢量预测候选,因为块914仅是三个邻接块的一个块,其参 考帧是帧902。当测试帧904是否具有一个合适的参考块时,块910 的移动矢量用作移动矢量预测候选,因为块910仅是三个邻接块的一 个块,其参考帧是帧904。帧906对任一邻接块不是一个参考帧,所以 在本例中所描述的情况中,移动矢量是使用块910,914和908的一个 中值预测的,例如,在该情况中,内部编码的块908的移动矢量被设 置到零。
应指出,在预测被编码块的移动矢量时,有可能不仅使用邻接块 的移动数据和参考帧数据,而且还使用宏块的段信息,例如该被编码 块属于的段信息。邻接块的数量和位置以及存储的参考块的数量可以 与图9中所示的不相同。
图6表示可实施编码视频帧的上述方法所用的一个编码器例子。 视频编码器的一个设计原则在于使在被编码块In(x,y)620和预测候 选(所选择的参考块)Pn(x,y)之间的预测误差帧En(x,y)600最小。 该预测误差帧定义为被编码块620和该预测候选612之间的差,其在 加法器632中获得,这样
En(x,y)=In(x,y)-Pn(x,y)    (4)
预测块612是通过按本发明的优选实施例的使用一个所选参考帧 和移动矢量的方法得到的。移动矢量Δx(x,y),Δy(x,y)的系数在移 动矢量计算块630中形成作为预测的移动矢量和获得的差系数的和。 按本发明的优选实施例,预测的移动矢量系数是使用具有与被编码块 相同参考帧的邻接块的移动矢量得到的。另外的方法也用于预测移动 矢量,它们中之一个是一种现有技术方法,其中被编码块是直接借助 一个参考帧进行编码的。在一个帧中的所有像素的移动矢量的组称为 一个移动矢量场,由于在一个帧中存在大量的像素,实际上一个帧被 分成视频编码的多个块,和该移动信息被一块接一块地传送到图7中 表示的接收机解码器。
从预测的移动矢量选择至少一个移动矢量或由其形成的移动矢量 场在移动矢量编码块628中编码。例如其中在上面表示例子的现有技 术中已知的移动模式被用于编码。编码的移动矢量或由其形成的移动 矢量场被传送到多路复用器624。
在块618中,一个帧被一段接一段地或一块接一块地多个帧块形 成。该参考块或预测候选具有格式
P n ( x , y ) = R n k [ x + Δ ~ x ( x , y ) , y + Δ ~ y ( x , y ) ] - - - ( 5 )
其中一个或多个参考帧Rnk(x,y)622存储在存储器610中和其中x和 y是矢量分量,x表示水平方向上一个像素,帧段或块的位置,而y表 示它们在垂直方向上的位置,而和形成一个像素,帧段或块的移 动矢量。
在块602中,预测误差帧En(x,y)600被编码,例如借助离散余弦 变换(DCT),其一般表示成最终的2维序列变换。在将它们传送到多 路复用器624和图7中所示的接收机解码器之前,由该DCT转换得到 的系数被量化和编码。
编码器还包括其中解码预测误差帧En(x,y)的解码器块606。预测 误差帧608在加法器634中加到预测块Pn(x,y)612和得到一 个解码的块作为一个结果,从结果得到一个新的参考块,或通过 组合属于相同页的块得到该参考帧614并将其存储在存储器610中。 这样发射机视频编码器和接收机视频编码器都具有相同参考帧或块以 便使用。
在多路复用器624中,包含移动矢量信息的信息与预测误差帧组 合,和该帧信息616被传送到解码器(图7)。
可以用许多方法实施上述视频编码器功能,例如通过在一个处理 器上执行的软件或通过硬件,即独立分量的逻辑设置或ASIC(应用特 定的集成电路)。
图7表示解码器的一个例子,借助它可实施在视频帧传送装置中 用于减小暂时冗余的上述方法。在多路分用器710中可以彼此分离接 收视频信号700的编码的预测误差帧702和编码的移动矢量系数或移 动矢量场系数712。
在解码器的存储器716中,存在至少一个较早编码的邻接块和/或 分成多块的一个参考帧Rnk(x,y)。相同帧块和/或参考帧存储在编码器和 解码器存储器中。
在块714中,以在编码块618(图6)中相同方式形成一个预测候 选Pn(x,y)718。在块704中形成一个解码的预测误差帧706。
在加法器720中,解码的预测误差帧706和预测候选 Pn(x,y)718相加在一起。由此产生该格式的一个解码的块
I ~ n ( x , y ) = P n ( x , y ) + E ~ n ( x , y )
= R n k [ x + Δ ~ x ( x , y ) , y + Δ ~ y ( x , y ) ] + E ~ n ( x , y ) - - - ( 6 )
其中一个或多个较早编码的邻接块和/或分成多个块的参考帧 Rnk(x,y)722存储在存储器716中,其中x和y是矢量分量,其中x表示 在水平方向一个像素或块的位置,而y表示在垂直方向一个像素或块 的位置,而和形成一个像素,帧段或块的移动矢量。
可以用许多方法实施上述视频编码器功能,例如通过在一个处理 器上执行的软件或通过硬件,即独立元件的逻辑设置或ASIC(应用特 定的集成电路)。
图8说明一个无线电系统的一个终端,借助它可实施本发明的优 选实施例的方法。用户终端824的发射机和无线电系统网络元件的发 射机部分地执行相同任务。终端824例如可以是一个移动电话或包括 但不限制本发明的无线电部分的微计算机。所述终端包括一个天线 800,其用于通过一个双工滤波器发射和接收信号。该终端还包括若干 天线或一个多天线系统。该终端还包括一个发射机802,它放大一个被 调信号并将其传送到该天线,一个调制器804,它按选定的调制方法用 包含所要求的信息的数据信号调制载波,一个接收机806,它放大来自 天线的信号,并将其下转换到一个所要求的中频或直接到基带,一个 解调器808,解调接收的信号,使该数据信号能与载波分离。
该用户终端还具有一个控制块816控制终端不同部分的工作,例 始照相机820和视频编解码器822,和采取必要的行动处理由一个用户 产生的用户的谈话或数据,例如数字信号处理(DSP),数字-模拟转 换和滤波。此外,在扩展频谱系统中例如在WCDMA中,信号频谱借助 在一个发射机中的一个伪随机扩展码扩展到宽带并在接收机中去扩 展,由此尽力增加信道的容量。控制块还执行编码和解码,例如信道 和谈话编码。此外,该控制块采用发送的信号和信令信息匹配所使用 的无线电系统的空中接口标准。用户终端包括一个或多个可以是其他 多块或单独块的不同类型的存储器(未示)。在图8例中,控制块还 包括控制终端工作的一个程序。在该图例子中,对一个帧的再生数据 进行编码和解码的视频编码解码器822是单独的,但它也可以是该控 制块816的一部分。
发送帧时,照相机820将一幅数字图像记录进存储器块818。该相 机820还能直接将该图像记录到编码解码器822中。编码解码器借助 上述方法之一或若干方法的组合对选择的帧进行编码。照相机820、编 码解码器822和存储器818可以驻留在用户终端824中或属于单独的 照相机单元826,在此情况下,照相机单元826用接口828连接到用 户终端824。
用户终端的用户必要时可在显示器814上观察帧。例如编码的帧 再生数据按照与谈话或文本数据相同的方式被发送到电信通信系统和 另外的电话。
上述终端的工作块,例如帧编码和解码要求的控制块和编码解码 块822可按多种方式实施,例如通过在一个处理器上执行的软件或通 过硬件,例如独立元件的逻辑设置或ASIC(应用特定的集成电路)。 图中所示的终端功能也可以不同于该图的多种方式被组合到多个工作 块中,例如,该编码解码块822可以分成一个编码器和解码器。
终端的用户接口包括一个扬声器或耳机810、一个麦克风812、一 个显示器814、和可能还有一个键盘,它们都连接到控制块816。
虽然以上已按附图参照例子说明了本发明,但显见的是本发明不 受其限制而是在所附权利要求中公开的发明构思的范围内能以各种方 式加以修改。本发明能同若干视频编码标准,例如H.263或MPEG一起 应用。