会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 视听技术与设备 / 视频编码层 / 有效地预测基于多层的视频帧的方法、及使用该方法的视频编码方法和设备

有效地预测基于多层的视频帧的方法、及使用该方法的视频编码方法和设备

阅读:1211发布:2020-07-07

IPRDB可以提供有效地预测基于多层的视频帧的方法、及使用该方法的视频编码方法和设备专利检索,专利查询,专利分析的服务。并且提供了用于有效地预测视频帧的方法和设备,其在基于多层结构的视频编码中使用帧内模式和帧内BL模式的全部优点。所述方法包括:使用先前重构的、帧内块的第一相邻块,来重构下层的帧内块;从先前存储的对应于第一相邻块的上层的第二相邻块减去第一相邻块;通过使用作为相减的结果而产生的虚拟差异相邻块来执行帧内预测,而产生基于预定的帧内预测模式的差异预测块;将差异预测块与重构的帧内块相加;以及从对应于帧内块的上层的块减去作为相加的结果而产生的预测块。,下面是有效地预测基于多层的视频帧的方法、及使用该方法的视频编码方法和设备专利的具体信息内容。

1.一种有效地预测基于多层的视频帧的方法,所述方法包括:使用先前重构的、帧内块的第一相邻块,来重构下层的帧内块;

从先前存储的与第一相邻块相对应的上层的第二相邻块减去第一相邻 块;

通过使用作为从先前存储的第二相邻块减去第一相邻块的结果而产生的 虚拟差异相邻块来执行帧内预测,而产生基于帧内预测模式的差异预测块;

将差异预测块与重构的帧内块相加;以及

从与帧内块相对应的上层的块减去作为将差异预测块与重构的帧内块相 加的结果而产生的预测块。

2.如权利要求1所述的方法,还包括:如果上层的分辨率与下层的分辨 率不一致,则在从先前存储的第二相邻块减去第一相邻块之前,对第一相邻 块进行上采样。

3.如权利要求2所述的方法,还包括:如果上层的分辨率与下层的分辨 率不一致,则在将差异预测块与重构的帧内块相加之前,对重构的帧内块进 行上采样。

4.如权利要求1所述的方法,其中,帧内预测模式包括9种模式,其包 括:8种方向模式和1种DC模式。

5.如权利要求1所述的方法,其中,从包括8种方向模式和1种DC模 式的9种模式中选择帧内预测模式。

6.如权利要求5所述的方法,其中,通过将基于所述9种模式的9个差 异预测块加到帧内块、并从相加所获得的9个预测的块候选中选择具有与帧 内块相对应的上层的块的最小的图像差异的块候选,而选择帧内预测模式。

7.如权利要求5所述的方法,其中,通过将基于所述9种模式的9个差 异预测块加到帧内块、对9个编码的差异预测的块候选应用比率-失真(R-D) 代价函数、并从9个差异预测的块候选中选择使R-D代价函数最小的块候选, 来执行模式的选择,其中,通过对作为将9个差异预测块加到9个编码的差 异预测的块候选的结果而获得的9个预测的块候选进行编码,而获得所述9 个编码的差异预测的块候选。

8.如权利要求5所述的方法,其中,所选择的帧内预测模式和用于重构 下层的帧内块的最佳帧内预测模式相同。

9.如权利要求1所述的方法,其中,帧内块和第一相邻块各自具有4×4 的大小。

10.如权利要求1所述的方法,其中,第一相邻块包括帧内块的左块、 左上块、上块和右上块,而第二相邻块包括与帧内块相对应的上层的块的左 块、左上块、上块和右上块。

11.一种编码基于多层的视频帧的方法,所述方法包括:使用先前重构的、帧内块的第一相邻块,来重构下层的帧内块;

从先前存储的与第一相邻块相对应的上层的第二相邻块减去第一相邻 块;

通过使用作为从先前存储的第二相邻块减去第一相邻块的结果而产生的 虚拟差异相邻块来执行帧内预测,而产生基于帧内预测模式的差异预测块;

将差异预测块与重构的帧内块相加;

从与帧内块相对应的上层的块减去作为将差异预测块与重构的帧内块相 加的结果而产生的预测块;以及编码作为从与帧内块相对应的上层的块减去所述预测块的结果而产生的 剩余块。

12.如权利要求11所述的方法,其中,从包括8种方向模式和1种DC 模式的9种模式中选择帧内预测模式。

13.如权利要求12所述的方法,其中,通过将基于9种模式的9个差异 预测块加到帧内块、并从通过将差异预测块和重构的帧内块相加而获得的9 个预测的块候选中选择具有与帧内块相对应的上层的块的最小的图像差异的 块候选,而选择帧内预测模式。

14.如权利要求12所述的方法,其中,通过将基于所述9种模式的9 个差异预测块加到帧内块、对9个编码的差异预测的块候选应用R-D代价函 数、并从9个差异预测的块候选中选择使R-D代价函数最小的块候选,来执 行模式的选择,其中,通过对作为将9个差异预测块加到9个编码的差异预 测的块候选的结果而获得的9个预测的块候选进行编码,而获得所述9个编 码的差异预测的块候选。

15.如权利要求12所述的方法,其中,所选择的帧内预测模式和用于重 构下层的帧内块的最佳帧内预测模式相同。

16.如权利要求13所述的方法,还包括:获得在所选择的模式和用于重 构下层的帧内块的最佳帧内预测模式之间的方向差异。

17.一种解码基于多层的视频帧的方法,所述方法包括:使用先前重构的、帧内块的第一相邻块,来重构下层的帧内块;

从先前存储的与第一相邻块相对应的上层的第二相邻块减去第一相邻 块;

通过使用作为从先前存储的第二相邻块减去第一相邻块的结果而产生的 虚拟差异相邻块来执行帧内预测,而产生基于帧内预测模式的差异预测块;

将差异预测块与重构的帧内块相加;

重构与帧内块相对应的上层的块;以及

将重构的上层的块与作为将差异预测块与重构的帧内块相加的结果而获 取的预测块相加。

18.如权利要求17所述的方法,其中,帧内预测模式是从视频编码器传 送的、包括8种方向模式和1种DC模式的9种模式之一。

19.如权利要求18所述的方法,其中,所传送的模式和用于重构下层的 帧内块的最佳帧内预测模式相同。

20.如权利要求17所述的方法,其中,帧内块和第一相邻块各自具有4×4 的大小。

21.如权利要求17所述的方法,其中,第一相邻块包括帧内块的左块、 左上块、上块和右上块,而第二相邻块包括与帧内块相对应的上层的块的左 块、左上块、上块和右上块。

22.一种基于多层的视频编码器,包括:

用于使用先前重构的、帧内块的第一相邻块来重构下层的帧内块的部件;

用于从先前存储的与第一相邻块相对应的上层的第二相邻块减去第一相 邻块的部件;

用于通过使用作为从先前存储的第二相邻块减去第一相邻块的结果而产 生的虚拟差异相邻块来执行帧内预测、而产生基于帧内预测模式的差异预测 块的部件;

用于将差异预测块与重构的帧内块相加的部件;

用于从与帧内块相对应的上层的块减去作为将差异预测块与重构的帧内 块相加的结果而产生的预测块的部件。

23.一种基于多层的视频编码器,包括:

用于使用先前重构的、帧内块的第一相邻块来重构下层的帧内块的部件;

用于从先前存储的与第一相邻块相对应的上层的第二相邻块减去第一相 邻块的部件;

用于通过使用作为从先前存储的第二相邻块减去第一相邻块的结果而产 生的虚拟差异相邻块来执行帧内预测,而产生基于预定的帧内预测模式的差 异预测块的部件;

用于将差异预测块与重构的帧内块相加的部件;

用于重构与帧内块相对应的上层的块的部件;以及

用于将重构的下层的块和作为将差异预测块与重构的帧内块相加的结果 而获取的预测块相加的部件。

24.一种用于执行有效地预测基于多层的视频帧的方法的程序的存储介 质,所述方法包括:使用先前重构的、帧内块的第一相邻块,来重构下层的帧内块;

从先前存储的与第一相邻块相对应的上层的第二相邻块减去第一相邻 块;

通过使用作为从先前存储的第二相邻块减去第一相邻块的结果而产生的 虚拟差异相邻块来执行帧内预测,而产生基于预定的帧内预测模式的差异预 测块;

将差异预测块与重构的帧内块相加;以及

从与帧内块相对应的上层的块减去作为将差异预测块与重构的帧内块相 加的结果而产生的预测块。

25.一种用于执行解码基于多层的视频帧的方法的程序的存储介质,所 述方法包括:使用先前重构的、帧内块的第一相邻块,来重构下层的帧内块;

从先前存储的与第一相邻块相对应的上层的第二相邻块减去第一相邻 块;

通过使用作为从先前存储的第二相邻块减去第一相邻块的结果而产生的 虚拟差异相邻块来执行帧内预测,而产生基于帧内预测模式的差异预测块;

将差异预测块与重构的帧内块相加;

重构与帧内块相对应的上层的块;以及

将重构的上层的块与作为将差异预测块与重构的帧内块相加的结果而获 取的预测块相加。

说明书全文

技术领域

与本发明一致的设备和方法一般涉及视频编码,并且,更具体地,涉及 有效地预测使用在基于多层结构的视频编码中帧内模式和帧内BL模式的全 部优点的视频帧。

背景技术

随着包括因特网的信息和通信技术的发展,基于图像的通信和基于文本 的通信以及基于声音的通信正在增加。现有的基于文本的通信不足以满足各 种消费者要求。因此,能够适应例如文本、图像和音乐的各种类型的信息的 多媒体服务的提供不断增加。由于多媒体数据量大,所以,多媒体数据要求 高容量存储介并且在传送时要求宽带宽。因此,为了传送包括文本、图像和 音频的多媒体数据,必须使用压缩编码技术。
数据压缩的基本原理是消除数据中的冗余。通过消除例如在图像中重复 同样的颜色或物体的情况的空间冗余、例如在相邻的帧之间存在极少改变或 重复相同的音频声音的情况的时间冗余、或者其中考虑到人的视觉和知觉能 力对于高频不敏感的事实的心理视觉(psychovisual)冗余。
对于此移动图像压缩方法,近来,具有高于运动图像专家组(MPEG)-4 的压缩效率的H.264/高级视频编码(AVC)已经吸引了注意。H.264使用作为 用于改进压缩效率的方案之一的方向(directional)帧内预测 (intra-prediction),其消除每帧中的空间相似性。
方向帧内预测是这样的方法,该方法以这样的方式预测当前子块的值、 并仅对差异编码,该方式即:使用在相对于子块的子像素上面和左侧的相邻 像素,而在预定方向上执行复制。
在H.264中,基于具有在先的连续位置的其它块而生成关于当前块的预 测块。对当前块和预测块之间的差异编码。对于亮度分量,基于4×4块或 16×16宏块而产生每个预测块。对于每个4×4块,共有9种可选预测模式, 而对于每个16×16块,共有4种可选预测模式。基于H.264的视频编码器为 每个块从预测模式中选择使当前块和预测块之间的差异最小化的一种预测模 式。
对于用于4×4块的预测模式,如图1所示,H.264采用总共9种预测模 式,其包括总共9种方向模式(模式0、1、3到8)、以及使用9个相邻像素 的平均值的DC模式(模式2)。
图2图解了标记(labeling)的例子,以图解所述9种预测模式。在此 例子中,使用先前的解码的样值A到M而生成关于当前块的预测块(包括区 域“a”到“p”)。如果区域E、F、G和H不能在先前被解码,则可通过将区 域D复制到区域E、F、G和H的位置,而虚拟地产生区域E、F、G和H。
以下将参考图3而详细地分别描述9种预测模式。在模式0的情况下, 在垂直方向上使用上采样A、B、C和D来外推(extrapolate)预测块的像素, 而在模式1的情况下,在水平方向上使用左边的样值I、J、K和L来外推像 素。此外,在模式2的情况下,通过上边的样值A、B、C和D和左边的样值 I、J、K和L的平均值来一致地替代预测块的像素。
在模式3的情况下,在以45°角倾斜的方向上、在左下位置和右上位置 之间内推(interpolate)预测块的像素,而在模式4的情况下,在向左上位 置以45°角倾斜的方向上外推像素。此外,在模式5的情况下,在从垂直方 向以大约26.6°角(宽/高=1/2)向右倾斜的方向上外推预测块的像素。
在模式6的情况下,在从水平方向以大约26.6°角向下倾斜的方向上外 推预测块的像素,而在模式7的情况下,在从垂直方向以大约26.6°角向左 倾斜的方向上外推像素。最后,在模式8的情况下,在从水平方向以大约26.6° 角向上倾斜的方向上内推预测块的像素。
图3的箭头指示各个模式的预测方向。在模式3到8中,可根据先前解 码的参考样值A到M的加权平均值而生成预测块的样值。例如,在模式4的 情况下,可如通过以下方程(1)所表示的来预测位于左上的样值d。在此方 程中,round(.)函数为将输入值取整到整数位置的函数
d=round(B/4+C/2+D/4)(1)
同时,亮度分量的16×16预测模型包括4种模式,即,模式0、模式1、 模式2和模式3。在模式0的情况下,根据上边的样值H来外推预测块的像 素,而在模式1的情况下,根据左边的样值V来推测预测块的像素。此外, 在模式2的情况下,使用上边的样值H和左边的样值V的平均值来计算预测 块的像素。最后,在模式3的情况下,使用适于上边的样值H和左边的样值 V的“plane”函数。此模式更适于亮度平滑改变的区域。
同时,除了改进视频编码的效率的努力之外,还正在积极地进行对于允 许调整所传送的视频数据的分辨率、帧频和信噪比(SNR)的视频编码(即, 其支持可调节性(scalability))的研究。
关于此可调节的视频编码技术,在运动图像专家组(MPEG)-21 PART-13 中正在进行标准化工作。对于这些支持调节性的方法,多层视频编码方法是 被高度评价的卓越的方法。例如,提供了包括基层、第一增强层和第二增强 层2的多层,并且,各个层具有不同的分辨率QCIF、CIF和2CIF、或者不同 的帧频。
在当前进行的可调节的视频编码标准中,除了在现有的H.264中使用的、 用于预测当前块或宏块的帧间预测和方向帧内预测(以下简称为帧内预测) 之外,还引入了使用当前块和相应下层块之间的相关性来预测当前块所属的 层的方法。在该标准中,此预测方法称为“帧内BL(intra_BL)预测”,并且, 使用此预测执行编码的情况称为“帧内BL模式”。
图4是示出所述3种预测方法的示意图,其图解了对于当前帧1的宏块 执行帧内预测的情况(①)、使用位于与当前帧1的位置不同时间位置的帧2 执行帧间预测的情况(②)、以及使用关于对应于宏块的基层的帧的区域6的 纹理(texture)数据来执行帧内BL预测的情况(③)。

发明内容

如上所述,在可调节的视频编码标准中,为每个宏块选择3种预测方法 中的有利的一种,并且使用所选择的方法对相应的宏块编码。即,对于一个 宏块,选择性地使用帧间预测、帧内预测和帧内BL预测。但是,使用帧内 BL预测而产生的差异块仍具有与相邻差异的相当大的相关性。因此,有必要 开发考虑了帧内BL预测和帧内预测的优点的预测技术。虽然可以考虑取得帧 内预测、帧内BL预测和帧间预测的优点的预测方法,但是帧内BL预测和帧 内预测的特点与帧间预测的特点截然不同,所以这种方法是不理想的。
本发明提供了使用帧内BL预测和帧内预测的预测方法。
此外,本发明可使用所述预测方法而改进视频编码效率。
根据本发明的一个方面,提供了一种有效地预测基于多层的视频帧的方 法,所述方法包括:使用先前重构的、帧内块的第一相邻块,来重构下层的 帧内块;从先前存储的对应于第一相邻块的上层的第二相邻块减去第一相邻 块;通过使用作为相减的结果所产生的虚拟差异相邻块来执行帧内预测,而 产生基于预定的帧内预测模式的差异预测块;将差异预测块与重构的帧内块 相加;以及从对应于帧内块的上层的块减去作为相加的结果所产生的预测块。
根据本发明的一个方面,提供了一种有效地预测基于多层的视频帧的方 法,所述方法包括:使用先前重构的、帧内块的第一相邻块,来重构下层的 帧内块;从先前存储的对应于第一相邻块的上层的第二相邻块减去第一相邻 块;通过使用作为减法的结果所产生的虚拟差异相邻块来执行帧内预测,而 产生基于预定的帧内预测模式的差异预测块;将差异预测块与重构的帧内块 相加;从对应于帧内块的上层的块减去作为相加的结果所产生的预测块;以 及编码作为减法的结果所产生的剩余块。
根据本发明的一个方面,提供了一种有效地预测基于多层的视频帧的方 法,所述方法包括:使用先前重构的、帧内块的第一相邻块,来重构下层的 帧内块;从先前存储的对应于第一相邻块的上层的第二相邻块减去第一相邻 块;通过使用作为减法的结果所产生的虚拟差异相邻块来执行帧内预测,而 产生基于预定的帧内预测模式的差异预测块;将差异预测块与重构的帧内块 相加;重构对应于帧内块的上层的块;以及将重构的上层的块与作为相加的 结果所获取的预测块相加。
根据本发明的一个方面,提供了一种基于多层的视频编码器,包括:用 于使用先前重构的、帧内块的第一相邻块来重构下层的帧内块的部件;用于 从先前存储的对应于第一相邻块的上层的第二相邻块减去第一相邻块的部 件;用于通过使用作为相减的结果所产生的虚拟差异相邻块来执行帧内预测、 而产生基于预定的帧内预测模式的差异预测块的部件;用于将差异预测块与 重构的帧内块相加的部件;用于从对应于帧内块的上层的块减去作为相加的 结果所产生的预测块的部件;以及用于编码作为减法的结果所产生的剩余块 的部件。
根据本发明的一个方面,提供了一种基于多层的视频编码器,包括:用 于使用先前重构的、帧内块的第一相邻块来重构下层的帧内块的部件;用于 从先前存储的对应于第一相邻块的上层的第二相邻块减去第一相邻块的部 件;用于通过使用作为减法的结果所产生的虚拟差异相邻块来执行帧内预测、 而产生基于预定的帧内预测模式的差异预测块的部件;用于将差异预测块与 重构的帧内块相加的部件;用于重构对应于帧内块的上层的块的部件;以及 用于将重构的块与作为相加的结果所产生的预测块相加的部件。

附图说明

从以下结合附图的示例实施例的详细描述中将更加清楚地理解本发明的 以上和其它方面,其中:
图1是图解由H.264定义的各个模式的预测方向的图;
图2是图解用于图解图1的帧内预测模式的标记的例子的图;
图3是详细图解图1的帧内预测模式的图;
图4是图解传统的3种预测方法的示意图;
图5是图解根据本发明的示例实施例的预测方法的概念的图;
图6是图解根据本发明的示例实施例的视频编码器的结构的框图;
图7是图解包括在图6的视频编码器中包括的编码单元的示意结构的框 图;
图8是图解包括在图6的视频编码器中包括的解码单元的示意结构的框 图;
图9是图解根据本发明的另一示例实施例的视频编码器的结构的框图;
图10是图解根据本发明的另一示例实施例的视频编码器的结构的框图;
图11是图解关于垂直模式的相邻方向的图;
图12是图解关于8个具有方向性的帧内预测模式的相邻方向的图;
图13是图解当层的分辨率相互不一致时、在层间的相应区域的图;以及
图14是图解根据本发明的示例实施例的视频解码器的结构的框图。

具体实施方式

现在应参考附图,其中,遍及不同的附图,相同的附图标记指示相同或 类似的组件。
图5是图解根据本发明的示例实施例的预测方法的概念的图。在该方法 中,如何产生针对属于上层的当前块10(以下简称为当前块)的原始图像的 预测块40是实质要点。在本发明中,可将术语“块”定义为具有与H.264标 准的帧内块的大小相同的大小的块。同时,对于传统的帧内块,存在针对亮 度分量的4×4模式和16×16模式,并且存在针对色度分量的8×8模式,并 且,因而,本发明的“块”可具有各种大小中的一个。
在上层中,在预测当前块10之前,已经使用某种预测方法编码/解码了 当前块10的相邻的块。可使用诸如帧间预测、帧内预测、或帧内BL预测的 任意预测方法来编码/解码相邻块15。
为了如上所述预测当前块10,使用通过编码和解码(闭环)的图像,而 不使用相邻块15的原始图像。当前,大部分多媒体数字信号编解码器(codec) 使用这样的闭环编码来消除在视频编码器和视频解码器之间产生的漂移误差, 使得在编码后被解码的重构的图像用作在本发明中用于预测当前块的现有块 的图像。但是,本领域的技术人员应当清楚,本发明也可被应于使用现有块 的原始图像的开环方法。
在下层中,对应于当前块10的块(以下称为“相应块”)表示已使用如 图3所示的帧内预测而被编码和解码的帧内块20。此外,可使用与上层的相 邻块15相同的方式的任意预测方法来编码/解码帧内块20的相邻块25。下 层的相邻块25存在于与相邻块15的位置相对应的位置。
同时,上层的分辨率可与下层的分辨率相同或不同。如果两层的分辨率 彼此等同,则上层的块10和15的大小等于下层的块20和25的大小。然而, 上层的块10和15的大小可大于下层的大小。例如,如果上层的分辨率为下 层的分辨率的两倍、且下层的块20和25具有4×4的大小,则上层的块可具 有8×8的大小。
此外,虽然本发明使用表示4个块(即,表示用于帧内预测的左、左上、 上和右上块)的术语“相邻块”来描述,但是,如果表示用于帧内预测的块 的类型改变,则相邻块的数量和位置可改变。
如上所述,当已经重构了上层的相邻块15和帧内块20、以及下层相邻 块25时,可使用它们产生当前块10的预测块40。以下详细地描述了产生预 测块40的过程。
首先,通过从上层的相邻块15减去下层的重构的相邻块25,产生虚拟 差异(differential)相邻块35。在两层的相应块之间执行减法。当对如上 所述而产生的相邻块35应用图3中所图解的方向帧内预测时,可针对9种模 式而产生差异预测块30。
之后,将9个产生的差异预测块30的每个加到帧内块20,然后,从针 对预测块40所获得的9个候选中选择最佳候选。例如,可以以下方式执行选 择:选择使在9个候选的每个和当前块10之间的图像差异最小的候选。可替 换地,对于另一个例子,可使用这样的方法,该方法使用针对预测块40的9 个候选来预测当前块10,编码预测结果,并使用比率-失真(Rate-Distortion, R-D)代价函数来选择最佳候选。前一方法具有计算量小和执行简单的优点, 而后一方法具有在候选之间的选择更准确的优点。
当从针对预测块40的候选中选择预测块40时,使用预测块40来预测当 前块10。即,通过从所产生的当前块10减去预测块40而产生剩余块50。之 后,通过编码剩余块50而完成本发明的基本操作。
以上描述了本发明的示意操作。从概念性的观点示意性地将使用帧内BL 模式的传统的方法与本发明的方法比较。当当前块10的图像是C1而下层的 重构的帧内块20是C0时,基于如方程2所示的C0与C1相似的假设,在传 统的帧内BL模式中,使用C0作为C1的预测块。
C 1 - C 0 0 - - - ( 2 )
相反,本发明不使用C0作为预测块,而是改为使用以下方程3的相关。 在方程3中,INT(.)表示执行方向帧内预测的函数,N1表示上层的相邻块, 而N0表示下层的相邻块。
C 1 - C 0 INT ( N 1 - N 0 ) 0 - - - ( 3 )
如方程3所示,当前块C0和相应的下层块C1之间的差异具有与使用上层 的相邻块N1和下层的相邻块N0执行的帧内预测的结果的可观的相关性。因而, 可使用下面的方程4而更加准确地预测基于本发明的当前块C1。
C 1 C 0 + INT ( N 1 - N 0 ) - - - ( 3 )
其中,C1、C0和INT(N1-N0)分别指示图5的当前块10、重构的帧内块20 和差异预测块30。
图6是示出根据本发明的示例实施例的视频编码器100的结构的框图。 构造视频编码器100,以使用当前和相邻块图像、以及相应块及其下层的相 邻块的图像作为输入,并且输出其中当前块被编码的数据。
编码单元105编码当前块的相邻块的图像,而解码单元110解码编码后 的结果。该编码和解码处理跟随着通常的视频编码/解码处理。可通过图7的 示意结构来表示编码单元105。对于所输入的相邻块图像,通过选择单元61, 从帧间预测、帧内预测和帧内BL预测中选择一种方法。根据所选择的预测方 法,帧间预测单元62、帧内预测单元63和帧间BL预测单元64中的一个根 据所输入的图像而产生剩余块。变换单元65使用例如离散余弦变换(DCT) 或者小波变换的变换算法而根据剩余块产生变换系数,并且,量化单元66量 化该变换系数。
此外,解码单元110可由图8的示意结构所表示。反向量化单元71反向 量化从编码单元105输出的信号,而反向变换单元72以相反顺序而对反向量 化的结果执行变换单元65的变换处理。此外,选择单元73选择对应于由编 码单元105所选择的预测方法的反向预测方法。根据选择,反向帧间预测单 元74、反向帧内预测单元75或反向帧内BL预测单元76通过对反向变换的 信息执行编码单元105的反向处理(即,反向预测),而重构相邻块。将重构 的相邻块输入到减法器135。
帧内编码单元115编码相应的块图像,而帧内解码单元120解码编码的 结果。应当注意,在本发明中,必须使用帧内预测来编码相应块。但是,可 使用任意预测方式而编码当前块的相邻块、或者相应块的相邻块。
从而,如图7的框图所示,帧内编码单元115可由帧内预测单元63、变 换单元65和量化单元66组成,并且,如图8的框图所示,帧内解码单元120 可由反向量化单元71、反向变换单元72和反向帧内预测单元75组成。
将从帧内解码单元120输出的信号(即,重构的相应块(帧内块))选择 性地通过上采样器150而输入到加法器160。当上层的分辨率和下层的分辨 率相互一致时,不使用上采样器150,而当分辨率相互不一致时,执行上采 样,使得重构的帧内块的分辨率与上层的分辨率一致。
同时,编码单元125编码相应块的相邻块的图像,而解码单元130解码 编码的结果。编码单元125可具有与图7中的结构相同的结构,而解码单元 130可具有与图8中的结构相同的结构。
将从解码单元130输出的信号(即,重构的相邻块)选择性地通过上采 样器140而输入到减法器160。当上层的分辨率和下层的分辨率相互一致时, 不使用上采样器140,而当分辨率相互不一致时,执行上采样,使得重构的 相邻块的分辨率与上层的分辨率一致。
减法器135通过从自解码单元110输入的信号减去从解码单元130或上 采样器140输入的信号,而获得差异相邻块。
预测块产生单元145通过使用差异相邻块执行方向帧内预测,而针对各 个模式产生预定数目的差异预测块。例如,如图3所示,在H.264中,可使 用包括具有方向性的八种模式和一种DC模式的总共9种模式。针对各个模式 而产生9个差异预测块,并且,将所产生的差异预测块提供到加法器160。
加法器160将针对各个模式的差异预测块加到从帧内加密单元120或者 上采样器150输入的信号。结果,产生了等于模式的数目的数目的预测块候 选。
模式选择单元190从预测的块候选具有的模式中选择最佳模式(帧内预 测模式),并且基于所选择的模式而从预测的块候选中选择最佳预测块。如上 所述,如上所述,以下面的方式执行模式选择:选择使预测的块候选和当前 块之间的差异最小的模式。在此情况下,块之间的差异是指在块的相应像素 值之间的差的和。
而后,减法器165通过从输入的当前块的图像减去所选择的预测块,而 产生剩余块。
变换单元170产生对剩余块执行空间变换的变换系数。DCT、小波变换等 可用作空间变换方法。如果DCT用作空间变换,则变换系数是指DCT系数。 当小波变换用作空间变换时,变化系数指小波系数。
量化单元175量化变换系数。术语“量化”是指将由任意实数值表示的 变换系数以规则的间隔划分、通过离散值来表示变换系数、并且将离散值与 预定的指数(indices)匹配的处理。具体地,当小波变换被用于空间变换时, 嵌入量化方法被广泛地用作量化方法。嵌入量化方法包括嵌入零树 (zerotree)小波算法(EZW)、等级树中设置分区(Set Partitioning in Hierarchical Trees,SPIHT)、嵌入零块编码(EZBC)、或者本领域的技术人 员已知的其它方法。
熵编码单元180无损地编码通过量化单元175量化的变换系数、以及关 于由模式选择单元190所选择的模式的信息。可使用运算编码(arithmetic coding)、可变长度编码等作为无损编码方法,结果,输出当前块的编码数据。
图9是图解根据本发明的另一示例实施例的视频编码器的结构框图。与 图6的示例实施例不同,图9的示例实施例应用其中模式选择单元185使用 通过熵编码单元180无损编码的结果的方案。从而,差异预测块产生单元145 产生针对例如9种帧内预测模式的相应模式的差异预测块,并且产生针对相 应模式的预测块、剩余块、变换系数和量化系数,并且,通过在模式选择单 元185中的比较而最终选择最佳模式。
模式选择单元185通过熵编码单元180而对于针对相应模式所编码的数 据应用R-D代价函数,并且选择使R-D代价函数最小的模式。可通过下面的 方程5而定义R-D代价函数。在此方程中,E表示在其中重构了编码数据的 信号(重构的当前数据)和原始信号(当前块)之间的差异,而B表示执行 每种方法所要求的比特数。此外,λ是拉格朗日系数,并表示可调整E和B 的反映比(reflection ratio)的系数。
C=E+λB    (5)
将通过模式选择单元185选择的模式传输到熵编码单元180,并且,熵 编码单元180无损地编码关于所选择的模式的信息,并且输出所编码的信息 和对应于所选择的模式的当前块的编码数据。
与现有的帧内BL预测相比,在图6和9中提出的示例方法需要大量码元 比特。其原因是,现有的帧内BL预测不需要附加的模式信息,而根据本发明 的预测方法需要9段附加的模式信息。实际上,可依照原样地使用关于基层 的帧内预测模式,而消除基于方向帧内预测模式的开销。
图10是示出在使用在下层中的帧内预测时使用的帧内预测模式、以便根 据差异相邻块(图5的35)而产生差异预测块(图5的30)的情况下的视频 编码器400的结构框图。
图10的大部分结构与图6或图9相似。图10的结构与图6或图9的不 同之处在于,将由帧间编码单元115提供的关于模式的信息输入到差异预测 块产生单元145和熵编码单元180。差异预测块产生单元145基于关于模式 的信息而产生单个差异预测块。差异预测块产生单元145产生等于在图6和 图9中的示例实施例中的模式的数目的数目的差异预测块。
同时,熵编码单元180不需要编码关于当前块的模式的信息,而是只编 码关于下层的相应块的模式的信息。从而,与现有的帧内BL预测相比,本发 明不增加开销。
虽然在图6、图9和图10的示例实施例中,已经描述了根据本发明的编 码当前块的处理,但本领域的技术人员可容易地理解,可通过组合所编码的 当前块与先前编码的相邻块而编码视频帧。
同时,如同图6和图9的示例实施例那样,当计算附加的预测模式时, 需要开发在某种程度上减少由附加的预测模式而引起的开销的方法。从而, 在本发明中,使用只编码关于相应块的预测模式的方向差异、而不编码关于 当前块的模式的信息的方法。
图11是图解当相应块的最佳预测方向是垂直模式(模式0)时、只在当 前块中邻近垂直方向的方向上执行搜索的方法。即,由于相应块的最佳预测 模式表示虚拟方向,所以存在当前块的最佳预测模式是垂直模式(模式0)、 垂直向左模式(模式7)或者垂直向右模式(模式5)的很大可能性。从而, 通过只搜索对应于所述方向的模式,可减少在方向帧内预测时的计算量。此 外,通过以-1表示顺时针相邻的方向、以+1表示逆时针相邻的方向、并以 0表示相同的方向、并且对它们编码,可有效地减少编码最佳方向所要求的 比特数。
如上所述,通过只考虑其方向,可使用差异来表示每个模式、而不考虑 模式号。在本发明中,将此差异定义为“方向差异”。例如,基于模式0,模 式6的方向差异为+3,而模式3的方向差异为-2。
图12是图解关于具有方向性的8个帧内预测模式的相邻方向的图。例如, 模式7的相邻模式为模式3和模式0,而模式0的相邻模式为模式7和模式5。 存在如何确定模式3和模式8的相邻模式的问题。在本发明的示例实施例中, 可将相邻模式定义为不考虑到其的距离,在顺时针和逆时针方向上最邻近某 个模式的两个模式。因此,模式3的相邻模式为模式8和模式7,而模式8 的相邻模式为模式1和模式3。基于以上描述,将特定模式的相邻模式表示 为-1或1,并且确保所有具有方向性的帧内预测模式的一致。
但是,模式3和8表示几乎相反的方向,使得难以将模式3和8中的每 个看作落入另一个的预测范围内。因此,在本发明的另一示例实施例中,模 式3和8可各自具有单个相邻模式。在此情况下,模式3的相邻模式为模式 7,而模式8的相邻模式为模式1。
同时,在当前层的分辨率与下层的分辨率不同时,当前块和下层块不基 于一对一相互对应。参考图13的例子,如果下层的分辨率为当前层的分辨率 的1/2,则下层的单个块对应于4个块81到84。因此,在此情况下,应当注 意,对应于当前块的4个块81到84的下层的块都是块85。
通过使用方向差异来表示当前块的模式、并对方向差异进行熵编码,可 在某种程度上减少开销。
图14为图解根据本发明的示例实施例的视频解码器200的结构的框图。
熵解码单元205无损地解码输入比特流,并且,提取关于当前块的相邻 块的数据、关于相应块的数据、关于相应块的相邻块的数据、关于当前块的 数据和关于当前块的模式的信息。
解码单元210解码关于当前块的相邻块的数据,并且向减法器230提供 解码结果。可将解码单元210构造为与图6的解码单元100一样。同时,帧 内解码单元215解码关于相应块的数据,并且向加法器240提供解码结果。 将帧内解码单元215构造为与图6的帧内解码单元120一样。
此外,解码单元220解码关于相应块的相邻块的数据,并且选择性地通 过上采用器225向减法器230a提供解码结果。可将解码单元220构造为与图 6的解码单元130一样。当上层的分辨率和下层的分辨率一致时,不使用上 采样器225,而当所述分辨率相互不一致时,执行上采样,使得通过解码单 元220解码的相邻块的分辨率与上层的分辨率一致。
减法器230通过从自解码单元210输入的信号减去直接从解码单元220 输入、或通过上采样器225输入的信号,而产生差异相邻块。
差异预测块产生单元235基于从熵解码单元205传送的模式信息、使用 差异相邻块来执行帧内预测。结果,产生差异预测块。
加法器240通过将从帧内解码单元215输出的信号(即,重构的相应块 (帧内块))与差异预测块相加,而产生预测块。
同时,向反向量化单元245输入从熵解码单元205输出的关于当前块的 数据,而反向量化单元245反向量化关于当前块的数据。此反向量化处理与 在视频编码器100、300或400的量化单元175中执行的量化处理相反,并且 是找到与由某一指数所表示的值匹配的量化系数的处理。
通过反向变换反向量化结果,反向变换单元250重构剩余块。反向量化 与在视频编码器100、300或400的变换单元170中执行的变换处理相反。如 果变换处理是DCT,则反向变换是反向DCT;如果变换处理是小波变换,则反 向变换是反向小波变换。
最后,加法器255通过所产生的预测块与重构的剩余块相加而重构当前 块。
图6、9、10和14中的元件可为软件或硬件,例如现场可编程门阵列(FPGA) 或者专用集成电路(ASIC)。但是,元件不限于软件或硬件。可将元件构造为 驻留于可寻址记录介质中,或者用来驱动一个或多个处理器。可使用子划分 的元件实现每个元件的功能,并且,可使用包括多个子元件的单个元件来实 现功能,并且执行特定功能。
工业应用性
根据本发明,帧内BL预测的优点和帧内预测的优点均被考虑,使得可改 进视频编码的效率。
根据本发明,可更有效地显示模式信息。
虽然已为了说明的目的公开了本发明的示例实施例,但是本领域的技术 人员应当理解,不背离如在所附权利要求中公开的本发明的范围和精神的各 种修改、添加和代替是可能的。
高效检索全球专利

IPRDB是专利检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,专利查询、专利分析

电话:13651749426

侵权分析

IPRDB的侵权分析产品是IPRDB结合多位一线专利维权律师和专利侵权分析师的智慧,开发出来的一款特色产品,也是市面上唯一一款帮助企业研发人员、科研工作者、专利律师、专利分析师快速定位侵权分析的产品,极大的减少了用户重复工作量,提升工作效率,降低无效或侵权分析的准入门槛。

立即试用