会员体验
专利管家(专利管理)
工作空间(专利管理)
风险监控(情报监控)
数据分析(专利分析)
侵权分析(诉讼无效)
联系我们
交流群
官方交流:
QQ群: 891211   
微信请扫码    >>>
现在联系顾问~
首页 / 专利库 / 视听技术与设备 / 视频编码层 / 感兴趣区域H.264可分级视频编码

感兴趣区域H.264可分级视频编码

阅读:802发布:2021-02-24

IPRDB可以提供感兴趣区域H.264可分级视频编码专利检索,专利查询,专利分析的服务。并且提供了用于可分级视频编码和解码的编码器、解码器、相应的编码和解码方法、视频信号结构以及存储介质。一种可分级视频编码器,包括:编码器(100),用于通过如下方式来对图像进行编码以形成基层比特流和增强层比特流:把图像分为多个图像块;把多个图像块分组为基层比特流中的一个或更多个像条组以及增强层比特流中的两个或更多个像条组;对基层比特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像条组的不到全部进行编码,使得来自两个或更多个像条组的至少一个像条组在增强层比特流中有意地未被编码;对报头中的语法元素进行编码,以指示增强层中至少一个有意未编码的像条组。,下面是感兴趣区域H.264可分级视频编码专利的具体信息内容。

1、一种装置,包括:

编码器(100),用于通过如下方式来对图像进行编码以形成基层 比特流和增强层比特流:把图像分为多个图像块;把多个图像块分组 为基层比特流中的一个或更多个像条组以及增强层比特流中的两个或 更多个像条组;对基层比特流中的一个或更多个像条组的全部以及增 强层中的两个或更多个像条组的不到全部进行编码,使得在增强层比 特流中,所述两个或更多个像条组中的至少一个像条组有意地未被编 码;对报头中的语法元素进行编码,以指示增强层中至少一个有意未 编码的像条组。

2、根据权利要求1所述的装置,其中,形成增强层比特流以支持 至少一个感兴趣区域应用,使得增强层中两个或更多个像条组中包括 感兴趣区域的任意像条组在增强层比特流中进行编码,同时增强层中 两个或更多个像条组中不包括感兴趣区域的任意像条组有意地未被编 码。

3、根据权利要求1所述的装置,其中,所述编码器(100)通过 在与增强层比特流相对应的序列参数集中添加 missing_slice_groups_allowed_flag字段来添加语法元素。

4、根据权利要求3所述的装置,其中,增强层比特流和基层比特 流之间存在相同像条组映射,当missing_slice_groups_allowed_flag字段 等于1时,针对基层比特流和增强层比特流,与 num_slice_groups_minus_1字段和slice_group_map_type字段有关的相 同像条组映射分别具有相同值。

5、根据权利要求1所述的装置,其中,所述编码器(100)在与 增强层比特流相对应的图像参数集中添加num_missing_slice_groups字 段,以规定针对该图像有意未编码的像条组的数量。

6、根据权利要求5所述的装置,其中,所述编码器(100)在与 增强层比特流相对应的图像参数集中添加missing_slice_group_id[i]字 段,以在其中至少识别针对slice_group_map字段等于0、1或6的情况下 按照光栅扫描顺序的第i个有意省略的像条组映射单元的有意未编码 的像条组。

7、根据权利要求5所述的装置,其中,所述编码器(100)把 slice_group_map字段设置为等于2、3、4或5,以指示增强层比特流中 最后的像条组是至少一个有意未编码的像条组。

8、一种可分级视频编码方法,包括:

对图像进行编码(355)以形成基层比特流和增强层比特流,

其中,所述编码步骤包括:

把图像分为多个图像块;

把多个图像块分组(310)为基层比特流中的一个或更多个 像条组以及增强层比特流中的两个或更多个像条组;

对基层比特流中的一个或更多个像条组的全部以及增强层 中的两个或更多个像条组的不到全部进行编码(320、340、355),使 得在增强层比特流中,所述两个或更多个像条组中的至少一个像条组 有意地未被编码;

对报头中的语法元素进行编码(330),以指示增强层中至少 一个有意未编码的像条组。

9、根据权利要求8所述的方法,其中,形成增强层比特流以支持 至少一个感兴趣区域应用,使得增强层中两个或更多个像条组中包括 感兴趣区域的任意像条组在增强层比特流中进行编码,同时增强层中 两个或更多个像条组中不包括感兴趣区域的任意像条组有意地未被编 码(310)。

10、根据权利要求8所述的方法,其中,所述编码步骤包括:通 过在与增强层比特流相对应的序列参数集中添加 missing_slice_groups_allowed_flag字段来添加(330)语法元素。

11、根据权利要求10所述的方法,其中,增强层比特流和基层比 特流之间存在相同像条组映射,当missing_slice_groups_allowed_flag 字段等于1时,针对基层比特流和增强层比特流,与 num_slice_groups_minus_1字段和slice_group_map_type字段有关的相 同像条组映射分别具有相同值(325)。

12、根据权利要求8所述的方法,其中,所述编码步骤包括:在 与增强层比特流相对应的图像参数集中添加(360) num_missing_slice_groups字段,以规定针对该图像有意未编码的像条 组的数量。

13、根据权利要求12所述的方法,其中,所述编码步骤包括:在 与增强层比特流相对应的图像参数集中添加(350) missing_slice_group_id[i]字段,以在其中至少识别针对slice_group_map 字段等于0、1或6的情况下按照光栅扫描顺序的第i个有意省略的像条 组映射单元的有意未编码的像条组。

14、根据权利要求12所述的方法,其中,所述编码步骤包括:把 slice_group_map字段设置为等于2、3、4或5,以指示增强层比特流中 最后的像条组是至少一个有意未编码的像条组。

15、一种装置,包括:

解码器(200),用于通过如下方式来对基层比特流和增强层比特 流进行解码:读取语法元素,所述语法元素指示增强层中有意未编码 的多个像条组中至少一个像条组;仅使用针对由所述语法元素所指示 的多个像条组中至少一个像条组的基层信息来对增强层比特流进行解 码;以及使用增强层信息来对增强层中多个像条组中任何余下的像条 组进行解码。

16、根据权利要求15所述的装置,其中,增强层比特流支持感兴 趣区域应用,使得多个像条组中包括感兴趣区域的任意像条组被包括 在增强层比特流中,而多个像条组中不包括感兴趣区域的任意像条组 被有意地从中省略。

17、根据权利要求15所述的装置,其中,所述解码器(200)通 过如下方式读取语法元素:读取与增强层比特流相对应的序列参数集 中的missing_slice_groups_allowed_flag字段。

18、根据权利要求17所述的装置,其中,增强层比特流和基层比 特流之间存在相同像条组映射,当missing_slice_groups_allowed_flag 字段等于1时,针对基层比特流和增强层比特流,与 num_slice_groups_minus_1字段和slice_group_map_type字段有关的相 同像条组映射分别具有相同值。

19、根据权利要求15所述的装置,其中,所述解码器(200)读 取与增强层比特流相对应的图像参数集中的num_missing_slice_groups 字段,以规定针对图像参数集中的图像而有意未编码的多个像条组的 数量。

20、根据权利要求19所述的装置,其中,所述解码器(200)读 取与增强层比特流相对应的图像参数集中的missing_slice_group_id[i] 字段,以在其中识别针对slice_group_map字段等于0、1或6的情况下按 照光栅扫描顺序的第i个有意省略的像条组映射单元的至少一个有意 未编码的像条组。

21、根据权利要求19所述的装置,其中,当slice_group_map字段 被设为等于2、3、4或5时,所述解码器(200)把增强层比特流中最后 的像条组识别为至少一个有意未编码的像条组。

22、根据权利要求15所述的装置,其中,所述解码器(200)使 用INTRA_BL模式对至少一个有意未编码的像条组进行解码,而不考 虑针对增强层比特流所指示的具体简档中是否允许多循环解码。

23、根据权利要求15所述的装置,其中,所述解码器(200)使 用BL_SKIP模式对至少一个有意未编码的像条组进行解码。

24、根据权利要求15所述的装置,其中,当至少一个有意未编码 的像条组被检测为缺失但未在与增强层相对应的序列参数集和图像参 数集中规定时,所述解码器(200)执行错误隐藏方法以隐藏至少一个 有意未编码的像条组。

25、一种可分级视频解码方法,包括:

通过如下方式来对基层比特流和增强层比特流进行解码:读取 (410)语法元素,所述语法元素指示增强层中有意未编码的多个像条 组中至少一个像条组;仅使用针对由所述语法元素所指示的多个像条 组中至少一个像条组的基层信息来对增强层比特流进行解码(475); 以及使用增强层信息来对增强层中多个像条组中任何余下的像条组进 行解码(455)。

26、根据权利要求25所述的方法,其中,增强层比特流支持感兴 趣区域应用,使得多个像条组中包括感兴趣区域的任意像条组被包括 在增强层比特流中,而多个像条组中不包括感兴趣区域的任意像条组 有意地从中省略。

27、根据权利要求25所述的方法,其中,所述解码步骤包括:通 过读取与增强层比特流相对应的序列参数集中的 missing_slice_groups_allowed_flag字段,以读取(410)语法元素。

28、根据权利要求27所述的方法,其中,增强层比特流和基层比 特流之间存在相同像条组映射,当missing_slice_groups_allowed_flag 字段等于1时,针对基层比特流和增强层比特流,与 num_slice_groups_minus_1字段和slice_group_map_type字段有关的相 同像条组映射分别具有相同值。

29、根据权利要求25所述的方法,其中,所述解码步骤包括:读 取(420)与增强层比特流相对应的图像参数集中的 num_missing_slice_groups字段,以规定针对图像参数集中的图像而有 意未编码的多个像条组的数量。

30、根据权利要求29所述的方法,其中,所述解码步骤包括:读 取(430)与增强层比特流相对应的图像参数集中的 missing_slice_group_id[i]字段,以在其中识别针对slice_group_map字段 等于0、1或6的情况下按照光栅扫描顺序的第i个有意省略的像条组映 射单元的至少一个有意缺失的像条组。

31、根据权利要求29所述的方法,其中,所述解码步骤包括:当 slice_group_map字段被设为等于2、3、4或5时,把增强层比特流中最 后的像条组识别(465)为至少一个有意未编码的像条组。

32、根据权利要求25所述的方法,其中,所述解码步骤使用 INTRA_BL模式对至少一个有意未编码的像条组进行解码,而不考虑 针对增强层比特流所指示的具体简档中是否允许多循环解码(475)。

33、根据权利要求25所述的方法,其中,所述解码步骤使用 BL_SKIP模式对至少一个有意未编码的像条组进行解码(475)。

34、根据权利要求25所述的方法,其中,所述解码步骤包括:当 至少一个有意未编码的像条组被检测为缺失但未在与增强层相对应的 序列参数集和图像参数集中规定时,执行(460)错误隐藏方法以隐藏 至少一个有意未编码的像条组。

35、一种用于可分级视频编码的视频信号结构,包括:

图像,被编码以形成基层比特流和增强层比特流,其中,通过如 下方式来形成基层比特流和增强层比特流:把图像分为多个图像块; 把多个图像块分组为基层比特流中的一个或更多个像条组以及增强层 比特流中的两个或更多个像条组;对基层比特流中的一个或更多个像 条组的全部以及增强层中的两个或更多个像条组的不到全部进行编 码,使得来自两个或更多个像条组的至少一个像条组在增强层比特流 中有意地未被编码;对报头中的语法元素进行编码,以指示增强层中 至少一个有意未编码的像条组。

36、一种存储介质,其上具有编码的可分级视频信号数据,所述 存储介质包括:

图像,被编码以形成基层比特流和增强层比特流,其中,通过如 下方式来形成基层比特流和增强层比特流:把图像分为多个图像块; 把多个图像块分组为基层比特流中的一个或更多个像条组以及增强层 比特流中的两个或更多个像条组;对基层比特流中的一个或更多个像 条组的全部以及增强层中的两个或更多个像条组的不到全部进行编 码,使得来自两个或更多个像条组的至少一个像条组在增强层比特流 中有意地未被编码;对报头中的语法元素进行编码,以指示增强层中 至少一个有意未编码的像条组。

说明书全文

技术领域

本发明总体上涉及视频编码和解码,更具体地涉及一种针对可分 级视频编码和解码的方法及设备。

背景技术

感兴趣区域(ROI)分级(scalability)是某些可分级视频编码应 用的基本特征。用户可能希望获得ROI之内和之外的不同的空间/时间 /质量分级。
已讨论采用灵活宏块排序(FMO)来实现ROI的特征。国际标准 化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)的 第10部分的Advanced Video Coding(AVC)标准/国际电信联盟电信部 (ITU-H)H.264标准(下文中称为“MPEG4/H.264标准”或简称为 “H.264标准”)要求图像中的每一个宏块被包括在像条(slice)组中, 而且所有像条组在原始编码图像中编码(尽管无需针对冗余图像)。 H.264标准不允许任何缺失的像条组,这意味着即使对于包括非ROI 的像条组,仍需要对这些像条组进行编码,并将其发送到网络中。可 能有争论的是,编码器可以有选择地控制ROI之外的宏块的比特。例 如,在一种现有技术的实现中,编码器可以将非ROI的所有宏块编码 为BL_SKIP或INTRA_BL模式。即使发信号表明BL_SKIP或INTRA_BL 模式所需的比特可能很少,但这仍使得编码器花费额外的工作对其进 行编码。更重要地,对非ROI进行编码需要额外的NAL单元,因而需 要额外的比特率开销。例如,在针对四分之一公共中间格式(QCIF) 基层和公共中间格式(CIF)增强层(30fps)的ROI与非ROI的关系((1/4 与3/4)和(1/2与1/2))的情况下,通过实时协议(RTP)来传输针对 增强层中非ROI区域的INTRA_BL模式的比特率开销大约计算为分别 是12kbps和9kbps。同时,其增加了路由器对所有这些NAL单元进行解 析的负担。另外,解码器仍需要对针对非ROI的这些比特流进行解析。 应当注意,在联合可分级视频模型(JSVM)版本3.0中,支持增强层 中所有宏块的INTRA_BL模式而无需考虑基层宏块类型需要多循环解 码,这对于某些简档(profile)来说可能是不允许的。这个约束限制 了在编码器仅支持单循环解码情况下的INTRA_BL模式的使用。因此, 当前,无论是单循环还是多循环解码,JSVM版本3.0都不允许针对非 ROI中所有MB使用INTRA_BL模式。

发明内容

本发明解决了现有技术中的这些和其它缺点和不足,本发明涉及 一种用于可分级视频编码和解码的方法和装置。
根据本发明的方面,提供了一种可分级视频编码器。所述可分级 视频编码器包括编码器,用于对图像进行编码以形成基层比特流和增 强层比特流。通过如下方式来形成基层比特流和增强层比特流:把图 像分为多个图像块;把多个图像块分组为基层比特流中的一个或更多 个像条组以及增强层比特流中的两个或更多个像条组;对基层比特流 中的一个或更多个像条组的全部以及增强层中的两个或更多个像条组 的不到全部进行编码,使得来自两个或更多个像条组的至少一个像条 组在增强层比特流中有意地未被编码;对报头中的语法元素进行编码, 以指示增强层中至少一个有意未编码的像条组。
根据本发明的另一方面,提供了一种可分级视频编码方法。所述 方法包括对图像进行编码以形成基层比特流和增强层比特流。所述编 码步骤包括把图像分为多个图像块。所述编码步骤还包括把多个图像 块分组为基层比特流中的一个或更多个像条组以及增强层比特流中的 两个或更多个像条组。所述编码步骤还包括对基层比特流中的一个或 更多个像条组的全部以及增强层中的两个或更多个像条组的不到全部 进行编码,使得来自两个或更多个像条组的至少一个像条组在增强层 比特流中有意地未被编码。所述编码步骤额外包括对报头中的语法元 素进行编码,以指示增强层中至少一个有意未编码的像条组。
根据本发明的另一方面,提供了一种可分级视频解码器。所述可 分级视频解码器包括:解码器,对基层比特流和增强层比特流进行解 码。用于通过如下方式来对基层比特流和增强层比特流进行解码:读 取语法元素,所述语法元素指示增强层中有意未编码的多个像条组中 至少一个像条组;仅使用针对由所述语法元素所指示的多个像条组中 至少一个像条组的基层信息来对增强层比特流进行解码;以及使用增 强层信息来对增强层中多个像条组中任何余下的像条组进行解码。
根据本发明的另一方面,提供了一种可分级视频解码方法。所述 方法包括通过如下方式来对基层比特流和增强层比特流进行解码:读 取语法元素,所述语法元素指示增强层中有意未编码的多个像条组中 至少一个像条组;仅使用针对由所述语法元素所指示的多个像条组中 至少一个像条组的基层信息来对增强层比特流进行解码;以及使用增 强层信息来对增强层中多个像条组中任何余下的像条组进行解码。
根据本发明的另一方面,提供了一种用于可分级视频编码的视频 信号结构。所述视频信号结构包括:图像,被编码以形成基层比特流 和增强层比特流。通过如下方式来形成基层比特流和增强层比特流: 把图像分为多个图像块;把多个图像块分组为基层比特流中的一个或 更多个像条组以及增强层比特流中的两个或更多个像条组;对基层比 特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像 条组的不到全部进行编码,使得来自两个或更多个像条组的至少一个 像条组在增强层比特流中有意地未被编码;对报头中的语法元素进行 编码,以指示增强层中至少一个有意未编码的像条组。
根据本发明的另一方面,提供了一种存储介质,其上编码有可分 级视频信号数据。所述存储介质包括:图像,被编码以形成基层比特 流和增强层比特流。通过如下方式来形成基层比特流和增强层比特流: 把图像分为多个图像块;把多个图像块分组为基层比特流中的一个或 更多个像条组以及增强层比特流中的两个或更多个像条组;对基层比 特流中的一个或更多个像条组的全部以及增强层中的两个或更多个像 条组的不到全部进行编码,使得来自两个或更多个像条组的至少一个 像条组在增强层比特流中有意地未被编码;对报头中的语法元素进行 编码,以指示增强层中至少一个有意未编码的像条组。
从将要结合附图进行理解的示例性实施例的详细描述中,本发明 的这些和其它方面、特征以及优点将变得显而易见。

附图说明

根据以下示例性附图,可以更好地理解本发明,在附图中:
图1示出了本发明原理可应用于其中的示例性联合可分级视频模 型(JSVM)3.0编码器的方框图;
图2示出了本发明原理可应用于其中的示例性解码器的方框图;
图3是根据本发明实施例利用感兴趣区域的联合可分级视频编码 的示例性方法的流程图;以及
图4是根据本发明实施例利用感兴趣区域的联合可分级视频解码 的示例性方法的流程图。

具体实施方式

本发明涉及针对可分级视频编码和解码的方法及设备。
本描述示出了本发明的原理。因此,将被理解的是,尽管这里没 有明确描述或示出,然而本领域的技术人员将能够设计出体现本发明 的原理并被包括在本发明的精神和范围内的多种布置。
这里所列举的所有示例和条件语言旨在针对教导目的,以帮助读 者理解本发明的原理以及发明者所贡献的概念,以便促进本领域,并 且这里所列举的所有示例和条件语言都应解释为不对具体列举的示例 和条件做出限制。
此外,这里列举本发明的原理、方面和实施例及其特定示例的所 有声明都旨在包括结构和功能等价物。此外,该等价物旨在包括当前 已知的等价物以及将来所开发的等价物,即所开发的执行相同功能的 任意元件(与结构无关)。
因此,例如,本领域的技术人员将理解,这里所呈现的方框图表 示体现了本发明原理的示例性电路的概念视图。类似地,将被理解的 是,任何流程图、流程框图、状态转移图、伪码等表示实质上可以以 计算机可读介质来表示并因而由计算机或处理器来执行的各个过程, 无论是否明确地示出了该计算机或处理器。
可以通过使用专用硬件以及能够与适当软件相结合来执行软件的 硬件来提供附图中所示的各个元件的功能。当由处理器提供时,这些 功能可以由单个专用处理器、单个共享处理器、或多个单独的处理器 (其中的一些可以共享)来提供。此外,术语“处理器”或“控制器” 的显式使用不应被解释为专指能够执行软件的硬件,而且可以隐式地 包括(没有限制)数字信号处理器(“DSP”)硬件、用于存储软件的 只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性 存储器。
还可以包括其它传统和/或定制的硬件。类似地,附图中所示的所 有开关仅是概念上的。它们的功能可以通过程序逻辑的操作、通过专 用逻辑、通过程序控制和专用逻辑的交互或甚至手动地来实现,可供 实施者选择的特定技术可从上下文中得到更加具体的理解。
在本发明的权利要求中,表示成用于执行特定功能的装置的任意 元件都旨在包括执行该功能的任意方式,例如包括a)执行该功能的 电路元件的组合,或b)任意形式的软件,包括固件、微代码等,以 及执行该软件从而执行该功能的适当电路。由该权利要求所限定的本 发明在于以下事实:以权利要求所要求的方式来结合并集合由各个所 列举的装置所提供的功能。因此,要注意的是,能够提供那些功能的 任意装置等同于这里所示的那些装置。
转向图1,由附图标记100总体指示本发明可应用于其中的示例性 联合可分级视频模型版本3.0(下文中为“JSVM3.0”)编码器。JSVM3.0 编码器100使用三个空间层和运动补偿时间滤波。JSVM编码器100包 括二维(2D)抽取器104、2D抽取器106、以及运动补偿时间滤波 (MCTF)模块108,其中的每个都具有用于接收视频信号数据102的 输入端。
2D抽取器106的输出以信号通信的形式与MCTF模块110的输入相 连。MCTF模块110的第一输出以信号通信的形式与运动编码器112的 输入相连,以及MCTF模块110的第二输出以信号通信的形式与预测模 块116的输入相连。运动编码器112的第一输出以信号通信的形式与多 路复用器114的第一输入相连。运动编码器112的第二输出以信号通信 的形式与运动编码器124的第一输入相连。预测模块116的第一输出以 信号通信的形式与空间变换器118的输入相连。空间变换器118的输出 以信号通信的形式与多路复用器114的第二输入相连。预测模块116的 第二输出以信号通信的形式与内插器120的输入相连。内插器的输出以 信号通信的形式与预测模块122的第一输入相连。预测模块122的第一 输出以信号通信的形式与空间变换器126的输入相连。空间变换器126 的输出以信号通信的形式与多路复用器114的第二输入相连。预测模块 122的第二输出以信号通信的形式与内插器130的输入相连。内插器130 的输出以信号通信的形式与预测模块134的第一输入相连。预测模块 134的输出以信号通信的形式与空间变换器136相连。空间变换器的输 出以信号通信的形式与多路复用器114的第二输入相连。
2D抽取器104的输出以信号通信的形式与MCTF模块128的输入 相连。MCTF模块128的第一输出以信号通信的形式与运动编码器124 的第二输入相连。运动编码器124的第一输出以信号通信的形式与多路 复用器114的第一输入相连。运动编码器124的第二输出以信号通信的 形式与运动编码器132的第一输入相连。MCTF模块128的第二输出以 信号通信的形式与预测模块122的第二输入相连。
MCTF模块108的第一输出以信号通信的形式与运动编码器132的 第二输入相连。运动编码器132的输出以信号通信的形式与多路复用器 114的第一输入相连。MCTF模块108的第二输出以信号通信的形式与 预测模块134的第二输入相连。多路复用器114的输出提供了输出比特 流138。
对于每个空间层,执行运动补偿时间分解。此分解提供了时间分 级。可以将来自较低空间层的运动信息用于较高层的运动预测。对于 纹理编码,可以将连续空间层之间的空间预测应用于消除冗余。对由 层内预测或运动补偿层间预测所产生的残余信号进行转换编码。质量 底层残余在每个空间层都提供了最小重构质量。如果不应用层间预测, 则可以将该质量底层编码到遵从H.264标准的流中。为了质量分级,另 外对质量增强层进行编码。可以选择这些增强层用于提供粗粒或细粒 质量(SNR)分级。
转向图2,由附图标记200总体指示本发明可应用于其中的示例性 可分级视频解码器。多路分离器202的输入端可用作到可分级视频解码 器200的输入端,用于接收可分级比特流。多路分离器202的第一输出 以信号通信的形式与空间逆变换SNR可分级熵解码器204的输入相连。 空间逆变换SNR可分级熵解码器204的第一输出以信号通信的形式与 预测模块206的第一输入相连。预测模块206的输出以信号通信的形式 与逆MCTF模块208的第一输入相连。
空间逆变换SNR可分级熵解码器204的第二输出以信号通信的形 式与运动向量(MV)解码器210的第一输入相连。MV解码器210的输 出以信号通信的形式与逆MCTF模块208的第二输入相连。
多路分离器202的第二输出以信号通信的形式与空间逆变换SNR 可分级熵解码器212的输入相连。空间逆变换SNR可分级熵解码器212 的第一输出以信号通信的形式与预测模块214的第一输入相连。预测模 块214的第一输出以信号通信的形式与内插模块216的输入相连。内插 模块216的输出以信号通信的形式与预测模块206的第二输入相连。预 测模块214的第二输出以信号通信的形式与逆MCTF模块218的第一输 入相连。
空间逆变换SNR可分级熵解码器212的第二输出以信号通信的形 式与MV解码器220的第一输入相连。MV解码器220的第一输出以信号 通信的形式与MV解码器210的第二输入相连。MV解码器220的第二输 出以信号通信的形式与逆MCTF模块218的第二输入相连。
多路分离器202的第三输出以信号通信的形式与空间逆变换SNR 可分级熵解码器222的输入相连。空间逆变换SNR可分级熵解码器222 的第一输出以信号通信的形式与预测模块224的输入相连。预测模块 224的第一输出以信号通信的形式与内插模块226的输入相连。内插模 块226的输出以信号通信的形式与预测模块214的第二输入相连。
预测模块224的第二输出以信号通信的形式与逆MCTF模块228的 第一输入相连。空间逆变换SNR可分级熵解码器222的第二输出以信号 通信的形式与MV解码器230的输入相连。MV解码器230的第一输出以 信号通信的形式与MV解码器220的第二输入相连。MV解码器230的第 二输出以信号通信的形式与逆MCTF模块228的第二输入相连。
逆MCTF模块228的输出端可用作解码器220的输出端,用于输出 第0层信号。逆MCTF模块218的输出端可用作解码器200的输出端,用 于输出第1层信号。逆MCTF模块208的输出端可用作解码器200的输出 端,用于输出第2层信号。
已讨论采用FMO(灵活宏块排序)来实现ROI(感兴趣区域)分 级的特征。H.264/AVC规范不允许任何缺失的像条组,这意味着即使 对于包括非ROI的像条组,仍需要对这些像条组进行编码,并将其发 送到网络中。根据本发明的实施例,这个要求得到放松,而且允许增 强层中出现缺失的像条组,并限定了有意缺失的像条的规范行为。基 层保持与H.264标准兼容。
因此,根据本发明的实施例,提出放松H.264标准要求,以允许 针对ROI应用时增强层中出现缺失的像条组。该方法至少提供了以下 优点:(a)节省了比特率;(b)减小了路由器的负担;(c)简化了解 码器的解析;以及(d)节省了编码器针对非ROI区域的编码。
如果允许增强层中出现缺失的像条组,紧接下来的问题是解码器 如何确定缺失的像条组是有意地不由编码器来编码还是由于网络出错 而丢失。如果像条组是被有意地省略,那么根据本发明,解码器提供 规范行为,从而解码器仍能够对整个图像(ROI+非ROI)进行解码, 解码过程的输出在不同解码器之间的表现是一致的,而且可以维持编 码器/解码器的比特精确性。然而,如果像条组是由于网络出错而丢失, 则会应用取决于应用的非规范错误隐藏。
为了清楚说明像条组是有意还是无意地缺失,提出在 sequence_parameter_set()中添加一个标志,即 missing_slice_grouops_allowed_flag,如表1中所示。具体地,表1示出 了序列参数集RBSP的语法。为了支持所有的slice_group_map_type, 需要指出针对slice_group_map_type等于0、1和6,哪些像条组缺失。 对于其他情况,可以总是假定仅有最后的像条组缺失,所以不需要附 加的语法。对于矩形ROI分级的最常预料到的情况,将选择 slice_group_map_type==2,因而把很少的语法添加到 picture_parameter_set()中。表2中示出了完整的语法。
表1
Seq_parameter_set_rbsp( ){   C   描述符   profile_idc   0   u(8)   ...   num_ref_frames   0   ue(v)   gaps_in_frame_num_value_allowed_flag   0   u(1)   if(profile_idc==83)     missing_slice_groups_allowed_flag   0   u(1)   ...   0   u(1) }
表2
pic_parameter_set_rbsp( ){   C   描述符   pic_parameter_set_id   1   ue(v)   seq_parameter_set_id   1   ue(v)   entropy_coding_mode_flag   1   u(1)   pic_order_present_flag   1   u(1)   num_slice_groups_minus1   1   ue(v)   if(num_slice_groups_minus1>0){     slice_group_map_type   1   ue(v)     if(slice_group_map_type==0)       for(iGroup=0;iGroup<=num_slice_groups_minus1;iGroup++)         run_length_minus1[iGroup]   1   ue(v)     else_if(slice_group_map_type==2)       for(iGroup=0;iGroup<num_slice_groups_minus1;iGroup++){         top_left[iGroup]   1   ue(v)         bottom_right[iGroup]   1   ue(v)       }     else if(slice_group_map_type==3||     slice_group_map_type==4||     slice_group_map_type==5){
      slice_group_change_direction_flag   1   u(1)       slice_group_change_rate_minus1   1   ue(v)     }else if(slice_group_map_type==6){       pic_size_in_map_units_minus1   1   ue(v)       for(i=0;i<=pic_size_in_map_units_minus1;i++)         slice_group_id[i]   1   u(v)     }   }   if((profile_idc==83)&&(missing_slice_groups_allowed_flag)              &&(num_slice_group_minus1>0)){       num_missing_slice_group   1   ue(v)        if(num_missing_slice_group>0){           if(slice_group_map_type==0 ||         slice_group_map_type==1 ||         slice_group_map_type==6){                 for(i=0;i<num_missing_slice_group;i++){                        missing_slice_group_id[i]   1   u(v)                 }         }       }   } ... }
missing_slice_groups_allowed_flag规定允许比特流中的缺失像条 组。当missing_slice_groups_allowed_flag不存在时,应当推断其等于0。 当missing_slice_groups_allowed_flag等于1时,基层和增强层之间必须 存在“相同像条组映射”。“相同像条组映射”的含义是相同的 num_slice_groups_minus_1和相同的same slice_group_map_type。
num_missing_slice_groups规定图像的缺失像条组的个数。
missing_slice_group_id[i]表示按照光栅扫描顺序的第i个缺失像 条组映射单元的缺失像条组。
利用所提供的新的语法,解码器可以决定增强层中的像条组是有 意缺失还是由于网络出错而丢失。在决定有意缺失组的解码处理的规 范行为时,可以考虑如下因素:(1)由于缺失像条组应用于增强层中 的非ROI,因此质量不一定很高,但是质量应当是可接受的;以及(2) 复杂度应当保持较低,而且解码器应当重新使用当前SVC设计中的可 用的功能。
提出可使用当前的SVC设计的两种可能的方案:(1)使用不带有 残余的INTRA_BL模式,即复制或上采样base_layer图像;以及(2) 使用不带有残余的BL_SKIP模式。因此,可以使用上述任一方法来选 择对有意缺失的像条组进行解码的规范行为。
转到图3,附图标记300大体示出了利用感兴趣区域的联合可分级 视频编码的示例性方法。该方法包括开始块305,其从对感兴趣区域 (ROI)信息的编码开始,并将控制传递给功能块310。功能块310取 决于ROI信息而创建像条组,并将控制传递给决策块315。决策块315 确定待编码的当前块是否为基层。如果是,则控制传递到功能块320。 否则,控制传递到功能块325。
功能块320对(基层中的)所有像条组进行编码,并将控制传递 到结束块370。
功能块325把基层像条组映射到增强层像条组,并将控制传递给 功能块330。功能块330把missing_slice_groups_allowed_flag设置为等于 1,并将控制传递给决策块335。决策块335确定当前像条组是否属于感 兴趣区域。如果是,则将控制传递到功能块340。否则,将控制传递到 功能块355。
根据块340使用层间预测对当前像条组进行编码,并将控制传递 到决策块345。
功能块355不对当前像条组进行编码,并把控制传递到功能块 360。功能块360递增num_missing_slice_groups,并将控制传递到决策 块345。
决策块345确定num_missing_slice_group是否大于1。如果是,则 将控制传递到功能块350。否则,将控制传递到结束块370。
功能块350针对每一个缺失像条组i,指出 missing_slice_groups_id[i],并将控制传递到结束块370。
转到图4,附图标记400大体示出了利用感兴趣区域的联合可分级 视频解码的示例性方法。该方法包括开始块405,其从对增强层进行解 码而开始,并将控制传递到功能块410。功能块410获取 missing_slice_groups_allowed_flag,并将控制传递到功能块415。功能 块415针对每一个缺失像条组i,指出missing_slice_group_id[i],并将控 制传递到功能块420。功能块420获取num_missing_slice_groups,并将 控制传递到决策块425。决策块425确定num_missing_slice_groups是否 大于1。如果是,则将控制传递到功能块430。否则,将控制传递到决 策块435。
功能块430针对每一个像条组i,读取missing_slice_group_id[i],并 将控制传递到决策块435。
决策块435确定是否仅对ROI区域进行解码。如果是,则将控制传 递到决策块440。否则,将控制传递到决策块450。
决策块440确定像条组(包括ROI区域)是否为有意缺失。如果是, 则将控制传递到功能块445。否则,将控制传递到功能块460。
功能块445对下一个ROI像条组进行解码,并将控制传递到结束块 480。
功能块460隐藏丢失的ROI像条组,并将控制传递到结束块480。
决策块450确定该像条组是否属于ROI。如果是,则将控制传递到 功能块455。否则,将控制传递到决策块465。
功能块455对ROI像条组进行解码,并将控制传递到结束块480。
决策块465确定该像条组是否为有意缺失。如果是,则将控制传 递到功能块470。否则,将控制传递到功能块460。
功能块470在基层中对这个像条组进行解码,并将控制传递到功 能块475。功能块475使用不带有残余的INTRA_BL模式或BL_SKIP模 式在增强层中对这个像条组进行解码,并将控制传递到结束块480。
现在,将给出对本发明的多个附带优点/特征中的一些的描述,本 发明的多个附带优点/特征中的一些已经在上述提到。例如,一个优点 /特征是可分级视频编码器。该可分级视频编码器包括用于对图像进行 编码以形成基层比特流和增强层比特流的编码器。通过如下方式来形 成基层比特流和增强层比特流:把图像分为多个图像块;把多个图像 块分组为基层比特流中的一个或更多个像条组以及增强层比特流中的 两个或更多个像条组;对基层比特流中的一个或更多个像条组的全部 以及增强层中的两个或更多个像条组的不到全部进行编码,使得来自 两个或更多个像条组的至少一个像条组在增强层比特流中有意地未被 编码;对报头中的语法元素进行编码,以指示增强层中至少一个有意 未编码的像条组。
另一个优点/特征是上述可分级视频编码器,其中,形成增强层比 特流以支持至少一个感兴趣区域应用,使得增强层中两个或更多个像 条组中包括感兴趣区域的任意像条组在增强层比特流中进行编码,同 时增强层中两个或更多个像条组中不包括感兴趣区域的任意像条组有 意地未被编码。
另一个优点/特征是上述可分级视频编码器,其中,该编码器通过 在与增强层比特流相对应的序列参数集中添加 missing_slice_groups_allowed_flag字段来添加语法元素。
此外,另一个优点/特征是上述添加语法元素的可分级视频编码 器,其中,增强层比特流和基层比特流之间存在相同像条组映射,当 missing_slice_groups_allowed_flag字段等于1时,与 num_slice_groups_minus_1字段和slice_group_map_type字段有关的相 同像条组映射分别具有针对基层比特流和增强层比特流的相同值。
此外,另一个优点/特征是上述可分级视频编码器,其中,该编码 器在与增强层比特流相对应的图像参数集中添加 num_missing_slice_groups字段,以规定针对该图像有意未编码的像条 组的数量。
此外,另一个优点/特征是上述添加了num_missing_slice_groups 字段的可分级视频编码器,其中,该编码器在与增强层比特流相对应 的图像参数集中添加missing_slice_group_id[i]字段,以在其中至少识 别针对slice_group_map字段等于0、1或6的情况下按照光栅扫描顺 序的第i个有意省略的像条组映射单元的有意未编码的像条组。
此外,另一个优点/特征是上述添加num_missing_slice_groups字 段的可分级视频编码器,其中,该编码器把slice_group_map字段设置 为等于2、3、4或5,以指示增强层比特流中最后的像条组是至少一 个有意未编码的像条组。
本发明的这些和其它特征及优点可以由相关领域的技术人员基于 这里的教导很容易地确定。应理解,本发明的教导可以以各种形式的 硬件、软件、固件、专用处理器或其组合来实现。
最优选地,将本发明的教导实现为硬件和软件的组合。此外,优 选地将软件实现为有形地体现在程序存储单元上的应用程序。该应用 程序可以上载到包括任意适当体系结构的机器并由该机器执行。优选 地,在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器 (“RAM”)、以及输入/输出(“I/O”)接口之类的硬件的计算机平台上 实现该机器。该计算机平台还可以包括操作系统和微指令码。这里所 描述的各个过程和功能可以是微指令码的一部分或应用程序的一部 分,或者两者的任意组合,其可以由CPU来执行。此外,可以将各种 其它外围单元与该计算机平台相连,例如附加的数据存储单元和打印 单元。
还应理解,因为附图中所描述的组成系统组件和方法中的一些优 选地以软件来实现,所以系统组件或过程功能框之间的实际连接可能 取决于本发明的编程方式而不同。在给定这里的教导的情况下,相关 领域的技术人员将能够设想本发明的这些和类似的实现或配置。
尽管这里已经参考附图描述了示例性实施例,应理解,本发明不 局限于那些精确的实施例,并且在不背离本发明的范围或精神的前提 下,可以由相关领域的技术人员实现各种变化和修改。所有这些变化 和修改都旨在被包括在所附权利要求中提出的本发明的范围内。
相关申请的引用
本申请要求2005年10月12日申请的名为“METHOD AND APPARATUS FOR SCALABLE VIDEO ENCODING AND DECODING”的美国临时申请序号No.60/725,700的权益,其全部内 容在此合并以作参考。
高效检索全球专利

IPRDB是专利检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,专利查询、专利分析

电话:13651749426

侵权分析

IPRDB的侵权分析产品是IPRDB结合多位一线专利维权律师和专利侵权分析师的智慧,开发出来的一款特色产品,也是市面上唯一一款帮助企业研发人员、科研工作者、专利律师、专利分析师快速定位侵权分析的产品,极大的减少了用户重复工作量,提升工作效率,降低无效或侵权分析的准入门槛。

立即试用