可缩放至不可缩放的比特流重写的方法和系统

摘要

本发明的方面涉及基于编码参数来选择性地确定量化参数的系统和方法。在一些实施例中，量化参数选择可以基于非零变换系数以及其它参数的存在。一些实施例涉及利用参考变换系数而选择的量化参数将多层比特流重写成单层比特流。一些实施例将可缩放的多层视频序列转换成可以与传统设备兼容的单层不可缩放视频序列。

权利要求

1.一种图像比特流处理的方法，所述方法包括步骤：a)从多层图像比特流中提取符号，所述符号与图像部分有关；

b)根据所述符号产生变换系数，其中，所述变换系数包括第一层系数和第二层系数，c)对所述第一层系数进行缩放，并将缩放后的第一层系数与所述第二层系数进行组合；

d)确定所述变换系数是否包括任何非零系数；

e)当所述变换系数包括非零系数时，使用所述比特流中以信号报知的量化参数来处理所述图像部分；以及f)当所述变换系数不包括非零系数时，使用来自先前块的量化参数来处理所述图像部分。

2.一种将多层比特流中的比特流基本层与比特流增强层进行组合的方法，所述方法包括步骤：a)从所述多层比特流产生基本层变换系数；

b)从所述多层比特流产生增强层残差系数；

c)将所述基本层变换系数与所述增强层残差系数进行组合，以产生组合层系数；

d)确定所述组合层系数是否包括任何非零系数；

e)当所述组合层系数包括非零系数时，利用所述比特流中以信号报知的量化参数对组合层进行编码，并利用量化参数标识符以信号报知所述量化参数；以及f)当所述组合层系数不包括非零系数时，利用来自先前块的量化参数对所述组合层进行编码。

3.根据权利要求2所述的方法，还包括：对所述基本层变换系数进行缩放。

4.根据权利要求2所述的方法，还包括：使用所述量化参数或来自先前块的所述量化参数，对所述比特流的当前部分进行内环路滤波。

5.根据权利要求2所述的方法，还包括：使用所述量化参数或来自先前块的所述量化参数以信号告知针对后续比特流部分的量化偏移参数。

6.根据权利要求3所述的方法，其中，所述缩放基于所述基本层和所述增强层的量化参数。

7.根据权利要求2所述的方法，还包括：对所述组合层系数进行熵编码。

8.根据权利要求2所述的方法，其中，所述基本层和所述增强层是遵循可缩放视频编码SVC的比特流的一部分，所述组合层是遵循高级视频编码AVC的比特流的一部分。

说明书

可缩放至不可缩放的比特流重写的方法和系统

技术领域

[0001] 本发明的实施例涉及基于变换系数(在一些实施例中基于其他参数)来选择量化参数的方法和系统。一些实施例还可以将可缩放比特流重写成不可缩放比特流。一些实施例包括将遵循JVT SVC的比特流重写成遵循JVT AVC的比特流的方法和系统。

背景技术

[0002] “高级视频编码”(AVC)标准正在达成巨大的市场突破。AVC的其它名称包括H.264、H.26L以及MPEG-4，part 10。AVC标准是由JVT/MPEG标准化团体提出的。可缩放视频编码(SVC)是JVT/MPEG标准化团体中当前有效的项目。本发明的示例实施例可以涉及针对AVC|H.264视频编码标准的、包括SVC在内的可缩放视频扩展。

[0003] 当包含非零变换系数级别值的多层比特流被重写成仅包含零值变换系数级别值在内的块的单层表示时，这些SVC扩展的当前状态是有问题的。

发明内容

[0004] 本发明的一些实施例包括基于非零变换系数(在某些情况下是其它参数)的存在来选择量化参数的方法和系统。

[0005] 在本发明的一些实施例中，可以将可缩放比特流重写成不可缩放比特流而不必完全重构序列。在一些实施例中，可以将多层比特流重写成单层比特流而没有劣化并且不必完全重构所述传输的图像序列。一些实施例考虑在包含非零变换系数级别值的多层比特流内的宏块(图像块)的特定问题。然而，块的单层表示仅包含零值变换系数级别值。

[0006] 本发明的一些实施例处理单层块的特定情况，该单层块仅包含零变换系数级别值，但是与多层可缩放比特流中的非零变换系数级别值一起来传输。

[0007] 通过结合附图来考虑本发明的下列详细描述，将更容易地理解本发明的前述和其它目的、特征以及优点。

附图说明

[0008] 图1是示出了包括变换域系数的缩放在内的本发明的实施例的图；

[0009] 图2是示出了包括量化后变换系数的累加以及量化后变换域系数的缩放在内的本发明的实施例的图；

[0010] 图3是示出了包括变换域系数的缩放以及无需重构的比特流重写在内的本发明的实施例的图；

[0011] 图4是示出了包括量化后变换系数或索引的累加以及无需重构的比特流重写在内的本发明的实施例的图；

[0012] 图5是示出了本发明的实施例的图，其中基于变换系数来选择量化参数；以及[0013] 图6是示出了本发明的实施例的图，其中基于变换系数和其它参数来选择量化参数。

具体实施方式

[0014] 将容易理解，此处如图中一般描述和说明的本发明的组件是可以采用多种不同的配置来布置和设计的。因此，以下对本发明的方法和系统的实施例的更详细描述不旨在限制本发明的范围，而是仅仅代表本发明的当前优选实施例。

[0015] 可以采用硬件、固件和/或软件的形式来实现本发明的实施例的元素。尽管这里揭示的示例实施例可能仅描述了这些形式之一，然而应当理解，在本发明的范围之内，本领域的技术人员将能够以这些形式当中的任一种形式来这些元件。

[0016] 在本文中，SVC代表在JVT/MPEG标准化团体中当前有效的“可缩放视频编码”项目。AVC代表正在达成巨大市场突破的“高级视频编码”标准。AVC的其它名称包括H.264、H.26L以及MPEG-4，part 10。本发明的示例实施例可以涉及针对AVC|H.264和其它视频编码标准的可缩放视频扩展。这些扩展中的一些是众所周知的SVC，在T.Wiegand，G.Sullivan，J.Reichel，H.Schwarz and M.Wien，“Joint Draft 9 of SVC amendment(revision 2)”，JVT-V201，Marrakech，Morocco，January 13-19，2007中描述的SVC系统描述一并在此作为参考。

[0017] ISO/IEC JTC1/SC29/WG11 Information Technology-Coding of Audio-Visual Objects-Part 10：Advanced Video Coding，ISO/IEC 14496-10，2005，也一并在此作为参考。

[0018] ITU-T Recommendation H.264：“Advanced video coding for genericaudio visual services”，March 2003，也一并在此作为参考。

[0019] 在本发明的一些实施例中，可以将多层比特流重写成单层比特流而没有劣化并且不必完全重构所传输的图像序列。一些实施例解决多层比特流内的宏块的特定问题，所述多层比特流包含非零变换系数级别值，然而所述多层比特流在被重写成单层比特流中时仅包含零值变换系数级别值。如将在本文中披露的，这种情况需要特殊的处理。

[0020] 当前的SVC系统需要代码转换以支持在除了基本层之外任何层处的AVC设备。本发明的实施例改变粗粒度可缩放层的语法和语义。这些改变使得可以将SVC比特流重写成遵循AVC的比特流。即，在一些实施例中，网络设备可以将SVC数据重写成AVC比特流，而没有漂移并且不需要重构序列的强度值。这是可以通过合并多个粗粒度可缩放层来实现的。在一些实施例中，重写可以包括：从第一层或比特流读取图像数据，以及将该数据存储在第二或备选比特流中。可以将变换系数存储在第二比特流中。

[0021] 一些实施例可以包括：

[0022] 1、对用于内环路滤波的量化参数的修改后定义；以及

[0023] 2、对写入单层比特流的量化参数的修改后定义

[0024] 在本说明书中详细描述的示例实施例中，关注点是SVC至AVC比特流重写。其它实施例可以包括对其它视频编码标准和扩展的使用。SVC至AVC比特流重写过程可以包括：采用SVC比特流作为输入并产生AVC比特流作为输出。概念上地，这类似于代码转换。然而，一些实施例可以利用SVC的单环结构并且使得能够实现SVC比特流至AVC语法元素的直接映射。在一些实施例中，这是可以在不引入漂移并且不重构视频序列的强度值的情况下实现的。

[0025] (帧间编码块)

[0026] 具体地，本发明的一些实施例适用于帧间编码块。这些实施例可以包括下列过程和限制当中的一个或更多个：

[0027] 1、从基本层块推断出的块必须使用与基本层块相同的变换。例如，如果粗粒度可缩放层中的块具有等于1的base mode flag并且同处一处的基本层块使用4×4变换，则增强层块必须也使用4×4变换。

[0028] 2、对于从基本层块推断出的并且使用残差预测的块的重构应当发生在变换域中。当前，将在空间域中重构基本层块并然后在增强层中传输残差。这里，在解码器处对基本层块的变换系数进行缩放，由增强层中的信息对其进行细化，然后对其进行逆变换。

[0029] 3、当avc rewrite标志为1时，smoothed reference flag应当为零。

[0030] (帧内编码块)

[0031] 具体地，本发明的一些实施例适用于帧内编码块。帧内编码块对SVC至AVC重写问题提供了附加的障碍。在粗粒度可缩放性(CGS)系统中可以采用IntraBL模式对增强层进行编码。该模式以信号报知：基本层中的帧内编码块应当被解码并用于预测。然后，可以在增强层中以信号报知附加残差。在SVC至AVC重写系统中，这产生了困难，因为无法将重构的帧内编码块描述为其相邻帧内编码块的空间预测加上以信号报知的残差。因此，必须对帧内编码块进行从SVC至AVC的代码转换。这需要增加计算复杂度；这还引入了可能经由运动补偿来传播的编码误差。

[0032] 可以参考图1来描述本发明的一些实施例。在这些实施例中，在解码器或重写器处接收基本层1和增强层残差3。可以对基本层数据进行逆量化5并且可以对变换系数进行缩放6以匹配增强层的特性。在一些实施例中，匹配的特性可以包括量化参数特性。还可以对增强层残差3进行逆量化11并将其添加到缩放后的基础残差系数以创建组合的系数。然后可以对这些组合的系数进行分析以确定50是否存在非零变换系数。如果存在非零变换系数，则可以使用比特流中以信号报知的量化参数52来处理52图像的这部分。如果不存在非零变换系数，则可以使用来自先前或上一个图像部分的量化参数51来处理图像的这部分。

[0033] 在一些实施例中，然后对组合的系数(变换系数)进行逆变换10以产生空间域强度值。在一些实施例中，在不需要基本层信息时可以忽略基本层信息。然后可以为了去除组块伪迹或出于其他原因对空间域强度值进行滤波12。这种滤波可以使用或依赖于参考非零变换系数而选择51、52的量化参数。

[0034] 可以参考图2来描述本发明的一些实施例。在这些实施例中，在解码器或重写器处接收基本残差1和增强层残差3。在这些实施例中，可以对基本层量化的变换系数1进行缩放130以匹配增强层的特性。在一些实施例中，匹配的特性可以包括量化参数特性。可以将增强层量化的变换系数3添加131至缩放后的基本层量化变换系数，以创建组合的量化系数。然后可以对这些组合的量化系数进行分析，以确定50是否存在非零变换系数。如果存在非零变换系数，则可以使用在比特流中以信号报知的量化参数来处理52图像的这部分。如果不存在非零变换系数，则可以使用来自先前或上一个图像部分的非零变换系数51来处理图像的这部分。

[0035] 然后可以对组合的量化系数进行逆量化132，以产生去量化的组合系数，然后可以对该去量化的组合系数进行逆变换133以产生组合的空间域值。然后可以对这些空间域值进行滤波134以去除组块伪迹以及其它伪迹。这种滤波134可以使用在该过程中先前选择51、52的量化参数。

[0036] 为了解决SVC至AVC重写中IntraBL块的问题，本发明的实施例包括一种在IntraBL块内产生预测的备选方法。该过程不再需要重构基本层块。取而代之地，将帧内预测模式和所传输的残差直接复制到增强层。这可以参考图3和4来描述。

[0037] 可以参考图3来描述本发明的一些实施例。在这些实施例中，对比特流进行重编码而不完全重构图像。在这些实施例中，可以在解码器、代码转换器、编码器的解码器部分或另一设备或模块处接收基本层(BL)数据1。还可以在该设备或模块处接收增强层(EL)数据3。在这些实施例中，可以对BL残差1进行逆量化5以产生BL变换系数。然后可以对这些BL变换系数进行缩放6以匹配增强层的特性。在一些实施例中，该增强层特性可以是量化参数、分辨率参数或使基本层与增强层相关的某种其它参数。还可以对增强层数据3进行逆量化11以产生增强层系数18。然后将缩放后的BL系数16与EL系数18相组合
19，以产生组合的系数17。

[0038] 然后可以对这些组合的系数进行分析，以确定50是否存在非零变换系数。如果存在非零变换系数，则可以使用比特流中以信号报知的量化参数来处理52图像的这部分。如果不存在非零变换系数，可以使用来自先前或上一个图像部分的量化参数51来处理图像的这部分。

[0039] 然后可以利用比特流编码器13将这些组合的系数重写成缩减层或单层比特流。在一些实施例中，比特流编码器13还可以将预测数据写入该比特流中。比特流编码器13的功能还可以包括量化、熵编码以及其它功能。

[0040] 可以参考图4来描述本发明的一些实施例。在这些实施例中，对比特流进行重编码而不完全重构图像也不逆量化。在这些实施例中，可以在解码器、代码转换器、编码器的解码器部分或另一设备或模块处接收基本层(BL)数据36。还可以在该设备或模块处接收增强层(EL)数据37。在这些实施例中，可以对BL信号36和增强层信号37进行熵解码，以产生量化后的系数或索引21和23。然后可以对BL量化索引21进行缩放20，以匹配增强层的特性。在一些实施例中，该增强层特性可以是量化参数、分辨率参数或使基本层与增强层相关的某种其它参数。然后可以将缩放后的BL索引26与EL索引23相组合24，以产生组合的索引27。

[0041] 然后可以对这些组合的索引27进行分析，以确定50是否存在非零索引。如果存在非零索引，则可以使用比特流中以信号通报的量化参数52来处理图像的这部分。如果不存在非零索引，则可以使用来自先前或上一个图像部分的量化参数51来处理图像的这部分。

[0042] 然后可以利用比特流编码器25将这些组合的索引重写成缩减层或单层比特流28。在一些实施例中，比特流编码器25还可以将预测数据35写入该比特流中。比特流编码器25的功能还可以包括量化、熵编码以及其它功能。

[0043] 在这些实施例中，不需要完全重构基本层块。取而代之地，将帧内预测模式和残差数据都映射至增强层。然后，从增强层添加附加的残差数据。最终，重构该块。该方法的优点是：可以在没有丢失并且不需要将基本层完全解码的情况下，将增强块写入单层比特流中。

[0044] 如图所示，一些实施例将帧内预测模式和残差数据从基本层直接重映射至增强层，而不重构块。然后对增强比特流中的附加残差信息进行解码(可选地)。最终，重构块并且以最高质量级别对该块进行细化。

[0045] 本发明的一些实施例不使用残差预测标志。

[0046] 在一些实施例中，对现有方法的改变包括：

[0047] 1、修改后的IntraBL方法，该方法从基本层向增强层传播帧内预测模式。然后在增强层执行帧内预测。

[0048] 2、语义需求：IntraBL块的变换类型必须与同处一处的基本层块相同。例如，如果基本层块使用8×8变换，则增强层块也必须使用8×8变换。

[0049] 3、为了使能独立处理比特流，仍然可以在增强层中传输8×8变换标志。

[0050] 4、在基本层中通过16×16变换而编码的块在增强层中也是通过16×16变换来编码的。然而，采用4×4扫描图案和方法来传输增强层块。即，不分开发发送16×16块的DC和AC系数。

[0051] 可以参考图5来描述本发明的一些实施例。在这些实施例中，接收40多层图像比特流。这将典型地发生在解码器或比特流重写器处。然后从多层比特流中提取41符号。这是可以通过逆熵编码或其它过程来执行的。然后使用符号来产生变换系数42。然后可以分析这些变换系数。这种分析可以包括：确定43是否存在任意非零变换系数。如果在图像当前部分的解码比特流中存在非零变换系数，则可以使用45比特流中以信号报知的量化参数来处理图像的这部分。如果不存在非零变换系数，可以使用44用于图像的先前部分的量化参数作为当前图像部分的默认量化参数。然后可以使用在该过程中选择的量化参数来处理当前图像部分。在一些实施例中，这种处理可以包括：对当前图像部分进行去量化。在一些实施例中，这种处理可以包括：对当前图像部分进行内环路滤波。在一些实施例中，这种处理可以包括：以信号报知后续图像部分的量化参数偏移。

[0052] (量化器管理)

[0053] 在上述系统中出现的一个难题是：通过将比特流的较低层中的变换系数级别值映射至重构后的层并然后加上以信号报知的细化，来获得重构后图像的变换系数。作为该映射过程的一部分，较低层和重构层的量化参数在定义映射运算符中起到关键作用。

[0054] 在现有技术的视频编码系统中，在较低层和重构层处的量化参数可以是空间变化的。这允许编码器对每个图像帧中的视频序列的速率和/或质量进行调整。这一点并入了AVC和SVC系统说明中，并且是通过传输针对每个宏块的量化偏移参数而实现的。该量化偏移参数定义了当前块的量化参数与先前的量化参数之间的差异。该先前的量化参数可以是先前块的量化参数、在切片层处以信号报知的量化参数、或先前量化参数的任意其它定义。

[0055] 为了提高编码效率，可以从比特流中的其它信息来推断量化偏移参数。具体地，AVC和SVC说明定义了：当宏块不包含量化变换系数(也称作变换系数级别或变换系数级别值)时，量化偏移参数应当为零。在这种情况下，当前的AVC和SVC说明定义了：对于仅具有零值变换系数级别的宏块来说在比特流中不存在量化偏移参数。

[0056] 对于量化偏移参数的传输的限制使得比特流重写入系统复杂化。具体地，考虑下列情况：(1)在具有一个或更多非零变换系数级别的较低层中传输块，(2)在要重构的、从较低层块预测变换系数级别的层中传输块，(3)重构后的层中的块包含非零的变换系数级别值，(4)重构后的层中的块包含非零量化偏移参数，以及(5)所预测的变换系数级别与所传输的变换系数级别的相加仅产生零值变换系数级别。

[0057] 在先前段落中描述的情况中，比特流重写发明不能创建完美匹配多层比特流的单层比特流。这是由于增强层比特流中的块包含与先前量化参数不同的量化参数。然而，禁止单层比特流具有与该块位置的先前量化参数不同的量化参数。这是由于块的单层版本不包含非零变换系数级别值。结果，由于每个块的量化参数影响内环路滤波操作的输出，使得在单层与多层解码的输出之间产生漂移。

[0058] 本发明的实施例解决了该问题。一些实施例如下操作：第一，多层解码器对每个较低层和重构/增强层宏块的熵码进行解码。然后在每个宏块处，解码器从较低层块预测重构/增强层块的变换系数级别值(当被信号报知在比特流内使用该过程时)。使用在比特流中以信号报知的较低层和重构/增强层的量化参数来执行预测。第二，多层解码器计算非零变换系数的数量。这可以由如合并的AVC和SVC说明中所定义的编码块图案来表示，或由任何其它数据表示来表示。第三，对于不包含非零变换系数的块，多层解码器标识该先前的量化参数。作为提示，这对先前的量化参数采用了合适的定义。例如，在一些实施例中，如果尚未重构当前图片中的宏块，则可以将先前的量化参数设置为切片量化参数。第四，在当前块上操作时，通过内环路滤波操作来使用该先前的量化参数。第五，使用该先前的量化参数来以信号通报针对后续块的量化偏移参数。

[0059] 针对本发明的示例实施例的例子伪代码是：

[0060]

[0061] 在本示例实施例中，在(i)不存在非零变换系数(例如，编码块图案为零)，(ii)块模式不是Intra16×16或(iii)其它条件的情况下，将当前量化参数设置等于上一个量化参数。

[0062] 备选实施例如下操作。在每个宏块处，编码器计算单层表示中非零变换系数的数量。对于单层表示中仅包含零变换系数的块来说，编码器在增强层比特流中将量化偏移参数限制为零。

[0063] 本发明的一些实施例可以包括接受下列输入的方法和系统：

[0064] -一维阵列mbType，其中PicSizeInMbs个元素针对当前解码或部分解码的相依性表示的宏块指定宏块类型，

[0065] -一维阵列tQPY，其中PicSizeInMbs个元素针对当前解码或部分解码的相依性表示的宏块指定luma量化参数，

[0066] -(PicSizeInMbs)×(256+2*MbWidthC*MbHeightC)阵列tCoeffLevel，该阵列针对当前解码或部分解码的相依性表示的宏块指定变换系数级别值。

[0067] 这些实施例的输出可以包括：

[0068] -一维阵列qpDBY，其中PicSizeInMbs个元素针对当前解码或部分解码的相依性表示的宏块指定在解块滤波过程中使用的luma量化参数，

[0069] -当ChromaArrayType不等于0时，两个一维阵列qpDBCb和qpDBCr，其中PicSizeInMbs个元素针对当前解码或部分解码的相依性表示的宏块指定在解块滤波过程中使用的色度量化参数。

[0070] 宏块地址mbAddr超过0值(PicSizeInMbs-1)，针对每个mbAddr值指定下列顺序的步骤。

[0071] 如下获得变量qpDBY[mbAddr]。

[0072] -如果mbType[mbAddr]等于I_PCM，则将qpDBY[mbAddr]设置为0。

[0073] -否则，如果tcoeff_level_prediction_flag等于1(tcpeff指的是变换系数)，mbAddr大于0，mbType[mbAddr]不等于I_16×16，并且所有元素tCoeffLevel[mbAddr][i]都等于0，其中i＝0至(255+2*MbWidthC*MbHeightC)，则将qpDBY[mbAddr]设置为qpDBY[mbAddr-1]。

[0074] -否则，将qpDBY[mbAddr]设置等于tQPY[mbAddr]。

[0075] 可以参考图6来描述本发明的一些实施例。在这些实施例中，从多层比特流中提取60符号。然后根据所提取的符号产生61变换系数。然后确定是否满足若干条件。进行第一确定62，以断定是否已将当前部分直接编码而没有变换。换言之，第一确定62确定了第一条件：尚未以脉冲编码调制对当前图像部分进行编码。在一些实施例中，可以通过读取系统I_PCM标志来进行该确定62。PCM指的是脉冲编码调制。如果已经直接将图像部分编码，则可以使用69预定的量化参数。如果没有直接将当前图像部分编码，则满足该条件。

[0076] 在一些实施例中，还可以进行第二确定63，其中确定是否能实现层缩减重写特征。在一些实施例中，该步骤可以确定是否能实现多层至单层重写过程。在一些实施例中，该步骤可以包括：确定是否设置tcoeff_level_prediction_flag。如果能实现层缩减重写，则满足该条件。

[0077] 在一些实施例中，可以进行第三确定64，其中确定当前图像部分是否是第一图像部分。在一些实施例中，该过程可以确定当前图像部分是否是帧中的第一切片。在一些实施例中，可以通过读取宏块地址来执行该过程。在一些实施例中，可以通过读取[mbaddr]标志来确定宏块地址。如果当前图像部分不是图像元素的第一部分，则满足该条件。

[0078] 在一些实施例中，还可以进行第四确定65，其中确定是否使用16×16的块大小以帧内预测来编码当前图像部分。在一些实施例中，该步骤可以包括读取宏块类型标志。如果没有使用16×16帧内预测模式，则满足该条件。

[0079] 在一些实施例中，还可以进行第五确定66。在这些实施例中，可以确定在根据所提取60的符号产生61的变换系数中是否存在非零变换系数。在一些实施例中，这是可以通过对从当前图像部分的比特流产生的非零变换系数进行计数来执行的。如果在当前图像部分中不存在非零变换系数，则满足该条件。

[0080] 在本发明的一些实施例中，当进行一个或更多个或这些确定时，可以基于该确定来设置量化参数。在一些实施例中，如果第一至第五条件全都满足，则可以使用来自上一个图像部分的量化参数(第一量化参数)来处理当前图像部分。在一些实施例中，如果第二至第五条件中的任何一个没有得到满足，则可以使用当前图像部分比特流中以信号报知的量化参数来处理当前图像部分。

[0081] 已经在前述说明中使用的术语和表达仅用作描述性术语而非限制性术语，并且这些术语和表达的使用并不旨在排除本文中所示和所描述的全部或部分特征的等价物，应当意识到本发明的范围仅由权利要求来定义和限制。