贯穿图块或条带边界的环路滤波方法及其装置

摘要

本发明揭露一种贯穿边界的环路滤波方法及其装置。本发明实施例根据旗标使用相邻条带或图块的参数用于贯穿条带或图块边界的环路滤波处理，其中该旗标指示是否允许贯穿条带环路滤波处理或贯穿图块环路滤波处理。根据本发明实施例，该参数是对应相邻条带或图块的量化参数，并且将该量化参数用于去块滤波的滤波决策。

权利要求

1.一种贯穿边界的环路滤波方法，其特征在于，边界像素包含边界的第一侧的第一像素与该边界的第二侧的第二像素，该贯穿边界的环路滤波方法包含：从媒介或处理器接收与图像相关联的重建视频数据，其中该重建视频数据被分割为图块，并且当该边界为图块边界时，该图块的该图块边界与一个区块边界对齐；

决定对应该图块的贯穿图块环路滤波的旗标的数值；以及

根据该贯穿图块环路滤波的旗标的该数值将环路滤波处理应用于贯穿该图块边界的该边界像素，其中根据该贯穿图块环路滤波的旗标的该数值将环路滤波处理应用于贯穿该图块边界的该边界像素的步骤包含：如果该贯穿图块环路滤波的旗标的该数值指示允许贯穿图块环路滤波，则该环路滤波处理取决于该图块内部该第一像素的第一参数与该图块外部该第二像素的第二参数；

如果该贯穿图块环路滤波的旗标的该数值指示不允许贯穿图块环路滤波，则该环路滤波处理取决于该图块内部该第一像素的该第一参数而不取决于该图块外部该第二像素的该第二参数。

2.如权利要求1所述的贯穿边界的环路滤波方法，其特征在于，该重建视频数据还可以被分割为条带，且该贯穿边界的环路滤波方法更包含：当该边界为条带边界时，该条带的该条带边界与该区块边界对齐；

决定对应该条带的贯穿条带环路滤波的旗标的数值；以及

根据该贯穿条带环路滤波的旗标的该数值将环路滤波处理应用于贯穿该条带边界的该边界像素如果该贯穿条带环路滤波的旗标的该数值指示允许贯穿条带环路滤波，则该环路滤波处理取决于该条带内部该第一像素的第一参数与该条带外部该第二像素的第二参数；

如果该贯穿图块环路滤波的旗标的该数值指示不允许贯穿条带环路滤波，则该环路滤波处理取决于该条带内部该第一像素的该第一参数而不取决于该条带外部该第二像素的该第二参数。

3.如权利要求2所述的贯穿边界的环路滤波方法，其特征在于，该贯穿图块环路滤波的旗标与该贯穿条带环路滤波的旗标为不同旗标。

4.一种贯穿边界的环路滤波装置，其特征在于，边界像素包含边界的第一侧的第一像素与该边界的第二侧的第二像素，该贯穿边界的环路滤波装置包含：用于从媒介或处理器接收与图像相关联的重建视频数据的装置，其中该重建视频数据被分割为图块，并且当该边界为图块边界时，该图块的该图块边界与一个区块边界对齐；

用于决定对应该图块的贯穿图块环路滤波的旗标的数值的装置；以及

用于根据该贯穿图块环路滤波的旗标的该数值将环路滤波处理应用于贯穿该图块边界的该边界像素的装置，其中如果该贯穿图块环路滤波的旗标的该数值指示允许贯穿图块环路滤波，则该环路滤波处理取决于该图块内部该第一像素的第一参数与该图块外部该第二像素的第二参数；如果该贯穿图块环路滤波的旗标的该数值指示不允许贯穿图块环路滤波，则该环路滤波处理取决于该图块内部该第一像素的该第一参数而不取决于该图块外部该第二像素的该第二参数。

5.如权利要求4所述的贯穿边界的环路滤波装置，其特征在于，该重建视频数据还可以被分割为条带，当该边界为条带边界时，该条带的该条带边界与该区块边界对齐，且该贯穿边界的环路滤波装置更包含：用于决定对应该条带的贯穿条带环路滤波的旗标的数值的装置；以及

用于根据该贯穿条带环路滤波的旗标的该数值将环路滤波处理应用于贯穿该条带边界的该边界像素的装置，其中如果该贯穿条带环路滤波的旗标的该数值指示允许贯穿条带环路滤波，则该环路滤波处理取决于该条带内部该第一像素的第一参数与该条带外部该第二像素的第二参数；如果该贯穿图块环路滤波的旗标的该数值指示不允许贯穿条带环路滤波，则该环路滤波处理取决于该条带内部该第一像素的该第一参数而不取决于该条带外部该第二像素的该第二参数。

6.如权利要求4所述的贯穿边界的环路滤波装置，其特征在于，该贯穿图块环路滤波的旗标与该贯穿条带环路滤波的旗标为不同旗标。

说明书

贯穿图块或条带边界的环路滤波方法及其装置

[0001] 交叉引用

[0002] 本发明要求如下优先权：编号为61/594,457，申请日为2012年2月3日，名称为“Constrain QP availability at slice or tile boundaries”的美国临时专利申请。上述美国临时专利申请在此作为参考。

技术领域

[0003] 本发明有关于视频编解码。特别地，本发明有关于在图块(tile)或条带(slice)边界进行环路滤波处理(loop filter processing)的视频编解码技术。

背景技术

[0004] 运动估计(motion estimation)是利用视频序列中时间冗余(temporal redundancy)的一种有效帧间编码技术。运动补偿帧间编码(motion compensated inter-frame coding)已经广泛应用于各种国际视频编码标准。在各种编码标准中采用的运动估计是通常以区块(block)为基础的技术，其中为每个宏块(macroblock)或相似区块配置确定例如编码模式与运动矢量的运动信息。此外，也可自适应地采用帧内编码(intra-coding)，其中在无需参考任何其他图像的情况下处理图像。通常可进一步由变换(transformation)、量化(quantization)以及熵编码(entropy coding)处理帧间预测与帧内预测残差(residue)以生成压缩视频比特流。在编码进程期间，尤其是在量化进程中引入了编码伪影(coding artifact)。为了减轻编码伪影，在较新的编码系统中可对重建视频采用附加处理以提高图像品质。经常在环内操作(in-loop operation)中配置上述附加处理从而使得编码器与解码器可得到相同的参考图像以取得改进的系统性能。

[0005] 图1描述包含环内滤波处理的示例自适应帧间/帧内视频编码系统。对于帧间预测，可使用运动估计(Motion Estimation,ME)/运动补偿(Motion Compensation,MC)模块112基于其他图像的视频数据提供预测数据。开关114选择帧内预测模块110或帧间预测数据并且将选择的预测数据提供至加法器116以产生预测误差(prediction error)，也称为残差。然后变换(T)模块118处理预测误差，接着量化(Q)模块120处理预测误差。接着，熵编码器122编码已变换及已量化的残差从而形成对应压缩视频数据的视频比特流。然后，将辅助信息(side information)加入与变换系数相关联的比特流，其中上述辅助信息可为例如与图像区域相关联的运动、模式及其他信息。上述辅助信息也可进行熵编码处理以减小需求带宽。相应地，如图1所示，将辅助信息数据提供给熵编码器122(连接熵编码器122的运动/模式路径未示出)。当使用帧间预测模式时，必须使用预先重建参考图像以形成预测残差。因此，逆量化(Inverse  Quantization,IQ)模块124与逆变换(Inverse Transformation,IT)模块126处理已变换及已量化残差以恢复处理残差。接着重建(REC)模块128将上述处理残差叠加至预测数据136以重建视频数据。可将上述重建视频数据储存至参考图像缓冲器134中并且将上述重建视频数据用于其他帧的预测。

[0006] 如图1所示，接收的视频数据在编码系统中经过一系列处理。由于上述一系列处理，来自REC模块128的重建视频数据经受了各种损害。相应地，在重建视频数据用作预测数据之前对上述重建视频数据应用各种环路处理从而改善视频品质。在当前发展的高效率视频编码(High Efficiency Video Coding,HEVC)标准中，已经发展出了去块滤波(Deblocking Filter,DF)130、样本自适应偏移(Sample Adaptive Offset,SAO)131与自适应环路滤波(Adaptive Loop Filter,ALF)132以提高图像品质。可将去块滤波(DF)130应用于边界像素(boundary pixel)并且DF处理依赖于与相应区块相关联的基础像素数据与编码信息。无需将任何特定DF辅助信息合并入视频比特流中。另一方面，SAO与ALF处理是自适应的，其中可根据基础视频数据动态改变类似滤波器参数与滤波器类型的滤波器信息。因此，与SAO、ALF相关联的滤波器信息合并入视频比特流中，从而使得解码器可正确恢复所需信息。因此，向熵编码器122提供来自SAO与ALF的滤波器信息用于合并入比特流。在图1中，首先对重建视频应用DF 130；接着将SAO 131应用于DF已处理视频；然后将ALF 132应用于SAO已处理视频。然而，可重新调整DF、SAO、ALF的处理顺序。在H.264/AVC视频标准中，环路滤波处理仅包含DF。在当前发展的高效率视频编码(HEVC)视频标准中，环路滤波处理包含DF与SAO。

[0007] 在HEVC测试模型版本5.0(HM-5.0)，引入包括条带与图块的不同图像单元结构。将图像分割为多个条带或图块，其中上述图像单元分区通常与最大编码单元(Largest Coding Unit,LCU)的边界对齐。在每幅图像中，图块的处理顺序可依据逐行扫描顺序(raster scan order)。可独立配置条带与图块。因此，一个条带可贯穿多个图块，以及一个图块也可贯穿多个条带。类似DF、SAO与ALF的环路滤波处理可依靠相邻像素。相应地，当前图块或条带的环路滤波处理必须等待直到某些相邻条带或图块变为可用为止。存在两种图块类型：独立图块(independent tile)与非独立图块(dependent tile)。为平行处理主要设计条带或独立图块，其中条带或图块中的LCU重建(例如MV预测、帧内预测、熵编码)无需任何其他图块的数据。然而，可根据旗标贯穿条带或图块边界(across slice or tile boundary)应用环路滤波或者将环路滤波限定在条带或图块内。虽然处在在条带或独立图块中应用编解码进程的模式中，但是环路滤波处理仍需要来自相邻条带或图块的某些信息。例如，当贯穿区块边界应用DF时，DF进程依靠来自区块边界两侧的量化参数(Quantization Parameter,QP)数值。当将DF应用于与区块边界对齐的条带或图块边界时，DF进程依靠来自上述条带或图块两侧的QP数值。如果编解码进程不贯穿条带或图块边界，则将产生上述问题。因此，开发一种能够克服对贯穿条带或图块边界的参数依赖的方法及其装置是令人满意的。

发明内容

[0008] 本发明揭露一种用于贯穿区块边界的边界像素的环路滤波处理方法及其装置。该边界像素具有该区块边界第一侧的第一像素与该区块边界第二侧的第二像素。将环路滤波处理应用于贯穿区块边界的边界像素取决于第一侧第一像素的第一参数与第二侧第二像素的第二参数。本发明实施例根据旗标自适应地应用贯穿条带或图块边界的环路滤波处理，其中该旗标指示是否允许贯穿条带或图块环路滤波处理。根据本发明一实施例，该方法包含：接收与图像相关联的重建视频数据；决定分别对应该条带或该图块的贯穿条带环路滤波旗标或贯穿图块环路滤波旗标的数值；以及根据该贯穿条带环路滤波旗标或该贯穿图块环路滤波旗标的该数值将该环路滤波处理应用于贯穿与区块边界对齐的该条带边界或该图块边界的该边界像素，其中该条带或图块边界的边界像素环路滤波处理取决于该条带或该图块内部该第一像素的该第一参数与该条带或该图块外部该第二像素的该第二参数。

[0009] 该第一参数与该第二参数对应于该区块边界两侧的量化参数(QP)。对于条带或图块，如果该贯穿条带环路滤波旗标或该贯穿图块环路滤波旗标的数值指示不允许贯穿条带或贯穿图块滤波环路处理，则将对应相邻条带或图块的量化参数设定为环路滤波处理不可用。对于条带或图块，如果该贯穿条带环路滤波旗标或该贯穿图块环路滤波旗标的数值指示允许贯穿条带或贯穿图块滤波环路处理，则将对应相邻条带或图块的量化参数提供用于环路滤波处理。在这种情况下，使用该第一量化参数与该第二量化参数的平均量化参数将该环路滤波处理应用于条带或图块的边界像素。

[0010] 本发明另一实施例揭露一种贯穿图块或条带边界的环路滤波处理装置，其中边界像素包含区块边界第一侧的第一像素与该区块边界第二侧的第二像素，该贯穿图块或条带边界的环路滤波处理装置包含：用于从媒介或处理器接收与图像相关联的重建视频数据的装置，其中将该重建视频数据分割为条带或图块，并且该条带或该图块的该条带边界或该图块边界与一个区块边界对齐；用于决定分别对应该条带或该图块的贯穿条带环路滤波旗标或贯穿图块环路滤波旗标的数值的装置；以及用于根据该贯穿条带环路滤波旗标或该贯穿图块环路滤波旗标的该数值将该环路滤波处理应用于贯穿该条带边界或该图块边界的该边界像素的装置，其中该环路滤波处理取决于该条带或该图块内部该第一像素的第一参数与该条带或该图块外部该第二像素的第二参数。

[0011] 本发明的贯穿图块或条带边界的环路滤波方法及其装置可使用旗标灵活选择是否使用贯穿条带或图块边界的参数。

附图说明

[0012] 图1描述使用帧间/帧内预测的示例视频编码系统，其中环路滤波处理包含去块滤波(DF)、样本自适应偏移(SAO)以及自适应环路滤波(ALF)。

[0013] 图2描述涉及去块滤波的垂直边界两侧的像素。

[0014] 图3根据本发明实施例描述贯穿条带或图块环路滤波处理的示例流程图。

具体实施方式

[0015] 将HEVC中的编解码进程应用于图像的最大编码单元(LCU)。可使用四分树(quadtree)将LCU自适应地分割为编码单元。在每个叶CU中，在HEVC测试模型版本5.0(HM-5.0)中对每个8×8区块执行DF。将DF应用于8×8区块边界。对于每个8×8区块，首先执行贯穿垂直区块边界的水平滤波，并且接着执行贯穿水平区块边界的垂直滤波。

[0016] 图2显示在两个区块210与220之间待滤波的垂直边界示例，其中两个区块210与220表示为如图2所示的粗线区块，并且每个区块包含8×8像素。如图2所示，231至238标识与两个相邻区块相关联的八个像素行。将垂直边界每侧的四个像素标识为(p3i,p2i,p1i,p0i,q0i,q1i,q2i,q3i)，其中i是像素行的指数并且i＝0,…,7。在本示例中，区块210与区块220可为两个预测单元(prediction unit,PU)或变换单元(transform unit,TU)。去块进程包含确定滤波开启/关闭(ON/OFF)、确定滤波强度(filter strength)以及应用去块滤波的步骤。滤波ON/OFF决策检查边界处的变换是否是自然边界还是编码伪影造成的。如果是自然边界，则滤波器变为OFF以保留与各自边界相关的图像的锐度(sharpness)。否则，去块滤波器变为ON以降低上述伪影。首先为待滤波的各图像区域的所有区块边界执行滤波ON/OFF决策。如果边界是待滤波的，则确定滤波强度决策，即选择强滤波(strong filter)或弱滤波(weak filter)。随后，将具有已确定滤波强度的去块滤波应用于待滤波的边界。本实施例中为了简洁可将去块进程称为去块(deblocking)。在视频编解码领域去块进程也称为去块滤波。用于去块的滤波器也称为去块滤波器。因此，术语去块滤波可根据上下文内容对应去块进程或去块使用的滤波器。

[0017] 为了保持较低的计算复杂度，仅基于两个像素行决定传统HEVC的滤波ON/OFF决策。例如，在HM-5.0中，使用行2(对应图2中的像素行233)与行5(对应图2中的像素行236)。基于行2与行5上的像素计算边界活动测量值(edge activity measure)d：

[0018] d＝|p22-2p12+p02|+|q22-2q12+q02|+|p25-2p15+p05|+|q25-2q15+q05|.      (1)[0019] 如果边界活动测量值d小于预定阈值β，则滤波相应的去块边界。预定阈值β与量化参数(QP)相关联。如果决定将去块边界进行滤波，则接着根据下列条件逐行执行弱/强滤波决策：

[0020] d＜β＞＞2,                                               (2)[0021] |p3i-p0i|+|q3i-q0i|＜β＞＞3,以及                              (3)[0022] |p0i-q0i|＜5·tc+1,                                         (4)[0023] 其中tc是与QP关联的另一预定阈值以避免过滤波像素(over-filtering pixel)。如果上述三个条件皆满足，则选择强滤波。否则选择弱滤波。虽然上述示例描述垂直区块边界的DF处理，但也可同理获知水平区块边界的DF处理。

[0024] 上述条带或图块边界可与区块边界对齐。在这种情况下，区块210的垂直边界也为垂直条带/图块边界。区块边界的两侧称为第一侧与第二侧。第一侧的边界像素称为第一像素以及第二侧的边界像素称为第二像素。对于给出的条带或图块，条带对齐或图块对齐区块边界一侧的边界像素是在给出条带或图块中，以及条带对齐或图块对齐区块边界另一侧的边界像素是位于给出条带或图块外。为了简洁起见，将边界像素(q0i,q1i,q2i,q3i)指定为第一像素并且将相应侧指定为第一侧。相似地，将边界像素(p3i,p2i,p1i,p0i)指定为第二像素并且将相应侧指定为第二侧。而且，可将第一像素指定为DF处理的边界像素并且第一像素位于当前条带或图块内。因此，区块边界第二侧的第二像素位于相邻条带或图块中，即当前条带或图块外。

[0025] 如上所述，两个阈值tC与β取决于量化参数QP。分别与区块边界的第一像素与第二像素相关联的QP值QPQ与QPP可不相同。因此，在HM-5.0中，将QPQ与QPP取平均得到最终QP并且将平均得到的QP用于获取tC与β阈值。在条带或图块边界，QPQ、QPP与两个相邻条带或图块相关联。如果选择帧内条带或图块处理，来自其他条带或图块(QPQ或QPP)的QP值是不可用的。

[0026] 在HM-5.0中，在不依赖任何其他条带的情况下可独立处理每个条带。使用旗标NonCrossSliceLoopFilterFlag指示是否允许环路滤波处理贯穿条带边界应用。相似地，支持独立与非独立图块，其中在不依赖任何其他图块的情况下处理每个独立图块。使用旗标NonCrossTileLoopFilterFlag指示是否允许环路滤波处理贯穿图块边界应用。当指定非贯穿条带或图块操作时，禁止包括来自其他条带或图块的量化参数QP的数据使用。因此，条带或图块外部像素的QP不可用于条带或图块边界处为DF处理获取平均QP。

[0027] 根据本发明实施例依照贯穿条带环路滤波旗标(cross-slice loop filter flag)使用与相邻条带相关联的参数。例如，在条带边界的情况中，如果非贯穿条带环路滤波旗标NonCrossSliceLoopFilterFlag为真(即不允许贯穿条带环路滤波处理)，则将QPP(即条带外部第二像素的量化参数)设定为对于条带中像素的环路滤波处理不可用。在这种情况下，不可将环路滤波处理应用于贯穿条带边界的边界像素。可使用区块边界第一侧的用于第一像素的量化参数QPQ作为用于第一像素环路滤波处理的QP，即QP＝QPQ。如果非贯穿条带环路滤波旗标NonCrossSliceLoopFilterFlag为假(即允许贯穿条带环路滤波处理)，则将QPP设定为可用的。在这种情况下，可使用第一量化参数与第二量化参数的平均值作为对条带边界的边界像素进行环路滤波处理的量化参数，即QP＝1/2(QPQ+QPP)。

[0028] 对于图块，存在独立图块与非独立图块。对于独立图块，使用环路滤波旗标NonCrossTileLoopFilterFlag指示是否贯穿图块边界应用环路滤波处理。本发明实施例也根据贯穿图块环路滤波旗标(cross-tile loop filter flag)使用与相邻图块相关联的参数。例如，在图块的独立图块边界情况下，如果非贯穿图块环路滤波旗标NonCrossTileLoopFilterFlag为真(即不允许贯穿图块环路滤波处理)，则将QPP(即图块外部第二像素的量化参数)设定为对于图块中像素的环路滤波处理不可用。在这种情况下，不可将环路滤波处理应用于贯穿图块边界的边界像素。可使用图块内部第一像素的量化参数QPQ作为用于第一像素环路滤波处理的QP，即QP＝QPQ。如果非贯穿图块环路滤波旗标NonCrossTileLoopFilterFlag为假(即允许贯穿图块环路滤波处理)，则将QPP设定为可用的。在这种情况下，可使用第一量化参数与第二量化参数的平均值作为用于环路滤波处理的量化参数，即QP＝1/2(QPQ+QPP)。

[0029] 当使用非独立图块时，允许来自先前图块的信息用于当前图块的环路滤波处理。因此，不管NonCrossTileLoopFilterFlag是否为真，则总将QPP设定为可用的。

[0030] 可将上述的贯穿条带环路滤波旗标或贯穿图块环路滤波旗标合并入压缩视频比特流的图像层。根据上述的贯穿条带环路滤波旗标或贯穿图块环路滤波旗标使用相邻条带或图块相关量化参数的环路滤波处理方法不仅应用于视频编码器也应用于视频解码器。图3根据本发明实施例描述编码器或解码器的示例流程图。如步骤310所示，从媒介或处理器接收与图像相关的重建视频数据，其中将重建视频数据分割为一个或多个条带或图块，其中条带或图块的条带边界或图块边界与一个区块边界对齐。可从存储器获取上述重建视频数据，例如缓冲器的计算机存储器(RAM或DRAM)。也可从控制器接收重建视频数据，例如重建视频数据的控制器、中央处理单元或数据信号处理器。在步骤320，分别决定对应条带或图块的贯穿条带环路滤波旗标或贯穿图块环路滤波旗标的数值。接着，如步骤330所示，根据贯穿条带环路滤波旗标或贯穿图块环路滤波旗标的数值将环路滤波处理应用于条带或图块边界的边界像素，其中边界像素的环路滤波处理取决于条带或图块内部的第一像素的第一参数与条带或图块外部的第二像素的第二参数。

[0031] 上述的流程图根据本发明实施例描述了用于视频编码器与解码器的在条带或图块边界处的环路滤波处理方法示例。本领域技术人员可调整每个步骤、重排步骤或结合步骤以在不违背本发明精神的情况下实施本发明。

[0032] 上述描述能够使得本领域技术人员在特定应用与需求的背景下实施本发明。对上述实施例的各种调整对于本领域技术人员是显而易见的，并且可将基本原则应用于其他实施例中。因此，本发明并不局限于上述特定实施例，其包含与上述揭露的本质原则以及新颖特征相一致的最大范围。在上述细节描述中，揭示了各种特定细节以充分说明本发明。本领域技术人员可以理解本发明是可实施的。

[0033] 上述的根据本发明的实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本发明实施例可为集成入视频压缩芯片的电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施例也可为在数据信号处理器(Digital Signal Processor,DSP)中执行的执行上述程序的程序代码。本发明也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。

[0034] 在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为说明的所有方面并且无限制。因此，本发明的范围由权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化皆属于本发明的涵盖范围。