多格点基于稀疏性滤波基础上环内去伪像滤波方法和装置转让专利
申请号 : CN200880102357.3
文献号 : CN101779464B
文献日 : 2014-02-12
发明人 : 奥斯卡·戴沃拉埃斯科达 , 尹澎
申请人 : 汤姆森特许公司
摘要 :
权利要求 :
1.一种编码装置,其包括:
编码器(500),用于编码画面的画面数据,所述编码器使用用于变换预测残余的变换,其中所述编码器包括:环内去伪像滤波器(565、700、1300),其用于对所述画面数据进行去伪像以输出所述画面的至少两个滤波的版本的自适应的加权组合,所述画面数据包括所述画面的至少一个子采样,其中,所述去伪像滤波器用多个变换来变换所述编码的画面,其中,所述多个变换是用于变换预测残余的变换的转换,并且其中,所述多个变换至少沿块轴的两者进行转换。
2.如权利要求1所述的装置,其中所述画面数据被变换为系数,并且所述环内去伪像滤波器(565、665、700、1300)基于信号稀疏性、在变换的域中对所述系数进行滤波。
3.如权利要求2所述的装置,其中使用至少一个阈值、在变换的域中对所述系数进行滤波,所述至少一个阈值局部自适应地依赖于以下中的至少一项:用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、被预先指定为去除的信号分量的统计、被预先指定为去除的信号分量的特性、块编码模式、以及所述系数。
4.如权利要求2所述的装置,其中依赖于以下中的至少一项、对于所述编码器选择性地局部地开启或禁用所述环内去伪像滤波器(565、700、1300)的应用:用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、被预先指定为去除的信号分量的统计、被预先指定为去除的信号分量的特性、块编码模式、以及所述系数。
5.如权利要求1所述的装置,其中使用高级语法元素来选择性地开启或禁用所述环内去伪像滤波器(565、700、1300)的应用,并且其中所述环内去伪像滤波器(565、700、1300)经受所述编码器的适配、修改、开启、和禁用中的至少一项,并且其中使用所述高级语法元素和块层面语法元素中的至少一个来向对应的解码器发信号通知所述适配、修改、开启、和禁用。
6.如权利要求1所述的装置,其中所述环内去伪像滤波器(565、700、1300)包括:版本生成器(702、704),其用于生成画面的至少两个滤波的版本;
权重计算器(760、762、764、774),其用于对于画面的所述至少两个滤波的版本中的每一个计算权重;以及组合器(776),其用于自适应地计算所述画面的至少两个滤波的版本的自适应的加权组合。
7.一种编码方法,其包括:
对画面的画面数据进行编码(565)
其中所述编码步骤包括:
使用用于变换预测残余的变换;
对所述画面数据进行环内去伪像滤波以输出所述画面的至少两个滤波的版本的自适应的加权组合,所述画面数据包括所述画面的至少一个子采样,其中,所述环内去伪像滤波用多个变换来变换所述编码的画面,其中,所述多个变换是用于变换预测残余的变换的转换,并且其中,所述多个变换至少沿块轴的两者进行转换。
8.如权利要求7所述的方法,其中所述画面数据被变换为系数(806、808、810),并且所述环内去伪像滤波步骤基于信号稀疏性、在变换的域中对所述系数进行滤波(812、814、
816)。
9.如权利要求8所述的方法,其中使用至少一个阈值在变换的域中对所述系数进行滤波(826、828、834、1150),所述至少一个阈值局部地自适应地依赖于以下中的至少一项:用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、被预先指定为去除的信号分量的统计、被预先指定为去除的信号分量的特性、块编码模式、以及所述系数(1330)。
10.如权利要求8所述的方法,其中依赖于以下中的至少一项而对于执行所述方法的编码器选择性地局部地开启或禁用所述环内去伪像滤波步骤的应用:用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、被预先指定为去除的信号分量的统计、被预先指定为去除的信号分量的特性、块编码模式、以及所述系数(1320)。
11.如权利要求7所述的方法,其中使用高级语法元素来选择性地开启或禁用所述环内去伪像滤波步骤的应用,并且其中所述环内去伪像滤波步骤经受执行所述方法的编码器的适配、修改、开启、和禁用中的至少一项,并且其中使用高级语法元素和块层面语法元素中的至少一个来向对应的解码器发信号通知所述适配、修改、开启、和禁用。
12.如权利要求7所述的方法,其中所述环内去伪像滤波步骤包括:
生成所述画面的至少两个滤波的版本;
对于画面的所述至少两个滤波的版本中的每一个计算权重;以及
自适应地计算所述画面的至少两个滤波的版本的自适应的加权组合。
13.一种解码装置,其包括:
解码器(600),用于解码画面的画面数据,所述解码器利用逆变换获得解码的预测残余,所述逆变换对应于在编码器处用于变换预测残余的变换,其中所述解码器包括:
环内去伪像滤波器(665、800、1300),其用于对所述画面数据进行去伪像以输出所述画面的至少两个滤波的版本的自适应的加权组合,所述画面数据包括所述画面的至少一个子采样,其中,所述去伪像滤波器用多个变换来变换所述解码的画面,其中,所述多个变换是在编码器处用于变换预测残余的变换的转换,并且其中,所述多个变换至少沿块轴的两者进行转换。
14.如权利要求13所述的装置,其中所述画面数据被变换为系数,并且所述环内去伪像滤波器(665、800、1300)基于信号稀疏性、在变换的域中对所述系数进行滤波。
15.如权利要求14所述的装置,其中使用至少一个阈值、在变换的域中对所述系数进行滤波,所述至少一个阈值局部地自适应地依赖于以下中的至少一项:用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、被预先指定为去除的信号分量的统计、被预先指定为去除的信号分量的特性、块编码模式、以及所述系数。
16.如权利要求14所述的装置,其中依赖于以下中的至少一项、对于所述解码器选择性地局部地开启或禁用所述环内去伪像滤波器(665、800、1300)的应用:用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、被预先指定为去除的信号分量的统计、被预先指定为去除的信号分量的特性、块编码模式、以及所述系数。
17.如权利要求13所述的装置,其中使用高级语法元素来选择性地开启或禁用所述环内去伪像滤波器(665、800、1300)的应用,并且其中所述环内去伪像滤波器(665、800、
1300)经受编码器的适配、修改、开启、和禁用中的至少一项,并且其中由所述解码器使用高级语法元素和块层面语法元素中的至少一个来确定所述适配、修改、开启、和禁用。
18.如权利要求13所述的装置,其中所述环内去伪像滤波器(665、800、1300)包括:版本生成器(802、804),其用于生成所述画面的至少两个滤波的版本;
权重计算器(834),其用于对所述画面的至少两个滤波的版本中的每一个计算权重;
以及
组合器(836),其用于自适应地计算所述画面的至少两个滤波的版本的自适应的加权组合。
19.一种解码方法,其包括:
对画面的画面数据进行解码(665),
其中所述解码步骤包括:
利用逆变换获得解码的预测残余,所述逆变换对应于在编码器处用于变换预测残余的变换;
对所述解码的画面数据进行环内去伪像滤波以输出所述画面的至少两个滤波的版本的自适应的加权组合,所述画面数据包括所述画面的至少一个子采样,其中,所述去伪像滤波用多个变换来变换所述解码的画面,其中,所述多个变换是在编码器处用于变换预测残余的变换的转换,并且其中,所述多个变换至少沿块轴的两者进行转换。
20.如权利要求19所述的方法,其中所述画面数据被变换为系数,并且所述环内去伪像滤波步骤基于信号稀疏性、在变换的域中对所述系数进行滤波(812、814、816)。
21.如权利要求20所述的方法,其中使用至少一个阈值、在变换的域中对所述系数进行滤波(826、828、834、1150),所述至少一个阈值局部地自适应地依赖于以下中的至少一项:用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、被预先指定为去除的信号分量的统计、被预先指定为去除的信号分量的特性、块编码模式、以及所述系数(1330)。
22.如权利要求20所述的方法,其中依赖于以下中的至少一项、对于执行所述方法的解码器选择性地局部地开启或禁用所述环内去伪像滤波步骤:用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全局失真、局部噪声、全局噪声、被预先指定为去除的信号分量的统计、被预先指定为去除的信号分量的特性、块编码模式、以及所述系数(1320)。
23.如权利要求19所述的方法,其中使用高级语法元素来选择性地开启或禁用所述环内去伪像滤波步骤的应用,并且其中所述环内去伪像滤波步骤经受编码器的适配、修改、开启、和禁用中的至少一项,并且其中由执行所述方法的解码器使用高级语法元素和块层面语法元素中的至少一个来确定所述适配、修改、开启、和禁用。
24.如权利要求19所述的方法,其中所述环内去伪像滤波步骤包括:
生成所述画面的至少两个滤波的版本;
对于所述画面的至少两个滤波的版本的每一个计算权重;以及
自适应地计算所述画面的至少两个滤波的版本的自适应的加权组合。
说明书 :
多格点基于稀疏性滤波基础上环内去伪像滤波方法和装置
技术领域
(de-artifacting)滤波的方法和装置
背景技术
称作“MPEG-4AVC标准)是当前最高效和当前技术发展水平(state-of-the-art)的视频编
码标准。与其他视频编码标准类似,MPEG-4AVC标准采用基于块的离散余弦变换(DCT)和运
动补偿。变换系数的粗糙的(coarse)量化可以导致诸如块伪像、边缘伪像、纹理(texture)
伪像等之类的各种视觉干扰伪像。MPEG-4AVC标准定义了自适应的环内去块滤波器以解决
该问题,但该滤波器仅仅关注对块边缘的平滑。该滤波器不尝试校正由量化噪声导致诸如
失真的边缘和纹理之类的其他伪像。
铃(ringing)伪像、边缘失真、以及纹理毁坏。通常,解码的序列可能由具有不同的严重程
度的、所有类型的视觉伪像组成。在不同种类的视觉伪像中,块伪像在基于块的视频编码中
是普遍的。这些伪像可能来源于残余编码中的变换阶段(例如DCT或MPEG-4AVC标准整数
(integer)块变换)以及预测阶段(例如运动补偿和/或帧内(intra)预测)的两者。例
如在MPEG-4AVC标准中的,在过去已经研究了自适应的去块滤波器,并且已经提出了一些
众所周知的方法。在被很好地设计时,自适应的去块滤波器可以改善客观和主观的视频质
量这两者。在诸如在MPEG-4AVC标准中,本领域的视频编解码器中,设计了自适应的环内去
块滤波器以减少块伪像,其中由若干语法元素的值以及由重构的图像的局部幅度和结构来
控制滤波的强度。基本的构思是:如果量度到块边缘附近的样本之间的相对较大的绝对差,
则它很可能是块伪像,并且因此应当被减少。但是,如果该差异的量值(magnitude)如此大
以至于它不能由编码中所使用的量化的粗糙程度来解释,则该边缘更可能反映了源画面的
实际表现,并且不应当对其进行平滑。以此方式,减少了块程度(blockiness),而基本不改
变内容的锐度。该去块滤波器在若干层面(level)上是自适应的。在片(slice)层面上,
可以将全局滤波强度调节至该视频序列的个体特性。在块边缘层面上,使滤波强度依赖于
两个相邻的块中的帧间/帧内预测决定、运动差异、和编码的残余的存在。在宏块边界上,
施加尤其强的滤波以去除“平铺(tiling)伪像”。在采样层面上,采样值和依赖于量化器的
阈值可以对于每个个体样本关闭滤波。
标准不能改善任何失真的边缘或纹理。背后的一个原因是:MPEG-4AVC标准去块滤波器应
用平滑的图像模型,并且所设计的滤波器典型地包括一组(a bank of)低通滤波器。但是,
图像可能包括不能被MPEG-4AVC标准去块滤波器正确地处理的许多奇点(singularity)、
纹理等。
的非静止图像统计的非线性去噪声滤波器,所述稀疏图像模型使用线性变换的过完整集合
(overcomplete set)和阈值操作。现有技术第一方法的非线性去噪声滤波依赖于它所操作
的区域,自动地变为高通、或低通、或带通等。现有技术第一方法的非线性去噪声滤波器可
以对付所有类型的量化噪声。
(shift)的相同变换的版本施加去噪声而产生的)若干去噪声的估算在每个像素处的加权
平均来组合所述估算。在现有技术第一方法中所描述的自适应的环内滤波是基于冗余变换
的使用。由给定的变换H的所有可能的转换(translation)Hi来生成冗余变换。因此,给
定图像I,通过在I上施加变换Hi来生成图像I的一系列不同的变换的版本Yi。其后,借助
于系数去噪声过程(通常为阈值操作)来处理每个变换的版本Yi,以便减少在变换的系数
中包括的噪声。这生成一系列Y’i。此后,每个Y’i被变换回空间域、变为不同的估算I’i,
其中在所述估算I’i中的每一个中应当存在更少的噪声量。现有技术第一方法还利用以下
事实:对于不同的位置,不同的I’i包括I的最佳去噪声的版本。因此,现有技术第一方法
将最终滤波的版本I’估算为I’i的加权的和,其中最优化权重以使得在I’的每个位置处
优选(favor)最佳的I’i。图1和2涉及该现有技术第一方法。
模块(具有逆变换矩阵1)135的输入端、组合权重计算模块150的输入端、以及第N逆变换
模块(具有逆变换矩阵N)145的输入端信号通信地连接。第一逆变换模块(具有逆变换矩
阵1)135的输出端与组合器155的第一输入端信号通信地连接。
阵2)140的输入端、组合权重计算模块150的输入端、以及第N逆变换模块(具有逆变换矩
阵N)145的输入端信号通信地连接。第二逆变换模块(具有逆变换矩阵2)140的输出端与
组合器155的第二输入端信号通信地连接。
阵N)145的输入端、组合权重计算模块150的输入端、以及第一逆变换模块(具有逆变换矩
阵1)135的输入端信号通信地连接。第N逆变换模块(具有逆变换矩阵N)145的输出端与
组合器155的第三输入端信号通信地连接。
用于接收输入图像。组合器155的输出端作为装置100的输出端,可用于提供输出图像。
并且向功能块220传递控制。功能块220确定去噪声系数,并且向功能块225传递控制。功
能块225利用逆变换矩阵i执行逆变换,并且向循环限制块230传递控制。循环限制块230
结束在变量i的每个值上的循环,并且向功能块235传递控制。功能块235组合去噪声的
系数图像的不同的逆变换的版本(例如其局部自适应的加权和),并且向结束块299传递控
制。
这点,MPEG-4AVC标准不考虑以下事实:给定的正交归一化变换具有有限量的分析方向。因
此,即使DCT的所有可能的转换被用于生成I的过完整的表示,I仍将被唯一地分解为垂直
分量和水平分量,而与I的特定分量无关。
尽地注明的,其去噪声工具最初是为加性(additive)、独立和相等地分布(i.i.d.)的噪
声去除而设计的,但量化噪声具有显著不同的属性,其可能呈现在恰当的失真减少和视觉
去伪像方面的问题。这暗示这些技术可能被真正的边缘或虚假的块边缘所迷惑。虽然可
以主张:空间-频率阈值自适应可能能够校正该决定,但所述空间-频率阈值自适应的实
施不是轻而易举的。不充分的阈值选择的可能结果是:稀疏性去噪声可能导致过平滑的
(over-smoothed)重构的画面或者虽然进行了滤波过程但仍然呈现块伪像。目前,如在我们
的实验中所观察到的,当应用在现有技术第一方法中所呈现的基于稀疏性的去噪声技术取
代MPEG-4AVC标准中的环内滤波步骤时,尽管它在客观量度(例如均方差(MSE))方面呈现
了比其他技术更高的失真减少,但它仍然呈现需要被处理的重要的视觉伪像。
码的信号中的量化误差有时处于可用于重构的系数的数目的减少的形式之下,所以这种系
数的减少迷惑了在现有技术第一方法中的权重生成中所执行的信号稀疏性的量度。这使得
量化噪声影响权重的生成,然后所述权重生成影响一些位置中的最佳I’i的恰当权重,这使
得在滤波之后仍然可见一些块伪像。
分析的有限量的主方向(即垂直和水平)。这削弱了对具有既非垂直定向也非水平定向的
信号结构的恰当的去伪像。
技术第二方法计算适应于信号的子空间,但由于现有技术第二方法没有恰当地处理信号的
高频分量,所以它不能够完全去除所有的块伪像。在现有技术第三方法中,提出使用小波变
换和阈值处理以对重构的压缩图像进行处理和去噪声。但是,现有技术第三方法在某种意
义上(in the sense)仍然是受限的,这是因为现有技术第三方法没有恰当地处理高度纹理
化的区域、也不能够恰当地对边缘上的几何失真进行去伪像、并且受限于对定向(orient)
特征的处理。
连接。变换器和量化器325的输出端与熵编码器345的第一输入端、以及逆变换器和逆量
化器350的第一输入端信号通信地连接。熵编码器345的输出端与组合器390的第一非反
相输入端信号通信地连接。组合器390的输出端与输出缓冲器335的第一输入端信号通信
地连接。
块320的输入端、帧内预测模块360的第二输入端、去块滤波器365的第二输入端、运动补
偿器370的第一输入端、运动估算器375的第一输入端,以及参考画面缓冲器380的第二输
入端信号通信地连接。
二输入端、以及序列参数集(SPS)和画面参数集(PPS)插入器340的输入端信号通信地连
接。
信地连接。
入端信号通信地连接。去块滤波器365的输出端与参考画面缓冲器380的第一输入端信号
通信地连接。参考画面缓冲器380的输出端与运动估算器375的第二输入端信号通信地连
接。运动估算器375的第一输出端与运动补偿器370的第二输入端信号通信地连接。运动
估算器375的第二输出端与熵编码器345的第三输入端信号通信地连接。
输出端与切换器397的第三输入端信号通信地连接。切换器397的输出端与组合器327的
第二非反相输入端信号通信地连接。
300的输入端,可用于接收元数据。输出缓冲器335的输出端作为编码器300的输出端,可
用于输出比特流。
信号通信地连接。逆变换器和逆量化器450的输出端与组合器425的第二非反相输入端信
号通信地连接。组合器425的输出端与去块滤波器465的第二输入端、以及帧内预测模块
460的第一输入端信号通信地连接。去块滤波器465的第二输出端与参考画面缓冲器480
的第一输入端信号通信地连接。参考画面缓冲器480的输出端与运动补偿器470的第二输
入端信号通信地连接。
信号通信地连接。解码器控制器405的第一输出端与熵解码器445的第二输入端信号通信
地连接。解码器控制器405的第二输出端与逆变换器和逆量化器450的第二输入端信号通
信地连接。解码器控制器405的第三输出端与去块滤波器465的第三输入端信号通信地连
接。解码器控制器405的第四输出端与帧内预测模块460的第二输入端、与运动补偿器470
的第一输入端、以及与参考画面缓冲器480的第二输入端信号通信地连接。
合器425的第一非反相输入端信号通信地连接。
发明内容
至少两个滤波的版本的自适应的加权组合。所述画面数据包括所述画面的至少一个子采
样。
版本的自适应的加权组合。所述画面数据包括所述画面的至少一个子采样。
的至少两个滤波的版本的自适应的加权组合。所述画面数据包括所述画面的至少一个子采
样。
滤波的版本的自适应的加权组合。所述画面数据包括所述画面的至少一个子采样。
附图说明
具体实施方式
置。
受这样的具体叙述的例子和条件的限制。
以及在将来开发的等效物,即任何所开发的无论结构如何都执行相同的功能的元件。
计算机可读介质中被实质性地表示、并且由计算机或处理器如此执行的各种处理,而无论
这样的计算机或处理器是否被显式地示出。
器、或由多个单独的处理器(其中的一些可以被共享)来提供所述功能。此外,术语“处理
器”或“控制器”的显式使用不应被理解为排他性地指代能够执行软件的硬件,而可以隐式
地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随
机存取存储器(“RAM”)和非易失性存储装置。
辑的交互、或甚至手动地执行它们的功能,如同从上下文中更具体地理解的,具体的技术可
由实施者选择。
因此包括固件、微代码(microcode)等的任何形式的软件与用于执行该软件的恰当的电路
进行组合以执行该功能。如同由这样的权利要求所限定的本发明存在于以下事实中:以权
利要求所要求的方式将由各种所叙述的部件所提供的功能组合并放在一起。因而认为可以
提供那些功能的任何部件与这里所示出的那些部件等效。
明书的多处出现的短语“在一个实施例中”或
一步的例子,在“A、B和/或C”的情况中,这样的措辞意图包含对所列第一选项(A)的选择、
对所列第二选项(B)的选择、对所列第三选项(C)的选择、对所列第一和第二选项(A和B)
的选择、对所列第一和第三选项(A和C)的选择、对所列第二和第三选项(B和C)的选择、
或对所有三个选项(A和B和C)的选择。如同对于本领域和相关领域中的普通技术人员来
说易于明白的,这可以对所列出的许多项目进行扩展。
框架的、具有10个非零系数的另一信号具有更稀疏的表示。
子采样。在一个例子中,这样的图案可以是诸如矩形图案的几何图案。
和/或对应于画面内的像素或像素的局部化邻近的感兴趣的项目。
序列的全部像素的感兴趣的项目。
补充增强信息(SEI)层面、画面参数集(PPS)层面、序列参数集(SPS)层面和网络抽象层面
(NAL)单元首部层面处的语法。
一个处的比特流中呈现的语法。例如,如这里所使用的,块层面语法可以指代、但不限于宏
块层面、16×8分区层面、8×16分区层面、8×8子块层面、和这些层面中的任一层面的一般
的分区处的语法。此外、如这里所使用的,块层面语法还可以指代从较小的块的并集(例如
宏块的并集)所产生(issue)的块。
连接。变换器和量化器525的输出端与熵编码器545的第一输入端、以及逆变换器和逆量
化器550的第一输入端信号通信地连接。熵编码器545的输出端与组合器590的第一非反
相输入端信号通信地连接。组合器590的输出端与输出缓冲器535的第一输入端信号通信
地连接。
515的输入端、宏块类型(MB类型)决定模块520的输入端、帧内预测模块560的第二输入
端、去伪像滤波器565的第二输入端、运动补偿器570的第一输入端、运动估算器575的第
一输入端,以及参考画面缓冲器580的第二输入端信号通信地连接。
545的第二输入端、输出缓冲器535的第二输入端、以及序列参数集(SPS)和画面参数集
(PPS)插入器540的输入端信号通信地连接。
信地连接。
输入端信号通信地连接。去伪像滤波器565的输出端与参考画面缓冲器580的第一输入端
信号通信地连接。参考画面缓冲器580的输出端与运动估算器575的第二输入端信号通信
地连接。运动估算器575的第一输出端与运动补偿器570的第二输入端信号通信地连接。
运动估算器575的第二输出端与熵编码器545的第三输入端信号通信地连接。
输出端与切换器597的第三输入端信号通信地连接。切换器597的输出端与组合器527的
第二非反相输入端信号通信地连接。
息(SEI)插入器530的输入端作为编码器500的输入端,可用于接收元数据。输出缓冲器
535的输出端作为编码器500的输出端,可用于输出比特流。
的第一输入端信号通信地连接。逆变换器和逆量化器650的输出端与组合器625的第二非
反相输入端信号通信地连接。组合器625的输出端与去伪像滤波器665的第二输入端、以
及帧内预测模块660的第一输入端信号通信地连接。去伪像滤波器665的第二输出端与参
考画面缓冲器680的第一输入端信号通信地连接。参考画面缓冲器680的输出端与运动补
偿器670的第二输入端信号通信地连接。
像滤波器665)的解码器控制器605的输入端信号通信地连接。具有扩展(以控制去伪像
滤波器665)的解码器控制器605的第一输出端与熵解码器645的第二输入端信号通信地
连接。具有扩展(以控制去伪像滤波器665)的解码器控制器605的第二输出端与逆变换
器和逆量化器650的第二输入端信号通信地连接。具有扩展(以控制去伪像滤波器665)
的解码器控制器605的第三输出端与去伪像滤波器665的第三输入端信号通信地连接。具
有扩展(以控制去伪像滤波器665)的解码器控制器605的第四输出端与帧内预测模块660
的第二输入端、与运动补偿器670的第一输入端、以及与参考画面缓冲器680的第二输入端
信号通信地连接。
合器625的第一非反相输入端信号通信地连接。
2)714的输入端、和变换模块(具有来自集合B的变换矩阵N)716的输入端进行信号通信的
输出端。
有来自集合B的变换矩阵N)722的输入端进行信号通信的输出端。
系数模块732的输入端信号通信地连接。变换模块(具有来自集合B的变换矩阵N)716的
输出端与去噪声系数模块734的输入端信号通信地连接。
系数模块738的输入端信号通信地连接。变换模块(具有来自集合B的变换矩阵N)722的
输出端与去噪声系数模块740的输入端信号通信地连接。
系数模块726的输入端信号通信地连接。变换模块(具有来自集合A的变换矩阵M)710的
输出端与去噪声系数模块728的输入端信号通信地连接。
块(具有来自集合A的逆变换矩阵2)744的输入端、逆变换模块(具有来自集合A的逆变
换矩阵M)746的输入端、以及组合权重计算模块760的输入端信号通信地连接。
块(具有来自集合B的逆变换矩阵2)750的输入端、逆变换模块(具有来自集合B的逆变
换矩阵N)752的输入端、以及组合权重计算模块762的输入端信号通信地连接。
块(具有来自集合B的逆变换矩阵2)756的输入端、逆变换模块(具有来自集合B的逆变
换矩阵N)758的输入端、以及组合权重计算模块764的输入端信号通信地连接。
与组合器模块776的第二输入端信号通信地连接。逆变换模块(具有来自集合A的逆变换
矩阵M)746的输出端与组合器模块776的第三输入端信号通信地连接。
入端信号通信地连接。逆变换模块(具有来自集合B的逆变换矩阵2)750的输出端与上采
样、样本重新布置和合并陪集模块770的第一输入端信号通信地连接。逆变换模块(具有
来自集合B的逆变换矩阵N)752的输出端与上采样、样本重新布置和合并陪集模块772的
第一输入端信号通信地连接。
逆变换矩阵2)756的输出端与上采样、样本重新布置和合并陪集模块770的第二输入端信
号通信地连接。逆变换模块(具有来自集合B的逆变换矩阵N)758的输出端与上采样、样
本重新布置和合并陪集模块772的第二输入端信号通信地连接。
766的第一输入端信号通信地连接。组合权重计算模块764的输出端与上采样、样本重新布
置和合并陪集模块766的第二输入端信号通信地连接。
776的第四输入端信号通信地连接。上采样、样本重新布置和合并陪集模块768的输出端与
组合器模块776的第五输入端信号通信地连接。上采样、样本重新布置和合并陪集模块770
的输出端与组合器模块776的第六输入端信号通信地连接。上采样、样本重新布置和合并
陪集模块772的输出端与组合器模块776的第七输入端信号通信地连接。
下采样和样本布置模块702的输入端、下采样和样本布置模块704的输入端作为滤波器700
的输入端,可用于接收输入图像。组合器模块776的输出端作为滤波器700的输出端,可用
于提供输出画面。
可以或者不可以并行处理的一系列处理分支。进一步理解,虽然描述了由滤波器700的不
同的相应元件执行若干不同的处理,但给定这里所提供的本发明的教导,本领域和相关领
域普通技术人员将容易地理解:可以组合并且由单个元件(例如对于两个或更多处理分支
来说共用的单个元件,例如以允许数据的非并行处理的重用)来执行两个或更多的这样的
处理,并且可以容易地向其应用其他修改,同时保持本发明的精神。例如,在一个实施例中,
可以在滤波器700外实施组合器模块776,同时保持本发明的精神。
结尾处的(at the very end)单个步骤来执行如图7中所示的权重的计算以及使用权重来
混合(或熔合)不同的滤波的图像,所述不同的滤波的图像是通过利用不同的变换和子采
样来处理所述图像而获得的。
的精神。此外,本领域和相关领域普通技术人员将设想到滤波器700、800、1300可能最终具
有可以是变换的相同的冗余集合或可以不是变换的相同的冗余集合的变换的集合A和B,
其中滤波器700、800、1300使用冗余变换两个可能不同的集合A和B。以相同的方式,M可
能等于或可能不等于N。
进单个块中。
前向变换模块(具有变换的冗余集合B)810的输入端信号通信地连接。
信号通信地连接。前向变换模块(具有变换的冗余集合B)810的输出端与去噪声系数模块
816信号通信地连接。
声系数模块814的输出端与计算影响每个像素的非零系数的数目的模块830的输入端、以
及逆变换模块(具有变换的冗余集合B)820的输入端信号通信地连接。去噪声系数模块
816的输出端与计算影响每个像素的非零系数的数目的模块832的输入端、以及逆变换模
块(具有变换的冗余集合B)822的输入端信号通信地连接。
新布置和合并陪集模块824的第一输入端信号通信地连接。逆变换模块(具有变换的冗余
集合B)822的输出端与上采样、样本重新布置和合并陪集模块824的第二输入端信号通信
地连接。
个变换的每个像素的非零系数的数目的模块832的输出端与上采样、样本重新布置和合并
陪集模块828的第二输入端信号通信地连接。
与一般的组合权重计算模块834的第二输入端信号通信地连接。一般的组合权重计算模块
834的输出端与组合模块836的第二输入端信号通信地连接。
可用于接收输入图像。组合模块836的输出端作为滤波器的输出端,可用于提供输出图像。
应当理解,可以并行地或可以不并行地对变换的冗余集合中所包括的每个变换执行变换、
去噪声和/或逆变换处理
所提出的伪像减少滤波器还减少其他类型的伪像,包括但不限于振铃、边缘上的几何失真、
纹理毁坏等。
减少。通过对要被滤波的画面的格点采样的稀疏近似来进行一个或更多的滤波步骤。稀疏
近似允许从噪声、失真和伪像中鲁棒地(robust)分离真实信号分量。这涉及在给定的变换
域中去除不重要(insignificant)的信号分量。通过允许在画面的不同的子采样格点上执
行稀疏估算,将变换一般化以便对更宽范围的信号特性和/或特征进行处理和/或建模。
即,由于相比另一格点和/或给定的变换,可以在特定的格点上更好地滤波一些信号区域,
所以依赖于信号和稀疏滤波技术来执行滤波的自适应。实际上,依赖于其中被施加变换的
子采样格点,可以修改(例如可以利用五点(quincunx)采样将DCT变换的最终方向修改为
对角而非垂直和水平)变换的分解的主方向(例如DCT中的垂直和水平)。最终权重组合
步骤允许从最恰当的子格点采样和/或变换中自适应地选择最优滤波的数据。
向图9,由参考标号900一般地指示在具有8×8尺寸的离散余弦变换(DCT)中所包括的DCT
基函数以及它们的形状。如同可以观察到的,基函数900看起来具有2个主结构定向(或
主要方向)。存在大体上垂直定向的函数、存在大体上水平定向的函数、并且存在有些像两
者的棋盘状(checkerboard)混合的函数。这些形状对于静止信号以及垂直形状和水平形
状的信号分量的高效表示来说是恰当的。但是,具有定向属性的信号的部分不通过这样的
变换被高效地表示。通常,像DCT的例子,大部分变换基函数具有有限种类的方向分量。
采样图案来生成样本的这些陪集。可以建立子采样图案使得它们是定向的。可以使用由子
采样图案所施加的这些定向与固定变换的组合来使变换的分解方向适配于一系列期望的
方向。
2
数格点Z 的子格点,任何格点Λ:
以应用本发明的、利用对应的格点采样矩阵的格点采样的例子。在图10A中,示出了五点格
点采样。用黑色(填充)点示出与五点格点采样相关的两个陪集中的一个。通过沿x/y轴
方向的1-转换来获得互补陪集。在图10B中,示出了另一方向(或几何)格点采样。用黑
色和白色点来示出四个可能的陪集中的两个。箭头描绘格点采样的主方向。本领域和相关
领域普通技术人员可以理解格点矩阵和格点采样上的主方向(箭头)之间的关系。
适配于矩形网格的变换(诸如2D DCT之类)。
波而将所述相同的滤波策略一般化。
格点子采样。这样的子采样由被放置在每隔一个像素的对角地对准的采样上的样本的2个
陪集组成。
的整数格点子采样上的、变换的域中的基于稀疏性的滤波的应用。
限制块1115对于每个(子)格点族使用变量j来执行循环,并且向功能块1120传递控制。
功能块1120根据子格点族j来下采样图像并且将图像分割为N个子格点(子格点的总数
目依赖于每个族j),并且向循环限制块1125传递控制。循环限制块1125对于每个子格点
使用变量k(总量依赖于族j)来执行循环,并且向功能块1130传递控制。功能块1130(例
如从布置A(j,k)到B)重新布置样本,并且向功能块1135传递控制。功能块1135选择对
于给定的子格点族j允许使用哪些变换,并且向循环限制块1140传递控制。循环限制块
1140对于每个所允许的变换(依赖于子格点的子格点族j而选择)执行循环,并且向功能
块1145传递控制。功能块1145利用变换矩阵i执行变换,并且向功能块1150传递控制。
功能块1150对系数去噪声,并且向功能块1155传递控制。功能块1155利用逆变换矩阵i
执行逆变换,并且向循环限制块1160传递控制。循环限制块1160结束在变量i的每个值上
的循环,并且向功能块1165传递控制。功能块1165(从布置B到A(j,k))重新布置样本,
并且向循环限制块1170传递控制。循环限制块1170结束在变量k的每个值上的循环,并
且向功能块1175传递控制。功能块1175根据子格点族j来上采样并且合并子格点,并且
向循环限制块1180传递控制。循环限制块1180结束在变量j的每个值上的循环,并且向
功能块1185传递控制。功能块1185组合去噪声的系数图像的不同的逆变换的版本(例如
其局部自适应的加权和),并且向结束块1199传递控制。
的局部自适应的加权和来计算最终滤波的图像。
计存在4×4DCT的16个可能的转换。以相同的方式,8×8DCT的可能的转换的总数目将是
64。可以在图12A-12D中看到这个例子。转向图12A-12D,分别由参考标号1210、1220、1230
和1240来一般地指示图像的DCT变换的块划分的示例的可能的转换。图12A-12D分别示出
了4×4DCT变换的16个可能的转换中的四个中的一个。例如可以使用一些填充(padding)
或图像扩展来虚拟地(virtually)扩展比变换尺寸小的不完整的边界块。可以借助于填充
或者某些种类的画面扩展来虚拟地扩展画面的边界处的比变换尺寸小的分区。这允许在所
有图像块中使用相同的变换尺寸。图11指示在本例子中向每个子格点(本例子中的2个
五点陪集中的每一个陪集)施加这样的转换的DCT的集合。
依赖于、但不限于以下中的一项或多项:局部信号特性、用户选择、局部统计、全局统计、局
部噪声、全局噪声、局部失真、全局失真、被预先指定为去除的信号分量的统计、以及被预先
指定为去除的信号分量的特性。在阈值处理步骤之后,对每个变换的和/或转换的格点子
采样进行逆变换。互补陪集的每个集合被旋转回它们原始的采样方案、被上采样并且被合
并以便恢复原始画面的原始采样网格。在向画面的原始采样直接施加变换的特定情况中,
不需要旋转、上采样和采样合并。
中的每一个图像,其中每个I’i可以对应于在滤波处理期间可能经历或可能未经历格点子
采样的、画面上的DCT(或MPEG-4AVC标准整数变换)的某个转换的阈值处理之后的重构的
画面中的任何画面。设Wi为权重的画面,其中每个像素包括与I’i中其的同位(co-located)
像素相关联的权重。其后获得如下的最终估算I’final:
假定:从阈值处理的更稀疏的变换获得的I’i(x,y)包括最低量的噪声/失真。在实施例
中,对于每个I’i(x,y)(从非子采样滤波获得、并且用于基于格点子采样的滤波的那些)生
成Wi(x,y)矩阵。借助于为每个滤波后的子采样图像生成独立的Wi,coset(j)(x,y)(即在旋
转、上采样和合并的过程之前),来获得对应于已经经历了格点子采样过程的I’i(x,y)的
Wi(x,y),并且其后以与从I’i(x,y)的互补子采样后的分量重组(recompose)I’i(x,y)的
方式相同的方式来旋转、上采样和合并对应于I’i(x,y)的不同的Wi,coset(j)(x,y)。因而,在
一个例子中,已经在滤波处理期间经历了五点子采样的每个滤波后的图像将具有2个权重
子采样的矩阵。这些权重子采样的矩阵可以被旋转、上采样和合并为将与其对应的I’i(x,
y)一起使用的单个权重矩阵。
中,可对于每个像素计算Wi,coset(j)(x,y)(以及Wi(x,y))的权重,使得它们与包括每个像素的
块变换内的非零系数的量成反比。根据该方法,Wi(x,y)中的权重具有与用于生成I’i(x,
y)的变换相同的块结构。
测步骤之后的残余信号进行编码使用的变换。因为被引入至编码的信号中的量化误差有时
处于在可用于重构的系数的数目的减少的形式之下,所以这种系数的减少迷惑现有技术第
一方法中的权重生成中所执行的信号稀疏性的量度。这使得量化噪声影响权重生成,然后
所述权重生成影响某些位置中的最佳I’i的恰当加权,这使得在滤波之后一些块伪像仍然
可见。
格点中的任一个中的稀疏的表示/近似。换言之,预期可以在基函数的子空间内很好地近
似现实(期望的信号),而伪像信号被大部分从该子空间中排除、或以低出现率(presence)
而存在。
发生以下情况:信号中所引入的量化噪声和/或伪像主要落入与信号自身相同的基函数的
子空间中。在该情况中,去噪声算法更容易混淆信号和噪声(即对于信号,噪声不是独立
且相等地分布(i.i.d.),并且通常不能够分离他们。让我们考虑如下使用正交归一化变换
(即,在该情况中MPEG-4AVC整数变换)的、依据预测Ipred(x,y)和变换的残余信号Ires(x,
y)=Iorig(x,y)-Ipred(x,y)的原始信号Iorig(x,y)的MPEG-4AVC标准的以下表示:
的情况要小。在该情况中,失真噪声如下:
变换使用的块划分的更高的对准度的非子采样格点中的变换将很可能发现它们所表示的
信号在系数方面更紧凑。根据权重生成方法,如上所述,将优选从那些“对准”的变换产生
的滤波的画面,并且伪像将保留在信号中。由于使用“对准的”或有效(significant)“对
准的”(例如x和y方向中的至少一个中的1个像素的未对准)的这样的滤波步骤不能够
从伪像信号中分离“实际”信号,因此这是一个问题。
(即对失真画面直接施加转换后的变换以进行滤波)。
使用的矩阵集合的一部分。如果我们假定转换(0,0)是用于对残余进行编码的、MPEG-4AVC
标准变换步骤的块分区,那么,例如,可能必须去除与块轴中的至少一个对准的那些转换。
在实施例中,从画面的非子采样格点上的所使用的变换的集合中去除作为DCT(和/或
MPEG-4AVC标准整数变换)的以下转换的那些变换:(0,0)、(0,1)、(0,2)、(0,3)、(1,0)、(2,
0)和(3,0)。
个(左下方,图12C中所示)。
的环内去伪像滤波器。所述视频编码器/解码器例如可以是MPEG-4AVC标准视频编码器/
解码器。图5和6示出了示例实施例,其中环内去伪像滤波器已经取代了去块滤波器(见
图3和4以进行比较)而被分别插入在MPEG-4AVC标准编码器和解码器内。
1330的输出端与自适应的基于稀疏性的滤波器1310的第一输入端信号通信地连接。
应的基于稀疏性的滤波器的1310的第三输入端、以及像素掩蔽模块1320的第三输入端作
为滤波器1300的输入端,可用于接收控制数据。像素掩蔽模块1320的输出端作为滤波器
1300的输出端,可用于输出去伪像的画面。
MPEG-4AVC标准中的量化参数(QP))、块模式、预测数据(帧内预测模式、运动数据等)、变换
系数、局部信号结构和/或局部信号统计。在实施例中,可以局部地依赖于QP、以及依赖局
部滤波强度参数(类似于MPEG-4AVC标准的去块滤波强度)产生每个块变换的去伪像的阈
值。
部信号结构和/或局部信号统计,所述像素掩蔽模块1320决定是否将输出画面的某个像
素保持不被滤波(因而使用原始的预滤波的像素或滤波的像素)。这在不发送变换系数
的编码模式中、或在不期望去伪像滤波的编码模式中有特殊的用途。这样的模式的例子是
MPEG-4AVC标准中的跳过(SKIP)模式。
最高效的操作而设置、配置和适配环内去伪像滤波器。实际上,可以为了编码视频序列而接
通或切断去伪像滤波器。并且,可能期望若干定制的设置以便在它的默认功能上具备某些
控制。为此,可以在不同层面处定义若干语法字段,所述不同层面包括但不限于以下层面:
序列参数层面、画面参数层面、片层面、和/或块层面。以下,利用在表1-3中所描述的若干
示例块和/或高语法层面字段对应的编码结构而对所述示例块和/或高语法层面字段进行
了披露。
伪像滤波器的示例的片首部语法数据。表3示出了用于在多格点基于稀疏性的滤波的基础
上的环内去伪像滤波器的示例的宏块语法数据。
指定了在片首部中不存在控制稀疏去噪声滤波器的特性的语法元素集合,并且它们的所推
断的值有效。
值、变换类型、加权类型、子采样格点的集合和/或变换集合的默认值的可能性。
为等于0
变换。
type等于1可以指定使用平均加权。
滤波所使用的变换转换的集合。
和/或在与默认阈值的差方面来指定所述新阈值,可以依赖于QP、所编码的变换系数和/或
块编码模式来建立所述默认阈值。
...
sparse_filter_control_present_flag 1 u(1)
if(sparse_filter_control_present_flag){
enable_selection_of_sparse_threshold 1 u(1)
enable_selection_of_transform_type 1 u(1)
enable_aelection_of_adaptive_weighting_type 1 u(1)
enable_selection_of_transform_sets 1 u(1)
enable_selection_of_set_of_subsampling_lattlces 1 u(1)
}
...
}
描 u u u v(u u u
C 2 2 2 2 2 2
e
pyt
gnit
e hgie
{)(redaeh_ecils ... {)galf_tneserp_lortnoc_retlif_esraps(fi galf_retlif_esraps_elbasid {)1=l galf_retlif_esraps_elbasid(fi dlohserht_esraps)dlohserht_esraps_fo_noitceles_elbane(fi pyt_mrofsnart_esraps)epyt_mrofsnart_fo_noitceles_elbane(fi w evitpada )epyt_gnithgiew_evitpada_fo_noitceles_elbane(fi {)seclttal_gnilpmasbus_fo_tes_fo_noitceles_elbane(fi aecittal_gnilpmasbus_fo_tes } {)stes_mrofsnart_fo_noitceles_elbane(fi {)++i;secittal_gnilpmasbus_fo_rebmuN<1;0=i(rof ]i[epyt_tes_mrofsnart }
)1(
u
2
{)s
ecit gal
tal_ f_no
gnil itat
pmas pada
bus_ _dlo
fo_t hser
es_f ht_k
o_no colb
itce orca
les_ m_el
elba bane
ne(f
} i } }
} ... }
...
if(enable_macroblock_threshold_adaptation_flag==1){
sparse_threshold_delta 2 u(v)
}
...
}
的编码器的装置。该编码器包括环内去伪像滤波器,其用于对画面数据进行去伪像以输出
画面的至少两个滤波的版本的自适应的加权组合。所述画面数据包括所述画面的至少一个
子采样。
在变换的域中对所述系数进行滤波。
在变换的域中对所述系数进行滤波,所述至少一个阈值局部自适应地依赖于以下中的至少
一项:用户选择、局部信号特性、全局信号特性、局部信号统计、全局信号统计、局部失真、全
局失真、局部噪声、全局噪声、被预先指定为去除的信号分量的统计、被预先指定为去除的
信号分量的特性、块编码模式、以及系数。
述环内去伪像滤波器的应用:用户选择、局部信号特性、全局信号特性、局部信号统计、全
局信号统计、局部失真、全局失真、局部噪声、全局噪声、被预先指定为去除的信号分量的统
计、被预先指定为去除的信号分量的特性、块编码模式、以及系数。
应用,并且其中所述环内去伪像滤波器经受所述编码器的适配、修改、开启、和禁用中的至
少一项,并且其中使用高级语法元素和块层面语法元素中的至少一个来向对应的解码器发
信号通知所述适配、修改、开启、和禁用。
所述版本生成器用于生成画面的至少两个滤波的版本。所述权重计算器用于对于画面的所
述至少两个滤波的版本的每一个计算权重。所述组合器用于自适应地计算画面的所述至少
两个滤波的版本的自适应的加权组合。
实施本发明的教导。
何合适的架构的机器,并且由所述该机器执行。优选地,在具有诸如一个或更多的中央处理
单元(“CPU”)、随机存取存储器(“RAM”)和输入/输入(“I/O”)接口之类的硬件的计
算机平台上实施所述机器。所述计算机平台还可以包括操作系统和微指令代码。在这里所
描述的各种过程和功能可以是由CPU执行的微指令代码的一部分、或应用程序的一部分、
或其任何组合。另外,诸如附加的数据存储单元和打印单元之类的各种其他外设单元可以
与该计算机平台连接。
以是不同的。给定这里的教导,相关领域普通技术人员将能够设想到本发明的这些和类似
的实施方案或配置。
发明的范围或精神。意图将所有这样的改变和修改包括在如在所附权利要求中所提出的本
发明的范围内。