视频舒适噪声添加技术

摘要

一种用于解码输入视频流中的画面的解码装置(10，100，1000)，包括噪声产生器(16，16’)，噪声产生器(16，16’)用于在视频解码之后将包含随机噪声的抖动信号添加到画面中，以改善主观视频质量。噪声产生器按照与在先画面中像素的添加噪声相关的量、将噪声添加到每一个像素，在先画面是先前显示画面(即已经添加了噪声的先前解码画面)或先前解码画面。

权利要求

1.一种用于减少视频流中的伪像的方法，包括步骤：解码视频流；以及

按照与至少一个在先画面中象素的添加噪声相关的量、在解码之后将噪声添加到视频流中的画面中的至少一个象素上。

2.根据权利要求1所述的方法，其中，所述至少一个在先画面包括先前显示画面。

3.根据权利要求1所述的方法，其中，所述至少一个在先画面包括先前解码画面。

4.根据权利要求1所述的方法，其中，根据具有0≤α≤1的值的相关因子α，使噪声的量相关。

5.根据权利要求1所述的方法，其中，使用有限冲激响应(FIR)滤波器，使噪声的量相关。

6.根据权利要求1所述的方法，还包括步骤：从视频流中提取比特流信息；以及

根据比特流信息，确定添加噪声的强度。

7.根据权利要求6所述的方法，其中，比特流信息包括量化参数。

8.根据权利要求1所述的方法，其中，添加噪声是高斯噪声。

9.根据权利要求1所述的方法，其中，添加噪声是拉普拉斯噪声。

10.一种用于减少视频流中的伪像的方法，包括步骤：解码视频流；以及

按照与先前解码画面中至少一个其它象素的添加噪声相关的量、在解码之后将噪声添加到视频流中的画面中的至少一个象素上。

11.一种用于解码编码视频流来产生减少伪像的视频解码装置，包括：视频解码器，用于解码输入编码视频流来产生解码画面；

参考画面存储器，用于存储由视频解码器在解码将来的画面中所使用的至少一个先前解码的画面，噪声产生器，用于产生按照与至少一个在先画面中的至少一个象素的添加噪声相关的量、要添加到解码画面中的至少一个象素上的噪声；

求和块，用于使噪声产生器所产生的噪声与来自视频解码器的解码画面相加；以及剪切器，用于剪切求和后的噪声和解码画面。

12.根据权利要求11所述的视频解码装置，其中，噪声产生器实现有限冲激响应滤波器。

13.根据权利要求11所述的视频解码装置，其中，噪声产生器根据视频解码器提供的解码画面和比特流信息来产生噪声。

14.根据权利要求13所述的视频解码装置，其中，比特流信息包括量化参数。

15.根据权利要求11所述的视频解码装置，还包括噪声画面存储器，用于存储随后由噪声产生器使用的噪声信息。

16.根据权利要求11所述的视频解码装置，其中，噪声产生器添加高斯噪声。

17.根据权利要求11所述的视频解码装置，其中，噪声产生器添加拉普拉斯噪声。

18.一种用于解码编码视频流来产生减少伪像的视频解码装置，包括：视频解码器，用于解码输入编码视频流来产生解码画面；

参考画面存储器，用于存储由视频解码器在解码将来的画面中所使用的至少一个先前解码的画面，噪声产生器，用于根据来自视频解码器的解码画面和比特流信息，产生按照与在先画面中的至少一个象素的添加噪声相关的量、要添加到解码画面中的至少一个象素上的噪声；

求和块，用于使噪声产生器所产生的噪声与来自视频解码器的解码画面相加；以及剪切器，用于剪切求和后的噪声和解码画面。

19.根据权利要求18所述的视频解码装置，其中，比特流信息包括量化信息。

20.根据权利要求18所述的视频解码装置，其中，噪声产生器实现有限冲激响应滤波器。

21.根据权利要求18所述的视频解码装置，还包括噪声画面存储器，用于存储随后由噪声产生器使用的噪声信息。

22.根据权利要求18所述的视频解码装置，其中，噪声产生器添加高斯噪声。

23.根据权利要求18所述的视频解码装置，其中，噪声产生器添加拉普拉斯噪声。

24.一种用于解码编码视频流来产生减少伪像的视频解码装置，包括：视频解码器，用于解码输入编码视频流来产生解码画面；

参考画面存储器，用于存储由视频解码器在视频解码将来的画面中所使用的至少一个先前解码的画面，噪声产生器，用于产生按照与在先画面中的象素的添加噪声相关的量、要添加到解码画面中的至少一个象素上的噪声；

噪声画面存储器，用于存储随后由噪声产生器使用的噪声信息；

求和块，用于使噪声产生器所产生的噪声与来自视频解码器的解码画面相加；以及剪切器，用于剪切求和后的噪声和解码画面。

25.根据权利要求24所述的视频解码装置，其中，噪声产生器实现有限冲激响应滤波器。

26.根据权利要求24所述的视频解码装置，其中，噪声产生器添加高斯噪声。

27.根据权利要求24所述的视频解码装置，其中，噪声产生器添加拉普拉斯噪声。

28.一种用于解码编码视频流来产生减少伪像的解码装置，包括：视频解码器，用于解码输入编码视频流来产生解码画面；

参考画面存储器，用于存储由视频解码器在解码将来的画面中所使用的至少一个先前解码的画面，噪声产生器，用于产生按照与先前解码的画面中的至少一个象素的添加噪声相关的量、要添加到解码画面中的至少一个象素上的噪声；

求和块，用于使噪声产生器所产生的噪声与来自视频解码器的解码画面相加；以及剪切器，用于剪切求和后的噪声和解码画面。

说明书

技术领域

本发明涉及一种用于减少与解码编码视频流相关的伪像的技术。

背景技术

以低比特流压缩的视频流的解码易于导致观察者可以注意到的可视伪像(artifact)。斑驳和结构噪声图样是使用基于块的压缩技术时出现的常见伪像。人类视觉系统对于特定类型的伪像更为敏感，因此，这些伪像表现得比其它伪像更加突出和令人厌恶。向解码流添加随机噪声可以减少这些压缩伪像的突出性，然而由添加随机噪声而产生的较大的帧-帧差异本身将产生突出和令人厌恶的伪像。
抖动信号的添加可以减少对于图像伪像的人类敏感性，例如，隐藏轮廓和模块化伪像。一种现有技术建议将基于底片颗粒度的随机噪声抖动添加到图像来掩盖块的影响。添加这种随机噪声的基本原因是随机错误比结构和相关错误更令人能够接受。其它的现有技术建议将抖动信号添加到视频流来隐藏压缩伪像。一种现有技术建议在ITU/ISO H.264视频编码标准(一般公知为JVT编码标准)的循环解块滤波中，在视频编码和解码处理中添加随机噪声抖动。要添加的抖动量取决于象素相对于块边缘的位置。另一种现有技术建议在视频解码之后添加随机噪声(即作为“后处理”来添加噪声)，用作舒适噪声。添加的噪声量取决于量化参数以及取决于添加到空间相邻的象素上的噪声量。术语“舒适噪声(comfort noise)”来自于在音频压缩中的噪声使用，表示在接收机端为了避免使听众不舒适的完全寂静而产生的噪声图样。
典型地，用于通过添加噪声来减少伪像的现有技术在具有产生时间异常(即较大帧-帧差异)的风险下减少空间伪像。因此，需要一种克服上述缺点的、用于在编码视频流的解码中减少伪像的技术。

发明内容

简而言之，根据本原理的优选实施例，提供一种方法，用于在解码期间减少视频流中的伪像。该方法开始于解码视频流。解码之后，通过按照与在先画面中的象素的添加噪声相关的量，向每一个象素添加噪声，来将噪声添加到视频流中。因此，根据本原理，时间噪声相关有助于确定添加噪声来减少较大的帧-帧差异，即现有噪声添加技术的缺点。
根据本原理的另一个实施例，从其中提取添加噪声的在先画面包括显示的画面(即已经添加了噪声的先前解码画面)。在另一个实施例中，在先画面包括先前解码画面。

附图说明

图1示出了根据本原理的第一实施例、用于减少与解码编码视频流相关的伪像的视频解码器的示意方框图；
图2示出了根据本原理的第二实施例、用于减少与解码编码视频流相关的伪像的视频解码器的示意方框图；以及
图3示出了根据本原理的第三实施例、用于减少与解码编码视频流相关的伪像的视频解码器的示意方框图。

具体实施方式

根据本原理，按照与在先画面中的象素的添加噪声相关的量、向已经解码的信号中添加包含抖动信号的随机噪声用于改善主观视频质量。图1示出了用于在解码之后添加噪声的第一解码装置10的示意方框图。解码装置10包括用于解码输入编码视频流的解码器12。解码器12的设计取决于用于编码输入视频流的压缩格式。在优选实施例中，使用公知的ITU/ISO H.264标准，对输入视频流进行压缩。在这种情况下，编码器12具有本领域所公知的H.264编码器的形式。参考画面存储器14存储由解码器12所解码的由解码器在解码将来的画面中使用的画面。
求和块18将来自解码器12的每一个解码画面与来自噪声产生器16的噪声相加。然后，剪切器20剪切由求和块18输出的结果信号，产生表现出减少伪像的用于显示的解码画面。注意，噪声添加发生在将解码的画面存储在参考画面存储器14中之后，因为参考画面必须保持不变，以便正确地解码随后的输入画面。
典型地，添加到每一个解码画面的来自噪声产生器16的噪声信号的幅度取决于多个不同的因素。为了更好地理解与噪声添加相关的因素，用表达式N(k，x，y)代表添加的象素噪声信号，P(k，x，y)代表解码的象素，以及D(k，x，y)代表视频序列中第k个画面的显示象素(x，y)。显示画面的第k个象素成为解码象素加上噪声信号的总和，由以下关系表示
D(k，x，y)＝Clip(0，255，P(k，x，y)+N(k，x，y))    (方程1)
将噪声信号添加到视频序列而不是只添加到单个图像的视觉效果成为在确定噪声信号的幅度中的考虑因素。根据本原理，噪声产生器16使画面中的至少一个象素的添加噪声信号的幅度与至少一个先前显示画面(即已经添加了噪声的解码画面)中的至少一个象素的添加噪声信号的值相关。在本发明的可选实施例中，时间相关是基于先前解码画面(不包含噪声)，而不是基于包含噪声的先前显示画面。尽管典型地将噪声添加到每一个象素，可以将舒适噪声添加到一些象素，而不必添加到每一个象素。
在第一实施例中，使用时间相关的噪声添加使用相关因子α，0≤α≤1，对于添加的噪声，产生下面的关系：
N(k，x，y)＝αN(k-1，x，y)+(1-α)R(k，x，y)    (方程2)
其中，R(k，x，y)是使用任意类型的随机数分布而产生的随机数，例如高斯和拉普拉斯分布。可以利用查找表来产生随机数。随机数R(k，x，y)同样可以包括空间相关，例如在底片颗粒度噪声产生中使用的空间相关。
方程2中的表达式α具有小于一的值，并且为了避免除以α，可以利用根据除法近似的期望精确度而选择的缩放变量b，以及α＝round(α*2b)，将方程2简化为如下形式：
N(k，x，y)＝(α*N(k-1，x，y)+(2b-α)R(k，x，y)+2b-1)＞＞b  (方程3)
图2示出了根据本发明的第二演示实施例、用于在解码之后将时间相关的噪声添加到视频画面的解码装置100的示意方框图。图2的解码装置100包括与图1的解码装置10相同的单元。因此，在图2中出现了相同的数字，用于识别相同的单元。图2的解码装置100包括视频解码器12’，视频解码器12’给噪声产生器16’提供解码画面以及包含在解码画面中的比特流信息。由解码器12’输出的比特流信息可以包括输入到噪声产生器中的量化参数。压缩伪像的程度与量化参数相关，当使用高量化参数值时发生更剧烈的压缩伪像。随着量化参数值增加，可以增加添加的舒适噪声的强度。
图3示出了与方程1和2一致的、根据本发明第三演示实施例、用于在解码之后将时间相关的噪声添加到视频画面的解码装置1000的示意方框图。因此，在图3中出现了相同的数字，用于表示相同的单元。与图2的解码装置100相同，图3的解码装置1000包括视频解码器12’，视频解码器12’给噪声产生器16’提供解码画面以及包含在解码画面中的比特流信息。图3的解码装置1000与图2的解码装置100在一个方面不同。与图2的解码装置100不同，图3的解码装置1000包括噪声画面存储器17，噪声画面存储器17针对第k个画面存储随后由噪声产生器16’使用的噪声信号N(k，x，y)。图3的解码装置1000分别比图1和2的解码装置10和100需要更多的存储带宽。对于每一个显示画面，图3的解码装置1000必须存取先前显示画面的噪声信号并且还必须存储当前画面的噪声信号。
在例如图3解码装置1000的解码装置中实现方程3将产生时间无限冲激响应(IIR)滤波器的示例。可以通过使用一个和多个滤波器抽头来归纳这种IIR滤波。同样可以使用高阶FIR滤波器、使用所需的多个抽头t来一般性地近似这种IIR滤波器。
$N(k,x,y)=\underset{i=0}{\overset{t-1}{\Sigma }}{\alpha }^{i+1}N(k-i,x,y)+{\alpha }^i(1-\alpha )R(k-i,x,y)$(方程4)
可以使用图2的解码装置100来实现FIR滤波器方案。在FIR滤波器方案中，只使用了先前随机数R而不是先前噪声N，因此减少了存储带宽。
以上描述了一种用于通过添加噪声来减少与解码编码视频流相关的伪像的技术。