使用改进的预测滤波器编码和解码视频信号的方法和装置

摘要

本发明提供一种用于编码视频信号的方法，该方法包括步骤：从滤波器库选择基础滤波器内核集合；基于基础滤波器内核集合来确定预测滤波器参数；基于预测滤波器参数来执行对于目标区域的参考区域的滤波；基于滤波的参考区域来预测目标区域，其中预测滤波器参数包括调制标量和分割信息中的至少一个。

权利要求

1.一种编码视频信号的方法，包括：

从滤波器库选择基础滤波器内核集合；

确定预测滤波器参数以最小化成本函数，其中所述成本函数由包括调制标量、分割信息和基础滤波器内核的变量组成；

基于所述预测滤波器参数来执行对于目标区域的参考区域的滤波；以及基于滤波的参考区域来预测所述目标区域，其中，所述预测滤波器参数包括所述调制标量和所述分割信息，以及其中所述分割信息是指示所述目标区域的划分结构的信息，以及其中，所述方法进一步包括：

初始化分割函数；

检查是否所述目标区域的尺寸大于预先确定的最小尺寸；

如果所述目标区域的尺寸大于所述预先确定的最小尺寸，则将所述目标区域划分为子块，并且将划分节点符号增加给所述分割函数，如果所述目标区域的尺寸不大于所述预先确定的最小尺寸，则将叶节点符号增加给所述分割函数；以及基于所述分割函数来获得所述分割信息。

2.一种解码视频信号的方法，包括：

接收包括预测滤波器参数、滤波器选择信息和运动信息的视频信号，其中所述预测滤波器参数包括调制标量和分割信息，以及其中所述滤波器选择信息表示从基础预测滤波器库中选择的基础预测滤波器F集合；

通过使用所述运动信息来获得参考块；

基于所述滤波器选择信息来确定预测滤波器；以及基于所述预测滤波器参数和所述预测滤波器来执行对于所述参考块的滤波，其中，所述预测滤波器参数已经被确定以最小化成本函数，所述成本函数由包括调制标量、分割信息和基础滤波器内核的变量组成，其中，所述分割信息是指示目标区域的划分结构的信息，以及其中，基于所述分割信息，对于分割块的每个执行滤波。

3.根据权利要求2所述的方法，进一步包括：基于滤波的参考块来获得预测块；以及

通过使用所述预测块来重建所述视频信号。

4.一种编码视频信号的装置，包括：

滤波器选择单元，所述滤波器选择单元被配置为从滤波器库选择基础滤波器内核集合；

参数确定单元，所述参数确定单元被配置为确定预测滤波器参数以最小化成本函数，其中所述成本函数由包括调制标量、分割信息和基础滤波器内核的变量组成；

滤波单元，所述滤波单元被配置为基于所述预测滤波器参数来执行对于目标区域的参考区域的滤波；以及预测单元，所述预测单元被配置为基于滤波的参考区域来预测所述目标区域，其中，所述预测滤波器参数包括所述调制标量和所述分割信息，其中，所述分割信息是指示所述目标区域的划分结构的信息，以及其中，所述参数确定单元被进一步配置为：

初始化分割函数，

检查是否所述目标区域的尺寸大于预先确定的最小尺寸，如果所述目标区域的尺寸大于所述预先确定的最小尺寸，则将所述目标区域划分为子块，并且将划分节点符号增加给所述分割函数，如果所述目标区域的尺寸不大于所述预先确定的最小尺寸，则将叶节点符号增加给所述分割函数，以及基于所述分割函数来获得所述分割信息。

5.一种解码视频信号的装置，包括：

比特流接收单元，所述比特流接收单元被配置为接收包括预测滤波器参数、滤波器选择信息和运动信息的视频信号，其中所述预测滤波器参数包括调制标量和分割信息，以及其中所述滤波器选择信息表示从基础预测滤波器库中选择的基础预测滤波器F集合；以及预测滤波单元，所述预测滤波单元被配置为通过使用运动信息来获得参考块，基于所述滤波器选择信息来确定预测滤波器，以及基于所述预测滤波器参数和所述预测滤波器来执行对于所述参考块的滤波，其中，所述预测滤波器参数已经被确定以最小化成本函数，所述成本函数由包括调制标量、分割信息和基础滤波器内核的变量组成，其中，所述分割信息是指示目标区域的划分结构的信息，以及其中，基于所述分割信息，对于分割块的每个执行滤波。

6.根据权利要求5所述的装置，进一步包括：预测单元，所述预测单元被配置为基于滤波的参考块来获得预测块；以及重建单元，所述重建单元被配置为通过使用预测块来重建所述视频信号。

说明书

使用改进的预测滤波器编码和解码视频信号的方法和装置

技术领域

[0001] 本发明涉及用于处理视频信号的方法和装置，并且更具体地，涉及用于有效率地预测目标区域的技术。

背景技术

[0002] 压缩编译指的是用于经由通信线路发送数字化的信息或者以适用于存储介质的形式存储数字化的信息的一系列的信号处理技术。诸如视频、图像和语音的媒体可以是压缩编译的对象。具体地，用于对视频执行压缩编译的技术称作视频压缩。

[0003] 下一代视频内容期待以高的空间分辨率、高的帧速率、和视频场景呈现高维度为特色。这样的内容的处理将需要在存储器、存储器存取速度和处理能力方面很大的增加。

[0004] 因此，所希望的是设计解决预知的问题和提供一些方案的编译工具。

发明内容

[0005] 技术问题

[0006] 在现有的间预测(inter-prediction)方法中，目标图像由固定的区域，诸如长方形区域、矩形区域等等构成，并且对于每个目标区域，计算位移矢量。该位移矢量识别在锚定图像或者参考图像中相应的区域。可以通过诸如用于视频序列的运动估计和运动补偿的技术来计算这样的位移矢量。

[0007] 因此，必须提供一种在预测过程中更加有效率的预测方法以及设计用于提高编译效率的预测滤波器。

[0008] 技术方案

[0009] 本发明的实施例提供设计用于高效率压缩的编译工具的方法。

[0010] 此外，本发明的实施例提供在预测过程中更加有效率的预测方法。

[0011] 此外，本发明的实施例提供如何设计用于提高编译效率的预测滤波器。

[0012] 此外，本发明的实施例提供如何以用于提高编译效率的新颖的方式参数化预测滤波器。

[0013] 此外，本发明的实施例提供设计在编码或者解码视频信号的过程中应用于间预测(inter-prediction)的图片的预测滤波器的方法。

[0014] 此外，本发明的实施例提供更好的预测目标区域的方法。

[0015] 有益效果

[0016] 本发明可以允许设计用于高效率压缩的编译工具。本发明应用于的压缩工具可以通过在预测目标区域中除去噪声来获得更高的编译增益。

[0017] 此外，本发明可以通过设计预测滤波器提供更加有效率的预测方法，可以通过在未来帧的运动补偿预测中利用设计的预测滤波器来降低目标图像的噪声，并且从而可以提高编译效率。

附图说明

[0018] 图1和2图示根据本发明应用于的实施例的处理视频信号的编码器和解码器的示意性框图。

[0019] 图3表示图示根据本发明应用于的实施例的如何基于锚定图像预测目标图像的图。

[0020] 图4和5图示根据本发明应用于的实施例的使用设计的滤波器处理视频信号的编码器和解码器的示意性框图。

[0021] 图6是图示根据本发明应用于的实施例的基于预测滤波器形成预测块的方法的流程图。

[0022] 图7图示根据本发明应用于的实施例的设计预测滤波器的编码器和通过使用该预测滤波器处理视频信号的解码器的示意性框图。

[0023] 图8是图示根据本发明应用于的实施例的编码预测滤波器参数过程的流程图。

[0024] 图9是图示根据本发明应用于的实施例的确定预测滤波器参数过程的流程图。

[0025] 图10是图示根据本发明应用于的实施例的获得最佳滤波器系数和最佳分割信息过程的流程图。

[0026] 图11是图示根据本发明应用于的实施例的获得对其应用全分解的块的分割信息过程的流程图。

[0027] 图12是图示根据本发明应用于的实施例的获得最佳滤波器系数的详细过程的流程图。

[0028] 图13是图示根据本发明应用于的实施例的获得最佳分割信息的详细过程的流程图。

[0029] 图14是图示根据本发明应用于的实施例的计算分割块的成本过程的流程图。

[0030] 图15是图示根据本发明应用于的实施例的计算产生预测块的成本过程的流程图。

[0031] 图16是图示根据本发明应用于的实施例的基于预测滤波器参数来预测目标区域过程的流程图。

[0032] 图17是图示根据本发明应用于的实施例的解码包括预测滤波器参数的视频信号过程的流程图。

[0033] 图18表示根据本发明应用于的实施例的执行预测滤波的预测滤波单元(470)的示意性框图。

具体实施方式

[0034] 根据本发明的一个方面，提供了一种编码视频信号的方法，包括：从滤波器库选择基础滤波器内核集合；基于基础滤波器内核集合来确定预测滤波器参数；基于预测滤波器参数来执行对于目标区域的参考区域的滤波；以及基于滤波的参考区域来预测目标区域，其中预测滤波器参数包括调制标量和分割信息中的至少一个。

[0035] 根据本发明的另一个方面，确定的预测滤波器参数最小化成本函数，成本函数由包括调制标量、分割信息和基础滤波器内核的变量组成。

[0036] 根据本发明的另一个方面，本发明进一步包括：初始化分割函数；检查是否目标区域的尺寸大于预先确定的最小尺寸；如果目标区域的尺寸大于预先确定的最小尺寸，则将目标区域划分为子块，并且将划分节点符号增加给分割函数，如果目标区域的尺寸不大于预先确定的最小尺寸，则将叶节点符号增加给分割函数；以及基于分割函数获得分割信息。

[0037] 根据本发明的另一个方面，提供了一种解码视频信号的方法，包括：接收包括预测滤波器参数、滤波器选择信息和运动信息的视频信号，其中预测滤波器参数包括调制标量和分割信息；通过使用运动信息来获得参考块；基于调制标量和基础滤波器内核来确定预测滤波器；以及执行对于参考块的滤波。

[0038] 根据本发明的另一个方面，对于分割块的每个执行滤波。

[0039] 根据本发明的另一个方面，本发明进一步包括基于滤波的分割块获得预测块；以及通过使用预测块重建视频信号。

[0040] 根据本发明的另一个方面，提供了一种编码视频信号的装置，包括：配置为从滤波器库选择基础滤波器内核集合的滤波器选择单元；配置为基于基础滤波器内核集合来确定预测滤波器参数的参数确定单元；配置为基于预测滤波器参数来执行对于目标区域的参考区域的滤波的滤波单元；以及配置为基于滤波的参考区域来预测目标区域的预测单元，其中预测滤波器参数包括调制标量和分割信息中的至少一个。

[0041] 根据本发明的另一个方面，确定的预测滤波器参数最小化成本函数，成本函数由包括调制标量、分割信息和基础滤波器内核的变量组成。

[0042] 根据本发明的另一个方面，该参数确定单元被进一步配置为：初始化分割函数，检查是否目标区域的尺寸大于预先确定的最小尺寸，如果目标区域的尺寸大于预先确定的最小尺寸，则将目标区域划分为子块，并且将划分节点符号增加给分割函数，如果目标区域的尺寸不大于预先确定的最小尺寸，则将叶节点符号增加给分割函数，以及基于分割函数来获得分割信息。

[0043] 根据本发明的另一个方面，提供了一种解码视频信号的装置，包括：配置为接收包括预测滤波器参数、滤波器选择信息和运动信息的视频信号的比特流接收单元；以及配置为通过使用运动信息来获得参考块、基于调制标量和基础滤波器内核来确定预测滤波器、以及执行对于参考块的滤波的预测滤波单元，其中预测滤波器参数包括调制标量和分割信息。

[0044] 根据本发明的另一个方面，本发明进一步包括：配置为基于滤波的分割块来获得预测块的预测单元；以及配置为通过使用预测块来重建视频信号的重建单元。

[0045] 用于发明的模式

[0046] 在下文中，参考附图描述根据本发明的实施例的示例性单元和操作。但是，注意到，参考附图描述的本发明的单元和操作被仅仅作为实施例提供，并且本发明的技术精神和内核配置和操作不受限于此。

[0047] 此外，在本说明书中使用的术语是现在广泛地使用的常用术语，但是，在特定情形下，使用由本申请人任意地选择的术语。在这样的情况下，相应的术语的含义在对应部分的详细说明中清楚地描述。因此，应当注意，本发明不应该认为是仅仅基于在本说明书的相应的描述中使用的术语的名称，并且本发明应该通过甚至检查相应术语的含义来解释。

[0048] 此外，在本说明书中使用的术语是选择描述本发明的常用术语，但是，如果存在具有类似含义的这样的术语，可以以用于更加适宜的分析的其他的术语替换。例如，信号、数据、采样、图片、帧和块可以在每个编译过程中适当地替换和解释。

[0049] 图1和2图示根据本发明应用于的实施例的处理视频信号的编码器和解码器的示意性框图。

[0050] 图1的编码器100包括变换单元110、量化单元120、去量化单元130、逆变换单元140、缓存器150、预测单元160和熵编码单元170。

[0051] 编码器100接收原始视频信号，并且通过从视频信号减去由预测单元160输出的预测信号产生预测误差。

[0052] 产生的预测误差被发送给变换单元110。变换单元110通过将变换方案应用于预测误差产生变换系数。

[0053] 量化单元120量化产生的变换系数，并且将量化的系数发送给熵编码单元170。

[0054] 熵编码单元170对量化的信号执行熵编译，并且输出熵编译的信号。

[0055] 同时，由量化单元120输出的量化的信号可用于产生预测信号。例如，在编码器100的环路内的去量化单元130和逆变换单元140可以对量化的信号执行去量化和逆变换，使得量化的信号被重建为预测误差。重建的信号可以通过将重建的预测误差增加给由预测单元160输出的预测信号而产生。

[0056] 缓存器150存储重建的信号用于预测单元160未来参考。

[0057] 预测单元160使用存储在缓存器150中预先重建的信号产生预测信号。在这种情况下，本发明关注使用在锚定图像的区域在目标图像中区域的有效预测。效率可以是在压缩速率失真方面，或者是相关的量度，诸如均方误差，其量化在预测误差中的失真。

[0058] 为了更好的预测该目标区域，本发明的实施例将解释如何设计用于提高编译效率的预测滤波器，以及如何基于预测滤波器处理视频信号。

[0059] 图2的解码器200包括熵解码单元210、去量化单元220、逆变换单元230、缓存器240和预测单元250。

[0060] 图2的解码器200接收由图1的编码器100输出的信号。

[0061] 熵解码单元210对接收的信号执行熵解码。去量化单元220基于有关量化步长的信息从熵解码的信号获得变换系数。逆变换单元230通过对变换系数执行逆变换获得预测误差。重建的信号通过将获得的预测误差增加给由预测单元250输出的预测信号而产生。

[0062] 缓存器240存储重建的信号用于预测单元250未来参考。

[0063] 预测单元250使用存储在缓存器240中预先重建的信号产生预测信号。

[0064] 本发明应用于的预测方法将在编码器100和解码器200这两者中使用。

[0065] 图3表示图示根据本发明应用于的实施例的如何基于锚定图像预测目标图像的图。

[0066] 目标图像可以由固定的区域，诸如长方形区域、矩形区域等等构成，并且对于每个目标区域，可以计算位移矢量。该位移矢量识别在锚定图像中相应的区域。这样的位移矢量可以通过在诸如用于视频序列的运动估计/补偿技术的技术中公知的技术来计算。

[0067] 专注于目标区域和匹配的锚定区域，本发明的技术可以允许匹配的锚定区域以更好的预测目标区域，以便于类似压缩、去噪声、空-时超分辨率等等的应用。

[0068] 锚定区域x可用于经由以下的等式1预测目标区域y。

[0069] [等式1]

[0070] ＝>需要修改

[0071] 在等式1中，K是整数(K＝1,2,4,17,179等等)，αi表示调制标量，fi表示二维滤波器内核，并且fi*x表示滤波器内核fi与锚定区域的线性卷积。

[0072] 可以看到，目标区域y的预测 可以通过使用等效滤波器 线性地滤波锚定区域x形成。本发明提供有效地设计这样的滤波器的方法。

[0073] 图4和5图示根据本发明应用于的实施例的使用设计的滤波器处理视频信号的编码器和解码器的示意性框图。

[0074] 图4的编码器400包括变换单元410、量化单元420、去量化单元430、逆变换单元440、缓存器450、预测单元460、预测滤波单元470和熵编码单元480。

[0075] 将编码器400与图1的编码器100比较，预测滤波单元470被新增加到编码器100的框图。因此，图1的描述可以类似地应用于图4，并且在下文中将主要地解释与预测滤波单元470相关的内容。

[0076] 此外，即使在图4中预测滤波单元470在预测单元460之后被设置为单独的功能单元，这是本发明的一个方面，并且本发明不受限于此。例如，预测滤波单元470的功能还可以在预测单元460中执行。

[0077] 该预测单元460可以使用用于当前块的位移矢量执行运动补偿，并且搜索参考块，即，运动补偿块。在这种情况下，编码器400可以将运动参数发送给解码器500。该运动参数表示与运动补偿相关的信息。

[0078] 在本发明的一个方面中，预测滤波器单元470可以构成用于产生预测块的预测滤波器。

[0079] 并且，预测滤波单元470可以使用预测滤波器和参考块的线性卷积产生预测块。在这种情况下，参考块可以表示作为锚定区域的运动补偿块。

[0080] 在一个实施例中，预测滤波器可以通过使用滤波器内核和调制标量构成。编码器400和解码器500可以共享滤波器参数，并且滤波器参数表示与预测滤波器相关的参数信息。例如，滤波器参数可以包括滤波器系数和分割信息中的至少一个。

[0081] 同时，图5的解码器500包括熵解码单元510、去量化单元520、逆变换单元530、缓存器540、预测单元550和预测滤波单元560。

[0082] 如在图5中描述的，在本发明的一个方面中，预测滤波单元560可以构成用于产生预测块的预测滤波器。

[0083] 并且，预测滤波单元560可以使用预测滤波器和参考块的线性卷积产生预测块。

[0084] 在这种情况下，滤波器参数中的至少一个可以从编码器400被发送。例如，滤波器参数可以对于每个中间块从编码器400被发送，或者选择性地从编码器400被发送。

[0085] 解码器500与图2的解码器200比较，预测滤波单元560被新增加到解码器200的框图。因此，图1、2和4的描述可以类似地应用于图5。

[0086] 此外，即使在图5中预测滤波单元560在预测单元550之后被设置为单独的功能单元，这是本发明的一个方面，并且本发明不受限于此。例如，预测滤波单元560的功能还可以在预测单元550中执行。

[0087] 图6是图示根据本发明应用于的实施例的基于预测滤波器形成预测块的方法的流程图。

[0088] 本发明应用于的编码器可以构成用于当前块的预测滤波器(S610)，如以下的等式2。预测滤波器可以通过使用滤波器参数构成。例如，滤波器参数可以包括滤波器内核fk和调制标量αi(k＝1、…、K)。

[0089] [等式2]

[0090]

[0091] 在这个等式2中，m＝1、…、另一个字符，并且n＝1、…，并且K是整数，αi表示调制标量，fk表示二维滤波器内核，并且每个标量是浮点数。

[0092] 然后，编码器可以基于该预测滤波器，使用线性卷积形成预测块，如以下的等式3。

[0093] [等式3]

[0094]

[0095] 在这个等式3中，m＝1、…、B，并且n＝1、…、B，并且g*x表示预测滤波器与锚定区域的线性卷积。锚定区域可以表示在运动补偿之后获得的参考块。

[0096] 目标区域y的预测 可以通过使用等式2的预测滤波器线性地滤波锚定区域x形成。

[0097] 在下文中，本发明将提供有效地设计这样的滤波器的各种方法。

[0098] 在视频编译的过程中，由于这样的滤波器需要许多的参数，设计常规的滤波器是困难的，其必须从有限的数据进行学习。具有降低参数的简单的滤波器是容易获悉的，但是导致令人不满意的性能。因此，可以指定具有少的参数的有效的滤波器的技术因此是非常期望的。

[0099] 在一个实施例中，滤波器内核可以是固定的，并且调制标量可以被计算以解决约束最小化，如以下的等式4。

[0100] [等式4]

[0101]

[0102] 在等式4中，α＝[α1  … αF]T，||.||q表示q-norm(对于n矢量e，q＝0，.11，1，2，2.561等等)，λ是用于强制约束C(α1，α2，...，αF)≤
c0的拉格朗日乘数，c0是标量，并且C(α1，α2，...，αF)是约束函数。

[0103] 在压缩中，设置C(α1，α2，...，αF)可以计算交流α所需的比特，使得该优化找到α，其最小化经历发送比c0比特更少的预测误差的q-norm。Ω(α)还可以被设置为C(α)＝||α||p(p＝0,.11,1,2,2.561等)。

[0104] 以上最小化可以关于α1，α2，...，αF联合地解决该问题。

[0105] 在一个实施例中，联合最小化可以通过求解以下的等式5以一些精度损失被简化为标量最小化。

[0106] [等式5]

[0107] 对于每个αi，

[0108] 以下的等式5大体上导致更容易的解决方案。

[0109] 在一个实施例中，基础滤波器内核可以被选择以满足以下的等式6。

[0110] [等式6]

[0111]

[0112] 这里

[0113] 在一个实施例中，基础滤波器内核可以被限定如以下的等式7。

[0114] [等式7]

[0115]

[0116] 在等式7中，R＝(-π，π]×(-π，π]确定区域π2的矩形二维的间隔，并且可测量集合R1，...，RF表示R分解，使得每当i≠j时， 并且 并且，fi是Ri的指标函数的反离散傅里叶变换。

[0117] 这样的滤波器可以最终成为空间域中的非紧凑的支持。

[0118] 基础滤波器内核可以通过使用视频序列的训练集优化。

[0119] 在另一个实施例中，紧凑的支持滤波器可以被设计成近似非紧凑的支持滤波器。例如，滤波器，其支持可以在空间域中被限制为紧凑区域Ω(例如，Ω可以是长方形区域，其限制fi的抽头的总数为规定的数目)。以 表示fi的离散傅里叶变换，
可以是Ri的指标函数。给定优化权重βi≥0，那么，fi可以被选择以最小化以下的等式8。

[0120] [等式8]

[0121]

[0122] 在这种情况下，如果 (r＝0,.11,1,2,2.561等等)，且fi(k，l)＝0。

[0123] 在另一个实施例中，ψi(ω1，ω2)是给定的滤波器集合，并且以上所述的最小化可以被改变，使得fi近似ψi，如以下的等式9。

[0124] [等式9]

[0125]

[0126] 这里，如果 则 并且fi(k，l)＝0。

[0127] 在一个实施例中，fi可以在训练集的帮助下设计。给定的目标和锚定图像对以预测形式集中在该卷积上， 使用卷积的定义，可以获得等式10。

[0128] [等式10]

[0129]

[0130] 将数量按词典排序为矢量，可以获得等式11。

[0131] [等式11]

[0132]

[0133] 并且，在预测时对于所有像素(m，n)适应，等式12可以获得如下。

[0134] [等式12]

[0135]

[0136] 考虑词典排序的目标图像，在训练集上的最佳滤波器如以下的等式13获得。

[0137] [等式13]

[0138] minf{minα{||y-Xfα||q+λC(α)}}

[0139] 在另一个实施例中，本发明可以经训练集设计滤波器内核，如以下的等式14。

[0140] [等式14]

[0141]

[0142] 在这种情况下，训练一对块可以以(y1，x1)，(y2，x2)，...，(ys，xs)(S是大整数，例如，100、1000、119191等等)限定。

[0143] 并且，等式14的内部最小化 可以以图8的其他实施例，例如，等式15至18替换。

[0144] 在一个实施例中，编码器-解码器对可以对视频序列的预先发送的帧(或者帧的一部分)执行相同的优化，并且在未来帧(或者用于传输剩余的帧的一部分)的运动补偿预测中利用产生的滤波器。

[0145] 在一个实施例中，四叉树或者其他区域分解优化可以与用于f的优化一起进行。在另一个实施例中，运动补偿、流动、去噪声和其他处理相关的优化可以与用于f的以上所述的优化一起进行。

[0146] 在一个实施例中，在运动补偿中使用的内插滤波器可以与设计的滤波器结合以降低总的滤波复杂度。

[0147] 图7图示根据本发明应用于的实施例的设计预测滤波器的编码器和通过使用该预测滤波器处理视频信号的解码器的示意性框图。

[0148] 本发明假设2D滤波器f的支持是K×L，这里K和L是大于或等于1的整数。例如，滤波器可以限定在偶数或者奇数尺寸的矩形上，K＝L＝2k(k＝1，2，3，...)，K＝L＝2k+1(k＝0，1，2，3，...)。

[0149] 这样的滤波器可以使用KL滤波器抽头值被参数化。在本发明针对的压缩应用中，可以在编码器出针对每个x，y对设计滤波器，并且滤波器参数可以被发送给解码器。

[0150] 应该理解，参数越多，滤波器具有越多的困难，将以给定的目标比特速率经通信信道传送这些参数。

[0151] 降低参数的一种方式是约束f是均衡的。这样的选择可以粗略地通过在2D中的四个因素降低f的参数的数目。但是，滤波和预测功效可能被降低，因为对称滤波器在锚定图像区域中不足以提高和抑制方向性结构。

[0152] 另一个方式是通过使用带宽、通带和阻带参数，在频率域中限制滤波器，例如，约束f是低通、高通、带通等等。但是，这样的方法相对于方向性和其他复杂的锚定图像区域也是不够的。

[0153] 在本发明中，滤波器f可以关于基础滤波器内核集合fi，i＝1，…，I被参数化，如等式15。

[0154] [等式15]

[0155]

[0156] 这里I是整数常数(I＝1，2，4，17，179，等等)，αi是调制标量，并且fi是二维的基础滤波器内核。

[0157] 在本发明中，基础滤波器内核可以为编码器和解码器这两者所知，并且人们仅需要发送调制标量αi，i＝1，…，I。结果的预测滤波器将称为缩聚预测滤波器(在下文中，“CPF”)。本发明的技术集中在设计这样有效的滤波器上。

[0158] 在本发明中，基础滤波器内核可以为编码器/解码器对所知，并且滤波器适用性可以通过计算和发送调制标量αi，i＝1，…，I实现。因此，所需要的是设计基础滤波器内核，其可以在压缩各种视频序列时有利地使用。

[0159] 本发明假设给定锚定图像区域的训练集xr，并且相应的目标图像区域yr，r＝1，…，T，这里T是训练对(T＝1，2，3，112，1000，1127276278，等等)的整数。这些区域的每对具有相同的空间尺寸，但是不同的对可以具有不同的空间尺寸。

[0160] 对于rth训练对，yr的预测可以使用CPF获得。

[0161] [等式16]

[0162]

[0163] [等式17]

[0164]

[0165] 使αr＝[α1，r α2，r … αI，r]T，然后，在对于给定的基础滤波器内核宅l2–norm方面中最好的调制标量可以通过求解等式18向rth对提供。

[0166] [等式18]

[0167]

[0168] 参考实现最小化为αr*的调制标量，最好的基础滤波器内核可以通过求解等式19获得。

[0169] [公式19]

[0170]

[0171] 在这种情况下，调制标量对于每个r变化，而基础滤波器内核是固定的。

[0172] 在本说明书中，在论述优化问题时便于使用矢量记号。假设yr和fi被词典排序为矢量。词典排序该值 为矩阵Xr的行，卷积fi*xr可以由矩阵矢量相乘Xrfi表示。进一步假设fi被设置为矩阵F的列。

[0173] [等式20]

[0174]

[0175] [等式21]

[0176]

[0177] [等式22]

[0178]

[0179] [等式23]

[0180]

[0181] 在这个等式中，F是矩阵。

[0182] 使用以上所述的矢量记号，本发明可以考虑统计模拟，这里目标矢量被如等式24给出。

[0183] [等式24]

[0184] y＝Xgr+ω，

[0185] 在这种情况下，gr是未知的滤波器，并且ω是与其他数量无关的白噪声。假设所有数量是零均值。在统计视点上，锚定和目标块的rth对相对于rth滤波器gr已经被绘制而给出的以上模型模拟为随机实现。

[0186] 均方预测误差(MSE)可以如等式25获得。

[0187] [公式25]

[0188]

[0189] 在这种情况下，E[.|r]，表示给定r下的期望。扩展导致以下的等式26。

[0190] [等式26]

[0191] E[yTy|r]-2E[yTX|r]Fαr+αrTFTE[XTX|r]Fαr.

[0192] 就调制权重而言最小化MSE导致以下的等式27，αr可以从其求解。

[0193] [公式27]

[0194] FTE[XTy|r]＝FTE[XTX|r]Fαr，

[0195] 由于噪声是白的，可以使用等式28。

[0196] [公式28]

[0197] E[XTy|r]＝E[XTX|r]gr.

[0198] 在本发明的实施例中，假设E[XTX|r]与r无关，即，E[XTX|r]＝E[XTX]＝R。令G表示具有rth列等于gr·的矩阵。可以获得以下的等式。

[0199] [公式29]

[0200] FTRgr＝FTRFαr，

[0201] 等式29可以对于所有r改写为等式30。

[0202] [等式30]

[0203] 对于所有的r，FTRG＝FTRFC，

[0204] 在这种情况下，C是rth列等于αr·的矩阵。

[0205] 将该解插入进MSE，可以获得等式31。

[0206] [等式31]

[0207] E[yTy|r]-grTRFαr.

[0208] 让p(r)确定r.的概率。对r求平均值导致等式32。

[0209] [等式32]

[0210]

[0211] 等式32可以被简化为等式33。

[0212] [公式33]

[0213]

[0214] 为了标记方便起见，本发明假设r是均匀分布的。然后，在求和中的第二项变得与等式34成正比。

[0215] [等式34]

[0216]

[0217] 这里Tr[.]表示矩阵的迹。

[0218] 基础滤波器内核和调制权重的联合优化可以如等式35提供。

[0219] [公式35]

[0220] maxF，CTr[GTRFC]，受制于FTRG＝FTRFC.

[0221] 在一个实施例中，本发明对这个系统求解以导致基础滤波器内核和调制权重。

[0222] 在一个实施例中，训练对集可用于产生相关和互相关统计数值，其然后被用于获得以上系统。

[0223] 在另一个实施例中，公知的统计模拟技术可用于得到相关和互相关统计数值。

[0224] 在一个实施例中，本发明可以使用以上提及的训练/设计实施例获得基础滤波器内核集合，并且在视频压缩中使用这些滤波器。在这个实施例中，编码器/解码器能访问推导出的基础滤波器内核。调制权重可以在压缩期间确定，并且发送给解码器。

[0225] 在一个实施例中，一个以上的基础滤波器内核集可以被设计用于不同的训练集。这些基础滤波器内核的集合可以放入字典(存储器)或者数据库中。然后，在压缩期间，编码器首先选择基础滤波器内核集合，并且将选择的基础滤波器内核示意给解码器。其然后如在以上所述的段落中提及的进行编码视频序列。

[0226] 在一个实施例中，基础滤波器内核和调制标量可以被缩放，并且调制标量可以执行更加有效的压缩，同时通过使用变换过程获得预测滤波相同的结果。例如，如果经由y＝FC预先形成预测滤波，则当作为y＝FCT-1TC执行时，能够通过使用变换过程(TC分量)执行更加有效的压缩。

[0227] 图8是图示根据本发明应用于的实施例的编码预测滤波器参数过程的流程图。

[0228] 在一个实施例中，本发明可以应用于视频编码器或者解码器。本发明可以从基础预测滤波器库(或者预测滤波器库或者基础预测滤波器存储器Ω)中选择基础预测滤波器F集合(S810)。例如，以上所述的过程可以通过预测滤波单元(470)和/或滤波器选择单元(472)执行。

[0229] 要压缩的参考帧或者锚定帧和块可以提供到模块中，该模块确定运动矢量和CPF调制权重。该模块可以确定目标块Y的预测滤波器参数(S820)。例如，以上所述的过程可以通过预测滤波单元(470)、参数确定单元(473)和/或滤波器参数确定单元(475)执行。

[0230] 预测滤波器参数和选择信息可以被编码，并且以压缩的比特流发送给解码器(S830)。在解码器上，这个过程可以反向地执行。

[0231] 使用优化，基础预测滤波器库可以使用视频序列的训练集构成。

[0232] 一旦预测滤波器参数被确定，使用在该领域中公知的方法它们可以被发送给解码器。例如，类似于分割信息在视频编译系统中发送的方式，四叉树分割被发送。类似于在视频编译系统中变换系数发送的方式，预测滤波器参数被发送。

[0233] 图9是图示根据本发明应用于的实施例的确定预测滤波器参数过程的流程图。

[0234] 在本发明的实施例中，编码器可以对于锚定块四叉树分解，确定用于每个叶节点的CPF调制权重。并且，编码器可以基于相应的CPF滤波叶节点，并且将滤波的结果作为预测块使用。

[0235] 在本发明的实施例中，可以通过将本发明应用于运动矢量估计过程确定预测滤波器参数。

[0236] 对于运动矢量的每个，运动补偿块可以通过使用运动矢量获得(S910)。例如，运动补偿的候选者块可以通过使用候选者运动矢量获得。

[0237] 预测滤波单元(470)可以找到滤波器系数Cb和分割信息Pb，其最小化成本函数cost(Y,b,Cb,Pb,F)(S920)。

[0238] 并且，该预测滤波单元(470)可以检查是否成本函数cost(Y,b,Cb,Pb,F)小于预先确定的最小值(minCost)(S930)。

[0239] 如果成本函数cost(Y,b,Cb,Pb,F)小于预先确定的最小值(minCost)，则滤波器系数Cb*、分割信息Pb*、运动矢量mv*和成本函数的最小值可以设置为满足以上所述条件的值(S940)。

[0240] 然后，预测滤波单元(470)可以检查是否存在要另外搜索的运动矢量(S950)。

[0241] 如果存在要另外搜索的运动矢量，以上所述的过程可以递归地执行。但是，如果不存在要另外搜索的运动矢量，则预测滤波单元(470)可以将滤波器系数Cb*、分割信息Pb*、运动矢量mv*和成本函数的最小值作为最佳值输出。

[0242] 图10是图示根据本发明应用于的实施例的获得最佳滤波器系数和最佳分割信息过程的流程图。

[0243] 在本发明的实施例中，最小化单元minUnit、目标块Y、参考块b和基础预测滤波器F、预测滤波单元(470)可以找到预测滤波器参数，其联合地最小化成本函数。

[0244] 首先，预测滤波单元(470)可以将初始分割信息Pfull构成为四叉树(S1010)。该初始分割信息Pfull可以如等式36限定。

[0245] [公式36]

[0246] Pfull＝constructFullTree(Y,minUnit)

[0247] 例如，最小化单元minUnit的值可以被设置为4。

[0248] 然后，预测滤波单元(470)可以基于初始分割信息Pfull获得最佳滤波器系数Cb和最佳分割Pb(S1020)。

[0249] 例如，最佳滤波器系数Cb和最佳分割信息Pb可以通过等式37获得。

[0250] [公式37]

[0251] Cb,Pb,cost＝FindBestCoefficientandPartition(Pfull,Y,b,F)

[0252] 图11是图示根据本发明应用于的实施例的获得对其应用全分解的块的分割信息过程的流程图。

[0253] 首先，初始分割信息Pfull可以被初始化(S1110)。

[0254] 该预测滤波单元(470)可以检查是否目标块Y的尺寸大于最小化单元minUnit(S1120)。

[0255] 如果目标块Y的尺寸大于最小化单元minUnit，则预测滤波单元(470)可以将目标块Y划分为4个子块 并且将划分节点符号增加给分割函数P＝{P，D}(S1130)。

[0256] 例如，对于i＝1,2,3,4，分割信息Pb可以如等式38构成。

[0257] [公式38]

[0258]

[0259] 但是，如果目标块Y的尺寸不大于最小化单元minUnit，则预测滤波单元(470)可以将叶节点符号增加给分割函数P＝{P，L}(S1140)。

[0260] 图12是图示根据本发明应用于的实施例的获得最佳滤波器系数的详细过程的流程图。

[0261] 在图12的实施例中，本发明提供用于获得最佳滤波器系数的详细方法。

[0262] 为了找到最佳预测滤波器参数，分割信息Pb可以如等式39限定。

[0263] [公式39]

[0264] Pb＝Prune_tree(Pfull,Y,b,F)

[0265] 对于在Pb中的每个叶节点nL，预测滤波单元(470)可以从目标块Y获得对应于nL的块 并且从运动补偿块b获得对应于nL的块γ(S1220)。在这种情况下，块 表示在目标块Y内对应于每个叶节点的分割块，并且块γ表示在运动补偿块Y内对应于每个叶节点的分割块。

[0266] 该预测滤波单元(470)可以如等式40基于块 块γ和基础预测滤波器来计算滤波器系数。

[0267] [等式40]

[0268]

[0269] 然后，计算的滤波器系数可以如等式41量化。

[0270] [公式41]

[0271]

[0272] 图13是图示根据本发明应用于的实施例的获得最佳分割信息的详细过程的流程图。

[0273] 如等式39给出用于获得分割信息的分割函数，预测滤波单元(470)可以检查是否当前块对应于叶节点(S1310)。

[0274] 如果当前块对应于叶节点，则预测滤波单元(470)可以将分割函数P构成为分割信息P’。

[0275] 但是，如果当前块不对应于叶节点，则预测滤波单元(470)可以使用块γ计算预测块 的成本而无需滤波(S1320)。经由以上所述的计算，该预测滤波单元(470)可以获得成本1。

[0276] 此外，如果当前块不对应于叶节点，该预测滤波单元(470)可以将块 块γ划分为4个子块 并且获得相关的节点信息ni(S1330)。

[0277] 并且，该预测滤波单元(470)可以基于等式42计算节点信息ni的成本(S1340)。

[0278] [公式42]

[0279]

[0280] 经由等式42，该预测滤波单元(470)可以获得成本2。

[0281] 然后，预测滤波单元(470)可以检查是否成本1小于或者等于成本2(S1350)。也就是说，在当前块不对应于叶节点时，预测滤波单元(470)可以通过计算和比较无需滤波预测的块的成本和划分为子块的节点的成本来选择更加有效的方式。

[0282] 如果成本1小于或者等于成本2，则预测滤波单元(470)可以从分割函数P删除节点信息ni和所有后代(S1360)。

[0283] 同时，如果成本1大于成本2，则预测滤波单元(470)可以将分割函数P构成为分割信息P’。

[0284] 图14是图示根据本发明应用于的实施例的计算分割块的成本过程的流程图。

[0285] 在本发明的实施例中，将详细地解释如等式42计算分割块成本的过程。

[0286] 预测滤波单元(470)可以如等式42计算节点信息ni的成本。

[0287] 首先，预测滤波单元(470)可以检查是否节点信息ni对应于叶节点(S1410)。

[0288] 如果节点信息ni对应于叶节点，则预测滤波单元(470)可以使用块γ计算预测块的成本(S1420)。用于计算预测块 成本的过程将在图15中解释。

[0289] 但是，如果当前块不对应于叶节点，则预测滤波单元(470)可以将块 块γ划分为4个子块 并且获得相关的节点信息ni(i＝1,2,3,4)(S1430)。

[0290] 并且，预测滤波单元(470)可以按照等式42计算节点信息ni的成本(S1440)。

[0291] 图15是图示根据本发明应用于的实施例的计算产生预测块的成本过程的流程图。

[0292] 在本发明的实施例中，本发明提供用于计算预测块 成本的方法。

[0293] 预测滤波单元(470)可以基于块 块γ和基础预测滤波器F计算滤波器系数(S1510)。例如，等式40可以用于计算该滤波器系数。

[0294] 并且，计算的滤波器系数可以被量化(S1520)。例如，等式41可以用于量化滤波器系数。

[0295] 该预测滤波单元(470)可以通过使用如等式43的预测函数形成预测信号(S1530)。

[0296] [公式43]

[0297] ρ＝form_prediction(Г,c)

[0298] 在等式43中，ρ表示预测信号，并且Г表示滤波的块。Г可以由Гi＝y*fi表示，y表示块，并且fi表示滤波器内核。

[0299] 同时，给定基础预测滤波器F，预测滤波单元(470)可以通过使用基础预测滤波器F执行块γ的滤波(S1540)。

[0300] 滤波的块Г可以在S1530中用于形成预测信号。

[0301] 然后，预测滤波单元(470)可以通过使用等式44计算预测块 的成本。

[0302] [公式44]

[0303]

[0304] 在等式44中，D表示在二个块之间的失真(例如，MSE)，并且R表示使用变换单元用于编码 获得的速率。

[0305] 图16是图示根据本发明应用于的实施例的基于预测滤波器参数来预测目标区域过程的流程图。

[0306] 本发明提供基于预测滤波器参数来预测目标区域的编码过程。

[0307] 编码器可以计算目标区域的候选者运动矢量(S1610)，并且通过使用候选者运动矢量确定参考区域(S1620)。

[0308] 编码器可以基于基础预测滤波器确定预测滤波器参数(S1630)。在这种情况下，预测滤波器参数包括滤波器系数和分割信息中的至少一个，并且被确定为最小化成本函数。

[0309] 基础预测滤波器可以是从预先确定的预测滤波器库中选择出来的。

[0310] 用于确定预测滤波器参数的各种实施例能够应用于这个实施例。

[0311] 编码器可以基于预测滤波器参数来预测目标区域(S1640)。

[0312] 图17是图示根据本发明应用于的实施例的解码包括预测滤波器参数的视频信号过程的流程图。

[0313] 本发明提供解码包括预测滤波器参数的视频信号的方法。

[0314] 解码器可以接收包括预测滤波器参数、滤波器选择信息和运动信息中的至少一个的视频信号(S1710)。

[0315] 解码器可以从视频信号获得预测滤波器参数，并且解码预测滤波器参数(S1720)。在这种情况下，预测滤波器参数包括滤波器系数和分割信息中的至少一个。在另一个实施例中，预测滤波器参数可以在解码器中从其他信息中导出。

[0316] 解码器可以基于滤波器系数和滤波器选择信息中的至少一个来确定预测滤波器(S1730)。在这种情况下，滤波器选择信息可以从视频信号中提取，或者从其他信息中导出。解码器可以基于滤波器选择信息从基础预测滤波器库选择要使用的预测滤波器(S1740)。

[0317] 解码器可以基于分割信息执行对于在运动补偿块中每个分割块的滤波(S1750)。

[0318] 同时，解码器可以通过使用运动信息来获得运动补偿块(S1760)。获得的运动补偿块可以在S1750中使用。

[0319] 图18表示根据本发明应用于的实施例的执行预测滤波的预测滤波单元(470)的示意性框图。

[0320] 本发明应用于的预测滤波单元(470)包括滤波器选择单元(472)和参数确定单元(473)，并且参数确定单元(473)包括成本计算单元(474)、滤波器参数确定单元(475)和MV(运动矢量)确定单元(476)。图18示出预测滤波单元(470)被作为单独的功能单元设置在编码器中，但是，这是本发明的实施例，并且本发明不局限于此。例如，该预测滤波单元(470)可以设置在预测单元(460)中，或者设置在其他单元之间。此外，滤波器库(741)也可以与预测滤波单元(470)分开地定位，但是，这也是本发明的实施例，并且本发明不局限于此。例如，滤波器库(741)可以在预测滤波单元(470)或者预测单元(460)中包括和使用，或者可以在外部或者单独的存储器中包括和使用。这些可以类似地应用于解码器。

[0321] 预测滤波单元(470)可以使用预测滤波器和参考块的线性卷积来产生预测块。

[0322] 首先，滤波器选择单元(472)可以从滤波器库(471)(或者预测滤波器库，或者基础预测滤波器存储器Ω)中选择基础预测滤波器集合。

[0323] 参数确定单元(473)可以通过参考参考帧(或者锚定帧)和编译块确定预测滤波器参数，并且基于预测滤波器参数确定运动矢量和CPF调制权重。预测滤波器参数和选择信息中的至少一个可以被编码和作为压缩的比特流发送给解码器，并且解码器可以反向地执行。

[0324] 成本计算单元(474)可以利用等式36和37用于获得最小化成本函数cost(Y,b,Cb,Pb,F))的滤波器系数Cb以及分割信息Pb。

[0325] 滤波器参数确定单元(475)可以检查是否成本函数cost(Y,b,Cb,Pb,F)小于预先确定的最小值(minCost)。例如，如果成本函数cost(Y,b,Cb,Pb,F)小于预先确定的最小值(minCost)，则获得的滤波器系数Cb*和分割信息Pb*可以被设置为预测滤波器参数的值。

[0326] 并且，MV(运动矢量)确定单元(476)可以检查是否存在要另外搜索的运动矢量。如果存在要另外搜索的运动矢量，则以上所述的过程可以递归地执行。

[0327] 但是，如果不存在要另外搜索的运动矢量，则最小化成本函数cost(Y,b,Cb,Pb,F)的滤波器系数Cb*、分割信息Pb*和运动矢量mv*可以被确定为最佳值。

[0328] 如上所述，在本发明中解释的实施例可以在处理器、微处理器、控制器或者芯片上实现和执行。例如，在图1、2、4、5和18中解释的功能单元可以在计算机、处理器、微处理器、控制器或者芯片上实现和执行。

[0329] 如上所述，本发明应用于的解码器和编码器可以包括在多媒体广播传输/接收装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信的实时通信装置、移动流装置、存储介质、摄录一体机、VoD服务提供装置、因特网流服务提供装置、三维(3D)视频装置、电话会议视频装置和医学视频装置中，并且可用于编译视频信号和数据信号。

[0330] 此外，本发明应用于其的解码/编码方法可以以由计算机执行，并且可以存储在计算机可读的记录介质中的程序的形式生成。具有根据本发明的数据结构的多媒体数据也可以存储在计算机可读的记录介质中。计算机可读的记录介质包括由计算机系统可读的数据存储在其中的所有类型的存储设备。计算机可读的记录介质例如可以包括BD、USB、ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备。此外，计算机可读的记录介质包括以载波(例如，经由因特网传输)的形式实现的介质。此外，由编码方法产生的比特流可以存储在计算机可读的记录介质中，或者可以经有线/无线通信网络发送。

[0331] 工业实用性

[0332] 为了说明性的目的已经公开了本发明示例性实施例，并且本领域技术人员可以在附加的权利要求中公开的本发明的技术精神和范围内改进、变化、替换或者增加各种其他实施例。