一种视频编码器(300)及相应的方法(700)，使用仅供参考的画面的预测，对输入画面或图像块进行编码，其中所述编码器(300)包括：画面缓冲器(374)，用于存储在先的已编码画面；以及参考处理单元(376)，与所述画面缓冲器进行信号通信，用于根据在先的已编码画面，产生仅供参考的画面；以及所述相应的方法(700)包括：接收(712)实质上未被压缩的图像块；对在先的已编码画面进行滤波(714)，以创建自适应的参考；对自适应的参考进行运动补偿(718)；从实质上未被压缩的图像块中减去(722)运动补偿后的自适应参考；以及对实质上未被压缩的图像块与运动补偿后的自适应参考之间的差进行编码(724)。还公开了视频解码器(400)及相应的方法(800)。
1.一种视频编码器(300)，使用至少一个仅供参考的画面的预测，对输入画面进行编码，所述编码器包括：画面缓冲器(374)，用于存储至少一个在先的已编码画面；以及参考处理单元(376)，与所述画面缓冲器进行信号通信，用于产生至少一个仅供参考的画面，通过滤波从至少一个在先的已编码画面中减小非相关噪声，同时保留视频序列中的胶片颗粒噪声。
2.根据权利要求1所述的视频编码器，其特征在于所述参考处理单元使用来自运动补偿单元的运动补偿后的参考画面产生至少一个仅供参考的画面。
3.根据权利要求1所述的视频编码器，其特征在于所述参考处理单元使用多个参考画面产生至少一个仅供参考的画面。
4.根据权利要求1所述的视频编码器，其特征在于所述参考处理单元使用至少一个环路滤波器的输出产生至少一个仅供参考的画面。
5.根据权利要求1所述的视频编码器，其特征在于所述参考处理单元还响应于至少一个加权因子用于产生至少一个仅供参考的画面。
6.根据权利要求1所述的视频编码器，其特征在于所述参考处理单元还响应于用于通知将多个滤波器中的哪一个应用于至少一个在先的已编码画面的参考画面索引。
7.根据权利要求1所述的视频编码器，其特征在于所述参考处理单元包括空间滤波器。
8.根据权利要求1所述的视频编码器，其特征在于所述参考处理单元包括时间滤波器。
9.根据权利要求6所述的视频编码器，其特征在于应用于一个参考的所通知的滤波器不同于应用于另一参考的所通知的滤波器。
10.根据权利要求6所述的视频编码器，其特征在于通知要应用的滤波器包括针对每个画面指定是否对其参考进行滤波。
11.根据权利要求6所述的视频编码器，其特征在于通知要应用的滤波器包括指定是否针对所有参考使用相同的滤波器。
12.根据权利要求6所述的视频编码器，其特征在于通知要应用的滤波器包括指定是否重新使用具有不同滤波参数的参考，用于中值滤波、维纳滤波、几何平均值滤波或最小平方滤波。
13.根据权利要求6所述的视频编码器，其特征在于所述通知表示使用标准参考和滤波后的参考中的至少一个。
14.根据权利要求1所述的视频编码器，其特征在于还包括运动补偿单元(390)，与所述参考处理单元进行信号通信，用于提供运动补偿后的仅供参考的画面。
15.根据权利要求1所述的视频编码器，其特征在于所述参考处理单元包括使用加权平均产生参考的运动投影器和像素投影器中的至少一个。
16.一种用于编码图像块的视频信号数据的方法，所述方法包括：接收(712)未被压缩的图像块；
对在先的已编码画面进行滤波(714)，减小非相关噪声，以创建自适应的参考，同时保留视频序列中的胶片颗粒噪声；
从未被压缩的图像块中减去(722)运动补偿后的自适应参考；以及对未被压缩的图像块与运动补偿后的自适应参考之间的差进行编码(724)。
17.根据权利要求16所述的方法，其特征在于还包括：对已编码的差进行解码；
将已解码的差与运动补偿后的自适应参考相加，形成已解码画面；以及将已解码画面存储在画面缓冲器中。
18.根据权利要求16所述的方法，其特征在于所述滤波响应于比特流字段，用于通知将多个滤波器中的哪一个应用于减少非相关噪声。
19.根据权利要求16所述的方法，其特征在于所述滤波包括应用空间滤波器。
20.根据权利要求16所述的方法，其特征在于所述滤波包括应用时间滤波器。
21.根据权利要求18所述的方法，其特征在于应用于一个参考的所通知的滤波器不同于应用于另一参考的所通知的滤波器。
22.根据权利要求18所述的方法，其特征在于通知要应用的滤波器包括针对每个画面指定是否对其参考进行滤波。
23.根据权利要求18所述的方法，其特征在于通知要应用的滤波器包括指定是否针对所有参考使用相同的滤波器。
24.根据权利要求18所述的方法，其特征在于通知要应用的滤波器包括指定是否重新使用具有不同滤波参数的参考，用于中值滤波、维纳滤波、几何平均值滤波或最小平方滤波。
25.根据权利要求16所述的方法，其特征在于还包括：在滤波之前，从所述未被压缩的图像块提取信息，所述信息指明胶片颗粒噪声呈现在未被压缩的图像块；
26.一种视频解码器(400)，使用至少一个仅供参考的画面的预测对输出画面进行解码，所述解码器包括：画面缓冲器(474)；以及
参考处理单元(476)，与所述画面缓冲器进行信号通信，用于产生至少一个仅供参考的画面，通过滤波从至少一个在先的已解码画面中减小非相关噪声，同时保留视频序列中的胶片颗粒噪声，其中，所述至少一个仅供参考的画面不必是可查看的显示画面。
27.根据权利要求26所述的视频解码器，其特征在于所述参考处理单元还响应于参考画面索引，用于通知将多个滤波器中的哪一个应用于至少一个在先的已解码画面。
28.根据权利要求26所述的视频解码器，其特征在于所述参考处理单元包括空间滤波器。
29.根据权利要求26所述的视频解码器，其特征在于所述参考处理单元包括时间滤波器。
30.根据权利要求26所述的视频解码器，其特征在于所述参考处理单元使用来自运动补偿单元的运动补偿后的参考画面产生至少一个仅供参考的画面。
31.根据权利要求26所述的视频解码器，其特征在于所述参考处理单元使用来自运动补偿单元的多个参考画面产生至少一个仅供参考的画面。
32.根据权利要求26所述的视频解码器，其特征在于所述参考处理单元使用至少一个环路滤波器的输出产生至少一个仅供参考的画面。
33.根据权利要求26所述的视频解码器，其特征在于所述参考处理单元还响应于至少一个加权因子产生至少一个仅供参考的画面。
34.根据权利要求26所述的视频解码器，其特征在于还包括运动补偿单元(460)，与所述参考处理单元进行信号通信，用于提供运动补偿后的仅供参考的画面。
35.根据权利要求26所述的视频解码器，其特征在于所述参考处理单元还响应于表示所应用的滤波器的信号。
36.根据权利要求35所述的视频解码器，其特征在于所述信号表示使用标准参考和滤波后的参考中的至少一个。
37.根据权利要求26所述的视频解码器，其特征在于还包括仿真单元(278)，与所述参考处理单元进行信号通信，用于仿真非相关的画面数据。
38.根据权利要求26所述的视频解码器，其特征在于所述参考处理单元包括使用加权平均处理参考的运动投影器和像素投影器中的至少一个。
39.一种用于解码显示画面的视频信号数据的方法(800)，所述方法包括：接收编码的画面数据；
使用滤波器对来自在先的已解码画面中的非相关噪声进行滤波，创建仅供参考的画面，同时保留视频序列中的胶片颗粒噪声；
将运动补偿的参考画面加到预测的误差中，形成解码的画面；
40.根据权利要求39所述的解码方法，其特征在于编码的画面数据包括表示胶片颗粒的补充增强信息消息中的非相关画面数据。
41.根据权利要求39所述的解码方法，其特征在于所述滤波器至少是时间滤波器和空间滤波器之一。
自适应参考画面产生
[0001] 相关申请的交叉引用
[0002] 本申请要求2003年9月17日递交的、题为“VIDEO CODECARCHITECTURE USING ADAPTIVE REFERENCE REGENERATION”的美国临时申请序列号No.60/504,757(代理公司案号PU030270)的优先权，将其全部一并在此作为参考。
技术领域
[0003] 本发明涉及视频编码器和解码器(编解码器)，更具体地，涉及将参考画面用作编解码器中的预测器。
背景技术
[0004] 在典型的视频压缩系统和标准中，如MPEG-2和JVT/H.264/MPEGAVC，编码器和解码器通常依赖于内编码和间编码，以便实现压缩。在内编码中，使用空间预测方法；而对于间编码，通过采用可能存在于画面之间的时间相关来实现压缩。更具体地，将在先的已编码/已解码画面用作未来画面的参考，同时采用运动估计和补偿，以便补偿这些画面之间的任何运动行为。如H.264等更为高级的编解码器还考虑照明变化，例如在淡入/淡出期间，以便在需要时，产生更为精确的预测。最后，为了降低通过预测和量化处理而创建的块假像，还可以使用解块方法。
[0005] 不幸地，与间编码有关的典型方法并未考虑可能会相当大地影响到整个预测处理的一些额外属性和特征。具体地，尤其是较高的分辨率，画面可能会包含几种噪声，如胶片颗粒或斑点噪声。这种噪声倾向于在各个画面之间完全不相关，这意味着在编码处理期间，参考画面中的任何剩余噪声都需要补偿。虽然一些噪声可以通过量化处理以及可能通过在编码器中引入的非标准阈值来去除，但其仍然对编码效率有相当大的负面影响。
[0006] 可以在预处理阶段去除这些噪声，其中，可以使用时间和空间滤波方法，从而实现了编码效率上的极大改进；但是可能还需要保留一些噪声(例如，在胶片内容的情况下)，由于这些噪声本身可能是胶片艺术内容的一部分。因此，需要一种新的方案来降低参考画面中的非相关噪声，同时保持所显示的画面的艺术内容。
发明内容
[0007] 通过使用自适应参考再生的视频编码和解码设备和方法，解决了现有技术的这些和其他缺点和不足。
[0008] 本发明是一种视频编码器、解码器及相应的方法，使用仅供参考画面的预测，对输入画面或图像块进行编码(以及配套地，解码)。典型的编码器包括：画面缓冲器，用于存储在先的已编码画面；与所述画面缓冲器进行信号通信的参考处理单元，根据在先的已编码画面，产生仅供参考的画面。典型的编码方法包括：接收实质上未被压缩的图像块；对在先的已编码画面进行滤波，以创建自适应的参考；对自适应的参考进行运动补偿；从实质上未被压缩的图像块中减去运动补偿后的自适应参考；以及对实质上未被压缩的图像块与运动补偿后的自适应参考之间的差进行编码。
[0009] 通过在结合附图的同时，阅读以下对典型实施例的描述，本发明的这些和其他方案、特征和优点将变得更加显而易见。
附图说明
[0010] 参照以下附图，本发明将得到更好的理解，其中：
[0011] 图1示出了本发明实施例的自适应参考再生的视频编码器的方框图；
[0012] 图2示出了本发明实施例的自适应参考再生的视频解码器的方框图；
[0013] 图3示出了本发明另一实施例的自适应参考再生的视频编码器的方框图；
[0014] 图4示出了本发明另一实施例的自适应参考再生的视频解码器的方框图；
[0015] 图5示出了本发明实施例的通过像素投影的参考生成的图示；
[0016] 图6示出了本发明实施例的通过运动投影的参考生成的图示；
[0017] 图7示出了根据本发明的原理，利用自适应参考生成进行编码的流程图；以及[0018] 图8示出了根据本发明的原理，利用自适应参考生成进行解码的流程图。
具体实施方式
[0019] 根据本发明的原理，将在先的已编码画面用作编码在后画面的参考之前，将滤波器应用于在先的已编码画面，从而获得了编码效率的进一步改进。在需要时，其可以用于在编码处理期间保留噪声信息，以保留显示画面的艺术内容。
[0020] 以下描述示出了本发明几个实施例的原理。因此，应当清楚的是，尽管这里并未详细描述或图示为本发明的实施例，但本领域普通技术人员可以构思多种结构来实现本发明的原理，并且这些结构包括在本发明的精神和范围内。
[0021] 这里所述的所有示例和条件语言用于教导的目的以帮助读者理解本发明的原理和由发明人对本领域做出贡献的理念，并且应理解为并不局限于这样的特别陈述的示例和条件。而且，这里陈述本发明的原理、方案和实施例的所有语句以及其特定示例应包括其结构上和功能上的等价物。另外，应该注意，这样的等价物包括当前已知的等价物以及未来开发的等价物，即，所开发的执行相同功能的任意元件，而与结构无关。
[0022] 因此，例如，本领域的技术人员将会意识到：这里所呈现的方框图示出了具体实现本发明原理的说明性电路的概念图。类似地，将会意识到，任何流程图、流图、状态转换图、伪代码等表示可以在计算机可读介质上实质上进行表示的各种过程，并且由计算机或处理器执行，不管是否明确地示出了这样的计算机或处理器。
[0023] 附图中所示的各种元件的功能可以通过使用专用硬件、以及能够执行与适当软件相关的软件的硬件来提供。当由处理器提供时，这些功能可以由单个专用处理器、单个共享处理器或多个单独处理器来提供，其中一些处理器可以是共享的。而且，明确使用术语“处理器”或“控制器”不应理解为专指能够执行软件的硬件，而可以隐含地包括(但不局限于)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)、以及非易失性存储器。
[0024] 也可以包括其他硬件，传统的和/或客户定制的。类似地，在图中所示的任何开关仅是概念性的。其功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的相互作用、或者甚至是手动地来实现，特定技术可以由实现者根据从上下文中更具体地理解来选择。
[0025] 在其权利要求中，表达执行特定功能作为一种手段的任何元件包括执行该功能的任何方式，例如，包括a)执行该功能的电路元件的组合，或b)任何形式的软件，因而包括固件、微代码等，与适当的电路组合来执行实现该功能的软件。由这样的权利要求所限定的本发明在于以下事实：由各种陈述的装置所提供的功能按照权利要求所要求的方式组合并结合在一起。因此，申请人考虑了能够提供与这里所示等价的那些功能的任何装置。
[0026] 如图1所示，视频编码器通常由参考数字100表示。编码器100的输入与空间滤波器102和输入画面存储器104中的每一个相连，且与之进行信号通信。空间滤波器102的输出可切换地与求和点110的可切换同相输入的第一位置相连，且与之进行信号通信。输入画面存储器104与噪声缩减器106相连，且与之进行信号通信，所述噪声缩减器106可切换地与求和点110的可切换同相输入的第二位置相连，且与之进行信号通信。求和点110的输出与块变换器120相连，且与之进行信号通信。变换器120与量化器130连接，且与之进行通信，量化器130与熵或可变长度编码器(“VLC”)140相连，且与之进行信号通信，其中VLC 140的输出是编码器100的外部可用输出。
[0027] 在信号通信中量化器130的输出还与逆量化器150相连。在信号通信中逆量化器150与逆块变换器160相连，在信号通信中逆块变换器160依次与环路滤波器(in-loop filter)172相连。在信号通信中环路滤波器172与参考画面存储器175相连。在信号通信中参考画面存储器175的第一输出与运动估计器和模式决定单元180的第一输入相连。在信号通信中空间滤波器102的输出还与运动估计器180的第二输入相连。在信号通信中运动估计器180的第一输出与运动补偿器190的第一输入相连。在信号通信中运动补偿器
180的第二输出与噪声缩减器106的第二输入相连。在信号通信中参考画面存储器175的第二输出与运动补偿器190的第二输入相连。在信号通信中运动补偿器190的输出与求和点110的反相输入相连。
[0028] 转向图2，发射机201与接收机204进行信号通信。发射机201包括胶片颗粒去除单元211和胶片颗粒建模单元212，每一个均用于接收输入视频信号。胶片颗粒去除单元211与胶片颗粒建模单元212和视频编码器213中的每一个进行信号通信。视频编码器213与接收机204的视频解码器202进行信号通信，以便传输压缩比特流。胶片颗粒建模单元212与接收机204的胶片颗粒仿真单元278进行信号通信，用于传输补充增强信息(“SEI”)消息。视频解码器202与胶片颗粒仿真单元278和求和单元282的第一同相输入进行信号通信。胶片颗粒仿真单元278依次与求和单元282的第二同相输入进行信号通信。求和单元282提供用于显示的信号。
[0029] 接收机204包括可变长度解码器(“VLD”)210，用于接收比特流，并在信号通信中与逆量化器220相连。逆量化器与逆块变换器230相连。在信号通信中逆变换器与加法器或求和点240的第一输入端相连。在信号通信中求和点240的输出与环路滤波器272相连。在信号通信中环路滤波器272与帧缓冲器274相连。在信号通信中帧缓冲器274与运动补偿器260、胶片颗粒仿真单元278以及求和点282的第一同相输入中的每一个相连。VLD
210的输出还作为第二输入与运动补偿器260相连。在信号通信中运动补偿器260的输出与求和点240的第二输入端相连。胶片颗粒仿真单元278具有第二输入，用于接收噪声参数，如SEI消息等。在信号通信中胶片颗粒仿真单元278的输出与求和点282的第二同相输入相连。求和点282的输出提供来自接收机204的输出。
[0030] 现在，转向图3，视频编码器通常由参考数字300表示。编码器300的输入与求和点310的同相输入相连，且与之进行信号通信。求和点310的输出与块变换器320相连，且与之进行信号通信。块变换器320与量化器330相连，且与之进行信号通信。量化器330的输出与可变长度编码器(“VLC”)340相连，且与之进行信号通信，其中VLC340的输出是编码器300的外部可用比特流输出。
[0031] 在信号通信中量化器330的输出还与逆量化器350相连。在信号通信中逆量化器350与逆块变换器360相连，在信号通信中逆块变换器360依次与求和点370的第一同相输入相连。在信号通信中求和点370的输出与环路滤波器372相连，并可选地在信号通信中与参考处理单元376相连。在信号通信中环路滤波器372与帧缓冲器374相连。在信号通信中帧缓冲器374与参考处理单元376相连，并可选地在信号通信中与运动补偿单元390相连。在信号通信中参考处理单元376与VLC 340、帧缓冲器374、运动估计单元380和运动补偿单元390中的每一个相连。
[0032] 在信号通信中编码器300的输出还与运动补偿器380的第二输入相连。在信号通信中运动补偿器380的输出与运动补偿器390的第三输入以及VLC 340的第三输入相连。在信号通信中运动补偿器390的输出与求和点310的反相输入相连。
[0033] 如图4所示，视频解码器通常由参考数字400表示。视频解码器400包括用于接收比特流的可变长度解码器(“VLD”)410，VLD 410与逆量化器420相连，且与之进行信号通信。逆量化器与逆变换器430相连。在信号通信中逆变换器430与加法器或求和点440的第一输入端相连。在信号通信中求和点440的输出与环路滤波器472相连(以及可选地，在信号通信中与参考处理单元476[未示出]相连，代替环路滤波器472，有效地旁路环路滤波器)。在信号通信中环路滤波器472与帧缓冲器474相连。在信号通信中帧缓冲器474的第一输出与参考处理单元476的第一输入相连。在信号通信中VLD 410与参考处理单元476的第二输入相连。
[0034] 在信号通信中参考处理单元476的第一输出与运动补偿器460相连，运动补偿器460在信号通信中与求和点440的第二同相输入端相连，以及可选地在信号通信中与参考处理单元476[未示出]的输入相连。在信号通信中视频解码器400的输出可切换地分别与帧缓冲器474的第二输出和参考处理单元476的第二输出相连。
[0035] 转向图5，通过像素投影的参考生成通常由参考数字500表示，其中根据其先前的运动矢量，将每个像素投影到新位置。
[0036] 现在，转向图6，通过运动投影的参考生成通常由参考数字600表示，其中假设当前参考中的每个块具有与其共处的块相同的MV。
[0037] 如图7所示，根据本发明的原理、利用自适应参考产生的编码处理通常由参考数字700表示。所述处理包括将控制转交给输入方框712的开始方框710。输入方框712接收实质上未被压缩的图像块数据，并将控制转交给功能方框714，功能方框714将滤波器应用于已存储的、在先的已编码画面，以创建自适应的参考。功能方框714将控制转交给功能方框718，功能方框718根据运动矢量，对自适应的参考进行运动补偿，并将控制转交给功能方框722。功能方框722从实质上未被压缩的图像块中减去运动补偿后的自适应参考，并将控制转交给功能方框724。因此，功能方框724对具有实质上未被压缩的图像块与运动补偿后的自适应参考之间的差的信号进行编码，并将控制转交给功能方框726。功能方框726依次将解码后的差与运动补偿后的自适应参考相加，以形成已解码画面，并将控制转交给功能方框728。功能方框728将已解码画面存储在画面缓冲器中，并将控制转交给结束方框730。
[0038] 转向图8，根据本发明的原理，利用自适应参考产生的解码处理通常由参考数字800表示。所述处理包括将控制转交给输入方框812的开始方框810。输入方框812接收已编码画面数据，并将控制转交给功能方框814。功能方框814将滤波器应用于已存储的、在先的已编码画面，以创建自适应的参考，并将控制转交给功能方框816。功能方框816对自适应的参考进行运动补偿，并将控制转交给功能方框818。功能方框818依次对已编码的差进行解码，并将控制转交给功能方框824。功能方框824将运动补偿后的自适应参考与已解码的差相加，以形成已解码画面，并将控制转交给功能方框826。功能方框826存储和显示已解码画面，并将控制转交给结束方框828。
[0039] 参考回图1，视频编码和解码体系结构可以考虑预处理方法，如空间和/或时间滤波，例如，努力从视频序列中去除噪声。此处理基本上改善了序列内的空间和/或时间关系，获得了更好的编码效率。
[0040] 在一些情况下，参考图2可以更好地理解，保留一些种类的噪声可能是必需的(例如，胶片型HD内容中的胶片颗粒噪声)。因此，还需要将此内容与一组已编码参数相关联，这组已编码参数允许解码器产生对原始胶片颗粒噪声的估计。例如，这些参数可以利用SEI消息在H.264中传输，也可以使用不同的模型来产生噪声。
[0041] 再次参考图3和4，示出了新的视频编码和解码体系结构，与现有方法相比，能够进一步改善性能。这是通过对用于显示的已编码/已解码画面和将被用作针对未来已编码画面的参考的关联画面加以区别而实现的。在特定的示例中，根据内容，可能已经知道或能够以较高的精度预测未来画面中的全部或部分运动，并由此使用此信息来产生更为相关的参考画面。此外，一些种类的噪声(如胶片颗粒噪声)在各个画面之间完全不相关，需要对其进行补偿，以及如果可能，从参考画面中完全去除，以便获得更好的编码效率。
[0042] 这里所公开的体系结构引入了编码和解码处理中的额外步骤，其中使用在编码器和解码器均可用的已知空间和时间信息，如果需要，这些实施例可以对已解码画面进行分析和处理，并产生能够用作针对未来画面的参考的新画面。决定和整个参考生成过程可以基于在比特流中编码的附加信息，或者可以根据上下文自适应地决定。此外，尽管不必要，此新画面也可以根据比特流信号或解码器决定用于显示的目的。
[0043] 根据本发明的原理，引入了编码和解码处理中的额外步骤，用于生成间预测参考画面，与现有系统相比，能够进一步改善编码效率。所公开的系统的特征是针对如具有噪声的内容的特定序列，由于噪声通常不是时间相关的，在先的已解码画面可能不是最佳的可能参考。虽然可以在预处理阶段去除噪声，也可能由于该噪声自身是实际内容的一部分，所以需要将其保留，例如，在胶片型内容中的胶片颗粒的情况下。
[0044] 在本体系结构中，例如，可以使用如中值滤波器、维纳滤波、几何平均值、最小平方等及其组合的滤波器，将额外的可选滤波处理应用于每个参考画面。滤波可以额外地用于处理和去除子像素插值不能去除的其他类型的噪声。也可以使用线性滤波器，如简单平均滤波器，而不必考虑子像素位置。也可以考虑时间方法，如时间滤波，甚或使用在先画面的运动信息来产生新的运动补偿后的参考，例如，使用全局运动补偿等。为了简单，这里将这些类型的方法称为“滤波”或使用“滤波器”。
[0045] 尽管可以针对所有参考固定滤波器和处理，可以采用几种可选体系结构，可能在不同的系统中更为有益。具体地，简单的方法可以是为每个画面编码信号，如1比特信号，该信号指明此画面是否被另一画面参考，并代替地使用滤波后的版本。在这种情况下，可以在编码器和解码器上预定义将使用原始样本还是滤波后的样本来产生子像素位置。可选地，可以传输额外的信号来指定此操作。
[0046] 也可以在针对每个画面的流中通知滤波器参数和/或信息。此方法显而易见的优点在于不需要额外的存储器，但也可能限制了编码器的灵活性，因为对于一些画面，使用不同滤波器或根本不使用滤波器的参考将更为有利。
[0047] 代替地，更为灵活的解决方案在于针对每个画面规定是否对其参考进行滤波。这种解决方案允许编码器更好地适应于每个画面的特性，并实现更高的性能。也可能针对所有参考使用相同的滤波器，或甚至允许不同的滤波器者用于每个参考，每个参考可以在比特流内进行通知。也可以允许将相同的画面重新用作参考，没有任何滤波选项或具有不同的滤波选项，考虑到画面的一些区域可能具有不同的特性，并可能得益于不同的滤波方法。例如，如果在缓冲器中具有N个不同的画面可以用作当前画面的参考，以及K种不同的滤波方法，包括原始图像，将允许N×(K+1)个不同的参考画面用作参考。实质上，将通过在宏块等级上与每个参考相关联的参考索引来选择滤波器，有点类似于目前H.264中的显性加权预测模式。
[0048] 更具体地，在编码期间，在画面和码片(slice)报头中通知显性加权预测的使用及所需的参数。例如，画面报头包含参数weighted_pred_flag和weighted_bipred_flag，这些参数规定了是否使用加权预测，以及使用加权预测的何种模式。如果weighted_pred_flag是1，则对于P和SP码片使用加权预测(始终显性)，而当weighted_bipred_flag也是1时，针对B画面，使用显性加权预测。如果将这两个参数之一设置为1并使用正确的码片类型，则在码片报头中还传输预测加权表(pred_weight_table)元素。如果码片是B画面以及weighted_bipred_flag等于1，根据与每个块相关联的参考，在list_0和list_1中包括针对每个参考画面的权重和偏移量，其中，在运动补偿期间，生成预测样本时使用所述权重和偏移量。用于特定参考画面的特定权重和偏移量由特定宏块或宏块分区的参考画面索引表示。
[0049] 类似地，可以引入额外的元素，将在相同的报头中通知新预测方法及其参数。例如，可以定义名为adaptive_ref_pred_flag的新画面级语法元素。如果此元素等于1，则在码片报头中传输额外的表格(例如，adaptive_ref_table)，该报头将包含每个列表中用于每个参考画面的额外参数，可以包括滤波方法和滤波器参数。滤波器参数可以是动态的并取决于所使用的滤波方法。例如，对于中值滤波器，不需要额外的参数，而对于可分离滤波器，可能需要抽头数和系数。参考画面索引可以用于选择针对特定宏块或宏块分区的特定滤波器。
[0050] 尽管可以在空闲时计算滤波后的数值并降低存储需求，但上述方法意味着编码器和解码器上的额外计算和存储。此外，针对这些参考中的每一个计算子像素值并非总是必要的，可以只计算并存储根据原始值产生的子像素值，从而进一步降低这种编码器的复杂度。在这种情况下，可以允许滤波后的参考的子像素值与原始值相同，在比例失真优化模型下仍然是有利的，或者可以允许针对滤波后的参考画面的整数运动矢量。在这种情况下，需要在运动矢量预测处理期间，正确地缩放这些运动矢量，而将其预测器约算为最接近的整数值。
[0051] 除了通知是否使用滤波器以及使用何种滤波器用于产生参考以外，如果给定已解码宏块或模式的一些特性，也可以在宏块级做出这种决定。例如，针对P画面的SKIP或针对B画面的Direct或Bi-predictive等一些模式出现在受益于非滤波画面的大多数序列中。例如，如果使用SKIP，这意味着当前的宏块具有与其参考非常高的相似性，并且即使存在一些噪声，也不会严重影响可视质量。这同样可以应用于Direct SKIP，而所有双向预测模式(包括Direct在内)均作为也能够减少大量噪声的时间滤波器工作。另一方面，如果针对这些模式使用滤波后的画面，额外的滤波很可能会导致更多的如模糊的假像，这些假像可能降低效率。
[0052] 如所讨论的那样，图3和4分别示出了编码器和解码器。包括在编码器和解码器中的惟一元件是参考处理模块。根据图3，当滤波不是强制的时，可以选择根据解块处理之后或之前的画面，处理并产生参考。来自在先的已编码画面的运动信息也可以用来产生运动投影参考。类似于用在H.264中的时间直通(temporal direct)，考虑到从一个相邻画面到另一画面运动保持相对连续来产生此参考。如图5所示，利用这种观察，可以使用像素投影来产生参考，其中，根据其在先的运动矢量，将每个像素投影到新位置；或者如图6所示，使用运动投影来产生参考，其中假设当前参考中的每个宏块具有与其共处块相同的MV。也可以利用加权平均来组合这两种方法，同时也可以利用其他方法对投影后的像素进行滤波。作为扩展，可以使用类似的方法，如多谱图像增强中那样，对多幅画面进行组合，例如通过运动/像素投影或滤波，以产生单一的参考，能够与超分辨率成像或突出的静态画面相比。
[0053] 典 型 滤 波 器 包 括：a)1×3；b)3×1；c) 可 分 离 的( 首 先 是1×3，然后 是 3×1)；以 及d)3×3 中 值；f)与 原 始 参 考 的 加 权 平 均 值 (即，ref ＝(a×Med1×3+b×Med3×1+c×Med3×3+d×原始值+(a+b+c+d)/2)/(a+b+c+d))；g)维纳滤波(由于其对高斯噪声进行处理)；h)3×3平均滤波器，系数为： ；或者i)简单可分离n抽头滤波器；j)阈值平均(只有结果与原始样本存在相当大的差异时，才使用滤波器h)，以及这些滤波器的组合。也可以使用其他滤波器，并可以在比特流中通知，或者是编码器和解码器已知的，并通过比特流中的参数进行选择，例如通过参考索引等。
[0054] 同样用在本体系结构中、并且比简单的3×3中值更好地保留了边缘的、具有相对较低复杂度的更为感兴趣的滤波器是中值与2-D有序静态滤波器的组合。选择并存储原始画面中的当前像素及其周围的8个像素。如果当前像素与3×3中值相同，则不执行其他操作。如果不同，并且如果当前像素是最大或最小样本，则以最接近的样本代替，或者在不同的实施方式中，以最接近的样本与其自身之间的平均值代替。否则，以当前数值及两个最接近的样本的平均值代替此样本。
[0055] 解码器必须精确地知道所使用的滤波器，以便产生等同的参考，并避免漂移。此滤波器可以是已知的，并在编码器和解码器上等同，同时也可以在画面或码片级传输此滤波器。虽然传输MB等级的整个滤波器将意味着相当可观的开销，但仍然可以传输用于调整部分滤波器的一些附加参数，如附加的MV缩放参数，如果滤波器正在使用全局运动补偿后的参考，并允许额外的灵活性。另一方面，编码器需要能够选择具有最小复杂性的适当处理方法。为此，可以使用参考和当前画面的预分析方法，如噪声估计、图像校正等。可以在整个画面级、甚或不同的区域进行这些估计，尤其是在考虑到不同的区域可能具有可以利用基于区域的方法更为精确地进行检测的不同特性时。
[0056] 相关领域的普通技术人员根据这里的教导任意确定本发明的这些和其他特征和优点。应该理解，本发明的原理能够以硬件、软件、固件、专用处理器或其组合等各种形式来实现。
[0057] 更具体地，本发明的原理实现为硬件和软件的组合。而且优选地，软件实现为在程序存储单元上具体实现的应用程序。可以将该应用程序上载到包括任何适当结构的机器上并由该机器来执行。优选地，在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口的硬件的计算机平台上实现该机器。该计算机平台还可以包括操作系统和微指令代码。这里所述的各种过程和功能可以是微指令代码的一部分或应用程序的一部分或其组合，其可以由CPU来执行。另外，各种其他外围单元可以与计算机平台相连，例如附加数据存储单元和打印单元。
[0058] 还应该理解，由于在附图中所示的构成系统的组件和方法的一部分最好以软件来实现，因此根据对本发明进行编程的方式，系统组件或处理功能块之间的实际连接可以是不同的。根据在此给出的教导，相关领域的普通技术人员将能够设想本发明的这些和类似实现或配置。
[0059] 尽管已经参考附图描述了说明性实施例，但是应该理解，本发明并不局限于这些精确的实施例，而可以由本领域的技术人员来实现各种改变和修改，而不脱离本发明的范围或精神。所有这样的改变和修改应包括在所附权利要求所限定的本发明的范围内。
