用于宏块分割部分的混合块间/块内编码的装置和方法转让专利
申请号 : CN200480001853.1
文献号 : CN1723706B
文献日 : 2010-09-22
发明人 : 吉尔·M·博伊斯
申请人 : 汤姆森特许公司
摘要 :
提供一种视频编码器(200，300)及相应方法(400)，用于具有多个分割部分的宏块的混合块间/块内编码，其中所述编码器包括参考图形加权应用器(292，392)，它与参考图形加权系数单元(272，372)耦合，其用于分配与每个块间和块内编码的分割部分对应的加权系数；并且用于编码具有多个分割部分的宏块的相应方法包括块间编码(426)至少一个分割部分和块内编码(428)至少第二分割部分。
权利要求 :
1.一种用于编码具有多个分割部分的宏块的方法(400)，所述方法包括：块间编码所述多个分割部分中的至少一个(426)；和块内编码所述多个分割部分中的至少第二个(428)，其中所述块内编码包括提供与零加权系数相关联的参考图形索引。
2.如权利要求1所述的方法，其中所述宏块包括符合联合视频组JVT标准的视频数据。
3.如权利要求1所述的方法，其中所述宏块包括非块内宏块类型。
4.如权利要求1所述的方法，其中所述块内编码包括：在加权预测编码模式内，利用来自联合视频组标准的主和扩展简档的至少一个的加权预测工具、使用零加权系数执行的非预测块内编码。
5.如权利要求4所述的方法，还包括：对于非预测块内编码的分割部分编码零差分运动矢量。
6.如权利要求1所述的方法，其中块间编码所述多个分割部分的至少一个具有与非零值加权系数相关联的参考图形索引。
7.如权利要求6所述的方法，还包括：响应于每种编码方法的开销测量，在分割部分的块间编码和块内编码之间进行确定。
8.如权利要求1所述的方法，还包括：
使用参考图形重排命令将多个参考图形索引与特定参考图形存储器相关联；和将零加权分配给多个参考图形索引中的一个，并且将非零加权分配给其它参考图形索引。
9.一种用于编码具有至少一个分割部分的宏块的方法(400)，所述方法包括：通过提供与零加权系数相关联的参考图形索引，非预测块内编码至少一个分割部分(428)。
10.如权利要求9所述的方法，其中所述非预测块内编码是在加权预测编码模式内利用来自联合视频组标准的主和扩展简档中的至少一个的加权预测工具、使用零加权系数执行的。
11.一种具有多个分割部分的宏块的混和块间/块内编码的视频编码器(200，300)，所述编码器包括：参考图形加权应用器(292，392)；和
参考图形加权系数单元(272，372)，其与参考图形加权应用器进行信号通信，用于分配分别与每个混和块间和块内编码的分割部分对应的加权系数。
12.如权利要求11所述的视频编码器，还包括运动补偿单元(290，390)，其与参考图形加权应用器进行信号通信，用于分别提供运动补偿的块间和块内编码的分割部分中的至少一个。
13.如权利要求12所述的视频编码器，还包括参考图形存储器(270，370)，其与参考图形加权系数单元和运动补偿单元中的每一个进行信号通信，用于分别存储运动补偿的块间和块内编码的分割部分中的至少一个。
14.如权利要求12所述的视频编码器，其中所述参考图形加权应用器将参考图形加权系数单元选择的加权系数分别应用于运动补偿的块间和块内编码的分割部分中的至少一个。
15.如权利要求14所述的视频编码器，可使用双向预测图形预测因子，所述编码器还包括预测部件，用于根据至少一个加权和运动补偿的块间/块内编码的分割部分而形成第一和第二预测因子。
16.如权利要求11所述的视频编码器，还包括：
块间编码部件，用于块间编码宏块的至少一个分割部分；和块内编码部件，用于块内编码宏块的至少第二分割部分。
17.如权利要求16所述的视频编码器，其中所述宏块包括符合联合视频组JVT标准的视频数据。
18.如权利要求16所述的视频编码器，其中所述宏块包括非块内的宏块类型。
19.如权利要求16所述的视频编码器，其中所述块内编码部件还包括索引部件，用于提供与零加权系数相关联的参考图形索引。
20.如权利要求16所述的视频编码器，还包括非预测块内编码部件，用于编码非预测块内编码的分割部分的零差分运动矢量。
21.如权利要求16所述的视频编码器，其中所述多个分割部分中的块内编码的至少一个分割部分具有与非零值加权系数相关联的参考图形索引。
22.如权利要求21所述的视频编码器，还包括判定部件，用于响应于每种编码方法的开销测量，在分割部分的块间编码与非预测块内编码之间进行判定。
23.如权利要求16所述的视频编码器，还包括：
参考图形重排部件，用于使用参考图形重排命令将多个参考图形索引与特定参考图形存储器相关联；和加权部件，用于将零加权分配给多个参考图形索引之一，和将非零加权分配给至少一个其它参考图形索引。
24.一种用于非预测块内编码具有至少一个分割部分的宏块的视频编码器(200，300)，所述编码器包括：参考图形加权应用器(292，392)；和
参考图形加权系数单元(272，372)，其与参考图形加权应用器进行信号通信，用于分配与至少一个非预测块内编码的分割部分对应的加权系数。
25.如权利要求24所述的视频编码器，还包括非预测块内编码部件，用于通过提供与零加权系数相关联的参考图形索引来块内编码至少一个分割部分。
26.如权利要求25所述的方法，其中在加权预测编码模式内，利用来自联合视频组标准的主和扩展简档的加权预测工具、使用零加权系数执行非预测块内编码。
27.一种用于编码具有多个分割部分的宏块的装置，包括：用于块间编码(426)所述多个分割部分中的至少一个的部件；和用于块内编码(428)所述多个分割部分中的至少第二个的部件，其中所述用于块内编码的部件利用与零加权系数相关联的参考图形索引。
说明书 :
技术领域
本发明涉及一种视频编码器，尤其涉及用于编码混合的块间和块内视频的装置和方法。
背景技术
视频数据通常以位流形式被处理和传送。典型的视频压缩编码器通过形成将被编码的图形或宏块的参考图形预测和编码当前图形与预测之间的差来获得它们压缩的高效率。预测与所述当前图形的相关性越紧密，则压缩该图形所需要的位数就越少，从而增加了处理效率。因此，期望形成最可能的参考图形预测。
通常在视频压缩标准中使用块间(“inter”)和块内(“intra”)编码。一般，编码器基于编码效率和主观质量考虑来进行每个宏块的块间/块内编码判定。例如，使用块内编码可以更有效地编码16×16宏块的一些分割部分(例如16×8、8×16或者8×8子块)，而使用块间编码可以更有效地编码相同宏块的其他分割部分。
因此，每个单个宏块既被块内编码、例如仅使用空间相关性，又可被块间编码、例如使用先前编码帧的时间相关性。块间编码通常用于从先前帧良好预测宏块，而块内编码通常用于从先前帧未良好预测宏块，或者用于具有低空间活动性的宏块。
也已知H.264和MPEG AVC的JVT视频压缩标准使用树状结构分层的宏块分割部分。块间编码16×16像素宏块可被分为大小16×8、8×16或者8×8的子宏块分割部分。8×8宏块分割部分也称作子宏块。子宏块也可被分为大小8×4、4×8和4×4的子宏块分割部分。编码器可以基于特定宏块的特性来选择如何将宏块划分为分割部分和子宏块分割部分，以便最大化压缩效率和主观质量。
多个参考图形可被用于块间预测，其中参考图形索引被编码来指示使用了多个参考图形中哪一个。在P图形(或者P片段)中，仅使用单方向预测，并且在列表0中管理可允许的参考图形。在B图形(或者B片段)中，管理参考图形的两个列表，列表0和列表1。在B图形(或者B片段)中，允许使用列表0或者列表1的单向预测，或者允许使用列表0和列表1的双向预测。当使用双向预测时，将列表0和列表1预测因子一起来平均形成最终预测因子。
每个宏块分割部分可以具有独立的参考图形索引、预测类型(例如列表0、列表1、双向预测)、和独立运动矢量。每个子宏块分割部分可以具有独立运动矢量，但是相同子宏块中的所有子宏块分割部分使用相同参考图形索引和预测类型。
假设块内预测可被用于块间编码的宏块的一些分割部分。因为复杂性关系，最终不允许的这种灵活性，并且对于当前标准下的单个宏块分割部分不允许块内编码模式。在支持相同宏块内块间和块内编码的分割部分增加的一些复杂性是由在JVT标准中使用的块内空间方向性预测引起的。相同宏块内不允许混合块间/块内编码可能有损编码效率和尤其主观质量。对于图像中的一些块，块内编码比块间编码更有效。
JVT标准的主和扩展简档提供用于加权预测工具。当正在使用加权预测时，加权系数和偏移被应用于块间预测。对于单方向预测，加权预测因子被形成为：
SampleP＝Clip1(((SampleP0·W0+2LWD-1)＞＞LWD)+O0)
以及对于双向预测，加权预测因子被形成为：
SampleP＝Clip1((SampleP0·W0+Sample P1·W1+2LWD)＞＞(LWD+1)+(O0+O1+1)＞＞1)；
其中W0和O0分别是列表0参考图形加权因子和偏移，W1和O1分别是列表1参考图形加权因子和偏移，LWD是对数加权分母取整因子(log weightdenominator-round factor)。SampleP0和SampleP1是列表0和列表1的最初预测因子，并且SampleP是加权预测因子。加权系数和偏移在段首标中被可选地编码并且与特定参考图形索引相关联。
JVT标准中的相关语法元素是：luma_log_weight_denom、chroma_log_weight_denom、luma_weight_I0、chroma_weight_I0、luma_offet_I0、chroma_offet_I0、luma_weight_I1、chroma_weight_I1、luma_offetI1、和chroma_offset_I1。
另外，通过使用参考图形重排，可以将多于一个参考图形索引与特定参考图形存储器相关联，这允许从相同参考图形存储器中预测时使用多于一个的加权系数。
联合视频组(“JVT”)视频压缩标准清楚地支持将16×16像素宏块，该6×16像素宏块划分为更小尺寸的宏块分割部分，以便块间编码，但是不支持宏块的一些分割部分的块间编码和相同宏块的其他分割部分的块内编码。
通常在视频压缩标准中使用块间(“inter”)和块内(“intra”)编码。一般，编码器基于编码效率和主观质量考虑来进行每个宏块的块间/块内编码判定。例如，使用块内编码可以更有效地编码16×16宏块的一些分割部分(例如16×8、8×16或者8×8子块)，而使用块间编码可以更有效地编码相同宏块的其他分割部分。
因此，每个单个宏块既被块内编码、例如仅使用空间相关性，又可被块间编码、例如使用先前编码帧的时间相关性。块间编码通常用于从先前帧良好预测宏块，而块内编码通常用于从先前帧未良好预测宏块，或者用于具有低空间活动性的宏块。
也已知H.264和MPEG AVC的JVT视频压缩标准使用树状结构分层的宏块分割部分。块间编码16×16像素宏块可被分为大小16×8、8×16或者8×8的子宏块分割部分。8×8宏块分割部分也称作子宏块。子宏块也可被分为大小8×4、4×8和4×4的子宏块分割部分。编码器可以基于特定宏块的特性来选择如何将宏块划分为分割部分和子宏块分割部分，以便最大化压缩效率和主观质量。
多个参考图形可被用于块间预测，其中参考图形索引被编码来指示使用了多个参考图形中哪一个。在P图形(或者P片段)中，仅使用单方向预测，并且在列表0中管理可允许的参考图形。在B图形(或者B片段)中，管理参考图形的两个列表，列表0和列表1。在B图形(或者B片段)中，允许使用列表0或者列表1的单向预测，或者允许使用列表0和列表1的双向预测。当使用双向预测时，将列表0和列表1预测因子一起来平均形成最终预测因子。
每个宏块分割部分可以具有独立的参考图形索引、预测类型(例如列表0、列表1、双向预测)、和独立运动矢量。每个子宏块分割部分可以具有独立运动矢量，但是相同子宏块中的所有子宏块分割部分使用相同参考图形索引和预测类型。
假设块内预测可被用于块间编码的宏块的一些分割部分。因为复杂性关系，最终不允许的这种灵活性，并且对于当前标准下的单个宏块分割部分不允许块内编码模式。在支持相同宏块内块间和块内编码的分割部分增加的一些复杂性是由在JVT标准中使用的块内空间方向性预测引起的。相同宏块内不允许混合块间/块内编码可能有损编码效率和尤其主观质量。对于图像中的一些块，块内编码比块间编码更有效。
JVT标准的主和扩展简档提供用于加权预测工具。当正在使用加权预测时，加权系数和偏移被应用于块间预测。对于单方向预测，加权预测因子被形成为：
SampleP＝Clip1(((SampleP0·W0+2LWD-1)＞＞LWD)+O0)
以及对于双向预测，加权预测因子被形成为：
SampleP＝Clip1((SampleP0·W0+Sample P1·W1+2LWD)＞＞(LWD+1)+(O0+O1+1)＞＞1)；
其中W0和O0分别是列表0参考图形加权因子和偏移，W1和O1分别是列表1参考图形加权因子和偏移，LWD是对数加权分母取整因子(log weightdenominator-round factor)。SampleP0和SampleP1是列表0和列表1的最初预测因子，并且SampleP是加权预测因子。加权系数和偏移在段首标中被可选地编码并且与特定参考图形索引相关联。
JVT标准中的相关语法元素是：luma_log_weight_denom、chroma_log_weight_denom、luma_weight_I0、chroma_weight_I0、luma_offet_I0、chroma_offet_I0、luma_weight_I1、chroma_weight_I1、luma_offetI1、和chroma_offset_I1。
另外，通过使用参考图形重排，可以将多于一个参考图形索引与特定参考图形存储器相关联，这允许从相同参考图形存储器中预测时使用多于一个的加权系数。
联合视频组(“JVT”)视频压缩标准清楚地支持将16×16像素宏块，该6×16像素宏块划分为更小尺寸的宏块分割部分，以便块间编码，但是不支持宏块的一些分割部分的块间编码和相同宏块的其他分割部分的块内编码。
发明内容
现有技术的这些和其他缺陷和不足可以通过使用加权预测提供宏块的混合块间/块内编码的装置和方法来解决。
提供一种视频编码器及相应方法以用于具有多个分割部分的宏块的混合块间/块内编码，其中所述编码器包括参考图形加权应用器，其与参考图形加权系数单元耦合，用于分配与每个块间和块内编码的分割部分对应的加权系数；并且用于编码具有多个分割部分的宏块的相应方法包括块间编码至少一个分割部分和块内编码至少第二个分割部分。
本发明的示例性实施例能够通过使用加权预测提供符合JVT压缩标准的混合块间/块内编码。根据本发明的原理，允许相同宏块内的分割部分的混合块间/块内编码，这可以提高编码效率和主观视频质量。
从结合附图给出的示例性实施例的下列描述，本发明的这些和其他方面、特征和优点将变得明显。
提供一种视频编码器及相应方法以用于具有多个分割部分的宏块的混合块间/块内编码，其中所述编码器包括参考图形加权应用器，其与参考图形加权系数单元耦合，用于分配与每个块间和块内编码的分割部分对应的加权系数；并且用于编码具有多个分割部分的宏块的相应方法包括块间编码至少一个分割部分和块内编码至少第二个分割部分。
本发明的示例性实施例能够通过使用加权预测提供符合JVT压缩标准的混合块间/块内编码。根据本发明的原理，允许相同宏块内的分割部分的混合块间/块内编码，这可以提高编码效率和主观视频质量。
从结合附图给出的示例性实施例的下列描述，本发明的这些和其他方面、特征和优点将变得明显。
附图说明
根据下列示例性附图可以更好地理解本发明，其中：
图1示出了标准视频编码器的方框图；
图2示出了具有参考图形加权的视频编码器的方框图；
图3示出了具有合成的运动估算和加权预测视频编码器的方框图；和
图4示出了根据本发明原理的编码宏块的方法的流程图。
图1示出了标准视频编码器的方框图；
图2示出了具有参考图形加权的视频编码器的方框图；
图3示出了具有合成的运动估算和加权预测视频编码器的方框图；和
图4示出了根据本发明原理的编码宏块的方法的流程图。
具体实施方式
联合视频组(“JVT”)视频压缩标准支持将16×16像素宏块划分为更小尺寸的宏块分割部分，用以块间编码，但是不允许宏块的一些分割部分的块间编码和相同宏块的其他分割部分的块内编码。在本发明的实施例中，可以使用加权预测，利用JVT压缩标准来实现混合块间/块内编码。
即将的描述图解说明了本发明的原理和各个实施例。因此应当理解，本领域的普通技术人员能够设计各种结构，尽管此处未明显描述或示出，但是其体现了本发明的原理并且包含在其精神和范围之内。
此处记载的所有示例和条件性语言旨在教学目的，以便读者理解本发明者对现有技术贡献的本发明的原理和概念，并且应当理解为不限于这些具体记载的示例和条件。
而且，此处记载本发明的原理、方面和实施例的所有陈述及其具体示例往往包含其结构性和功能性等效物。另外，这些等效物往往包括当前已知的等效物和进来开发的等效物，即不管结构如何执行相同功能的开发的任何元件。
因此，例如，本领域的普通技术人员应当理解，此处呈现的方框图示出了体现本发明原理的图解性电路的概念图。类似地，应当理解，任何流程图、流动图、状态转变图、伪代码等等表示可能在计算机可读介质中实际表示并因此由计算机或处理器执行的各种处理，是否清楚地示出了那些计算机或处理器。
可以通过使用专用硬件和与适当软件相关的能够执行软件的硬件来提供附图中所示的各种元件的功能。当通过处理器来提供时，可以通过单个专用处理器、单个共享处理器、或者通过多个单个处理器(它们中的一些可被共享)来提供功能。而且，术语“处理器”或“控制器”的明确使用不能被曲解为排他地表示能够执行软件的硬件，还可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。
也可以包括其他、传统和/或习惯的硬件。类似地，附图中所示的任何开关仅仅是概念性的。如从上下文更具体理解的，通过编程逻辑的操作、通过专用逻辑、通过编程控制和专用逻辑的交互作用、或者即使是手动、由实施者可选的特定技术也可以执行它们的功能。
在本发明的权利要求中，表达为用于执行特定功能的部件的任何元件往往涵盖执行所述功能的任何方式，包括，例如：a)执行所述功能的电路元件的组合或者b)任意形式的软件，因此包括固件、微代码等等，其与用于执行所述软件的适当电路组合来执行所述功能。由所述权利要求定义的本发明存在的事实是：由各种所记载的部件提供的功能性以权利要求所要求的方式组合和结合在一起。因此申请人认为能够提供那些功能性的任何部件等效于此处所示出的那些部件。
如图1所示，标准视频编码器通常用附图标记100表示。到编码器100的输入与求和结110的非反转(non-inverting)输入连接而进行信号通信。求和结110的输出与块变换功能120连接而进行信号通信。变换器120与量化器130连接而进行信号通信。量化器130的输出与可变长度编码器(“VLC”)140连接而进行信号通信，其中VLC140的输出是编码器100的外部可用输出。
量化器130的输出还与反转(inverse)量化器150连接而进行信号通信。反转量化器150与反转块变换器160连接而进行信号通信，该反转变换器160依次与参考图形存储器170连接而进行信号通信。参考图形存储器170的第一输出与运动估算器180的第一输入连接而进行信号通信。到编码器100的输入还与运动估算器180的第二输入连接而进行信号通信。运动估算器180的输出与运动补偿器190的第一输入连接而进行信号通信。参考图形存储器170的第二输出与运动补偿器190的第二输入连接而进行信号通信。运动补偿器190的输出与求和结110的反转输入连接而进行信号通信。
返回到图2，具有参考图形加权的视频编码器通常由附图标记200来表示。到编码器200的输入与求和结210的非反转输入连接而进行信号通信。求和结210的输出与块变换器220连接而进行信号通信。变换器220与量化器230连接而进行信号通信。量化器230的输出与VLC240连接而进行信号通信，其中VLC440的输出是编码器200的外部可用输出。
量化器230的输出还与反转量化器250连接而进行信号通信。反转量化器250与反转块变换器260连接而进行信号通信，所述反转块变换器260依次与参考图形存储器270连接而进行信号通信。参考图形存储器270的第一输出与参考图形加权系数分配器272的第一输入连接而进行信号通信。编码器200的输入还与参考图形加权系数分配器272的第二输入连接而进行信号通信。表示为加权系数的、参考图形加权系数分配器272的输出与运动估算器280的第一输入连接而进行信号通信。参考图形存储器270的第二输出与运动估算器280的第二输入连接而进行信号通信。
到编码器200的输入还与运动估算器280的第三输入连接而进行信号通信。表示为运动矢量的、运动估算器280的输出与运动补偿器290的第一输入连接而进行信号通信。参考图形存储器270的第三输出与运动补偿器290的第二输入连接而进行信号通信。表示为运动补偿的参考图形的、运动补偿器290的输出与乘法器292的第一输入连接而进行信号通信。表示为加权系数的、参考图形加权系数分配器272的输出与乘法器292的第二输入连接而进行信号通信。乘法器292的输出与求和结210的反转输入连接而进行信号通信。
在2003年4月9日提交的、标题为“ADAPTIVE WEIGHTING OFREFERENCE PICTURES IN VIDEO DECODING”的美国申请序号10/410481(代理人受理号PU020340)(具有共同受让人)中；以及在于2003年4月9日提交的、标题为“ADAPTIVE WEIGHTING OF REFERENCE PICTURESIN VIDEO DECODING”的美国申请序号10/410456(代理人受理号PU020477)(具有共同受让人)中，两者在此整体并入作为参考；其中公开了一种利用每图形或片段发送一次的加权系数组的装置和方法，其中特定的加权系数与每个参考图形索引相关联。
现在转向图3，具有合成的运动估算和加权预测视频编码器通常由附图标记300来表示。到编码器300的输入与求和结310的非反转输入连接而进行信号通信。求和结310的输出与块变换器320连接而进行信号通信。变换器320与量化器330连接而进行信号通信。量化器330的输出与VLC 340连接而进行信号通信，其中VLC 340的输出是编码器300的外部可用输出。
量化器330的输出还与反转量化器350连接而进行信号通信。反转量化器350与反转块变换器360连接而进行信号通信，所述反转块变换器360依次与参考图形存储器370连接而进行信号通信。参考图形存储器370的第一输出与参考图形加权系数选择器372的第一输入连接而进行信号通信。到编码器300的输入还与参考图形加权系数选择器372的第二输入连接而进行信号通信，以便向选择器提供当前图形。表示为加权系数的、参考图形加权系数选择器372的输出与乘法器374的第一输入连接而进行信号通信。乘法器374的第二输入与参考图形存储器370的参考图形输出连接而进行信号通信。应当注意，尽管简单示出乘法器374，但是对本领域的普通技术人员是明显的，除了成乘法器，可构造其他类型的加权系数应用器。
乘法器374的输出与加权参考图形存储器376连接而进行信号通信。加权参考图形存储器376的输出与用于提供加权参考图形的运动估算器380的第一输出连接而进行信号通信。运动估算器380的输出与用于提供运动矢量的第一运动补偿器382连接而进行信号通信。运动估算器380的输出还与第二运动补偿器390的第一输入连接而进行信号通信。加权参考图形存储器376的第二输出与第一运动补偿器382的第二输入连接而进行信号通信。
表示为加权运动补偿参考图形的、第一运动补偿器382的输出与绝对差发生器384的第一输入连接而进行信号通信。为当前图形的、到编码器300的输入还与绝对差发生器384的第二输入连接而进行信号通信。绝对差发生器384的输出与参考图形加权系数选择器372的第三输入连接而进行信号通信。
参考图形存储器370的第三输出与第二运动补偿器390的第二输入连接而进行信号通信。表示为运动补偿参考图形的、第二运动补偿器390的输出与乘法器392的第一输入连接而进行信号通信。表示为加权系数的、参考图形加权系数选择器372的输出与乘法器392的第二输入连接而进行信号通信。乘法器392的输出与求和结310的反转输入连接而进行信号通信。
在2003年4月9日提交的、标题为“MOTION ESTIMATION WITHWEIGHTING PREDICTION”的美国申请序号10/410479(代理人受理号PU020339)(具有共同受让人)中，在此其整体并入作为参考；公开了一种用于将加权系数搜索与运动估算搜索进行组合的装置和方法，其导致使用运动估算得到加权系数而执行的计算量比不需要参考图形加权而单独执行估算而执行的计算量大。
如图4所示，编码宏块的方法的流程图通常由附图标记400来表示。这里，开始块410将控制传送到功能块412，功能块412得到最佳的块间宏块划分，计算每个分割部分CPINTER的开销，并且计算整个宏块CINTER的开销。块412将控制传送到功能块414，所述功能块得到最佳的块内预测方向，并计算整个宏块CINTRA的开销。块414将控制传送到功能块416，所述功能块416确定CINTER是否小于CINTRA。
如果CINTER不小于CINTRA，则控制传送到功能块418，用以块内编码整个宏块，并且随后将控制传送到结束块434。另一方面，如果CINTER小于CINTRA，控制传送到功能块420，功能块420使用宏块的块间编码并且选择宏块的第一(i＝0)分割部分。块420将控制传送至功能块422，功能块422计算当前分割部分CPINTRAi的开销，使用零加权系数将该当前分割部分作为Intra(块内)编码。依次块422将控制传送至判定块424，判定块424确定CPINTERi是否小于CPINTRAi。
如果CPINTERi小于CPINTRAi，控制传送至块间编码当前分割部分i的功能块426，并且将控制传送至判定块430。另一方面，如果CPINTERi不小于CPINTRAi，则控制传送至功能块428，该功能块428使用零加权系数非预测地块内编码分割部分i，并且将控制传送至判定块430。
判定块430依次确定当前分割部分i是否是宏块中的最后分割部分。如果当前分割部分i不是宏块中的最后分割部分，则将控制传送功能块432，该功能块432递增当前分割部分i，并且将控制传送回功能块422。另一方面，如果当前分割部分i是宏块中的最后分割部分，然后将控制传送至结束块434。
因此，在本发明的操作中，使用JVT压缩标准可以实现相同宏块的分割部分的混合块间/块内编码。利用JVT标准的主和扩展简档中的加权预测工具使用零加权系数来实现宏块分割部分的块内编码。这种类型的块内编码称作非预测块内编码，以便将其与当整个宏块被块内编码时使用的空间方向块内编码区分开。包含一些非预测块内编码的分割部件的宏块仍被考虑为块间编码的宏块。
在与特定参考图形索引相关联的段首标中编码零加权系数。编码器可以使用参考图形重排将多个参考图形索引与特定参考图形存储器连接，以便使零和非零加权系数与特定参考图形存储器相关联。或者编码器可以选择使用缺省参考图形排序，而不使用参考图形重排，并且仅将零加权系数与特定参考图形存储器相关联。如果仅仅零加权系数与给定的参考图形存储器相关联，则它不能用于块间预测，因此当确定该参考图形存储器将不被频繁地选择来块间预测时，编码器将选择如此。长期(long term)参考图形可以与用于此目的的零加权系数相关联。
对于单向预测情况，使用零加权系数，用于计算块内预测加权预测公式如下：
SampleP＝Clip1(((SampleP0·W0+2LWD-1)＞＞LWD)+O0)
变成：
SampleP＝O0
偏差值O0可以被设定为等于零，或者等于128，或者等于任何其他期望值。MPEG-1和MPEG-2有效地使用128偏差用以块内编码。
对于零的取样预测或者宏块分割部分的所有像素的O0的取样预测，宏块分割部分被有效地块内编码，但是不执行空间方向预测。分割部分被称作非预测块内编码。
在B图形(或者B片段)中，对宏块分割部分的非预测块内编码可以通过仅选择List0或者List1预测以及与零加权系数关联的参考图形索引来实现。或者，可以使用双向预测、利用对于列表0的特定索引和列表1的另一索引的段首标中发送的零加权系数，并且对于所述宏块分割部分，通过使用双向预测编码、利用与列表0和列表1的参考图形索引关联的适当零加权系数，可以实现非预测块内编码。
在本发明的优选实施例中，JVT视频编码器对图形的宏块进行编码。当编码给定的宏块时，除了确定如何将宏块划分为分割部分和子宏块分割部分，编码器确定对于每个宏块分割部分被编码为非预测块内或块间(例如，列表0、列表1、直接或者双向预测)是否更有利。对于将被编码为非预测块内的宏块分割部分，块间编码模式(例如列表0、列表1、直接或者双向预测)被用于那个分割部分的mb_type内，其中所使用的参考图形索引与零加权系数相关联。在子宏块分割部分中，非预测块内编码的分割部分不被进一步划分，通常考虑8×8子宏块分割部分，当需要附加位来表示划分的子宏块分割部分，则没有益处。非预测块内编码分割部分的差分运动矢量设定为零，因为这将使用很少的位数来编码，并且运动矢量的所有可能值将产生相同的解码像素。
使用这一方法，对于一些但不是全部的宏块的分割部分有效地实现块内编码，所述宏块与JVT压缩标准兼容。对于非预测块内编码的分割部分不执行块内空间双向预测。
在参考图4所描述的流程图400中示出了用于根据所建议的本发明编码宏块的示例性方法。使用比率失真优化来确定将宏块最佳划分为宏块分割部分和用于块间编码宏块的子宏块分割部分，并且对于每个分割部分CPINTERi和整个宏块CINTER计算开销度量。用于编码分割部分的开销包括编码参考图像索引、运动矢量、和预测残余物的开销。然后，确定最佳块内空间预测方向，用以宏块的块内编码，并且对于整个宏块CINTRA的块内编码计算开销测量。然后如果CINTER不小于CINTRA，则使用空间双向预测将整个宏块作为块内编码。否则，将宏块作为块内宏块编码。
接着，块间宏块的每个分割部分被认为作为块间或非预测块内编码。计算使用零加权预测块内编码分割部分CPINTRAi的开销，考虑编码参考图形索引的开销、以及残余的和零值差分运动矢量开销。
如果分割部分iCPINTERi小于CPINTRAi，则分割部分i将被正常地块间编码，并且可被进一步划分为子宏块分割部分。否则，通过选择与零加权系数相关联的参考图形索引，非预测块内编码所述分割部分。
基于此处的示教，相关领域的普通技术人员可以容易地查明本发明的这些和其他特征和优点。应当理解，本发明的原理可以各种形式的硬件、软件、固件、专用处理器、或者其组合来实现。
最好是，本发明的原理被实现为硬件和软件的组合。而且，所述软件最好被实现为在编程存储单元上有形体现的应用程序。所述应用程序可被装载到包括任何适当结构的机器并被其执行。最好是，该机器在具有硬件的计算机平台上执行，所述计算机平台具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、和输入/输出(“I/O”)接口的硬件。计算机平台也可以包括操作系统和微指令代码。此处描述的各种处理和功能可以是可由CPU执行的微指令代码或者应用程序的一部分、或者它们的任何组合。另外，各种其他外围单元可被连接至诸如附加数据存储单元和打印单元的计算机平台。
还应当理解，因为最好以软件来实现附图所描述的一些构成系统组件和方法，系统组件或处理功能块之间的实际连接可以根据其中本发明被编程的方式而不同。此处给出的示教，相关领域的普通技术人员将能够理解本发明的这些和类似实现或配置。
尽管此处已经参考附图描述了图解性的实施例，但是应当理解，本发明不限于那些精确的实施例，并且在不背离本发明的范围或精神的情况下，相关领域的普通技术人员可以影响各种改变和修改。所有这些变换和修改往往包含在所附权利要求中阐述的本发明的范围之内。
即将的描述图解说明了本发明的原理和各个实施例。因此应当理解，本领域的普通技术人员能够设计各种结构，尽管此处未明显描述或示出，但是其体现了本发明的原理并且包含在其精神和范围之内。
此处记载的所有示例和条件性语言旨在教学目的，以便读者理解本发明者对现有技术贡献的本发明的原理和概念，并且应当理解为不限于这些具体记载的示例和条件。
而且，此处记载本发明的原理、方面和实施例的所有陈述及其具体示例往往包含其结构性和功能性等效物。另外，这些等效物往往包括当前已知的等效物和进来开发的等效物，即不管结构如何执行相同功能的开发的任何元件。
因此，例如，本领域的普通技术人员应当理解，此处呈现的方框图示出了体现本发明原理的图解性电路的概念图。类似地，应当理解，任何流程图、流动图、状态转变图、伪代码等等表示可能在计算机可读介质中实际表示并因此由计算机或处理器执行的各种处理，是否清楚地示出了那些计算机或处理器。
可以通过使用专用硬件和与适当软件相关的能够执行软件的硬件来提供附图中所示的各种元件的功能。当通过处理器来提供时，可以通过单个专用处理器、单个共享处理器、或者通过多个单个处理器(它们中的一些可被共享)来提供功能。而且，术语“处理器”或“控制器”的明确使用不能被曲解为排他地表示能够执行软件的硬件，还可以隐含地包括但不限于数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)和非易失性存储器。
也可以包括其他、传统和/或习惯的硬件。类似地，附图中所示的任何开关仅仅是概念性的。如从上下文更具体理解的，通过编程逻辑的操作、通过专用逻辑、通过编程控制和专用逻辑的交互作用、或者即使是手动、由实施者可选的特定技术也可以执行它们的功能。
在本发明的权利要求中，表达为用于执行特定功能的部件的任何元件往往涵盖执行所述功能的任何方式，包括，例如：a)执行所述功能的电路元件的组合或者b)任意形式的软件，因此包括固件、微代码等等，其与用于执行所述软件的适当电路组合来执行所述功能。由所述权利要求定义的本发明存在的事实是：由各种所记载的部件提供的功能性以权利要求所要求的方式组合和结合在一起。因此申请人认为能够提供那些功能性的任何部件等效于此处所示出的那些部件。
如图1所示，标准视频编码器通常用附图标记100表示。到编码器100的输入与求和结110的非反转(non-inverting)输入连接而进行信号通信。求和结110的输出与块变换功能120连接而进行信号通信。变换器120与量化器130连接而进行信号通信。量化器130的输出与可变长度编码器(“VLC”)140连接而进行信号通信，其中VLC140的输出是编码器100的外部可用输出。
量化器130的输出还与反转(inverse)量化器150连接而进行信号通信。反转量化器150与反转块变换器160连接而进行信号通信，该反转变换器160依次与参考图形存储器170连接而进行信号通信。参考图形存储器170的第一输出与运动估算器180的第一输入连接而进行信号通信。到编码器100的输入还与运动估算器180的第二输入连接而进行信号通信。运动估算器180的输出与运动补偿器190的第一输入连接而进行信号通信。参考图形存储器170的第二输出与运动补偿器190的第二输入连接而进行信号通信。运动补偿器190的输出与求和结110的反转输入连接而进行信号通信。
返回到图2，具有参考图形加权的视频编码器通常由附图标记200来表示。到编码器200的输入与求和结210的非反转输入连接而进行信号通信。求和结210的输出与块变换器220连接而进行信号通信。变换器220与量化器230连接而进行信号通信。量化器230的输出与VLC240连接而进行信号通信，其中VLC440的输出是编码器200的外部可用输出。
量化器230的输出还与反转量化器250连接而进行信号通信。反转量化器250与反转块变换器260连接而进行信号通信，所述反转块变换器260依次与参考图形存储器270连接而进行信号通信。参考图形存储器270的第一输出与参考图形加权系数分配器272的第一输入连接而进行信号通信。编码器200的输入还与参考图形加权系数分配器272的第二输入连接而进行信号通信。表示为加权系数的、参考图形加权系数分配器272的输出与运动估算器280的第一输入连接而进行信号通信。参考图形存储器270的第二输出与运动估算器280的第二输入连接而进行信号通信。
到编码器200的输入还与运动估算器280的第三输入连接而进行信号通信。表示为运动矢量的、运动估算器280的输出与运动补偿器290的第一输入连接而进行信号通信。参考图形存储器270的第三输出与运动补偿器290的第二输入连接而进行信号通信。表示为运动补偿的参考图形的、运动补偿器290的输出与乘法器292的第一输入连接而进行信号通信。表示为加权系数的、参考图形加权系数分配器272的输出与乘法器292的第二输入连接而进行信号通信。乘法器292的输出与求和结210的反转输入连接而进行信号通信。
在2003年4月9日提交的、标题为“ADAPTIVE WEIGHTING OFREFERENCE PICTURES IN VIDEO DECODING”的美国申请序号10/410481(代理人受理号PU020340)(具有共同受让人)中；以及在于2003年4月9日提交的、标题为“ADAPTIVE WEIGHTING OF REFERENCE PICTURESIN VIDEO DECODING”的美国申请序号10/410456(代理人受理号PU020477)(具有共同受让人)中，两者在此整体并入作为参考；其中公开了一种利用每图形或片段发送一次的加权系数组的装置和方法，其中特定的加权系数与每个参考图形索引相关联。
现在转向图3，具有合成的运动估算和加权预测视频编码器通常由附图标记300来表示。到编码器300的输入与求和结310的非反转输入连接而进行信号通信。求和结310的输出与块变换器320连接而进行信号通信。变换器320与量化器330连接而进行信号通信。量化器330的输出与VLC 340连接而进行信号通信，其中VLC 340的输出是编码器300的外部可用输出。
量化器330的输出还与反转量化器350连接而进行信号通信。反转量化器350与反转块变换器360连接而进行信号通信，所述反转块变换器360依次与参考图形存储器370连接而进行信号通信。参考图形存储器370的第一输出与参考图形加权系数选择器372的第一输入连接而进行信号通信。到编码器300的输入还与参考图形加权系数选择器372的第二输入连接而进行信号通信，以便向选择器提供当前图形。表示为加权系数的、参考图形加权系数选择器372的输出与乘法器374的第一输入连接而进行信号通信。乘法器374的第二输入与参考图形存储器370的参考图形输出连接而进行信号通信。应当注意，尽管简单示出乘法器374，但是对本领域的普通技术人员是明显的，除了成乘法器，可构造其他类型的加权系数应用器。
乘法器374的输出与加权参考图形存储器376连接而进行信号通信。加权参考图形存储器376的输出与用于提供加权参考图形的运动估算器380的第一输出连接而进行信号通信。运动估算器380的输出与用于提供运动矢量的第一运动补偿器382连接而进行信号通信。运动估算器380的输出还与第二运动补偿器390的第一输入连接而进行信号通信。加权参考图形存储器376的第二输出与第一运动补偿器382的第二输入连接而进行信号通信。
表示为加权运动补偿参考图形的、第一运动补偿器382的输出与绝对差发生器384的第一输入连接而进行信号通信。为当前图形的、到编码器300的输入还与绝对差发生器384的第二输入连接而进行信号通信。绝对差发生器384的输出与参考图形加权系数选择器372的第三输入连接而进行信号通信。
参考图形存储器370的第三输出与第二运动补偿器390的第二输入连接而进行信号通信。表示为运动补偿参考图形的、第二运动补偿器390的输出与乘法器392的第一输入连接而进行信号通信。表示为加权系数的、参考图形加权系数选择器372的输出与乘法器392的第二输入连接而进行信号通信。乘法器392的输出与求和结310的反转输入连接而进行信号通信。
在2003年4月9日提交的、标题为“MOTION ESTIMATION WITHWEIGHTING PREDICTION”的美国申请序号10/410479(代理人受理号PU020339)(具有共同受让人)中，在此其整体并入作为参考；公开了一种用于将加权系数搜索与运动估算搜索进行组合的装置和方法，其导致使用运动估算得到加权系数而执行的计算量比不需要参考图形加权而单独执行估算而执行的计算量大。
如图4所示，编码宏块的方法的流程图通常由附图标记400来表示。这里，开始块410将控制传送到功能块412，功能块412得到最佳的块间宏块划分，计算每个分割部分CPINTER的开销，并且计算整个宏块CINTER的开销。块412将控制传送到功能块414，所述功能块得到最佳的块内预测方向，并计算整个宏块CINTRA的开销。块414将控制传送到功能块416，所述功能块416确定CINTER是否小于CINTRA。
如果CINTER不小于CINTRA，则控制传送到功能块418，用以块内编码整个宏块，并且随后将控制传送到结束块434。另一方面，如果CINTER小于CINTRA，控制传送到功能块420，功能块420使用宏块的块间编码并且选择宏块的第一(i＝0)分割部分。块420将控制传送至功能块422，功能块422计算当前分割部分CPINTRAi的开销，使用零加权系数将该当前分割部分作为Intra(块内)编码。依次块422将控制传送至判定块424，判定块424确定CPINTERi是否小于CPINTRAi。
如果CPINTERi小于CPINTRAi，控制传送至块间编码当前分割部分i的功能块426，并且将控制传送至判定块430。另一方面，如果CPINTERi不小于CPINTRAi，则控制传送至功能块428，该功能块428使用零加权系数非预测地块内编码分割部分i，并且将控制传送至判定块430。
判定块430依次确定当前分割部分i是否是宏块中的最后分割部分。如果当前分割部分i不是宏块中的最后分割部分，则将控制传送功能块432，该功能块432递增当前分割部分i，并且将控制传送回功能块422。另一方面，如果当前分割部分i是宏块中的最后分割部分，然后将控制传送至结束块434。
因此，在本发明的操作中，使用JVT压缩标准可以实现相同宏块的分割部分的混合块间/块内编码。利用JVT标准的主和扩展简档中的加权预测工具使用零加权系数来实现宏块分割部分的块内编码。这种类型的块内编码称作非预测块内编码，以便将其与当整个宏块被块内编码时使用的空间方向块内编码区分开。包含一些非预测块内编码的分割部件的宏块仍被考虑为块间编码的宏块。
在与特定参考图形索引相关联的段首标中编码零加权系数。编码器可以使用参考图形重排将多个参考图形索引与特定参考图形存储器连接，以便使零和非零加权系数与特定参考图形存储器相关联。或者编码器可以选择使用缺省参考图形排序，而不使用参考图形重排，并且仅将零加权系数与特定参考图形存储器相关联。如果仅仅零加权系数与给定的参考图形存储器相关联，则它不能用于块间预测，因此当确定该参考图形存储器将不被频繁地选择来块间预测时，编码器将选择如此。长期(long term)参考图形可以与用于此目的的零加权系数相关联。
对于单向预测情况，使用零加权系数，用于计算块内预测加权预测公式如下：
SampleP＝Clip1(((SampleP0·W0+2LWD-1)＞＞LWD)+O0)
变成：
SampleP＝O0
偏差值O0可以被设定为等于零，或者等于128，或者等于任何其他期望值。MPEG-1和MPEG-2有效地使用128偏差用以块内编码。
对于零的取样预测或者宏块分割部分的所有像素的O0的取样预测，宏块分割部分被有效地块内编码，但是不执行空间方向预测。分割部分被称作非预测块内编码。
在B图形(或者B片段)中，对宏块分割部分的非预测块内编码可以通过仅选择List0或者List1预测以及与零加权系数关联的参考图形索引来实现。或者，可以使用双向预测、利用对于列表0的特定索引和列表1的另一索引的段首标中发送的零加权系数，并且对于所述宏块分割部分，通过使用双向预测编码、利用与列表0和列表1的参考图形索引关联的适当零加权系数，可以实现非预测块内编码。
在本发明的优选实施例中，JVT视频编码器对图形的宏块进行编码。当编码给定的宏块时，除了确定如何将宏块划分为分割部分和子宏块分割部分，编码器确定对于每个宏块分割部分被编码为非预测块内或块间(例如，列表0、列表1、直接或者双向预测)是否更有利。对于将被编码为非预测块内的宏块分割部分，块间编码模式(例如列表0、列表1、直接或者双向预测)被用于那个分割部分的mb_type内，其中所使用的参考图形索引与零加权系数相关联。在子宏块分割部分中，非预测块内编码的分割部分不被进一步划分，通常考虑8×8子宏块分割部分，当需要附加位来表示划分的子宏块分割部分，则没有益处。非预测块内编码分割部分的差分运动矢量设定为零，因为这将使用很少的位数来编码，并且运动矢量的所有可能值将产生相同的解码像素。
使用这一方法，对于一些但不是全部的宏块的分割部分有效地实现块内编码，所述宏块与JVT压缩标准兼容。对于非预测块内编码的分割部分不执行块内空间双向预测。
在参考图4所描述的流程图400中示出了用于根据所建议的本发明编码宏块的示例性方法。使用比率失真优化来确定将宏块最佳划分为宏块分割部分和用于块间编码宏块的子宏块分割部分，并且对于每个分割部分CPINTERi和整个宏块CINTER计算开销度量。用于编码分割部分的开销包括编码参考图像索引、运动矢量、和预测残余物的开销。然后，确定最佳块内空间预测方向，用以宏块的块内编码，并且对于整个宏块CINTRA的块内编码计算开销测量。然后如果CINTER不小于CINTRA，则使用空间双向预测将整个宏块作为块内编码。否则，将宏块作为块内宏块编码。
接着，块间宏块的每个分割部分被认为作为块间或非预测块内编码。计算使用零加权预测块内编码分割部分CPINTRAi的开销，考虑编码参考图形索引的开销、以及残余的和零值差分运动矢量开销。
如果分割部分iCPINTERi小于CPINTRAi，则分割部分i将被正常地块间编码，并且可被进一步划分为子宏块分割部分。否则，通过选择与零加权系数相关联的参考图形索引，非预测块内编码所述分割部分。
基于此处的示教，相关领域的普通技术人员可以容易地查明本发明的这些和其他特征和优点。应当理解，本发明的原理可以各种形式的硬件、软件、固件、专用处理器、或者其组合来实现。
最好是，本发明的原理被实现为硬件和软件的组合。而且，所述软件最好被实现为在编程存储单元上有形体现的应用程序。所述应用程序可被装载到包括任何适当结构的机器并被其执行。最好是，该机器在具有硬件的计算机平台上执行，所述计算机平台具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)、和输入/输出(“I/O”)接口的硬件。计算机平台也可以包括操作系统和微指令代码。此处描述的各种处理和功能可以是可由CPU执行的微指令代码或者应用程序的一部分、或者它们的任何组合。另外，各种其他外围单元可被连接至诸如附加数据存储单元和打印单元的计算机平台。
还应当理解，因为最好以软件来实现附图所描述的一些构成系统组件和方法，系统组件或处理功能块之间的实际连接可以根据其中本发明被编程的方式而不同。此处给出的示教，相关领域的普通技术人员将能够理解本发明的这些和类似实现或配置。
尽管此处已经参考附图描述了图解性的实施例，但是应当理解，本发明不限于那些精确的实施例，并且在不背离本发明的范围或精神的情况下，相关领域的普通技术人员可以影响各种改变和修改。所有这些变换和修改往往包含在所附权利要求中阐述的本发明的范围之内。