使用平面表达的增强帧内预测编码转让专利
申请号 : CN201180062138.9
文献号 : CN103270700B
文献日 : 2015-05-06
发明人 : F·J·宝森 , S·卡努木里
申请人 : 株式会社NTT都科摩
摘要 :
本发明提供一种低复杂度平面模式编码，其中，使用在相应水平边界像素的值和垂直边界像素其中一个的值之间的线性插值计算第一预测值，且使用在相应垂直边界像素的值和水平边界像素其中一个的值之间的线性插值计算第二预测值。第一和第二预测值然后被平均以得出预测块中的相应预测像素值。预测块和目标块之间的残差被以信号方式发送到解码器。
权利要求 :
1.一种用于在平面模式下预测目标块中的每一个目标像素的像素值的视频编码方法，该方法包括通过视频编码器的处理器执行的计算机可执行步骤以实施以下步骤：使用在所述目标块的上侧的多个水平边界像素中的与每一个目标像素相同的水平位置的水平边界像素的像素值和在所述目标块的左侧的多个垂直边界像素中的一个垂直边界像素的像素值之间的线性插值来计算每一个目标像素的第一预测值；
使用在所述多个垂直边界像素中的与每一个目标像素相同的垂直位置的垂直边界像素的像素值和在所述多个水平边界像素中的一个水平边界像素的像素值之间的线性插值来计算每一个目标像素的第二预测值；以及平均每一个目标像素的所述第一预测值和所述第二预测值以得出在预测块中的每一个预测像素值。
2.根据权利要求1所述的方法，该方法还包括以信号方式发送在所述预测块和所述目标块之间的残差。
3.根据权利要求2所述的方法，该方法还包括以下步骤：N N
从主要变换核集H(i，j)切换为次要变换核集G(i，j)，使得当变换在不同于所述平面N模式的预测模式下产生的所述残差时，使用所述主要变换核集H(i，j)，当变换在所述平面N模式下产生的所述残差时，使用所述次要变换核集G(i，j)；以及N
使用所述次要变换核集G(i，j)变换在所述平面模式下产生的所述残差。
N
4.根据权利要求3所述的方法，其中，所述次要变换核集G (i，j)通过以下等式其中一个来定义：以及
5.根据权利要求3所述的方法，其中，用于尺寸N×N的次要变换核集GN(i，j)通过用于尺寸M×M的主要变换核集HM(i,j)定义，其中M>N。
6.根据权利要求5所述的方法，其中，如果支持尺寸2N×2N(H2N)的变换核，则所述次要变换核集GN(i，j)通过GN(i，j)＝ki×H2N(2i，N+1-j)定义，或者在其它情况，GN(i，j)＝HN(i，j)。
7.一种用于在平面模式下预测目标块中的每一个目标像素的像素值的视频解码方法，该方法包括通过视频解码器的处理器执行的计算机可执行步骤以实施以下步骤：使用在所述目标块的上侧的多个水平边界像素中的与每一个目标像素相同的水平位置的水平边界像素的像素值和在所述目标块的左侧的多个垂直边界像素中的一个垂直边界像素的像素值之间的线性插值来计算每一个目标像素的第一预测值；
使用在所述多个垂直边界像素中的与每一个目标像素相同的垂直位置的垂直边界像素的像素值和在所述多个水平边界像素中的一个水平边界像素的像素值之间的线性插值来计算每一个目标像素的第二预测值；以及平均每一个目标像素的所述第一预测值和所述第二预测值以得出在预测块中的每一个预测像素值。
8.根据权利要求7所述的方法，该方法还包括以下步骤：解码从编码器以信号方式发送的由所述编码器在所述平面模式下产生的残差；以及将经解码的残差相加到所述预测块以重构图像数据。
9.一种在平面模式下预测目标块中的每一个目标像素的像素值的视频编码器，该视频编码器包括计算机系统的处理器和存储器，所述存储器存储所述处理器可执行的程序以执行以下步骤：使用在所述目标块的上侧的多个水平边界像素中的与每一个目标像素相同的水平位置的水平边界像素的像素值和在所述目标块的左侧的多个垂直边界像素中的一个垂直边界像素的像素值之间的线性插值来计算每一个目标像素的第一预测值；
使用在所述多个垂直边界像素中的与每一个目标像素相同的垂直位置的垂直边界像素的像素值和在所述多个水平边界像素中的一个水平边界像素的像素值之间的线性插值来计算每一个目标像素的第二预测值；以及平均每一个目标像素的所述第一预测值和所述第二预测值以得出在预测块中的每一个预测像素值。
10.根据权利要求9所述的视频编码器，其中，所述处理器以信号方式发送在所述预测块和所述目标块之间的残差。
11.根据权利要求10所述的视频编码器，其中，所述处理器执行以下步骤：N N
从主要变换核集H(i，j)切换为次要变换核集G(i，j)，使得当变换在不同于所述平面N模式的预测模式下产生的所述残差时，使用所述主要变换核集H(i，j)，当变换在所述平面N模式下产生的所述残差时，使用所述次要变换核集G(i，j)；以及N
使用所述次要变换核集G(i，j)变换在所述平面模式下产生的所述残差。
N
12.根据权利要求11所述的视频编码器，其中，所述次要变换核集G (i，j)通过以下等式其中一个来定义：以及
N
13.根据权利要求11所述的视频编码器，其中，用于尺寸N×N的次要变换核集G (i，Mj)通过用于尺寸M×M的主要变换核集H(i,j)定义，其中M>N。
14.根据权利要求13所述的视频编码器，其中，如果支持尺寸2N×2N 的变换核，则所述次要变换核集GN(i，j)通过 定义，或者在其它情况，
15.一种在平面模式下预测目标块中的每一个目标像素的像素值的视频解码器，该视频解码器包括计算机系统的处理器和存储器，所述存储器存储所述处理器可执行的程序以执行以下步骤：使用在所述目标块的上侧的多个水平边界像素中的与每一个目标像素相同的水平位置的水平边界像素的像素值和在所述目标块的左侧的多个垂直边界像素中的一个垂直边界像素的像素值之间的线性插值来计算每一个目标像素的第一预测值；
使用在所述多个垂直边界像素中的与每一个目标像素相同的垂直位置的垂直边界像素的像素值和在所述多个水平边界像素中的一个水平边界像素的像素值之间的线性插值来计算每一个目标像素的第二预测值；以及平均每一个目标像素的所述第一预测值和所述第二预测值以得出在预测块中的每一个预测像素值。
16.根据权利要求15所述的视频解码器，其中，所述处理器还执行以下步骤：解码从编码器以信号方式发送的残差；以及
将经解码的残差相加到所述预测块。
说明书 :
使用平面表达的增强帧内预测编码
[0001] 相关申请
[0002] 本申请要求2010年12月21日提交的临时美国专利申请序列号No.61/425,670和2011年3月4日提交的临时美国专利申请序列号No.61/449,528在35U.S.C§119(e)下的优先权，此处以引用的方式并入其全部内容。
[0003] 本发明的背景
技术领域
[0004] 本发明涉及视频编码且尤其涉及使用低复杂度平面预测模式编码增强的帧内预测。
背景技术
[0005] 数字视频需要大量数据来以压缩方式表达数字视频序列（例如帧系列）的每一个或每个帧。对于大多数应用而言，因为带宽限制，在计算机网络上发送非压缩数字视频是不切实际的。另外，非压缩数字视频需要大量存储空间。数字视频通常以一些方式编码以减小存储需求且减小带宽需求。
[0006] 用于编码数字视频的一种技术是帧间预测或间预测。帧间预测采用不同帧当中的时间冗余。视频的时间相邻帧典型地包括像素块，其基本上保持相同。在编码处理中，运动向量使得一个帧的像素的块的移动与另一帧中相似像素的块相互关联。因此，不需要系统两次编码像素块，而是一次编码像素块且提供运动向量以预测另一像素块。
[0007] 用于编码数字视频的另一技术是帧内预测或内预测。帧内预测编码帧或其一部分而不参考另一帧中的像素。帧内预测采用帧内像素块之间的空间冗余。因为空间相邻的像素块一般具有相似属性，通过参考相邻块之间的空间关联改善了编码处理的效率。基于在相邻块中使用的预测模式，这种关联可以被目标块的预测采用。
[0008] 典型地，编码器包括像素预测器，该像素预测器包括帧间预测器、帧内预测器和模式选择器。帧间预测器基于运动补偿参考帧针对接收的图像执行预测。帧内预测器基于当前帧或图片已经处理的部分针对接收的图像执行预测。帧内预测还包含多个不同帧内预测模式且在相应预测模式下执行预测。来自帧间预测器和帧内预测器的输出被提供到模式选择器。
[0009] 模式选择器确定使用哪种编码方法，帧间预测编码或帧内预测编码，且当使用帧内预测编码时，确定使用在多个帧内预测模式中的哪个帧内预测编码的模式。在确定处理中，模式选择器使用成本函数来分析哪个编码方法或哪个模式相对于编码效率和处理成本给出最有效的结果。
[0010] 帧内预测模式包括DC模式和定向模式。DC模式适当地表达像素值在块上恒定的块。定向模式适于表达在某一方向具有条纹图案的块。存在另一图像图案：其中图像是平滑的且其像素值在块中逐渐变化。DC模式和定向模式不适于预测图像内容中的小渐变，且尤其在低至中等码率可能形成恼人的块效应。这是因为当具有渐变像素值的块被编码时，块的AC系数倾向于量化为0，而DC系数具有非零值。
[0011] 为了应付这种问题，H.264/AVC标准下的帧内预测模式附加地包括平面模式以利用像素值随着小平面梯度逐渐变化的平滑图像来表达块。在H.264/AVC标准的平面模式下，平面梯度被估算且以比特流以信号方式发送到解码器。
发明内容
[0012] 本发明提供一种可以改善帧内预测编码的编码效率的低复杂度平面模式编码。在本发明中，在平面预测模式下，编码器计算第一预测值和第二预测值。使用在相应水平边界像素的值和垂直边界像素其中一个的值之间的线性插值计算第一预测值。使用在相应垂直边界像素的值和水平边界像素其中一个的值之间的线性插值计算第二预测值。编码器还执行第一和第二预测值的平均以得出预测块中的相应预测值。
[0013] 在本发明的一个方面中，编码器以比特流向解码器以信号方式发送在预测块和目标块之间的残差。
[0014] 在本发明的另一方面中，主要变换核集HN(i.j)被切换为次要变换核集GN(i.，j)。N
编码器使用次要变换核集G(i.，j)变换残差。
编码器使用次要变换核集G(i.，j)变换残差。
[0015] 次要变换核集GN(i.，j)可以通过以下等式其中一个来定义：
[0016] (a)
[0017] (b) 以及
[0018] (c)N
[0019] 在本发明的另一方面中，用于尺寸N×N的次要变换核集G(i.,j)通过用于尺寸M 2NM×M的主要变换核集H(i.j)定义，其中M>N。具体而言，如果支持尺寸2N×2N（H ）的变N N 2N
换核，则次要变换核集G(i.，j)可以通过G(i，j)=ki×H (2i，N+1-j)定义，或者在其它情N N
况，G(i，j)=H(i，j)。
换核，则次要变换核集G(i.，j)可以通过G(i，j)=ki×H (2i，N+1-j)定义，或者在其它情N N
况，G(i，j)=H(i，j)。
[0020] 本发明还提供用于解码的低复杂度平面模式编码。在平面模式下，解码器计算第一预测值和第二预测值。使用在相应水平边界像素的值和垂直边界像素其中一个的值之间的线性插值计算第一预测值。使用在相应垂直边界像素的值和水平边界像素其中一个的值之间的线性插值计算第二预测值。解码器然后执行第一和第二预测值的平均以得出在预测块中的相应预测值。解码器解码从编码器以信号方式发送的由编码器在平面模式下产生的残差，且将经解码的残差相加到预测块以重构图像数据。
附图说明
[0021] 图1是示出其上可以实施本发明的示例性硬件架构的框图。
[0022] 图2是示出可以应用本发明的视频编码器的一般视图的框图。
[0023] 图3是示出可以应用本发明的视频解码器的一般视图的框图。
[0024] 图4是示出根据本发明的实施方式的编码器的功能模块的框图。
[0025] 图5是示出根据本发明的实施方式的视频编码器执行的编码处理的流程图。
[0026] 图6是示出根据本发明的实施方式的解码器的功能模块的框图。
[0027] 图7是示出根据本发明的实施方式的视频解码器执行的解码处理的图。
[0028] 图8是包含8×8个像素P(i,j)的目标块和用于预测像素P(i,j)的参考像素的示意性表达。
[0029] 图9是示出根据JCT-VC A119中建议的平面模式编码产生预测像素的处理的示意性表达。
[0030] 图10是示出根据本发明的平面模式编码产生预测像素的处理的示意性表达。
[0031] 图11是示出根据本发明的平面模式编码产生预测像素的处理的另一示意性表达。
[0032] 图12是示出主要变换核集和次要变换核集之间的切换的处理的流程图。
具体实施方式
[0033] 图1示出其上可以实施本发明的计算机100的示例性硬件架构。请注意，图1中示出的硬件架构在实施本发明的实施方式的视频编码器和视频解码器中可以通用。计算机100包括处理器101、存储器102、存储设备105以及经由本地接口107通信耦合的一个或更多输入和/或输出（I/O）设备106（或外围设备）。如本领域所已知，本地接口105例如可以是但不限于一个或更多总线或其它有线或无线连接。
[0034] 处理器101是用于执行尤其存储在存储器102中的软件的硬件设备。处理器101可以是任意客户定制或商业可得的处理器、中央处理单元（CPU）、与计算机100相关的若干处理器中的辅助处理器、基于半导体的微处理器（以微芯片或芯片集的形式）或一般用于执行软件指令的任意设备。
[0035] 存储器102包括计算机可读介质，该计算机可读介质可以包括易失性存储器元件（例如随机存取存储器（RAM，诸如DRAM、SRAM、SDRAM等））和非易失性存储器元件（例如ROM、硬盘驱动、带、CDROM等）其中任意一个或组合。此外，存储器102可以包含电子、磁性、光学和/或其它类型的存储介质。计算机可读介质可以是可以存储、通信、传播或传输被指令执行系统、装置或设备使用或与之结合使用的程序的任意装置。请注意，存储器102可以具有分布式架构，其中各个组件彼此远程布置，但是可以被处理器101接入。
[0036] 存储器102中的软件103可以包括一个或更多单独的程序，如下所述，程序中的每一个包含用于实施计算机100的逻辑功能的可执行指令的有序列表。根据本发明，在图1的示例中，存储器102中的软件103定义计算机100的视频编码和视频解码功能性。另外，尽管并不要求，存储器102可以包含操作系统（O/S）104。操作系统104基本控制计算机程序的执行且提供调度、输入输出控制、文件和数据管理、存储器管理以及通信控制和相关服务。
[0037] 计算机100的存储设备105可以是包括静态存储设备或便携式存储设备的很多不同类型的存储设备其中之一。作为示例，存储设备105可以是磁带、盘、闪存、易失性存储器或不同存储设备。另外，存储设备105可以是安全数字存储卡或任意其它可拆卸存储设备105。
[0038] I/O设备106可以包括输入设备，例如但不限于触摸屏、键盘、鼠标、扫描仪、麦克风或其它输入设备。再者，I/O设备106还可以包括输出设备，例如但不限于显示器或其它输出设备。I/O设备106还可以包括经由输入和输出二者通信的设备，例如但不限于调制器/解调器（例如调制解调器；用于接入另一设备、系统或网络）、射频（RF）、无线或其它收发器、电话接口、桥、路由器或用作输入和输出二者的其它设备。
[0039] 如本领域技术人员所已知，视频压缩通过在视频序列中去除冗余信息实现。存在很多不同视频编码标准，例如包括MPEG-1、MPEG-2、MPEG-4、H.261、H.263和H.264/AVC。应当注意，本发明并不旨在限制于任意具体的视频编码标准的应用。然而，使用此处通过引用结合的H.264/AVC标准的示例提供本发明的以下描述。H.264/AVC是最新的视频编码标准且实现优于诸如MPEG-1、MPEG-2、H.261和H.263的原先编码标准的明显性能改善。
[0040] 在H.264/AVC中，视频的每个帧或图片可以分解成若干片段。这些片段被分割成称为宏块的16×16像素块，所述块然后可以进一步分割成8×16、16×8、8×8、4×8、8×4一直到4×4像素。存在H.264/AVC支持的5种类型的片段。在I片段中，所有宏块使用帧内预测编码。在P片段中，宏块可以使用帧内或帧间预测编码。P片段仅允许在每个宏块中使用一个运动补偿预测（MCP）信号。在B片段中，宏块可以使用帧内或帧间预测编码。每个预测可以使用两个MCP信号。SP片段允许P片段在两个不同视频流之间有效地切换。SI片段是用于SP片段的精确匹配，用于在仅使用帧内预测同时的随机访问或错误恢复。
[0041] 图2示出可以应用本发明的视频编码器的一般视图。图中示出的块表示执行存储器102内的软件103的处理器101实现的功能模块。视频帧200的图片馈入到视频编码器201。视频编码器以宏块200A为单位处理图片200。每个宏块包含图片200的若干像素。
在每个宏块上，执行到变换系数的变换，接着是到变换系数水平的量化。此外，使用帧内预测或帧间预测，从而针对预测像素值，不直接对像素数据而是对像素数据的差异执行编码步骤，由此实现更容易压缩的小值。
在每个宏块上，执行到变换系数的变换，接着是到变换系数水平的量化。此外，使用帧内预测或帧间预测，从而针对预测像素值，不直接对像素数据而是对像素数据的差异执行编码步骤，由此实现更容易压缩的小值。
[0042] 对于每个片段，编码器201产生形成相应片段的宏块的编码版本的大量句法元素。涉及变换系数（诸如变换系数水平或指示跳过的变换系数水平的要性图）的编码的句法元素中的所有残差数据元素被称为残差数据句法元素。除了这些残差数据句法元素之外，编码器201产生的句法元素包含控制信息句法元件，该控制信息句法元素分别包含每个宏块如何被编码以及必须被编码的控制信息。换句话说，句法元素可分割成两个类别。在第一类别中，控制信息句法元素例如包含涉及宏块类型、子宏块类型和关于空间和时间类型的预测模式的信息以及基于片段或基于宏块的控制信息。在第二类别中，所有残差数据元素（诸如指示量化变换系数块内的所有有效系数的位置和有效系数（以对应于量化步骤的水平的单位指示）值的要性图）组合且变成残差数据句法元素。
[0043] 编码器201包括编码句法元素且产生用于每个片段的算术码字的熵编码器。当产生用于片段的算术码字时，熵编码器在视频信号比特流中采用在句法元素的数据值当中的统计相关性。编码器201向图3中示出的视频解码器301输出用于图片200的片段的编码视频信号。
[0044] 图3示出可以应用本发明的视频解码器的一般视图。同样，图中示出的块表示通过执行存储器102中的软件103的处理器101实现的功能模块。视频解码器301接收编码视频信号且首先将信号熵解码回句法元素。解码器301使用句法元素以逐个宏块地且然后逐个片段地重构图片300中像素的图片样本300A。
[0045] 图4示出视频编码器201的功能模块。这些功能模块通过执行存储器102中的软件103的处理器101实现。输入视频图片是表达诸如单色（“chroma”）和亮度（“luma”）（其它成分是可能的，例如色调、饱和度和值）之类的原始颜色的成分的采样点定义的自然（未压缩）视频图像的帧或域。输入视频图片被分割成宏块400，每个宏块表达由图片颜色的亮度成分的16×16个像素组成的方形图片区域。输入视频图片还被分割成宏块，每个宏块表达图片颜色的两个色度成分中的每个的8×8像素。在一般的编码器操作中，可以使用帧间或帧内预测来时间或空间预测输入的宏块。然而，用于讨论目的，假设宏块400全都是I片段类型宏块且仅经历帧内预测。
[0046] 帧内预测在帧内预测模块401完成，下面将详细讨论该模块的操作。帧内预测模块401从原先已经编码、重构且存储在帧存储器403中的相邻块的水平和垂直边界像素产生预测块402。作为目标块400和预测块402之间的差异的预测块402的残差404通过变换模块405变换且通过量化器406量化。变换模块405将残差404变换成变换系数块。量化器406将变换系数量化成量化变换系数407。量化变换系数407然后在熵编码模块408被熵编码且作为编码视频信号409被发送（与涉及选择的帧内预测模式相关的其它信息一起）。
[0047] 视频编码器201包括针对目标块执行帧内预测的解码功能性。解码功能性包括反向量化器410和反向变换模块411，它们针对已经量化的变换系数407执行反向量化和反向变换以产生与预测块402相加的解码预测残差412。解码预测残差410和预测块402的和值是重构块413，该重构块被存储在帧存储器403中且将从其读取且被帧内预测模块401使用以产生用于下一目标块400的解码的预测块402。去块效应滤波器可以可选地布置在帧存储器403的输入或输出以从重构图像去除块效应。
[0048] 图5是示出视频编码器201执行的处理的流程图。根据H.264/AVC标准，帧内预测涉及使用原先编码和重构的相邻块的边界像素（“参考像素”）的插值在多个预测模式下预测目标块400的每个像素。预测模式通过正整数0、1、2标识，每个整数与用于预测目标块400中的具体像素的不同指令或算法有关。帧内预测模块401在相应预测模式中下运行帧内预测且产生不同预测块。在全搜索（“FS”）算法中，产生的预测块中的每一个与目标块400进行比较以发现最佳预测模式，该最佳预测模式在预测模式当中最小化预测残差404或产生较小预测残差404（步骤501）。最佳预测模式的标识被压缩（步骤502）且将与其它控制信息句法元素一起以信号方式发送到解码器301。
[0049] 每个预测模式可以通过如口头描述的一般预测方向（例如，水平向上、垂直且对角向左下）描述。预测方向可以通过角度方向图形地描述。对应于预测模式的角度具有与从用于预测目标像素的参考像素的加权平均位置到目标像素位置的方向的一般关系。在DC预测模式中，产生预测块402，使得预测块402中的每个像素均匀地设置为参考像素的平均值。
[0050] 返回图5，帧内预测模块401输出预测块402，其被从目标块400减去以获得残差404（步骤503）。变换模块405将残差404变换成变换系数块（步骤504）。量化器406将变换系数量化为量化变换系数。熵编码模式408熵编码量化变换系数（步骤506），该系数与最佳预测模式的压缩标识一同被发送。反向量化器410反向量化已量化的变换系数（步骤507）。反向变换模块411执行反向变换以得出解码预测残差412（步骤508），该残差与预测块402相加以变成重构块413（步骤509）。
[0051] 图6示出视频解码器301的功能模块。这些功能模块通过执行存储器102中的软件103的处理器101实现。来自编码器201的编码视频信号首先被熵解码器600接收且被熵解码回量化变换系数601。量化变换系统601通过反向量化器602反向量化且通过反向变换模块603反向变换以产生预测残差604。帧内预测模块605被告知编码器201选择的预测模式。根据选择的预测模式，帧内预测模块605使用原先重构且存储在帧存储器607中的相邻块的边界像素执行与图5的步骤503中执行的类似的帧内预测处理以产生预测块606。预测块606被添加到预测残差604以重构解码视频信号块608。重构块608被存储在帧存储器607中以用于下一块的预测。
[0052] 图7是示出视频编码器201执行的处理的流程图。视频解码器301解码从视频编码器201以信号方式发送的最佳预测模式的标识。使用解码的预测模式，帧内预测模块605使用原先重构且存储在帧存储器607中的相邻块的边界像素产生预测块606（步骤702）。算术解码器600将源自编码器201的编码视频信号解码回量化变换系数601（步骤703）。
反向量化器602将量化变换系数反向量化为变换系数（步骤704）。反向变换模块603将变换系数反向变换为预测残差604（步骤705），该预测残差与预测块606相加以重构解码视频信号块608（步骤706）。
反向量化器602将量化变换系数反向量化为变换系数（步骤704）。反向变换模块603将变换系数反向变换为预测残差604（步骤705），该预测残差与预测块606相加以重构解码视频信号块608（步骤706）。
[0053] 还可以参考图8解释视频编码器201执行的编码处理。图8是包含8×8个像素P(i,j)的目标块和用于预测像素P(i,j)的参考像素的示意性表达。在图8中，参考像素包含17个水平像素和17个垂直像素，其中左上像素对于水平和垂直边界共有。因此，32个不同像素可用于产生用于目标块的预测像素。请注意，尽管图8示出将要预测的8×8块，下面的解释一般化为对于不同配置中的各种数目的像素可用。例如，将要预测的块可以包含4×4像素阵列。预测块还可以包含8×8像素阵列、16×16像素阵列或更大像素阵列。包括方形或矩形阵列的其它像素配置也可以构成预测块。
[0054] 假设像素块（{P(i,j):1≤i,j≤N}）使用水平和垂直参考像素（{P(i,0):0≤i≤2N}∪{P(0,j):0≤j≤2N}）进行帧内预测编码。其中PO(i,j)指示目标块的原始像素值，PP(i,j)指示预测像素值，PR(i,j)指示残差值，PQ(i,j)指示压缩残差值，且PC(i,j)指示用于像素P(i,j)的压缩值，下面的等式定义了它们的关系：
[0055]
[0056]
[0057]
[0058]
[0059] 是表示正向变换核的N×N矩阵。 是表示反向变换核的N×N矩阵。PT(1:N,1:N)表示在比特流中的变换和量化的残差信号。QF()表示量化操作且QI()表示反向量化操作。
[0060] 预测像素值 PP(i,j) 通过使用参考像素{P(i,0):0≤i≤2N}∪{P(0,j):0≤j≤2N}执行的帧内预测模式确定。H.264/AVC支持帧内_4×4预测、帧内_8×8预测和帧内16×16预测。帧内_4×4预测在包括垂直预测模式、水平预测模式、DC预测模式、6个角度预测模式的9个预测模式下执行。帧内_8×8预测在如帧内_4×4预测中执行的9个预测模式下执行。帧内_16×16预测在包括垂直预测模式、水平预测模式、DC预测模式和平面预测模式的4个预测模式下执行。例如，在DC预测模式、垂直预测模式和水平预测模式下得出的预测像素值PP(i.j)如下定义：
[0061] DC预测模式：
[0062]
[0063] 垂直预测模式：
[0064]
[0065] 水平预测模式：
[0066]
[0067] 最近，提议No.JCT-VC A119被提交给视频编码联合合作小组（JCT-VC），此处通过引用结合于此。提议No.JCT-VC A119提出一种低复杂度平面模式操作，其使用线性和双线性插值操作的组合来预测具有小平面梯度的渐变像素值。提出的平面模式处理在图9中示意性示出。该处理开始于识别在将要预测的块中的右底部像素的值PP(N,N)。然后，在值PP(N,N)和参考像素值PC(N，O)之间执行线性插值以获得在块中的底行的预测像素值PP(N，j)。同样，在值PP(N,N)和参考像素值PC(O,N)之间执行线性插值以获得在块中的最右边列的预测像素值PP(i,N)。此后，在预测像素值PP(N，j)和PP(i,N)以及参考像素值PC(i,0)和PC(0，j)之间执行双线性插值以获得在块中的剩余像素值PP(i,j)。提出的平面模式处理通过下面的等式表达：
[0068] 右列：
[0069]
[0070] 底行：
[0071]
[0072] 其余像素：
[0073]
[0074] 在JCT-VC A119中提出的平面模式处理中可以发现两个需要解决的问题。在提出的处理中，右底部像素的值PP(N,N)被以比特流以信号方式发送给解码器且用于在解码器解码目标块。换句话说，解码器需要右底部像素值来在提出的平面模式下执行预测。而且，在提出的处理中，在平面模式下残差不被得出且不被以信号方式发送到解码器。残差以信号方式发送的省略可以有助于将要发送的编码视频数据的减少，但是限制了平面模式应用到低比特率视频编码。
[0075] 根据本发明的平面模式设计为解决与在JCT-VC A119中提出的平面模式处理相关的上述问题。根据本发明的一个实施方式，从参考像素得出右底部像素的值PP(N,N)。因此，无需向解码器以信号方式发送右底部像素的像素值PP(N，N)。在本发明的另一实施方式中，在平面模式下形成的预测块用于得出残差，该残差被变换和量化以用于以信号方式发送到解码器。常规离散余弦变换（DCT）和使用中等或粗糙量化参数的量化的应用倾向于从在平面模式下获得的残差得出零AC系数和非零DC系数。为了避免这点，本发明的一个实施方式使用次要变换核而不是主要变换核来变换在平面模式下获得的残差。而且，另一实施方式在平面模式下执行自适应量化，其中，量化参数根据目标块中的空间活动性（spatial activity）来自适应地变化。
[0076] 在本发明的一个实施方式中，从参考像素计算右底部像素的值PP(N，N)。根据以下三个方法其中之一计算值PP(N,N):
[0077] 方法1：
[0078] PP(N,N)=((Pc(N,O)+Pc(O,N))>>l)
[0079] 其中运算符“>>”表示具有或不具有舍入的右移位操作。
[0080] 方法2：
[0081] PP(N,N)=wh×PC(N,0)+wv×PC(0,N)
[0082] 其中Wh和wv是使用PC(0,1:N)和Pc(1:N,0)确定的权重因子。例如，wh和wv如下计算：
[0083]
[0084]
[0085] 其中运算符“var()”表示计算方差的操作。
[0086] 方法3：
[0087]
[0088] 其 中， 且y=f(x 0 ，x l ,…，
x2N)表示算术运算。在本发明的一个实施方式中，算术运算定义为
在本发明的另一实施方式中，算术运
算简单地定义为：y=f(x0，x1，…，x2N)二X2N。请注意，在本发明中，右底部像素的值PP(N，N)不被以信号方式发送到解码器。而是，解码器根据编码器采用的方法计算值PP(N,N)，该方法可以是预定的或其标识可以被以信号方式发送到解码器。
x2N)表示算术运算。在本发明的一个实施方式中，算术运算定义为
在本发明的另一实施方式中，算术运
算简单地定义为：y=f(x0，x1，…，x2N)二X2N。请注意，在本发明中，右底部像素的值PP(N，N)不被以信号方式发送到解码器。而是，解码器根据编码器采用的方法计算值PP(N,N)，该方法可以是预定的或其标识可以被以信号方式发送到解码器。
[0089] 图10是示出根据本发明的一个实施方式在平面模式下执行的预测像素值的处理的示意图，其中实施上述方法1。处理开始于使用方法1计算在块中的右底部像素的值PP(N,N)。在计算值PP(N，N)之后，在值PP(N,N)和参考像素值PC(N,0)之间执行线性插值以获得在块中的底部行的预测像素值PP(N,j)。同样，在值PP(N，N)和参考像素值PC(0，N)之间执行线性插值以获得在块中的最右列的预测像素值PP(i,N)。此后，在预测像素值PP(N,j)和PP(i,N)以及参考像素值PC(i，0)和PC(0，j)之间执行双线性插值以获得在块中的剩余像素值PP(i,j)。如下面的等式和图11所示，方法1可以简化预测在目标块中的像素值PP(i,j)的操作：
[0090]
[0091] 其中， 且如果需要分数精确度，则
[0092]
[0093] 上述等式需要除以值N，以计算块中的像素值PP(i,j)。除法运算可以通过使用以下整数运算来避免：
[0094]
[0095] 其中， 并且
[0096]
[0097] 如果整数精确度足够，则像素值PP(i,j)可以通过下式表达：
[0098]
[0099] 其中， 且
[0100]
[0101] 方法1可以修改为：
[0102]
[0103]
[0104]
[0105]
[0106]
[0107] 其中，y=f(x0,x1，…,x2Nl表示算术运算。在本发明的一个实施方式中，算术运算定义为 在本发明的另一实施方式中，算术操作简单地定义为y=f(x0,x1,…,x2N)=x2N。
[0108] 方法1还可以修改如下：
[0109]
[0110]
[0111]
[0112]
[0113]
[0114] 其中，y=g(i,x0,x1，…，x2N)表示可以通过以下四个等式其中之一定义的函数：
[0115] 等式1：
[0116] y=g(i，x0,x1,…,x2N)=x2N
[0117] 等式2：
[0118] y=g(i,x0，x1，…,x2N)=x(N+i)
[0119] 等式3：
[0120]
[0121] 等式4：
[0122] 其中， 是当在阵列[x0,x1,…x2N]上应用滤波器时x(N+i)的滤波值。在本发明的一个实施方式中，滤波器可以是3抽头滤波器[0123] 在上述实施方式中，假设垂直和水平参考像素
{P(i,0)∶0≤i≤2N}∪{P(0,j∶0≤j≤2N}全都可用于预测。如果目标块位于片段或帧的边界，则参考像素可能不可用。如果垂直参考像素{P(i,0):0≤i≤2N}不可用于预测但是水平参考像素{P(0,j)∶0≤j≤2N}可用，则执行赋值
以产生用于预测的垂直参考像素。如果水平像
素{P(0,j):0≤i≤2N}不可用于预测但是垂直参考像素{P(i,j):0≤j≤2N}
可用，则执行赋值 以产生用于预测的水
平参考像素。如果垂直参考像素或水平参考像素均不可用于预测，则执行赋值以产生垂直和水平参考像素。
在等式中，Nb表示用于表示像素值的位深。
{P(i,0)∶0≤i≤2N}∪{P(0,j∶0≤j≤2N}全都可用于预测。如果目标块位于片段或帧的边界，则参考像素可能不可用。如果垂直参考像素{P(i,0):0≤i≤2N}不可用于预测但是水平参考像素{P(0,j)∶0≤j≤2N}可用，则执行赋值
以产生用于预测的垂直参考像素。如果水平像
素{P(0,j):0≤i≤2N}不可用于预测但是垂直参考像素{P(i,j):0≤j≤2N}
可用，则执行赋值 以产生用于预测的水
平参考像素。如果垂直参考像素或水平参考像素均不可用于预测，则执行赋值以产生垂直和水平参考像素。
在等式中，Nb表示用于表示像素值的位深。
[0124] 在本发明的一个实施方式中，和其它预测模式下产生的预测块一样，平面模式下产生的预测块用于得出残差PR(1∶N,l∶N),该残差通过变换模块405变换且通过量化器406量化。变换和量化的残差PT(l∶N,l∶N)以比特流以信号方式发送给解码器。而且，变换和量化的残差pT(l∶N,l∶N)被反向变换模块410和反向量化器411反向变换和量化以变成压缩残差PQ(l∶N,l∶N),该压缩残差被存储在帧存储器403中以用于预测后续目标块。
[0125] 整个变换和量化残差PT(l:N,l:N)可以以比特流以信号方式发送给解码器。备选地，仅残差的一部分PT(l:K，l:K)以比特流以信号方式发送给解码器。K小于N（k
[0126] 而且，在本发明的另一实施方式中，量化参数自适应地变化以量化在平面模式下产生的残差。平面模式应用于具有平滑图像的块，该平滑图像的像素值随着小平面梯度逐渐变化。来自这种平滑块的残差倾向于使用中等或粗糙量化参数而量化为0。为了确保量化得出非零系数，在本发明的实施方式中，当在平面模式下产生的残差被量化时，量化参数切换为更精细的量化参数。用于量化在平面模式下产生的残差的量化参数(QPPlanar)可以使用基本量化参数(QPbaseP)定义。QPbaseP可以设置为表示更精细量化参数的预定值。如果QPbaseP对于解码器未知，它可以以比特流以信号方式发送到解码器，或更具体而言，如在H.264/AVC中定义的，在片段头或图片参数集中以信号方式发送。
[0127] 在本发明的一个实施方式中，QPplanar被简单地设置为QPbaseP(QPplanar=QPbaseP)。QPplanar可以使用QPbaseP和QPN的和值定义：(QPPlanar=QPbaseP+QPN)其中，使用列出QPN值与N值关系的查找表确定QPN。QPplanar可以备选地定义为QPPlanar=QPbaseP+QPdiff(N)。QPdiff(N)是值N的函数且以比特流以信号方式发送到解码器，或更具体而言，如H.264/AVC定义在片段头或图片参数集中以信号方式发送。解码器针对其视频编解码器方案中支持的值N中的每一个值从比特流确定QPdiff(N)。
[0128] 在本发明的另一实施方式中，通过添加差分量化参数(QPdelta),QPbaseP被修改为QPbaseP=QPbaseP+QPdelta,QPdelta是从块或块组中的空间活动性确定的量化参数以自适应地调节QPbaseP到空间活动性。QPdelta以比特流以信号方式发送到解码器。因为QPdelta从块中的空间活动性确定，所以它可以依赖于块中的图像内容而变成零，且不影响用于平面预测模式的QPbaseP。
[0129] 而且，在本发明的另一实施方式中，使用标准量化参数QPnormal确定QPPlanar,该标准量化参数用于量化在不同于平面模式中的预测模式下产生的残差。在这种实施方式中，根据以下5种方式中的一种来确定QPPlanar:
[0130] 1.QPPlanar=QPnormal
[0131] 2.QPplanar=QPnormal+QPN,其中从列出QPN值与N值关系的查找表确定QPN。
[0132] 3.QPPlanar=QPnormal+QPdiff(N)，其中QPdiff(N)是值N的函数且以比特流以信号方式发送到解码器。
[0133] 4.QPPlanar=QPnormal+QPdelta,其中QPdelta是从块或块组中的空间活动性确定的量化参数以自适应地调节QPnormal且以比特流以信号方式发送到解码器。
[0134] 5.QPPlanar=QPnormal+QPN+QPdelta。
[0135] 在本发明的另一实施方式中，取代使用正向和反向变换核的主要集变换模块405和反向变换模块410使用正向和反向变换核的次要集 来正向和
反向变换在平面模式下产生的残差。主要变换核集用于变换在不同于平面模式的预测模式下产生的残差且适用于存在高频能力的块。另一方面，将经历平面预测模式的块具有低空间活动性且需要适用于具有平滑图像的块的变换核。在该实施方式中，如图12所示，变换模块405和反向变换模块410在主要变换核集和次要变换核集之间切换，且在变换在不同于平面模式下的预测模式下产生的残差时采用主要变换核集，且在变换在平面预测模式下产生的残差时使用次要变换核集。然而，请注意，次要变换核集不限于变换在平面预测模式下产生的残差且可以用于变换在不同于平面模式的预测模式下产生的残差。
反向变换在平面模式下产生的残差。主要变换核集用于变换在不同于平面模式的预测模式下产生的残差且适用于存在高频能力的块。另一方面，将经历平面预测模式的块具有低空间活动性且需要适用于具有平滑图像的块的变换核。在该实施方式中，如图12所示，变换模块405和反向变换模块410在主要变换核集和次要变换核集之间切换，且在变换在不同于平面模式下的预测模式下产生的残差时采用主要变换核集，且在变换在平面预测模式下产生的残差时使用次要变换核集。然而，请注意，次要变换核集不限于变换在平面预测模式下产生的残差且可以用于变换在不同于平面模式的预测模式下产生的残差。
[0136] 次要正向变换核集 可以是从以下选项其中之一得出的定点近似：
[0137] 选项1（类型-7DST）：
[0138]
[0139] 选项2（类型-4DST）
[0140]
[0141] 选项3（类型-2DCT，通常已知为DCT）：
[0142]
[0143] 选项4：
[0144] 如果视频编解码器支持尺寸2N×2N的变换核 则
[0145] 否则
[0146] 因此，在选项4中，如果在视频编码中支持的最小和最大变换尺寸是4×4和32×32，则用于尺寸4×4的次要变换核集从用于尺寸8×8的主要变换核集得出。同样，用于尺寸8×8的次要变换核集从用于尺寸16×16的主要变换核集得出，且用于尺寸16×16的次要变换核集从用于尺寸32×32的主要变换核集得出。
然而，由于支持的最大尺寸是32×32的尺寸限制，用于尺寸32×32的次要变换核集从用于尺寸32×32的主要变换核集得出。
然而，由于支持的最大尺寸是32×32的尺寸限制，用于尺寸32×32的次要变换核集从用于尺寸32×32的主要变换核集得出。
[0147] 缩放因子ki可以定义为满足 缩放因子ki可以用于调节在H.264/AVC中使用的量化参数。可以使用正向变换核 从 得出次要反向变
N
换核集 其中I表示尺寸N×N的鉴别矩阵。
N
换核集 其中I表示尺寸N×N的鉴别矩阵。
[0148] 如果主要变换核集满足属性则选项4中定义的次要变换核集是
优选的。选项4的有利之处在于，次要变换核集不需要与主要变换核集分开存储，因为可以从主要集得出次要集。如果用于尺寸2N×2N的主要变换核集是类型-2DCT的近似，则满足上述属性，且用于尺寸N×N的次要变换核集 可以是类型-4DST的近似。如果主要变换核集不满足上述属性，则在选项1中的次要变换核集是优选的。
优选的。选项4的有利之处在于，次要变换核集不需要与主要变换核集分开存储，因为可以从主要集得出次要集。如果用于尺寸2N×2N的主要变换核集是类型-2DCT的近似，则满足上述属性，且用于尺寸N×N的次要变换核集 可以是类型-4DST的近似。如果主要变换核集不满足上述属性，则在选项1中的次要变换核集是优选的。
[0149] 可以以两种方式其中之一来选择平面预测模式。在第一方式中，针对编码效率评估在平面预测模式下产生的预测块以及在其它预测模式下产生的预测块。如果在平面模式下产生的预测块在预测块中呈现最佳编码效率，则选择平面模式。备选地，针对编码效率仅评估平面模式。对于图像是平滑的且平面梯度小的区域，平面预测模式是优选的。因此，目标块的内容被分析以查看在块中的高频能量的量和沿着块的边缘的图像不连续性。如果高频能量的量低于阈值，且沿着块的边缘没有发现明显不连续性，则选择平面模式。否则，在其它预测模式下产生的预测块被评估以选择一个模式。在两种情况中，平面预测模式的选择以比特流以信号方式发送到解码器。
[0150] 尽管本领域技术人员在阅读上述说明之后将毋庸置疑地显见本发明的很多变型和修改，但是应当理解，通过说明示出和描述的任意特定实施方式并不旨在以任意方式限制。因此，对于各个实施方式的具体内容的参考并不旨在限制权利要求的范围，权利要求本身仅陈述被视为对本发明关键的那些特征。