用于视频译码的色彩残差预测

摘要

一种解码视频数据的方法包含解码第一视频数据块，以产生经重构亮度残差值块和经预测色度残差值块，其中所述视频数据块具有4:2:0或4:2:2色度子取样格式中的一者。所述方法进一步包含执行色彩残差预测过程，以使用所述经重构亮度残差值的子集作为所述经预测色度残差值块的亮度预测符来重构所述第一视频数据块的色度残差值块。

权利要求

1.一种解码视频数据的方法，所述方法包括：

解码第一视频数据块，以产生经重构亮度残差值块和经预测色度残差值块，其中所述第一视频数据块具有4:2:0或4:2:2色度子取样格式中的一者；

执行色彩残差预测过程以使用所述经重构亮度残差值的子集作为所述经预测色度残差值块的亮度预测符，来重构所述第一视频数据块的色度残差值块；

为第二视频数据块确定变换单元大小；

当所述为所述第二视频数据块确定的变换单元大小小于或等于4×4时，解码所述第二视频数据块，而不对所述第二视频数据块执行色彩残差预测；

为第三视频数据块确定变换单元大小；以及

当所述为所述第三视频数据块确定的变换单元大小大于4×4时，通过对所述第三视频数据块执行色彩残差预测来解码所述第三视频数据块。

2.根据权利要求1所述的方法，其中执行所述色彩预测过程进一步包括按比例缩放所述亮度预测符以形成经按比例缩放的亮度预测符，以及基于所述经按比例缩放的亮度预测符来重构所述色度残差值。

3.根据权利要求2所述的方法，其中执行所述色彩预测过程进一步包括将所述经按比例缩放的亮度预测符与所述经预测色度残差值相加。

4.根据权利要求2所述的方法，其中所述第一视频数据块具有4:2:2色度子取样格式，其中所述经按比例缩放的亮度预测符包括与所述经预测色度残差值具有相同位置的经按比例缩放的经重构亮度残差值，且其中执行所述色彩残差预测过程进一步包括将对应的经按比例缩放的亮度预测符与每一对应的经预测色度残差值相加。

5.根据权利要求2所述的方法，其中所述第一视频数据块具有4:2:2色度子取样格式，其中所述经重构亮度残差值的所述子集包括与所述经预测色度残差值具有相同位置的经重构亮度残差值，以及具有紧邻所述经预测色度残差值的位置的至少一个其它经重构亮度残差值，且其中执行所述色彩预测过程进一步包括：

对于经预测色度残差值的每一位置，求与对应的经预测色度残差值具有相同位置的经按比例缩放的经重构亮度值与具有紧邻所述经预测色度残差值的所述位置的所述至少一个其它经按比例缩放的经重构亮度残差值的平均值，以形成平均亮度预测符；以及将对应的平均亮度预测符与每一对应的经预测色度残差值相加。

6.根据权利要求5所述的方法，其中所述平均是简单平均。

7.根据权利要求5所述的方法，其中所述平均是经加权平均。

8.根据权利要求5所述的方法，其中所述第一视频数据块具有4:2:2色度子取样格式，其中所述至少一个其它经按比例缩放的经重构亮度残差值包括具有紧接所述经预测色度残差值中的每一者右侧的位置的经按比例缩放的经重构亮度残差值。

9.根据权利要求5所述的方法，其中所述第一视频数据块具有4:2:2色度子取样格式，其中所述至少一个其它经按比例缩放的经重构亮度残差值包括具有紧邻所述经预测色度残差值中的每一者的位置的八个经按比例缩放的经重构亮度残差值。

10.根据权利要求2所述的方法，其中所述第一视频数据块具有4:2:0色度子取样格式，其中所述经按比例缩放的亮度预测符包括具有邻近所述经预测色度残差值中的每一者的位置的至少一个经按比例缩放的经重构亮度残差值，且其中执行所述色彩残差预测过程进一步包括将对应的经按比例缩放的亮度预测符与每一对应的经预测色度残差值相加。

11.根据权利要求10所述的方法，其中每一经预测色度残差值的所述经按比例缩放的亮度预测符包括邻近每一色度残差值的单个经按比例缩放的经重构亮度值。

12.根据权利要求10所述的方法，其中每一经预测色度残差值的所述经按比例缩放的亮度预测符包括邻近每一色度残差值的两个或更多个经按比例缩放的经重构亮度值，所述方法进一步包括：求所述两个或更多个经按比例缩放的经重构亮度值的平均值。

13.根据权利要求1所述的方法，其进一步包括：

解码第四视频数据块的亮度经译码块旗标，其中所述第四视频数据块具有4:2:0或4:

2:2色度子取样格式；以及

如果所述亮度经译码块旗标指示所述第四视频数据块不具有非零亮度变换系数，那么不对所述第四视频数据块执行色彩残差预测。

14.一种经配置以对视频数据进行解码的设备，所述设备包括：视频数据存储器，其经配置以存储与第一视频数据块有关的视频信息；以及视频解码器，其经配置以：解码所述第一视频数据块，以产生经重构亮度残差值块和经预测色度残差值块，其中所述第一视频数据块具有4:2:0或4:2:2色度子取样格式中的一者；

执行色彩残差预测过程以使用所述经重构亮度残差值的子集作为所述经预测色度残差值块的亮度预测符，来重构所述第一视频数据块的色度残差值块；

为第二视频数据块确定变换单元大小；

当所述为所述第二视频数据块确定的变换单元大小小于或等于4×4时，解码所述第二视频数据块，而不对所述第二视频数据块执行色彩残差预测；

为第三视频数据块确定变换单元大小；以及

当所述为所述第三视频数据块确定的变换单元大小大于4×4时，通过对所述第三视频数据块执行色彩残差预测来解码所述第三视频数据块。

15.根据权利要求14所述的设备，其中所述视频解码器进一步经配置以通过按比例缩放所述亮度预测符以形成经按比例缩放的亮度预测符，并基于所述经按比例缩放的亮度预测符而重构所述色度残差值，来执行所述色彩预测过程。

16.根据权利要求15所述的设备，其中所述视频解码器进一步经配置以通过将所述经按比例缩放的亮度预测符与所述经预测的色度残差值相加来执行所述色彩预测过程。

17.根据权利要求15所述的设备，其中所述第一视频数据块具有4:2:2色度子取样格式，其中所述经按比例缩放的亮度预测符包括与所述经预测色度残差值具有相同位置的经按比例缩放的经重构亮度残差值，且其中所述视频解码器进一步经配置以通过将对应的经按比例缩放的亮度预测符与每一对应的经预测色度残差值相加来执行所述色彩预测过程。

18.根据权利要求15所述的设备，其中所述第一视频数据块具有4:2:2色度子取样格式，其中所述经重构亮度残差值的所述子集包括与所述经预测色度残差值具有相同位置的经重构亮度残差值，以及具有紧邻所述经预测色度残差值的位置的至少一个其它经重构亮度残差值，且其中所述视频解码器进一步经配置以：

对于经预测色度残差值的每一位置，求与对应的经预测色度残差值具有相同位置的经按比例缩放的经重构亮度值与具有紧邻所述经预测色度残差值的所述位置的所述至少一个其它经按比例缩放的经重构亮度残差值的平均值，以形成平均亮度预测符；以及将对应的平均亮度预测符与每一对应的经预测色度残差值相加。

19.根据权利要求18所述的设备，其中所述视频解码器经配置以执行简单平均。

20.根据权利要求18所述的设备，其中所述视频解码器经配置以执行经加权平均。

21.根据权利要求18所述的设备，其中所述第一视频数据块具有4:2:2色度子取样格式，其中所述至少一个其它经按比例缩放的经重构亮度残差值包括具有紧接在所述经预测色度残差值中的每一者右侧的位置的经按比例缩放的经重构亮度残差值。

22.根据权利要求18所述的设备，其中所述第一视频数据块具有4:2:2色度子取样格式，其中所述至少一个其它经按比例缩放的经重构亮度残差值包括具有紧邻所述经预测色度残差值中的每一者的位置的八个经按比例缩放的经重构亮度残差值。

23.根据权利要求15所述的设备，其中所述第一视频数据块具有4:2:0色度子取样格式，其中所述经按比例缩放的亮度预测符包括具有邻近所述经预测色度残差值中的每一者的位置的至少一个经按比例缩放的经重构亮度残差值，且其中所述视频解码器进一步经配置以通过将所述经按比例缩放的亮度预测符与每一对应的经预测色度残差值相加来执行所述色彩预测过程。

24.根据权利要求23所述的设备，其中每一经预测色度残差值的所述经按比例缩放的亮度预测符包括邻近每一色度残差值的单个经按比例缩放的经重构亮度值。

25.根据权利要求23所述的设备，其中每一经预测色度残差值的所述经按比例缩放的亮度预测符包括邻近每一色度残差值的两个或更多个经按比例缩放的经重构亮度值，其中所述视频解码器进一步经配置以通过求所述两个或更多个经按比例缩放的经重构亮度值的平均值来执行所述色彩预测过程。

26.根据权利要求14所述的设备，其中所述视频解码器进一步经配置以：解码第四视频数据块的亮度经译码块旗标，其中所述第四视频数据块具有4:2:0或4:

2:2色度子取样格式中的一者；以及

如果所述亮度经译码块旗标指示所述第四视频数据块不具有非零亮度变换系数，那么不对所述第四视频数据块执行色彩残差预测。

27.一种对视频数据进行编码的方法，所述方法包括：

编码第一视频数据块，以产生经重构亮度残差值块和经预测色度残差值块，其中所述第一视频数据块具有4:2:0或4:2:2色度子取样格式中的一者；

执行色彩残差预测过程以使用所述经重构亮度残差值的子集作为所述色度残差值块的亮度预测符，来形成所述第一视频数据块的经预测色度残差值块；

归因于第二视频数据块的变换单元大小小于或等于4×4，编码具有小于或等于4×4的变换单元大小的第二视频数据块，而不执行色彩残差预测；以及归因于第三视频数据块的所述变换单元大小大于4×4，通过执行色彩残差预测来编码具有大于4×4的变换单元大小的所述第三视频数据块。

28.一种上面存储有指令的计算机可读存储媒体，所述指令在被执行时致使经配置以对视频数据进行解码的装置的一或多个处理器：解码第一视频数据块，以产生经重构亮度残差值块和经预测色度残差值块，其中所述第一视频数据块具有4:2:0或4:2:2色度子取样格式中的一者；

执行色彩残差预测过程以使用所述经重构亮度残差值的子集作为所述经预测色度残差值块的亮度预测符，来重构所述第一视频数据块的色度残差值块；

为第二视频数据块确定变换单元大小；

当所述为所述第二视频数据块确定的变换单元大小小于或等于4×4时，解码所述第二视频数据块，而不对所述第二视频数据块执行色彩残差预测；

为第三视频数据块确定变换单元大小；以及

当所述为所述第三视频数据块确定的变换单元大小大于4×4时，通过对所述第三视频数据块执行色彩残差预测来解码所述第三视频数据块。

说明书

用于视频译码的色彩残差预测

[0001] 本申请案主张2013年11月1日申请的第61/899,038号美国临时申请案的权益，其全部内容以引用的方式并入本文中。

技术领域

[0002] 本发明涉及视频译码。

背景技术

[0003] 数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话(所谓的“智能电话”)、视频电话会议装置、视频串流装置等。数字视频装置实施视频压缩技术，例如，在由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义的标准、目前正在开发的高效率视频译码(HEVC)标准及此类标准的扩展中所描述的视频压缩技术。视频装置可通过实施此类视频压缩技术来更高效地发射、接收、编码、解码和/或存储数字视频信息。

[0004] 视频压缩技术执行空间(图片内)预测和/或时间(图片间)预测来减少或去除视频序列中固有的冗余。对于基于块的视频译码，视频切片(即，视频帧或视频帧的一部分)可分割成若干视频块，所述视频块也可被称作树块、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的经帧内译码(I)切片中的视频块。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

[0005] 空间或时间预测导致待译码块的预测性块。残差数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残差数据编码的。根据帧内译码模式和残差数据来编码经帧内译码块。为了进一步压缩，可将残差数据从像素域变换到变换域，从而产生残差变换系数，可接着量化所述残差变换系数。可扫描一开始按二维阵列排列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码来实现更多压缩。

发明内容

[0006] 本发明与视频译码和压缩的领域有关。明确地说，本发明描述可用于使用除4:4:4外的色度子取样格式(例如4:2:2或4:2:0色度子取样格式)来对视频块进行色彩残差预测的技术。

[0007] 在本发明的一个实例中，一种解码视频数据的方法，所述方法包括：解码第一视频数据块，以产生经重构亮度残差值块和经预测色度残差值块，其中所述第一视频数据块具有4:2:0或4:2:2色度子取样格式中的一者；以及执行色彩残差预测过程，以使用经重构亮度残差值的子集作为经预测色度残差值块的亮度预测符来为第一视频数据块重构色度残差值块。

[0008] 在一个实例揭示中，一种经配置以解码视频数据的设备，所述设备包括：视频数据存储器，其经配置以存储与第一视频数据块有关的视频信息；以及视频解码器，其经配置以解码所述第一视频数据块，以产生经重构亮度残差值块和经预测色度残差值块，其中所述第一视频数据块具有4:2:0或4:2:2色度子取样格式中的一者，且执行色彩残差预测过程，以使用经重构亮度残差值的子集作为所述经预测色度残差值块的亮度预测符来为第一视频数据块重构色度残差值块。

[0009] 在本发明的另一实例中，一种编码视频数据的方法，所述方法包括：编码第一视频数据块，以产生经重构亮度残差值块和经预测色度残差值块，其中所述第一视频数据块具有4:2:0或4:2:2色度子取样格式中的一者；以及执行色彩残差预测过程，以使用经重构亮度残差值的子集作为色度残差值块的亮度预测符来为第一视频数据块形成经预测色度残差值块。

[0010] 在另一实例中，本发明描述一种存储指令的计算机可读存储媒体，所述指令在被执行时致使经配置以解码视频数据的装置的一或多个处理器：解码第一视频数据块，以产生经重构亮度残差值块和经预测色度残差值块，其中所述第一视频数据块具有4:2:0或4:2:2色度子取样格式中的一者；且执行色彩残差预测过程，以使用经重构亮度残差值的子集作为经预测色度残差值块的亮度预测符来为第一视频数据块重构色度残差值块。

[0011] 附图和以下描述中陈述一或多个实例的细节。其它特征、目标和优点将从所述描述和图式以及所附权利要求书显而易见。

附图说明

[0012] 图1是说明可利用本发明中描述的技术的实例视频编码和解码系统的框图。

[0013] 图2是说明可实施本发明中描述的技术的实例视频编码器的框图。

[0014] 图3是说明可实施本发明中描述的技术的实例视频解码器的框图。

[0015] 图4是说明色度子取样格式的概念图。

[0016] 图5A是说明呈4:2:2色度子取样格式的色度残差值的亮度预测符的一个实例的概念图。

[0017] 图5B是说明呈4:2:2色度子取样格式的色度残差值的亮度预测符的一个实例的概念图。

[0018] 图5C是说明呈4:2:2色度子取样格式的色度残差值的亮度预测符的一个实例的概念图。

[0019] 图6A是说明呈4:2:0色度子取样格式的色度残差值的亮度预测符的一个实例的概念图。

[0020] 图6B是说明呈4:2:0色度子取样格式的色度残差值的亮度预测符的一个实例的概念图。

[0021] 图7A是说明呈4:2:0色度子取样格式的色度残差值的亮度预测符的一个实例的概念图。

[0022] 图7B是说明呈4:2:0色度子取样格式的色度残差值的亮度预测符的一个实例的概念图。

[0023] 图8是说明本发明的实例编码方法的流程图。

[0024] 图9是说明本发明的实例解码方法的流程图。

具体实施方式

[0025] 本发明与视频译码和压缩领域有关。明确地说，本发明描述可用于使用除4:4:4外的色度子取样格式(例如4:2:2或4:2:0色度子取样格式)来对视频块进行色彩残差预测的技术。

[0026] 色彩残差预测是涉及从经重构亮度(Y)残差值预测色度残差值(例如YCrCb视频块中的Cr和Cb色度值两者)的视频编码技术。由于视频数据块的亮度残差值常常与色度残差值相关，因此色度残差值的进一步预测将产生较大的压缩和增加的译码效率。

[0027] 为了执行色彩残差预测，可首先从同一图片内得另一块的色度值(例如帧内预测)或从另一图片中的另一块的色度值(例如帧间预测)预测块的色度值，从而形成色度残差值。接着可从同一块的经重构亮度残差值进一步预测所述视频数据块的色度残差值。通常，用于预测的亮度残差值在用于预测之前经按比例缩放。

[0028] 在某一视频译码技术中，使用4:4:4色度子取样格式来译码视频数据块。就是说，对于每一亮度(Y)值，存在一个对应红色色度值(Cr)和一个对应蓝色色度值(Cb)。因此，对于4:4:4视频块，在与每一色度值(Cr和Cb)相同的位置中存在一个对应亮度残差值，其可用作色彩残差预测的预测符。然而，其它视频译码技术可使用色度子取样格式，其使用比亮度分量少的色度分量(例如4:2:2色度子取样或4:2:0色度子取样)。由此，用于色彩残差预测的亮度分量不是自明的。本发明提出用于对具有比亮度分量少的色度分量的色度子取样格式执行色彩残差预测的各种技术。

[0029] 图1是说明可实施本文所描述的技术中的一或多者的实例视频编码和解码系统的框图。如图1中所示，系统10包含源装置12，其提供在稍后时间将由目的地装置14解码的经编码视频数据。确切地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括多种多样的装置中的任一者，包含桌上型计算机、笔记型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板计算机、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。

[0030] 目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。电脑可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码的视频数据直接发射到目的地装置14。可根据通信标准(例如，无线通信协议)来调制经编码的视频数据，并将其发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于分组的网络(例如，局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换器、基站或任何其它可用于促进从源装置12到目的地装置14的通信的设备。

[0031] 在一些实例中，经编码数据可从输出接口22输出到存储装置(未图示)。类似地，可通过输入接口28从存储装置存取经编码数据。所述存储装置可包含多种分布式或本地存取式数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器，或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中，存储装置可对应于可存储源装置12所产生的经编码视频的文件服务器或另一中间存储装置。目的地装置14可从存储装置经由流式传输或下载来存取所存储的视频数据。文件服务器可为任何类型的能够存储经编码的视频数据且将经编码的视频数据发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可通过任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的发射可为流式传输发射、下载发射或其组合。

[0032] 本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者，例如空中电视广播、有线电视发射、卫星电视发射、因特网流式视频发射(例如，经由HTTP的动态自适应流式传输(DASH))、编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频传输，以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。

[0033] 在图1的实例中，源装置12包含视频源18、视频编码器20和输出接口22。目的地装置14包含输入接口28、视频解码器30和显示装置32。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源(例如，外部相机)接收视频数据。同样，目的地装置14可与外部显示装置介接，而非包含集成式显示装置。

[0034] 图1的所说明系统10仅为一个实例。任何数字视频编码和/或解码装置均可执行本文所描述的技术。尽管本发明的技术一般通过视频编码装置来执行，但是所述技术还可通过视频编码器/解码器(通常被称作“编码解码器”)来执行。此外，本发明的技术还可由视频预处理器执行。源装置12和目的地装置14仅为源装置12产生经译码视频数据以用于发射到目的地装置14的所述译码装置的实例。在一些实例中，装置12、14可以实质上对称的方式操作，使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持装置12、14之间的单向或双向视频发射以(例如)用于视频流式传输、视频重放、视频广播或视频电话。

[0035] 源装置12的视频源18可包含视频捕获装置，例如摄像机、含有先前所捕获视频的视频存档和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提到，本发明中所描述的技术可大体上适用于视频译码，且可适用于无线和/或有线应用。在每一情况下，所俘获、预先俘获或电脑产生的视频可由视频编码器20编码。经编码视频信息可接着由输出接口22输出到计算机可读媒体16上。

[0036] 计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，且例如经由网络传输将经编码视频数据提供到目的地装置14。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据，且生产含有经编码的视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。

[0037] 目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码器20定义的语法信息，所述语法信息也被视频解码器30使用，所述语法信息包含描述块和其它经译码单元(例如，GOP)的特性和/或处理的语法元素。显示装置32将经解码视频数据显示给用户，且可包括多种显示装置中的任一者，例如阴极射线管(CRT)、液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

[0038] 如将在下文更详细地阐释，视频编码器20和/或视频解码器30可经配置以实施本发明的技术。作为一个实例，视频编码器20和/或视频解码器30可经配置以：编码/解码第一视频数据块，以产生经重构亮度残差值块和经预测色度残差值块，其中所述视频数据块具有4:2:0或4:2:2色度子取样格式中的一者；以及执行色彩预测过程，以使用经重构亮度残差值的子集作为经预测色度残差值块的亮度预测符来为第一视频数据块重构色度残差值块。

[0039] 视频编码器20和视频解码器30可根据例如高效视频译码(HEVC)标准等视频译码标准来操作，且可符合HEVC测试模型(HM)。或者，视频编码器20和视频解码器30可根据其它专有或业界标准来操作，所述标准例如是ITU-T H.264标准，也被称为MPEG-4第10部分，高级视频译码(AVC)，或此类标准的扩展。但是，本发明的技术不限于任何特定译码标准。视频译码标准的其它实例包含MPEG-2和ITU-T H.263。尽管图1中未图示，在一些方面中，视频编码器20和视频解码器30可各自与音频编码器和解码器集成，且可包含适当多路复用器-多路分用器单元或其它硬件和软件，以处置共同数据流或单独数据流中的音频和视频两者的编码。如果适用，那么多路复用器-多路分用器单元可符合ITU H.223多路复用器协议，或例如用户数据报协议(UDP)等其它协议。

[0040] ITU-T H.264/MPEG-4(AVC)标准是作为被称为联合视频小组(JVT)的集体联盟的产品而由ITU-T视频译码专家组(VCEG)连同ISO/IEC移动图片专家组(MPEG)制定。在一些方面中，本发明中描述的技术可应用于一般符合H.264标准的装置。H.264标准描述于ITU-T研究组的日期为2005年3月的“ITU-T推荐H.264，用于通用视听服务的高级视频译码(ITU-T Recommendation H.264,Advanced Video Coding for generic audiovisual services)”中，其在本文中可被称作H.264标准或H.264规范或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。

[0041] 视频编码器20和视频解码器30各自可实施为多种合适的编码器和解码器电路中的任一者，例如一个或一个以上微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分用软件实施时，装置可将用于所述软件的指令存储在合适的非暂时性计算机可读媒体中，并使用一或多个处理器用硬件执行所述指令以执行本发明的技术。视频编码器20和视频解码器30中的每一者可包含在一或多个编码器或解码器中，所述编码器或解码器中的任一者可集成为相应装置中的组合编码器/解码器(CODEC)的部分。

[0042] JCT-VC已开发了HEVC标准。HEVC标准的最近草案JCTVC-L1003(本杰明·布洛斯(Benjamin Bross)、韩吴京(Woo-Jin Han)、基恩斯·拉尼尔·欧姆(Jens-Ranier Ohm)、加里·沙利文(Gary Sullivan)、王叶奎(Ye-Kui Wang))“高效率视频译码(HEVC)文本规范草案10(用于FDIS和最后呼叫)”，ITU-T SG 16WP 3和ISO/IEC JTC1/SC 29/WG 11的视频译码联合合作小组(JCT-VC)，瑞士日内瓦第12次会议，2013年1月14到23日(“HEVC文本规范”)从以下链接可用：http://phenix.it-sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC-L1003-v11.zip。

[0043] 在本文中被称作“WD10修订本”的HEVC标准的另一草案在布洛斯(Bross)等人的“编辑对HEVC版本1提出的校正(Editors’proposed corrections to HEVC version 1)”(ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG11的视频译码联合协作小组(JCT-VC)，韩国仁川第13次会议，2013年4月)中描述，其可从http://phenix.int-evry.fr/jct/doc_end_user/documents/13_Incheon/wg11/JCTVC-M0432-v3.zip获得。

[0044] HEVC标准化努力是基于被称作HEVC测试模型(HM)的视频译码装置的演进模型。HM假定视频译码装置根据例如ITU-T H.264/AVC相对于现有装置的几项额外能力。举例来说，虽然H.264提供了九种帧内预测编码模式，但HM可提供多达三十三种帧内预测编码模式。

[0045] 一般来说，HM的工作模型描述视频帧或图片可划分成包含亮度和色度样本两者的一序列树块或最大译码单元(LCU)(还被称作“译码树单元(CTU)”)。位流内的语法数据可定义最大LCU(其为就像素数目来说的最大译码单元)的大小。切片包含按译码次序的若干连续树块。视频帧或图片可被分割成一或多个切片。每一树块可根据四叉树分裂成若干译码单元(CU)。一般来说，四叉树数据结构包含每个CU一个节点，其中一个根节点对应于所述树块。如果一CU分裂成四个子CU，那么对应于所述CU的节点包含四个叶节点，其中的每一者对应于所述子CU中的一者。

[0046] 四分树数据结构的每一节点可提供用于对应CU的语法数据。举例来说，四叉树中的节点可包含经分裂旗标，其表明对应于所述节点的所述CU是否分裂成若干子CU。用于CU的语法元素可递归地来定义，且可取决于CU是否分裂成数个子CU。如果CU不进一步分裂，那么将其称为叶CU。在本发明中，叶CU的四个子CU也将被称作叶CU，即使不存在原始叶CU的明确分裂时也是如此。举例来说，如果16x16大小的CU不进一步分裂，那么这四个8x8子CU将也被称作叶CU，虽然16x16CU从未分裂。

[0047] CU具有与H.264标准的宏块类似的目的，除了CU不具有大小区别。举例来说，树块(LCU或CTU)可分裂成四个子节点(还被称作子CU)，并且每一子节点又可以是父节点并且可分裂成另外四个子节点。最终的未经分裂子节点(被称作四叉树的叶节点)包括译码节点，还被称作叶CU。与经译码位流相关联的语法数据可定义树块可分裂的最大次数，被称作最大CU深度，且还可定义译码节点的最小大小。因此，位流也可界定最小译码单元(SCU)。本发明使用术语“块”来指HEVC的上下文中的CU、PU或TU中的任一者，或者其它标准的上下文中的类似数据结构(例如，其在H.264/AVC中的宏块和子块)。

[0048] CU包含译码节点和与所述译码节点相关联的预测单元(PU)和变换单元(TU)。CU的大小对应于译码节点的大小并且形状必须是正方形。CU的大小可介于8×8个像素至多达具有最大64×64个像素或更大的树块大小的范围内。每一CU可含有一或多个PU和一或多个TU。举例来说，与CU相关联的语法数据可描述CU分割成一或多个PU。分割模式可在CU被跳过或经直接模式编码、经帧内预测模式编码或经帧间预测模式编码之间有所不同。PU可分割成非正方形形状。举例来说，与CU相关联的语法数据还可描述CU根据四叉树到一或多个TU的分割。TU的形状可为正方形或非正方形(例如，矩形)。

[0049] HEVC标准允许根据TU的变换，TU可针对不同CU而有所不同。TU的大小通常是基于针对经分割LCU定义的给定CU内的PU的大小而确定，但是情况可能并不总是如此。TU通常与PU大小相同或小于PU。在一些实例中，对应于CU的残差样本可使用被称为“残差四叉树”(RQT)的四叉树结构细分成较小单元。RQT的叶节点可被称为变换单元(TU)。可变换与TU相关联的像素差值以产生变换系数，所述变换系数可经量化。

[0050] 叶CU可包含一或多个预测单元(PU)。一般来说，PU表示对应于相对应的CU的全部或一部分的空间区域，并且可包含用于检索PU的参考样本的数据。此外，PU包含与预测有关的数据。举例来说，当PU经帧内模式编码时，用于PU的数据可包含在残差四分树(RQT)中，残差四分树可包含描述用于对应于PU的TU的帧内预测模式的数据。作为另一实例，当PU经帧间模式编码时，PU可包含定义PU的一或多个运动向量的数据。定义PU的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如四分之一像素精度或八分之一像素精度)、所述运动向量所指向的参考图片，和/或运动向量的参考图片列表(例如列表0或列表1)。当使用根据本发明的技术的帧内运动补偿来译码当前视频块(例如PU)，定义所述块的运动向量的数据可描述(例如)运动向量的水平分量、运动向量的垂直分量、运动向量的分辨率(例如四分之一像素精度或八分之一像素精度)。然而，根据本发明的技术的定义用于帧内运动补偿的运动向量的数据不必识别所述运动向量所指向的参考图片，因为参考块与当前视频块在同一帧或图片内。

[0051] 具有一或多个PU的叶CU还可包含一或多个变换单元(TU)。可使用RQT(也称为TU四叉树结构)来指定变换单元，如上文所论述。举例来说，分裂旗标可指示叶CU是否分裂成四个变换单元。接着，每一变换单元可进一步分裂成更多个子TU。当TU未进一步分裂时，其可被称作叶TU。通常，对于帧内译码，所有属于叶CU的叶TU共享相同的帧内预测模式。也就是说，一般应用相同的帧内预测模式来计算叶CU的所有TU的所预测值。对于帧内译码，视频编码器可使用帧内预测模式将每一叶TU的残差值计算为CU的对应于TU的部分与原始块之间的差。TU不一定限于PU的大小。因此，TU可大于或小于PU。对于帧内译码，PU可与同一CU的对应叶TU并置。在一些实例中，叶TU的最大大小可对应于对应的叶CU的大小。

[0052] 此外，叶CU的TU还可与相应的四分树数据结构(被称作残差四分树(RQT))相关联。就是说，叶CU可包含指示叶CU如何分割成TU的四分树。TU四叉树的根节点一般对应于叶CU，而CU四叉树的根节点一般对应于树块(或LCU)。未经分裂的RQT的TU被称作叶TU。一般来说，除非以其它方式提到，否则本发明分别使用术语CU和TU来指叶CU和叶TU。

[0053] 视频序列通常包含一系列视频帧或图片。图片群组(GOP)一般包括一系列一或多个视频图片。GOP可包含GOP的标头、图片中的一或多者的标头或其它地方中的语法数据，所述语法数据描述GOP中所包含的图片的数目。图片的每一切片可包含描述用于相应切片的编码模式的切片语法数据。视频编码器20通常对个别视频切片内的视频块进行操作以便对视频数据进行编码。视频块可与CU内的译码节点相对应。视频块可具有固定或变化的大小，并且根据指定译码标准可在大小上有所不同。

[0054] 作为实例，HM支持各种PU大小的预测。假设特定CU的大小为2N×2N，那么HM支持2N×2N或N×N的PU大小的帧内预测，且2N×2N、2N×N、N×2N或N×N的对称PU大小的帧间预测。HM还支持用于在2N×nU、2N×nD、nL×2N和nR×2N的PU大小下的帧间预测的不对称分割。在不对称分割中，不分割CU的一个方向，而是将另一方向分割成25％和75％。CU的对应于25％分区的部分由“n”、后面接续“上方(Up)”、“下方(Down)”、“左侧(Left)”或“右侧(Right)”的指示来指示。因此，举例来说，“2NxnU”是指水平地分割的2Nx2N CU，其中顶部为2Nx0.5N PU，而底部为2Nx1.5N PU。

[0055] 在本发明中，“N×N”与“N乘N”可互换使用来指代在垂直和水平尺寸方面的视频块的像素尺寸，例如，16×16像素或16乘16像素。大体来说，16x16块将在垂直方向上具有16个像素(y＝16)，且在水平方向上具有16个像素(x＝16)。同样，NxN块总体上在垂直方向上具有N个像素，并且在水平方向上具有N个像素，其中N表示非负整数值。块中的像素可布置成行和列。此外，块未必需要在水平方向上与在垂直方向上具有相同数目个像素。举例来说，块可包括NxM个像素，其中M未必等于N。

[0056] 如上文所提到，视频编码器20和视频解码器30可经配置以对CU的PU进行帧间预测或帧内预测一般来说，帧间译码涉及相对于一或多个参考图片的预测参考图片可为按时间次序的先前图片、未来图片，或来自两个或两个以上先前经编码图片的预测的组合。视频编码器20或视频编码器20可将参考图片存储在经解码图片缓冲器(DPB)中。

[0057] 在使用CU的PU进行帧内预测译码或帧间预测译码之后，视频编码器20或视频解码器30可计算用于CU的TU的残差数据。PU可包括描述在空间域(还称为像素域)中产生预测性像素数据的方法或模式的语法数据，并且TU可包括在对残差视频数据应用了变换(例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换)变换域中的系数。残差数据可对应于未经编码图片的像素与对应于PU的预测值之间的像素差。视频编码器20或视频解码器30可形成包含用于CU的残差数据的TU，且接着变换TU以产生用于CU的变换系数。

[0058] 在进行任何变换以产生变换系数之后，视频编码器20或视频解码器30可执行变换系数的量化。量化大体上指代对变换系数进行量化以可能减少用以表示所述系数的数据的量从而提供进一步压缩的过程。量化过程可减少与系数中的一些或全部相关联的位深度。举例来说，n位值可在量化期间被下舍入到m位值，其中n大于m。

[0059] 在量化之后，视频编码器可扫描变换系数，从包含经量化变换系数的二维矩阵产生一维向量。扫描可经设计以将较高能量(并且因此较低频率)的系数放置在阵列的前面，并且将较低能量(并且因此较高频率)的系数放置在阵列的背面。在一些实例中，视频编码器20或视频解码器30可利用预定义的扫描次序来扫描经量化的变换系数，以产生可经熵编码的串行化向量。在其它实例中，视频编码器20或视频解码器30可执行自适应扫描。在扫描经量化变换系数从而形成一维向量之后，视频编码器20或视频解码器30可例如根据上下文自适应二进制算术译码(CABAC)对所述一维向量进行熵编码。视频编码器20还可对与经编码视频数据相关联的语法元素进行熵编码，以供视频解码器30在解码视频数据时使用。

[0060] 为了执行CABAC，视频编码器20可向待发射的符号指派上下文模型内的上下文。上下文可涉及(例如)符号的相邻值是否为非零。

[0061] 视频编码器20可进一步例如在帧标头、块标头、切片标头或GOP标头中将例如基于块的语法数据、基于帧的语法数据的基于GOP的语法数据的语法数据发送到视频解码器30。GOP语法数据可描述相应GOP中的数个帧，且帧语法数据可指示用以对对应帧进行编码的编码/预测模式。

[0062] 图2是说明可实施本发明中描述的技术的视频编码器的实例的框图。在图2的实例中，视频编码器20可执行视频切片内的视频块的帧内和帧间译码。帧内译码依靠空间预测来减少或去除给定视频帧或图片内的视频中的空间冗余。帧间译码依靠时间预测来减少或去除视频序列的邻近帧或图片内的视频中的时间冗余。帧内模式(I模式)可指代若干基于空间的译码模式中的任一者。例如单向预测(P模式)或双向预测(B模式)等帧间模式可指代若干基于时间的译码模式中的任一者。另外，视频编码器20可经配置以执行根据本发明的技术的色彩残差预测。

[0063] 如图2中示出，视频编码器20接收视频数据，包含待编码的视频帧内的当前视频块。在图2的实例中，视频编码器20包含视频数据存储器41、模式选择单元40、经解码图片缓冲器(DBP)64、求和器50、变换处理单元52、量化单元54和熵编码单元56。模式选择单元40又包含运动补偿单元44、运动估计单元42、帧内预测处理单元46、色彩残差预测处理单元49和分割单元48。对于视频块重构，视频编码器20还包含逆量化单元58、逆变换处理单元60和求和器62。还可包含环路内滤波单元(图2中未图示)，以进行去块滤波、样本自适应偏移(SAO)滤波或其它类型的环路内滤波。在需要时，环路内滤波单元将通常对求和器62的输出进行滤波。

[0064] 视频数据存储器41可存储待由视频编码器20的组件编码的视频数据。可(例如)从视频源18获得存储在视频数据存储器41中的视频数据。DPB 64是存储供视频编码器20编码视频数据(例如以帧内或帧间译码模式，还被称作帧内或帧间预测译码模式)时使用的参考视频数据的经解码图片缓冲器的一个实例。视频数据存储器41和DPB 64可由多种存储器装置中的任一者形成，例如包含同步DRAM(SDRAM)的动态随机存储器(DRAM)、磁阻式RAM(MRAM)、电阻式RAM(RRAM)，或其它类型的存储器装置。视频数据存储器41和DPB 64可由同一存储器装置或单独的存储器装置提供。在各种实例中，视频数据存储器41可与视频编码器20的其它组件一起在芯片上，或相对于那些组件在芯片外。

[0065] 在编码过程期间，视频编码器20接收待译码的视频帧、瓦片或切片。帧或图片可由分割单元48分割成切片和瓦片，以及切片或瓦片内的视频块。运动估计单元42和运动补偿单元44可相对于一或多个参考帧中的一或多个块执行所接收视频块的帧间预测性译码以提供时间预测。帧内预测处理单元46可另外或替代地相对于与待译码块相同的帧或切片中的一或多个相邻块执行所述所接收的视频块的帧内预测性译码，以提供空间预测。视频编码器20可执行多个译码遍次，例如，为了为每一视频数据块选择一种适当的译码模式。

[0066] 此外，分割单元48可基于前述译码遍次中的前述分割方案的评估将视频数据块分割成子块。举例来说，分割单元48可最初将帧或切片分割成LCU(CTU)，且基于速率失真分析(例如，速率失真最佳化)来将所述CTU中的每一者分割成子CU。模式选择单元40可进一步产生指示将LCU分割成子CU的四叉树数据结构。四叉树的叶节点CU可包含一或多个PU和一或多个TU。

[0067] 模式选择单元40可例如基于错误结果选择译码模式中的一者，帧内或帧间，并将所得的经帧内或帧间译码块提供给求和器50以产生残差块数据，且提供到求和器62，以重构用作参考图片的经编码块。模式选择单元40还将语法元素(例如，运动向量、帧内模式指示符、分割信息和其它此类语法信息)提供到熵编码单元56。所述语法信息可包含在经编码位流内，例如切片标头或参数集内。

[0068] 运动估计单元42和运动补偿单元44可高度集成，但出于概念性目的分别加以说明。运动估计单元42执行的运动估计是产生运动向量的过程，所述过程估计视频块的运动。在帧间预测的上下文中，运动向量(例如)可指示当前视频帧或图片内的视频块的PU相对于参考帧(或其它经译码单元)内的预测性块，相对于当前帧(或其它经译码单元)内正译码的当前块的移位。预测性块是被发现在像素差方面与待译码块紧密匹配的块，像素差可通过绝对差总和(SAD)、平方差总和(SSD)或其它差度量来确定。在一些实例中，视频编码器20可计算存储在DPB 64中的参考图片的子整数像素位置的值。举例来说，视频编码器20可内插四分之一像素位置、八分之一像素位置或参考图片的其它分数像素位置的值。因此，运动估计单元42可相对于全像素位置和分数像素位置执行运动搜索，并输出具有分数像素精度的运动向量。

[0069] 运动估计单元42可确定视频编码器20可用来预测经帧间预测的一或多个PU的像素值的一或多个参考图片。运动估计单元42可将所述参考图片存储在经解码图片缓冲器(DPB)中，直到所述图片经标记为不用于参考为止。视频编码器20的模式选择单元40可编码包含用于一或多个参考图片的识别信息的各种语法元素。

[0070] 运动估计单元42通过比较PU的位置与参考图片的预测性块的位置来计算用于经帧间译码切片中的视频块的PU的运动向量。可从第一参考图片列表(列表0)或第二参考图片列表(列表1)来选择参考图片，所述列表中的每一者识别存储在DPB 64中的一或多个参考图片。运动估计单元42将所计算的运动向量发送到熵编码单元56和运动补偿单元44。

[0071] 由运动补偿单元44执行的运动补偿可涉及基于由运动估计单元42确定的运动向量来取或产生预测性块。并且，在一些实例中，运动估计单元42与运动补偿单元44可在功能上集成。在接收到当前视频块的PU的运动向量后，运动补偿单元44可即刻在参考图片列表中的一者中定位所述运动向量指向的预测性块。求和器50通过从正在译码的当前视频块的像素值减去预测性块的像素值从而形成像素差值来形成残差视频块，如下文所论述。一般来说，运动估计单元42相对于亮度分量执行运动估计，并且运动补偿单元44对于色度分量和亮度分量两者使用基于亮度分量计算的运动向量。模式选择单元40还可产生与视频块和视频切片相关联的语法元素，以供视频解码器30在解码视频切片的视频块时使用。

[0072] 作为如上文所描述由运动估计单元42和运动补偿单元44执行的帧间预测的替代方案，帧内预测单元46可对当前块执行帧内预测。明确地说，帧内预测处理单元46可确定用来对当前块进行编码的帧内预测模式。在一些实例中，帧内预测处理单元46可(例如)在单独的编码编次期间使用各种帧内预测模式对当前块进行编码，且帧内预测处理单元46(或在一些实例中，模式选择单元40)可从被测模式中选择适当的帧内预测模式来使用。

[0073] 在选择用于块的帧内预测模式之后，帧内预测处理单元46可将指示所述块的选定帧内预测模式的信息提供到熵编码单元56。熵编码单元56可对指示选定帧内预测模式的信息进行编码。视频编码器20在所发射的位流中可包含配置数据，其可包含多个帧内预测模式索引表和多个经修改的帧内预测模式索引表(也称为码字映射表)，对用于各种块的上下文进行编码的定义，以及对最可能帧内预测模式、帧内预测模式索引表和经修改的帧内预测模式索引表的指示以用于所述上下文中的每一者。

[0074] 视频编码器20通过从正译码的原始视频块减去预测数据，例如预测块的矩阵减除，来形成残差视频块。求和器50表示执行此减法运算的一或多个组件。不管是使用帧间预测还是帧内预测来形成残差块，视频编码器20可使用色彩残差预测处理单元49来使用经重构的亮度残差值(即，逆量化和逆变换)作为预测符，来进一步预测残差块的色度分量的残差值。应注意，视频编码器20可使用原始的亮度残差值或经重构亮度残差值来执行色彩残差预测。视频编码器20使用经重构的亮度残差值来执行色彩残差预测。下文将更详细地描述本发明的用于执行色彩残差预测的技术。

[0075] 变换处理单元52将例如离散余弦变换(DCT)或概念上类似的变换的变换应用于残差块，从而产生包括残差变换系数值的视频块。变换处理单元52可执行概念上类似于DCT的其它变换。还可使用小波变换、整数变换、子带变换或其它类型的变换。

[0076] 在任何情况下，变换处理单元52向残差块应用所述变换，从而产生残差变换系数的块。所述变换可将残差信息从像素值域转换到变换域(例如，频域)。变换处理单元52可将所得变换系数发送到量化单元54。量化单元54量化变换系数以进一步减小位速率。量化过程可减少与系数中的一些或全部相关联的位深度。可通过调整量化参数来修改量化程度。在一些实例中，量化单元54可接着执行对包含经量化的变换系数的矩阵的扫描。替代地，熵编码单元56可执行扫描。

[0077] 在量化之后，熵编码单元56对经扫描的经量化的变换系数进行熵译码。举例来说，熵编码单元56可执行上下文自适应二进制算术编码(CABAC)或另一熵译码技术。就基于上下文的熵译码而论，上下文可以基于相邻块。在由熵编码单元56进行熵译码之后，可将经编码位流发射到另一装置(例如，视频解码器30)，或者将所述经编码位流存档以用于稍后发射或检索。

[0078] 逆量化单元58和逆变换处理单元60分别应用逆量化和逆变换，来在像素域中重构残差块，例如以供稍后用作参考块。运动补偿单元44可通过将残差块添加到DPB 64的帧中的一者的预测性块来计算参考块。运动补偿单元44还可将一或多个内插滤波器应用于经重构建的残差块来计算用于在运动估计中使用的子整数像素值。求和器62将经重构建的残差块添加到由运动补偿单元44产生的经运动补偿的预测块，以产生经重构的视频块以用于存储于DPB 64中。经重构的视频块可由运动估计单元42和运动补偿单元44用作参考块，以对后续视频帧中的块进行帧间译码。

[0079] 图3是说明可实施本文所述的技术的视频解码器30的实例的框图。在图3的实例中，视频解码器30包含视频数据存储器69、熵解码单元70、运动补偿单元72、色彩残差预测处理单元73、帧内预测处理单元74、逆量化单元76、逆变换处理单元78、经解码图片缓冲器(DPB)82和求和器80。在一些实例中，视频解码器30可执行一般与相对于视频编码器20(图2)所描述的编码遍次互逆的解码遍次。运动补偿单元72可基于从熵解码单元70接收的运动向量产生预测数据，而帧内预测处理单元74可基于从熵解码单元70接收的帧内预测模式指示符产生预测数据。

[0080] 视频数据存储器69可存储待由视频解码器30的组件解码的视频数据，例如经编码视频位流。存储在视频数据存储器69中的视频数据可(例如)从存储装置、从例如相机等本地视频源、经由视频数据的有线或无线网络通信或者通过存取物理数据存储媒体而获得。视频数据存储器69可形成存储来自经编码视频位流的经编码视频数据的经译码图片缓冲器(CPB)。

[0081] 在解码过程期间，视频解码器30从视频编码器20接收表示经编码视频切片的视频块和相关联的语法元素的经编码视频位流。视频解码器30的熵解码单元70对位流进行熵解码，以产生经量化系数、运动向量或帧内预测模式指示符和其它语法元素。熵解码单元70将运动向量和其它语法元素转发到运动补偿单元72。视频解码器30可在视频切片层级和/或视频块层级接收语法元素。在一些实例中，语法元素可包含于切片标头或所述切片标头所指代(直接或间接)的图片参数集合中

[0082] 当将视频切片译码为经帧内译码(I)切片时，帧内预测单元74可基于用信号通知的帧内预测模式和来自当前帧或图片的先前经解码块的数据产生用于当前视频切片的视频块的预测数据。当将视频帧译码为经帧间译码(例如，B、P或GPB)切片时，运动补偿单元72基于从熵解码单元70接收的运动向量和其它语法元素产生用于当前视频切片的视频块的预测性块。可从参考图片列表中的一者内的参考图片中的一者产生预测块。视频解码器30可基于存储于DPB 92中的参考图片使用默认构造技术来构造参考帧列表，列表0和列表1。

[0083] 运动补偿单元72通过剖析运动向量和其它语法元素来确定用于当前视频片段的视频块的预测信息，并且使用所述预测信息来产生用于正解码的当前视频块的预测性块。举例来说，运动补偿单元72使用所接收语法元素中的一些语法元素确定用于译码视频切片的视频块的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，B切片或P切片)、切片的参考图片列表中的一或多者的构造信息、切片的每一经帧间编码的视频块的运动向量、切片的每一经帧间译码的视频块的帧间预测状态，及用以解码当前视频切片中的视频块的其它信息。

[0084] 运动补偿单元72和/或帧内预测处理单元74还可基于内插滤波器执行内插。运动补偿单元72和/或帧内预测处理单元74可使用视频编码器20在编码视频块期间所使用的内插滤波器来为参考块的子整数像素计算经内插值。在此情况下，运动补偿单元72和/或帧内预测处理单元74可从所述所接收的语法元素确定视频编码器20所使用的内插滤波器，并使用所述内插滤波器来产生预测性块。

[0085] 逆量化单元76对在位流中提供且由熵解码单元70解码的经量化变换系数进行逆量化，即去量化。逆量化过程可包含使用视频解码器30针对视频片段中的每一视频块计算以确定应该应用的量化程度和同样逆量化程度的量化参数QPY。

[0086] 逆变换处理单元78对变换系数应用逆变换(例如，逆DCT、逆整数变换，或概念上类似的逆变换过程)，以便产生像素域中的残差块。

[0087] 在运动补偿单元72和/或帧内预测处理单元74基于运动向量和其它语法元素产生当前视频块的预测符块之后，视频解码器30通过将来自逆变换处理单元78的残差块与由运动补偿单元72产生的对应预测性块求和来形成经解码视频块。求和器80表示可执行此求和运算的一或多个组件。视需要，还可应用去块滤波器来对经解码块进行滤波，以便去除成块假影。还可使用其它环路滤波器(在译码环路中或在译码环路之后)来使像素转变变平滑或者以其它方式改进视频质量。接着将给定帧或图片中的经解码视频块存储在经解码图片缓冲器82中，经解码图片缓冲器82存储用于后续运动补偿的参考图片。经解码图片缓冲器82还存储经解码视频以用于稍后呈现在显示装置(例如，图1的显示装置32)上。

[0088] 不管是使用帧间预测还是帧内预测来重构残差块，视频解码器30均可使用色彩残差预测处理单元73来使用经重构的亮度残差值(即，逆量化和逆变换)作为预测符，来进一步预测残差块的色度分量的残差值。下文将更详细地描述本发明的用于执行色彩残差预测的技术。

[0089] 本发明的以下部分将论述用于色彩残差预测的技术。最初，将论述视频块的色彩格式，包含色度子取样格式。视频块(例如CU或PU)可包含亮度分量，其可表示为Y；以及两个色度分量，其可表示为Cr和Cb。取决于所使用的色度子取样格式，块中的Cr和Cb分量的数目可与Y分量的数目相同或不同(通常Cr和Cb分量比Y分量少)。

[0090] 在针对HEVC的一个建议中，以4:2:0色度子取样格式来译码像素的亮度和色度分量。在4:2:0色度子取样格式中，对于每一4x2像素块，存在八个亮度分量(每一行中四个)和两个色度分量(例如4x2块的第一行中一个Cr色度分量和一个Cb色度分量)。4x2块的第二行将不具有色度信息。因而，在4x2像素块中，按1/2水平分辨率和1/2垂直分辨率来对色度分量进行取样。

[0091] 视频译码技术不限于4:2:0色度子取样。可使用其它色度子取样格式，包含4:2:2和4:4:4。在4:2:2色度子取样格式中，对于每一4x2像素块，存在八个亮度分量(每一行中四个)和四个色度分量(例如4x2块的第一和第二行中的每一者中一个Cr色度分量和一个Cb色度分量)。因而，对于4:2:2色度子取样格式，按1/2水平分辨率和全垂直分辨率对色度分量进行取样。

[0092] 4:4:4色度子取样格式不涉及色度分量的子取样。就是说，对于4x2像素块，存在八个亮度分量、八个Cr分量和八个Cb分量。

[0093] 图4显示4:2:0、4:2:2和4:4:4子取样格式的实例。如图4中所展示，视频块的亮度分量标记有X，且色度分量(即，Cr和CB两者)标记有O。对于4:4:4色度子取样格式，在与每个色度分量相同的位置中存在亮度分量。也就是说，每个像素具有亮度和色度分量两者。对于图4中所示的实例4:2:2色度子取样格式(例如，如由国际电信联盟(ITU)BT.601说明书定义)，对于每个像素存在亮度分量，但色度分量仅对每隔一个像素存在。不具有对应色度分量的像素的色度值被从相邻像素复制，或从两个或更多个相邻像素平均化。

[0094] 图4进一步显示两个实例4:2:0色度子取样格式。在4:2:0色度子取样格式中，针对每四个亮度分量，存在单对色度分量。另外，亮度分量并不直接与色度分量中的任一者重叠(即，不在相同位置)。举例来说，如由MPEG-1标准定义，4:2:0色度子取样格式中的色度分量位于四个邻近亮度分量的中间。对于MPEG-2标准所定义的4:2:0色度子取样格式，色度分量直接在列中的两个亮度分量之间。

[0095] HEVC的范围扩展(RExt)包含用于使用除YCbCr 4:2:0外的色彩空间(例如YCbCr4:2:2、YCbCr 4:4:4和RGB 4:4:4)来执行视频译码的提议。HEVC的RExt在D.菲林(D.Flynn)、J.索罗(J.Sole)和T.铃木(T.Suzuki)的“高效视频译码(HEVC)范围扩展文本说明书：草案4(High Efficiency Video Coding(HEVC)Range Extensions text specification:Draft 
4”(JCTVC-N1005_v3，2013年8月)中更详细地描述，所述文档可从http://phenix.int-evry.fr/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N1005-v3.zip获得，并以全文引用的方式并入本文中。

[0096] 为了以较小色彩失真来改进译码效率，可在视频编码和解码期间自适应地应用预测处理或色彩变换。可通过为每一块发信号通知或导出适当的信息来自适应地将色彩预测过程或色彩变换应用于每一块。

[0097] 在HEVC的RExt的一个建议中，实例色彩变换被称作帧间分量残差预测或色彩残差预测。在色彩残差预测中，视频块的色度残差分量(即指示经预测色度值与实际色度值之间的差的色度残差数据)是进一步从对应的经重构亮度残差分量预测。在一些实例中，在用作预测符之前，按比例缩放经重构亮度残差分量。可为每一块发信号通知比例缩放因子。

[0098] 视频译码器(例如视频编码器20和/或视频解码器30)可在视频译码器结束剖析和逆变换任何变换系数块之后执行本发明的用于色彩残差预测的技术，以获得亮度残差块和色度残差块(例如Cr残差块和Cb残差块)。在本发明中，将亮度残差样本块表示为：

[0099] RL(x,y)。

[0100] 视频解码器30通过逆变换亮度残差块的变换系数的对应块可获得亮度残差样本块。视频解码器30可使用此亮度残差样本块来重构亮度块。举例来说，视频解码器30可将由亮度残差样本提供的像素差值与对应预测性亮度像素样本求和，以重构亮度像素样本块。

[0101] 视频解码器通过逆变换色度残差块的变换系数的对应块同样可获得色度残差样本块的预测符。色度残差样本的最终或经更新残差块表示为：

[0102] RC(x,y)。

[0103] 视频解码器30可使用此最终或经更新色度残差样本块来重构色度块。举例来说，视频解码器30可将最终或经更新的色度残差样本块所提供的像素差值与对应的经预测色度像素样本求和，以重构色度像素样本块。

[0104] 本发明还引入经预测色度残差样本块的概念，其表示为：

[0105] RCp(x,y)。

[0106] 经预测色度残差样本块可包含残差样本，其表示最终或经更新的色度残差样本与所述亮度残差样本的版本(例如以比例因子按比例缩放和/或以相对于亮度残差样本的偏移值偏移德版本)之间的差。

[0107] 视频编码器20可编码，且视频解码器30可解码亮度残差值块和经预测色度残差样本块，以及一或多个按比例缩放或偏移值。视频解码器30，例如使用色彩残差预测处理单元73，可基于经预测色度残差样本块和亮度残差样本块的版本(例如亮度残差样本块的按比例缩放和/或偏移版本)来确定最终或经更新的色度残差样本块。

[0108] 视频解码器30，例如使用运动补偿单元72或帧内预测处理单元74，可接着使用最终或经更新的色度残差样本块来重构色度像素样本块。举例来说，视频解码器30可对最终或经更新的色度残差样本的块与经预测色度像素样本块求和，以重构色度像素样本块。视频编码器20可通过从色度残差样本的原始块减去亮度残差样本块的版本来确定且编码色度残差样本的经预测块，所述版本例如亮度残差样本块的经按比例缩放或偏移版本。对于上述亮度或色度样本块中的每一者，x和y表示指示图片中块相对于视频帧(也被称作图片)的左上角的像素位置的变量。

[0109] 视频编码器20，例如使用根据本发明的技术配置的色彩残差预测处理单元49，可经配置以为视频数据的译码单元(CU)的一或多个译码块确定比例因子。比例因子可指示CU的PU的亮度残差块与色度残差块之间的相关。在一些实例中，色彩残差预测处理单元49可将比例因子应用于亮度残差块的值，以产生经按比例缩放的亮度残差样本。色彩残差预测处理单元49可将经按比例缩放的亮度残差样本从原始色度残差样本块减去，以产生经预测色度残差样本块。

[0110] 视频编码器20可编码比例因子，以及经译码视频位流中的经预测色度残差样本块。编码经预测色度残差样本块、亮度残差样本和按比例缩放比例因子可相对于编码原始色度残差样本块改进色度译码残差样本的位流效率。在本发明的其它实例中，不发信号通知比例因子，而是存储或以其它方式在视频解码器30处推断。

[0111] 在互逆过程中，根据本发明的技术而配置的视频解码器30，例如使用色彩残差预测处理单元73，可接收比经译码视频位流中的CU的例因子、亮度残差样本块以及经预测色度残差样本块。在一些实例中，色彩残差预测处理单元73可将比例因子乘以亮度残差样本块的样本中的每一者，并量化所得乘积以产生经量化亮度残差样本。色彩残差预测处理单元73可接着通过将因按比例缩放和量化操作而产生的经量化亮度残差样本与经预测色度残差样本块进行求和或组合以产生经更新的色度残差样本的块(其可被视为最终色度残差样本块)来更新经预测色度残差样本块。视频解码器30可结合经预测色度像素样本使用经更新的色度残差样本块，以确定CU的最终像素值。在一些实例中，视频解码器30可接收用于不同色度分量的不同比例缩放因子。

[0112] 在一些实例中，视频编码器20和/或视频解码器30可进一步经配置以确定/接收偏移值。举例来说，视频解码器30可接收经译码视频位流中的偏移量，且色彩残差预测处理单元73可经配置以将经偏移值与经按比例缩放亮度残差样本和经预测色度残差样本相加，以产生经更新的色度残差样本。视频编码器20，例如使用色彩残差预测处理单元49，可确定偏移值，并将所述偏移值和经按比例缩放的亮度残差样本从色度残差样本块减去，以确定经预测色度残差样本块。在此实例中，除经译码视频位流中的比例缩放因子、亮度残差样本和经预测色度残差样本之外，视频编码器20还可编码偏移值。

[0113] 上文相对于确定比例缩放因子、色度残差样本、经更新亮度样本和经更新色度样本所述的过程可应用于两个色度分量(Cb和Cr)。就是说，视频编码器20和/或视频解码器30可针对每一色度分量使用相同的过程，色彩残差预测过程。在一些实例中，将同一比例缩放因子用于每一色度分量。在其它实例中，视频编码器20为每一色度分量确定单独的比例缩放因子。

[0114] 视频编码器20和视频解码器30可经配置以对以帧内预测或帧间预测译码的视频块执行色彩残差预测。举例来说，如果CU经帧内预测，那么CU的色度块与亮度分量相比可具有不同的帧内预测模式。当亮度和色度分量具有不同的帧内预测模式时，其残差信号之间的相关可为较弱的。因此，在一些实例中，如果亮度样本块和色度样本块具有相同的帧内预测模式，例如HEVC中的35个可能帧内预测模式当中的同一帧内预测模式，那么视频编码器20和视频解码器30可仅实现色彩分量间残差预测。经帧内译码的CU可包含语法元素，intra_chroma_pred_mode[x0][y0]，其可为CU的每一色彩分量指示帧内预测模式。

[0115] 在本发明的另一实例中，如果使用相同帧内预测方向(例如相同角度帧内预测方向)来编码块的色度和亮度样本，那么视频编码器20和视频解码器30可仅实现色彩残差预测。在一个实例中，如果使用同一相同帧内预测方向来编码块的色度和亮度样本，那么视频编码器20和视频解码器30可仅实现色彩残差预测。在另一实例中，如果使用同一大体帧内预测方向来编码块的色度和亮度样本(例如使用大体垂直、大体对角线或大体水平帧间预测方向来译码色度和亮度样本两者)时，视频编码器20和视频解码器30可仅实现色彩残差预测。类似地，视频编码器20和视频解码器30可基于块的色度样本和亮度样本是否具有相同的帧内预测模式或帧内预测方向，来确定是否为特定块启用色彩残差预测。在一些实例中，如果所述语法元素intra_chroma_pred_mode[xCb][yCb]＝＝4(即，指示CU的色度块使用角度帧内预测)，那么视频编码器20和视频解码器30可实现帧内色彩分量残差预测。

[0116] 在本发明的另一实例中，色彩残差预测处理单元49可基于亮度残差样本块与色度残差样本块之间的相关来确定比例缩放因子(α)。色彩残差预测处理单元49可确定与等于零的比例缩放因子相关联的速率失真成本。色彩残差预测处理单元49接着可确定比例缩放因子候选者列表，并从所述候选者列表选择比例缩放因子值，使得块的选定候选比例缩放因子使块的平方误差减到最小。色彩残差预测处理单元49可将平方误差计算为：(chroma_2
residuals-luma_residuals*α) ，其中chroma_residuals表示色度残差块，且luma_residuals表示亮度残差块。色彩残差预测处理单元49可选择等于零的比例缩放因子，或来自所述列表的候选比例缩放因子，使得选定得零比例缩放因子或列表比例因子相对于其它缩放因子使速率失真成本减到最小。

[0117] 在一些实例中，色彩残差预测处理单元49可从九个可能的候选比例因子：{-8、-4、-2、-1、0、1、2、4、8}选择比例缩放因子，使得选定比例缩放因子使速率失真成本减到最小。在帧内或帧间预测期间，色彩残差预测处理单元49可基于所述比例缩放因子和所述亮度残差样本块来计算CU的经预测色度残差样本块，并在经译码视频位流中用信号通知所述经预测块和所述比例缩放因子。视频解码器30可解码所述比例缩放因子、所述经预测色度残差样本块以及所述亮度残差样本块，且色彩残差预测处理单元73可使用所述比例缩放因子、所述经预测色度残差样本块和所述亮度残差样本块来确定经更新的色度残差样本块。

[0118] 在CU具有YCbCr 4:4:4色度子取样格式的一些实例中，色彩残差预测处理单元73可使用比例缩放因子、经预测色度残差样本块和亮度残差样本来计算色度残差样本块，如在等式1中：

[0119] RC(x,y)＝RCp(x,y)+(α·RL(x,y))＞＞N   (1)，

[0120] 其中Rc是色度残差样本块，且Rcp是经预测色度残差样本块，α是比例因子，且RL是亮度残差样本块。在此实例中，N是非负整数常数参数，α是在位流中发信号通知或由视频解码器30推断的整数比例缩放因子参数。色彩残差预测处理单元73可利用右移运算(“>>”)来量化α，例如以确保所得偏移值为整数值，以及降低计算复杂性。色彩残差预测处理单元73还可应用其它量化方案来量化亮度残差样本与比例缩放因子的乘积。

[0121] 在CU具有YCbCr 4:4:4色度子取样格式的一些实例中，根据本发明的技术配置的色彩残差预测处理单元49可应用大体上与等式1中描述的过程互逆的过程来计算经预测色度残差样本块。举例来说，色彩残差预测处理单元49可根据等式2计算经预测色度残差块：

[0122] RCp(x,y)＝RC(x,y)-(α·RL(x,y))＞＞N   (2)，

[0123] 其中方程式2的左侧的Rcp是经预测色度残差块样本块，且Rc是原始色度残差样本块。

[0124] 在一些进一步实例中，色彩残差预测处理单元49可进一步经配置以计算偏移值，且编码经译码视频位流中的额外偏移值。色彩残差预测处理单元49可根据以下等式(3)将偏移值从色度残差样本块减去，以计算经预测色度残差样本块：

[0125] RCp(x,y)＝RC(x,y)-b-(α·RL(x,y))＞＞N   (3)，

[0126] 其中b是偏移值。

[0127] 在一些实例中，当CU具有4:4:4色度子取样时，色彩残差预测处理单元73可执行大体互逆的过程。在这些实例中，色彩残差预测处理单元73可接收偏移值、比例缩放因子、经预测色度残差样本块和所述块的亮度残差样本。色彩残差预测处理单元73可根据以下等式(4)，基于前述接收到的语法元素来计算经更新的色度残差样本：

[0128] RC(x,y)＝RCp(x,y)+b+(α·RL(x,y))＞＞N   (4)。

[0129] 在HEVC的RExt中，针对4:4:4视频译码支持色彩残差预测，其中可从经按比例缩放的亮度残差信号预测色度残差信号。一般来说，如上文所论述，色彩残差预测涉及从亮度分量的残差预测色度分量的残差。由此，并非译码(例如变换、量化和CABAC)色度残差，而是首先将色度残差从亮度残差减去，且译码所述所得值。在一些情形中，执行色彩残差预测产生比独立地译码色度分量残差好的译码效率。

[0130] 在4:4:4色度子取样的情况下，亮度和色度的块大小可相同(即，存在相同数目的色度和亮度分量)。然而，在4:2:2和4:2:0色度子取样格式中，亮度分量与色度分量之间的块大小通常不同，因为色度样本经下取样。由于亮度像素可不与所有(或任一)色度像素直接对准，例如如图4中所展示，因此使用哪一亮度残差样本作为预测符的选择不是自明的。由此，确定可用作色度残差样本的预测符(在本发明中被称作亮度预测符)的块中的亮度残差的总数的子集可为有益的。在本发明中，揭示用于针对4:2:2和4:2:0子取样格式执行色彩残差预测的技术。

[0131] 一般来说，本发明的技术涉及使用色彩残差预测来译码具有4:2:0或4:2:2色度子取样中的一者的视频数据块。在本发明的以下实例中，视频编码器20可经配置以执行色彩残差预测过程，使用经重构亮度残差值的子集作为色度残差值块的亮度预测符来编码经预测色度残差值数据块。同样地，视频解码器30可经配置以执行色彩残差预测过程，使用经重构亮度残差值的子集作为经预测色度残差值块的亮度预测符，来解码和重构色度残差值数据块。

[0132] 如上文所描述，视频编码器20所执行的色彩残差预测过程可包含按比例缩放亮度预测符以形成经按比例缩放的亮度预测符，以及将所述经按比例缩放的亮度预测符从色度残差值减去。同样地，视频解码器30可经配置以按比例缩放亮度预测符来形成经按比例缩放的亮度预测符，并将所述经按比例缩放的亮度预测符与经预测色度残差值相加。在下文实例中的每一者中应用按比例缩放。

[0133] 在本发明的一个实例中，在4:2:2色度子取样格式的情况下，为了执行色彩残差预测，用作亮度预测符得经重构亮度残差值的子集为与对应于色度残差值的色度分量处于同一像素位置中的亮度残差值(即，亮度和色度分量重叠)。图5A显示其中当前经译码色度残差值的亮度预测符包含与4:2:2色度子取样格式下的当前经译码色度残差值重叠的亮度像素的实例。在此实例中，色彩残差预测处理单元49经配置以按比例缩放位于与色度残差值相同位置处的经重构亮度残差值并将其从色度残差值减去，以产生经预测色度残差值。同样地，色彩残差预测处理单元73可经配置以按比例缩放位于与经预测色度残差值相同位置处的经重构亮度残差值并将其与经预测色度残差值相加，以产生色度残差值。可针对Cr分量和Cb分量两者完成此过程。

[0134] 如上文所描述，所使用的比例缩放因子可针对Cr分量和Cb分量两者相同，或色彩残差预测处理单元49可例如基于针对Cr和Cb分量的不同速率失真确定，来确定并发信号通知针对Cr分量和Cb分量中的每一者的单独比例缩放因子。色彩残差预测处理单元49可确定块层级、切片层级、图片层级或序列层级中的一或多者处的缩放因子。

[0135] 在本发明的另一实例中，在4:2:2色度子取样格式的情况下，为了执行色彩残差预测，用作亮度预测符得经重构亮度残差值的子集包含位于与对应于色度残差值的色度分量相同的像素位置中的亮度残差值，以及针对每一色度残差值的至少一个其它亮度残差值。就是说，为了预测特定色度残差值，将重叠的亮度残差值和至少一个其它亮度残差值用作亮度预测符。所使用的实际预测性亮度值可为重叠的亮度残差值和至少一个其它亮度残差值的平均值。色彩残差预测处理单元49和色彩残差预测处理单元73可使用简单平均值或经加权平均值来确定实际预测性亮度值。举例来说，针对与色度残差值重叠(即，处于相同位置)的亮度残差值，使用比针对至少一个其它残差值高的权重可为有益的。

[0136] 图5B显示其中当前经译码色度残差值的亮度预测符包含以下两个亮度残差值的实例：在与当前经译码色度残差值相同的位置中的亮度残差值；以及紧接当前经译码色度残差值右侧的亮度残差值。在图5B的实例中，至少一个其它亮度残差值为紧接着当前经译码色度残差值右侧的亮度残差值。在其它实例中，至少一个其它亮度残差值可紧接在当前经译码色度残差值上方、下方或左侧。

[0137] 图5C显示其中在4:2:2色度子取样格式的情况下，当前经译码色度残差值的亮度预测符包含两个以上亮度残差值的实例。在图5B的实例中，至少一个其它亮度残差值包含紧接着当前经译码色度残差值周围的八个亮度残差值。因此，用以预测单个色度残差值的亮度残差值的总数是九个，包含位于与色度残差值相同的位置中的亮度残差值，以及紧接在当前经译码色度残差值周围的八个亮度残差值(即，当前经译码色度残差值周围的3×3块)。并且，图5C中所示的九个亮度残差值(即，亮度预测符)可经按比例缩放和平均化。色彩残差预测处理单元49和色彩残差预测处理单元73可使用简单平均、经加权平均或另一类型的平均化过程来求亮度预测符平均化。如果使用经加权平均，那么色彩残差预测处理单元49可经配置以发信号通知所述权重。

[0138] 在本发明的其它实例中，色彩残差预测处理单元49和色彩残差预测处理单元73可使用不同数目和不同位置的亮度预测符来使用色彩残差预测译码色度残差值。

[0139] 在本发明的另一实例中，在4:2:0色度子取样格式的情况下，色彩残差预测处理单元49和色彩残差预测处理单元73可经配置以使用邻近于当前经译码色度残差值的一或多个亮度残差值来执行色彩残差预测。这是因为如图4中所示，在4:2:0色度子取样中，不存在直接与色度分量位置重叠得亮度分量。

[0140] 举例来说，在图6A中所示的MPEG-1 4:2:0的情况下，当前经译码色度残差值周围的四个亮度残差值可用于色彩残差预测。在另一实例中，在图6B中所示的MPEG-2 4:2:0的情况下，每一色度残差值上方的两个亮度残差值和下方的两个亮度残差值可用作色彩残差预测的亮度预测符。在图6B中，所使用的四个亮度预测符可包含在当前经译码色度残差值右侧的亮度残差值，或在当前经译码色度残差值左侧的亮度残差值。并且，色彩残差预测处理单元49和色彩残差预测处理单元73可使用简单平均、经加权平均或另一类型的平均化过程来求亮度预测符平均化。如果使用经加权平均，那么色彩残差预测处理单元49可经配置以发信号通知所述权重。

[0141] 在本发明的另一实例中，在4:2:0子取样的情况下，仅使用一个亮度残差值来预测当前经译码色度残差值。用作亮度预测符的亮度残差值的位置可为固定的(即，存储视频编码器20和视频解码器30中的每一者处)，或可由视频编码器20发信号通知(即自适应地选择)。图7A显示一个实例，其中对于MPEG-1 4:2:0色度子取样格式，亮度预测符的位置相对于当前经译码色度残差值位于左上角处。然而，可使用任何亮度样本位置。图7B显示MPEG-2 4:2:0色度子取样格式的其它实例，其中亮度预测符可在当前经译码色度残差值上方或下方。

[0142] 下一部分将论述本发明的涉及确定是否对块执行色彩残差预测的方面。在一个实例中，色彩残差预测处理单元49和色彩残差预测处理单元73可基于亮度coded_block_flag(cbf)确定是否执行色彩残差预测。cbf旗标是指示是否存在与块中的残差数据相关联的任何非零变换系数的旗标。可分别为每一色彩分量发信号通知此cbf。当不存在用于亮度块的非零变换系数(例如cbf等于0)时，对于块中的所有像素，经重构的亮度残差值将为0或几乎为零。因此，使用亮度残差值作为预测符将不导致任何译码效率，因为所有亮度残差值均为0或非常接近零。

[0143] 为了利用此情形，本发明提出配置色彩残差预测处理单元49和色彩残差预测处理单元73来检查亮度cbf，以便确定是否执行色彩残差预测。如果亮度cbf为0(即，无非零经译码亮度系数)，那么不执行色彩残差预测。在此情况下，可跳过色彩残差预测所需的比例缩放因子或其它信息的发信号通知。如果亮度cbf为1(即，存在至少一个非零变换系数，以及因此非零亮度残差)，那么可执行色彩残差预测。

[0144] 在本发明的另一实例中，在4:2:2子取样的情况下，对于当前KxK(宽度×高度)色度块，色彩残差预测处理单元49和色彩残差预测处理单元73可检查与对应2KxK亮度块有关的cbf。如果对应亮度块的cbf为零，那么不对KxK色度块执行色彩残差预测。同样地，在4:2:0子取样的情况下，对于当前KxK色度块，色彩残差预测处理单元49和色彩残差预测处理单元73可检查对应2Kx2K亮度块的cbf。如果对应亮度块的cbf为零，那么不对KxK色度块执行色彩残差预测。

[0145] 在一些情况下，亮度残差值与色度残差值之间可存在通常较低的相关。在这些情况下，色彩残差预测处理单元49和色彩残差预测处理单元73可经配置以跳过执行色彩残差预测，因为色彩残差预测将提供最小额外译码效率。在本发明的一个实例中，色彩残差预测处理单元49和色彩残差预测处理单元73可经配置以在当前视频块具有小于或等于4×4的亮度变换单元(TU)大小时，针对当前视频块跳过(即，不执行)色彩残差预测。这是因为，以较小的变换块大小，亮度残差与色度残差之间的相关较小。

[0146] 在本发明的另一实例中，如果将不同类型的变换用于亮度和色度分量，那么色彩残差预测处理单元49和色彩残差预测处理单元73可经配置以跳过色彩残差预测。在本发明的另一实例中，如果使用不同预测模式来产生亮度和色度残差值，那么色彩残差预测处理单元73可经配置以跳过色彩残差预测。

[0147] 图8是说明本发明的实例编码方法的流程图。图8的技术可由包含色彩残差预测处理单元49的视频编码器20实施。

[0148] 在本发明的一个实例中，视频编码器20可经配置以编码第一视频数据块，以产生经重构亮度残差值块和色度残差值块(802)。如上文所论述，视频编码器20可使用帧间预测或帧内预测来产生亮度残差值和色度残差值。根据本发明的技术，第一视频数据块具有4:2:0或4:2:2色度子取样格式中的一者。

[0149] 色彩残差预测处理单元49可经配置以按比例缩放经重构亮度残差值的子集，以形成经按比例缩放的亮度预测符(804)。如参考图5A到C、图6A到B和图7A到B所论述，所使用的经重构亮度残差值的子集可基于在使用的特定色度子取样格式而不同。色彩残差预测处理单元49可经配置以使用上文所论述的经重构亮度残差值的子集中的一者。如上文所论述，对于一些子集，色彩残差预测处理单元49可进一步经配置以求两个或更多个经按比例缩放的经重构亮度残差样本的平均值，以形成经平均的经按比例缩放亮度预测符。

[0150] 色彩残差预测处理单元49可进一步经配置以执行色彩残差预测过程，以使用经按比例缩放的亮度预测符来形成第一视频数据块的经预测色度残差值块(806)。视频编码器20接着可经配置以对亮度残差值、经预测色度残差值和所使用的任何比例缩放因子进行熵编码。在其它实例中，视频编码器20不发信号通知比例缩放因子，而是在视频解码器30处推断或以其它方式确定比例缩放因子。

[0151] 图9是说明本发明的实例解码方法的流程图。图9的技术可由包含色彩残差预测处理单元73的视频解码器30实施。

[0152] 在本发明的一个实例中，视频解码器30可经配置以解码第一视频数据块，以产生经重构亮度残差值块和经预测色度残差值块(902)。如上文所论述，视频解码器30可使用帧间预测或帧内预测来产生亮度残差值和经预测色度残差值。根据本发明的技术，第一视频数据块具有4:2:0或4:2:2色度子取样格式中的一者。

[0153] 色彩残差预测处理单元73可经配置以按比例缩放经重构亮度残差值的子集，以形成经按比例缩放的亮度预测符(904)。如参考图5A到C、图6A到B和图7A到B所论述，所使用的经重构亮度残差值的子集可基于在使用的特定色度子取样格式而不同。色彩残差预测处理单元73可经配置以使用上文所论述的经重构亮度残差值的子集中的一者。如上文所论述，对于一些子集，色彩残差预测处理单元73可进一步经配置以求两个或更多个经按比例缩放的经重构亮度残差样本的平均值，以形成经平均的经按比例缩放亮度预测符。

[0154] 色彩残差预测处理单元73可进一步经配置以执行色彩残差预测过程，以使用经按比例缩放的亮度预测符来重构第一视频数据块的色度残差值块(906)。举例来说，色彩残差预测处理单元73可将比例缩放因子应用于亮度残差块的值，以产生经按比例缩放的亮度残差样本。色彩残差预测处理单元73可将经按比例缩放的亮度残差样本与经预测色度残差样本块的块相加，以重构色度残差值块。

[0155] 将认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可以不同序列执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实施例中，可同时(例如，通过多线程处理、中断处理或多个处理器)而非循序地执行动作或事件。

[0156] 在一或多个实例中，所描述的功能可用硬件、软件、固件或其任何组合实施。如果以软件实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元来执行。计算机可读媒体可包括计算机可读存储媒体，其对应于有形媒体，例如数据存储媒体，或包括任何促进将计算机程序从一处传送到另一处的媒体(例如，根据一种通信协议)的通信媒体。以此方式，计算机可读媒体大体上可对应于(1)有形计算机可读存储媒体，其是非暂时的，或(2)通信媒体，例如信号或载波。数据存储媒体可为可由一或多个计算机或一个或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

[0157] 借助于实例而非限制，此类计算机可读存储媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来存储指令或数据结构的形式的所要程序代码并且可由计算机存取的任何其它媒体。并且，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴缆线、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴缆线、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。然而，应理解，所述计算机可读存储媒体和数据存储媒体并不包含连接、载波、信号或其它暂时性媒体，而是实际上针对非暂时性的有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘利用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。

[0158] 可由例如一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指代上述结构或适合于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置以用于编码和解码的专用硬件和/或软件模块内提供，或者并入在组合式编解码器中。并且，可将所述技术完全实施于一或多个电路或逻辑元件中。

[0159] 本发明的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元来实现。实际上，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

[0160] 已描述了各种实例。这些和其它实例在所附权利要求书的范围内。