用于处理经解码视频数据的方法、系统和存储介质

摘要

在一个实例中，提供一种用于处理经解码视频数据的装置、一种由包括数字逻辑电路的一或多个基于硬件的处理单元实施的视频解码器，以及一种由包括数字逻辑电路的一或多个基于硬件的处理单元实施的后处理单元。所述视频解码器经配置以根据视频译码标准来解码视频位流的视频数据，从所述视频位流的SEI消息提取HDR后处理数据，并将所述经解码视频数据和所述HDR后处理数据提供到所述后处理单元。所述后处理单元经配置以根据所述视频译码标准，使用所述HDR后处理数据来处理所述经解码视频数据。所述装置可另外通过将所述经处理的视频数据与参考经处理的视频数据进行比较来确定所述视频解码器是否遵从所述视频译码标准。

权利要求

1.一种处理经解码视频数据的方法，所述方法包括：

通过受测试的视频解码器来根据视频译码标准解码视频位流的视频数据，所述视频位流包含消息，所述消息包含所述经解码视频数据的高动态范围HDR后处理数据，所述经解码视频数据包括受测试的经解码视频数据；

通过所述受测试的视频解码器，从所述消息提取所述HDR后处理数据；

通过所述受测试的视频解码器，将所述经解码视频数据和所述HDR后处理数据提供到受测试的后处理单元；

通过所述受测试的后处理单元，根据所述视频译码标准使用所述HDR后处理数据来处理所述受测试的经解码视频数据；

通过参考解码器，解码所述视频位流的所述视频数据，以形成参考经解码视频数据，所述参考解码器符合所述视频译码标准；

通过参考后处理单元，使用所述HDR后处理数据来处理所述参考经解码视频数据，以形成参考经处理的经解码视频数据；以及当经处理的受测试的经解码视频数据与所述参考经处理的经解码视频数据匹配时，确定所述受测试的视频解码器和所述受测试的后处理单元符合所述视频译码标准。

2.根据权利要求1所述的方法，其中所述HDR后处理数据包括用于对所述经解码视频数据进行上取样的查找表系数，且其中处理所述经解码视频数据包括通过所述后处理单元，使用所述查找表系数来对所述经解码视频数据进行上取样。

3.根据权利要求2所述的方法，其中所述消息包括色度再取样提示补充增强信息消息。

4.根据权利要求1所述的方法，其中所述HDR后处理数据包括用于对所述经解码视频数据进行逆量化的逆量化数据，且其中处理所述经解码视频数据包括通过所述后处理单元，使用所述逆量化数据来对所述经解码视频数据进行逆量化。

5.根据权利要求1所述的方法，其中所述HDR后处理数据包括用于将所述经解码视频数据从亮度和色度色彩空间变换到红-绿-蓝色彩空间的色彩变换数据，且其中处理所述经解码视频数据包括通过所述后处理单元，使用所述色彩变换数据将所述经解码视频数据从所述亮度和色度色彩空间变换到所述红-绿-蓝色彩空间。

6.根据权利要求1所述的方法，其中所述HDR后处理数据包括定义对所述经解码视频数据的电光转移函数的转移函数数据，且其中处理所述经解码视频数据包括通过所述后处理单元，对所述经解码视频数据执行所述电光转移函数。

7.根据权利要求1所述的方法，其中处理所述受测试的经解码视频数据包括以下步骤中的至少一者：对所述受测试的经解码视频数据进行上取样；对所述受测试的经解码视频数据进行逆量化；将所述受测试的经解码视频数据从亮度和色度色彩空间变换到红-绿-蓝色彩空间；或对所述受测试的经解码视频数据上的所述经解码视频数据执行电光转移函数。

8.根据权利要求1所述的方法，其进一步包括当所述经处理的受测试的经解码视频数据具有在所述参考经处理的经解码视频数据的对应值的预定范围内的值时，确定所述经处理的受测试的经解码视频数据与所述参考经处理的经解码视频数据匹配。

9.根据权利要求1所述的方法，其中所述受测试的后处理单元包括多个受测试的后处理单元中的第一受测试的后处理单元，其中所述参考后处理单元包括多个参考后处理单元中的第一参考后处理单元，所述受测试的后处理单元中的每一者对应于所述参考后处理单元中的一者，其中通过所述第一受测试的后处理单元来对所述受测试的经解码视频数据进行后处理进一步包括：通过所述受测试的后处理单元中的每一者，根据所述视频译码标准，使用所述HDR后处理数据来对所述受测试的经解码视频数据进行后处理，其中通过所述第一参考后处理单元进行后处理进一步包括：通过所述参考后处理单元中的每一者，使用所述HDR后处理数据来对所述参考经解码视频数据进行后处理，且其中确定所述受测试的视频解码器和所述受测试的后处理单元符合所述视频译码标准包括在所述受测试的后处理单元中的每一者所输出的所述经处理的受测试的经解码视频数据与对应参考后处理单元所输出的所述参考经处理的经解码视频数据匹配时，确定所述受测试的视频解码器和所述受测试的后处理单元中的每一者符合所述视频译码标准。

10.一种用于处理经解码视频数据的系统，所述系统包括：

存储器，其经配置以存储视频位流的视频数据，所述视频位流包含消息，所述消息包含所述视频数据的高动态范围HDR后处理数据；

受测试的视频解码器，其由包括数字逻辑电路的一或多个基于硬件的处理单元实施；

受测试的后处理单元，其由包括数字逻辑电路的一或多个基于硬件的处理单元实施，所述受测试的视频解码器经配置以：根据视频译码标准来解码所述视频数据，所述经解码视频数据包括受测试的经解码视频数据；

从所述消息提取所述HDR后处理数据；以及

将所述受测试的经解码视频数据和所述HDR后处理数据提供到所述受测试的后处理单元，且

所述受测试的后处理单元经配置以根据所述视频译码标准，使用所述HDR后处理数据来处理所述受测试的经解码视频数据；

参考解码器，其经配置以解码所述视频位流的所述视频数据，以形成参考经解码视频数据，所述参考解码器符合所述视频译码标准；

参考后处理单元，其经配置以使用所述HDR后处理数据来处理所述参考经解码视频数据，以形成参考经处理的经解码视频数据；以及标准遵从性单元，其经配置以在经处理的受测试的经解码视频数据与所述参考经处理的经解码视频数据匹配时，确定所述受测试的视频解码器和所述受测试的后处理单元符合所述视频译码标准。

11.根据权利要求10所述的系统，其中所述后处理单元包括色度上取样单元，其中所述HDR后处理数据包括用于对所述经解码视频数据进行上取样的查找表系数，且其中所述色度上取样单元经配置以使用所述查找表系数来对所述经解码视频数据进行上取样。

12.根据权利要求10所述的系统，其中所述后处理单元包括逆量化单元，其中所述HDR后处理数据包括用于对所述经解码视频数据进行逆量化的逆量化数据，且其中所述逆量化单元经配置以使用所述逆量化数据来对所述经解码视频数据进行逆量化。

13.根据权利要求10所述的系统，其中所述HDR后处理数据包括用于将所述经解码视频数据从亮度和色度色彩空间变换到红-绿-蓝色彩空间的色彩变换数据，且其中处理所述经解码视频数据包括通过所述后处理单元，使用所述色彩变换数据将所述经解码视频数据从所述亮度和色度色彩空间变换到所述红-绿-蓝色彩空间。

14.根据权利要求10所述的系统，其中所述HDR后处理数据包括定义对所述经解码视频数据的电光转移函数的转移函数数据，且其中处理所述经解码视频数据包括通过所述后处理单元，对所述经解码视频数据执行所述电光转移函数。

15.一种用于处理经解码视频数据的系统，所述系统包括：

用于根据视频译码标准解码视频位流的视频数据的受测试的第一解码装置，所述视频位流包含消息，所述消息包含所述经解码视频数据的高动态范围HDR后处理数据，所述经解码视频数据包括受测试的经解码视频数据；

用于从所述消息提取所述HDR后处理数据的装置；

用于将所述经解码视频数据和所述HDR后处理数据提供到受测试的后处理装置的装置；以及

所述受测试的后处理装置，其用于根据所述视频译码标准使用所述HDR后处理数据来处理所述受测试的经解码视频数据；

用于解码所述视频位流的所述视频数据以形成参考经解码视频数据的第二解码装置，用于解码的所述第二解码装置符合所述视频译码标准；

第二后处理装置，其用于使用所述HDR后处理数据来处理所述参考经解码视频数据以形成参考经处理的经解码视频数据；以及用于在经处理的受测试的经解码视频数据与所述参考经处理的经解码视频数据匹配时，确定所述受测试的第一解码装置符合所述视频译码标准的装置。

16.根据权利要求15所述的系统，其中所述HDR后处理数据包括用于对所述经解码视频数据进行上取样的查找表系数，且其中处理所述经解码视频数据包括通过所述后处理装置，使用所述查找表系数来对所述经解码视频数据进行上取样。

17.根据权利要求15所述的系统，其中所述HDR后处理数据包括用于对所述经解码视频数据进行逆量化的逆量化数据，且其中处理所述经解码视频数据包括通过所述后处理装置，使用所述逆量化数据来对所述经解码视频数据进行逆量化。

18.根据权利要求15所述的系统，其中所述HDR后处理数据包括用于将所述经解码视频数据从亮度和色度色彩空间变换到红-绿-蓝色彩空间的色彩变换数据，且其中处理所述经解码视频数据包括通过所述后处理装置，使用所述色彩变换数据将所述经解码视频数据从所述亮度和色度色彩空间变换到所述红-绿-蓝色彩空间。

19.根据权利要求15所述的系统，其中所述HDR后处理数据包括定义对所述经解码视频数据的电光转移函数的转移函数数据，且其中处理所述经解码视频数据包括通过所述后处理装置，对所述经解码视频数据执行所述电光转移函数。

20.一种计算机可读非暂时性存储介质，其上存储有指令，其中当处理器执行所述指令时：

致使执行受测试的视频解码器的所述处理器的第一一或多个处理器进行以下操作：

根据视频译码标准来解码视频位流的视频数据，所述视频位流包含消息，所述消息包含经解码视频数据的高动态范围HDR后处理数据，所述经解码视频数据包括受测试的经解码视频数据；

从所述消息提取所述HDR后处理数据；以及

将所述受测试的经解码视频数据和所述HDR后处理数据提供到所述处理器的第二一或多个处理器所执行的受测试的后处理单元；

致使执行所述受测试的后处理单元的所述第二一或多个处理器根据所述视频译码标准使用所述HDR后处理数据来处理所述受测试的经解码视频数据；

致使执行参考解码器的所述处理器的第三一或多个处理器解码所述视频位流的所述视频数据，以形成参考经解码视频数据，所述参考解码器符合所述视频译码标准；

致使执行第二后处理单元的所述处理器的第四一或多个处理器使用所述HDR后处理数据来处理所述参考经解码视频数据，以形成参考经处理的经解码视频数据；以及致使所述处理器的第五一或多个处理器在经处理的受测试的经解码视频数据与所述参考经处理的经解码视频数据匹配时，确定所述受测试的视频解码器符合所述视频译码标准。

21.根据权利要求20所述的计算机可读非暂时性存储介质，其中所述HDR后处理数据包括用于对所述经解码视频数据进行上取样的查找表系数，且其中当被所述处理器执行时致使所述第二一或多个处理器处理所述经解码视频数据的所述指令包括当被所述处理器执行时致使所述第二一或多个处理器使用所述查找表系数来对所述经解码视频数据进行上取样的指令。

22.根据权利要求20所述的计算机可读非暂时性存储介质，其中所述HDR后处理数据包括用于对所述经解码视频数据进行逆量化的逆量化数据，且其中当被所述处理器执行时致使所述第二一或多个处理器处理所述经解码视频数据的所述指令包括当被所述处理器执行时致使所述第二一或多个处理器使用所述逆量化数据来对所述经解码视频数据进行逆量化的指令。

23.根据权利要求20所述的计算机可读非暂时性存储介质，其中所述HDR后处理数据包括用于将所述经解码视频数据从亮度和色度色彩空间变换到红-绿-蓝色彩空间的色彩变换数据，且其中当被所述处理器执行时致使所述第二一或多个处理器处理所述经解码视频数据的所述指令包括当被所述处理器执行时致使所述第二一或多个处理器使用所述色彩变换数据将所述经解码视频数据从所述亮度和色度色彩空间变换到所述红-绿-蓝色彩空间的指令。

24.根据权利要求20所述的计算机可读非暂时性存储介质，其中所述HDR后处理数据包括定义对所述经解码视频数据的电光转移函数的转移函数数据，且其中当被所述处理器执行时致使所述第二一或多个处理器处理所述经解码视频数据的所述指令包括当被所述处理器执行时致使所述第二一或多个处理器对所述经解码视频数据执行所述电光转移函数的指令。

说明书

用于处理经解码视频数据的方法、系统和存储介质

[0001] 本申请案主张2015年9月22日申请的第62/222,147号美国临时申请案的权益，所述申请案的全部内容以引用的方式并入本文中。

技术领域

[0002] 本发明涉及视频处理。

背景技术

[0003] 数字视频能力可并入到多种多样的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、电子图书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、所谓的“智能电话”、视频电话会议装置、视频流式传输装置及其类似者。数字视频装置实施视频译码技术，例如以下各项标准中所描述的那些视频译码技术：由MPEG-2、MPEG-4、ITU-T H.263、ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)定义、ITU-T H.265、高效视频译码(HEVC)的标准；以及此类标准的扩展。视频装置可通过实施这些视频译码技术来更有效率地发射、接收、编码、解码和/或存储数字视频信息。

[0004] 视频译码技术包含空间(图片内)预测和/或时间(图片间)预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将视频切片(例如，视频帧或视频帧的部分)分割成若干视频块(其也可被称作树块)、译码单元(CU)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测对图片的经帧内译码(I)切片中的视频块进行编码。图片的经帧间译码(P或B)切片中的视频块可使用相对于同一图片中的相邻块中的参考样本的空间预测或相对于其它参考图片中的参考样本的时间预测。图片可被称作帧，且参考图片可被称作参考帧。

[0005] 空间或时间预测产生待译码块的预测性块。残余数据表示待译码原始块与预测性块之间的像素差。经帧间译码块是根据指向形成预测性块的参考样本块的运动向量以及指示经译码块与预测性块的像素之间的差的残余数据来编码。经帧内译码块是根据帧内译码模式和残余数据来编码的。为了进一步压缩，可将残余数据从像素域变换到变换域，从而产生残余变换系数，可接着量化所述残余变换系数。可扫描一开始按二维阵列排列的经量化变换系数，以便产生变换系数的一维向量，且可应用熵译码来实现更多压缩。

发明内容

[0006] 一般来说，本发明描述可用于确定视频解码器是否符合视频译码标准的技术。此外，本发明的技术可通常用以处理经解码视频数据，以制备高动态范围(HDR)视频数据。可对经解码视频数据进行后处理，以便以多种方式形成HDR视频数据。举例来说，客户端装置可将经解码视频数据的色度数据例如，从4:2:0格式上取样到4:4:4格式。客户端装置可另外或替代地逆量化经解码视频数据以实现较高位深度。客户端装置可另外或替代地将经解码视频数据转换到不同色彩空间，例如，从亮度和色度色彩空间(例如YUV或Y'CbCr)到红-绿-蓝(RGB)色彩空间。客户端装置可另外或替代地对经解码视频数据执行电光转移功能，以产生高动态范围(HDR)视频数据。根据本发明的技术，可使用经译码视频位流的语法元素(例如补充增强信息(SEI)消息)来控制这些后处理程序中的任一者或全部。因此，视频解码器可从SEI消息提取HDR后处理数据，且将所提取的后处理数据提供到一或多个后处理单元。此外，可在后处理程序中的任一者或全部(例如，上文所论述的各种后处理程序中的任一者)之后，测试与视频译码标准的符合性。

[0007] 在一个实例中，一种处理经解码视频数据的方法包含：通过视频解码器，根据视频译码标准来解码视频位流的视频数据，所述视频位流包含补充增强信息(SEI)消息，其包含经解码视频数据的高动态范围(HDR)后处理数据；通过所述视频解码器，从所述SEI消息提取HDR后处理数据；通过所述视频解码器，将经解码视频数据和HDR后处理数据提供到后处理单元；以及通过所述后处理单元，根据视频译码标准，使用HDR后处理数据来处理经解码视频数据。

[0008] 在另一实例中，一种用于处理经解码视频数据的装置包含：存储器，其经配置以存储视频位流的视频数据，所述视频位流包含补充增强信息(SEI)消息，其包含经解码视频数据的高动态范围(HDR)后处理数据；视频解码器，其由包括数字逻辑电路的一或多个基于硬件的处理单元实施；以及后处理单元，其由包括数字逻辑电路的一或多个基于硬件的处理单元实施。所述视频解码器经配置以根据视频译码标准来解码视频数据，从SEI消息提取HDR后处理数据，且将经解码视频数据和HDR后处理数据提供到后处理单元。所述后处理单元经配置以根据视频译码标准，使用HDR后处理数据来处理经解码视频数据。

[0009] 在另一实例中，一种用于处理经解码视频数据的装置包含：用于根据视频译码标准来解码视频位流的视频数据的装置，所述视频位流包含补充增强信息(SEI)消息，其包含经解码视频数据的高动态范围(HDR)后处理数据；用于从SEI消息提取HDR后处理数据的装置；用于将经解码视频数据和HDR后处理数据提供到后处理装置的装置；以及用于根据视频译码标准，使用HDR后处理数据来处理经解码视频数据的所述后处理装置。

[0010] 在另一实例中，一种计算机可读存储媒体上面存储有指令，所述指令在被执行时，致使执行视频解码器的第一一或多个处理器根据视频译码标准：解码视频位流的视频数据，所述视频位流包含补充增强信息(SEI)消息，其包含经解码视频数据的高动态范围(HDR)后处理数据；从所述SEI消息提取HDR后处理数据；且通过所述视频解码器，将所述经解码视频数据和所述HDR后处理数据提供到第二一或多个处理器所执行的后处理单元，且致使执行所述后处理单元的所述第二一或多个处理器根据视频译码标准，使用HDR后处理数据来处理经解码视频数据。

[0011] 附图和以下描述中陈述一或多个实例的细节。其它特征、目标和优势将从所述描述和图式以及从所附权利要求书而显而易见。

附图说明

[0012] 图1是说明经配置以实施本发明的技术的实例视频编码和解码系统的框图。

[0013] 图2是说明HDR内容从线性高精度表示到经压缩位流的编码过程的实例的框图。

[0014] 图3是说明HDR内容的解码过程的实例的框图。

[0015] 图4是说明传送功能的若干实例的概念图。

[0016] 图5是说明根据本发明的技术的实例单层HDR重构过程的框图。

[0017] 图6是说明实例HDR预处理技术的框图。

[0018] 图7是说明如何测试主张与特定简档的符合性的解码器的概念图。

[0019] 图8是说明如何测试主张与特定简档的符合性的解码器的另一实例的概念图。

[0020] 图9是说明如何用多个符合性点(CP)来测试主张与特定简档的符合性的解码器的另一实例的概念图。

[0021] 图10是说明根据本发明的技术的实例方法的流程图。

具体实施方式

[0022] 本发明描述与预处理和后处理高动态范围(HDR)和/或宽色域(WCG)视频数据有关的若干技术。在一些实例中，本发明描述用于根据经译码的标准视频(编码器/解码器)来处理HDR/WCG视频数据的技术。

[0023] 视频译码标准包含ITU-T H.261、ISO/IEC MPEG-1视觉、ITU-T H.262或ISO/IEC MPEG-2视觉、ITU-T H.263、ISO/IEC MPEG-4视觉和ITU-T H.264(也称为ISO/IEC MPEG-4AVC)，包含其可缩放视频译码(SVC)和多视图视频译码(MVC)扩展。

[0024] 此外，已由ITU-T视频译码专家组(VCEG)和ISO/IEC动画专家组(MPEG)的视频译码联合协作小组(JCT-VC)完成新的视频译码标准(即，ITU-T H.265、HEVC)的设计。ITU-T HEVC标准作为ITU-T H.265可用：高效视频编码(HEVC)，在www.itu.int/rec/T-REC-H.265-201504-I/en。最终HEVC标准文献作为ITU-T H.265系列H公布：视听和多媒体系统，视听服务的基础架构-移动视频的译码，高效视频译码，国际电信联盟(ITU)的电信标准化部门，
2015年4月。

[0025] 本发明的技术可适用于多种视频译码标准，包含但不限于ITU-T H.264/AVC、ITU-T H.265/HEVC，以及HDR视频中所涉及的其它标准。本发明的技术可用于确定与这些或未来视频译码标准的符合性，或此类标准的扩展。

[0026] 图1是说明可利用本发明的技术的实例视频编码和解码系统10的框图。如图1中所示出，系统10包含提供稍后将由目的地装置14解码的经编码视频数据的源装置12。明确地说，源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括各种各样装置中的任一者，包含桌上型计算机、笔记本型(即，膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智慧”电话)、所谓的“智能”垫、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下，可装备源装置12和目的地装置14以用于无线通信。

[0027] 目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任一类型的媒体或装置。在一个实例中，计算机可读媒体16可包括通信媒体以使源装置12能够实时地将经编码的视频数据直接发射到目的地装置14。经编码视频数据可根据通信标准(例如，无线通信协议)来调制，且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体，例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于分组的网络(例如局域网、广域网或全球网络，例如因特网)的部分。通信媒体可包含路由器、交换机、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。

[0028] 在一些实例中，经编码数据可从输出接口22输出到存储装置。类似地，可通过输入接口从存储装置存取经编码数据。存储装置可包含各种分布式或本地存取的数据存储媒体中的任一者，例如硬盘驱动器、蓝光光盘、DVD、CD-ROM、快闪存储器、易失性或非易失性存储器、或用于存储经编码视频数据的任何其它适合的数字存储媒体。在另一实例中，存储装置可对应于文件服务器或可存储源装置12产生的经编码视频的另一中间存储装置。目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可为能够存储经编码视频数据并且将所述经编码视频数据发射到目的地装置14的任何类型的服务器。实例文件服务器包含网络服务器(例如，用于网站)、FTP服务器、网络附接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)来存取经编码的视频数据。这可包含无线信道(例如，Wi-Fi连接)、有线连接(例如，DSL、电缆调制解调器等)，或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的传输可为流式传输、下载传输或其组合。

[0029] 本发明的技术未必限于无线应用或设置。所述技术可应用于支持多种多媒体应用中的任一者的视频译码，例如空中电视广播、有线电视传输、卫星电视传输、因特网流视频传输(例如，HTTP动态自适应流式传输(DASH))、被编码到数据存储媒体上的数字视频，存储在数据存储媒体上的数字视频的解码，或其它应用。在一些实例中，系统10可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频重放、视频广播和/或视频电话的应用。

[0030] 在图1的实例中，源装置12包含视频源18、视频编码单元21(其包含视频预处理器单元19和视频编码器20)，以及输出接口22。目的地装置14包含输入接口28、视频解码单元29(其包含视频解码器30和视频后处理器单元31)，以及显示装置32。视频预处理器单元19和视频后处理器单元31可经配置以应用如本发明中所描述的一或多个实例技术的若干部分。在其它实例中，源装置和目的地装置可包含其它组件或布置。举例来说，源装置12可从外部视频源18(例如，外部相机)接收视频数据。同样地，目的地装置14可与外部显示装置介接，而不是包含集成显示装置。

[0031] 根据本发明的技术，如下文更详细地论述，视频解码器30可接收包含经译码视频数据和一或多个补充增强信息(SEI)消息的位流，所述SEI消息包含高动态范围(HDR)后处理数据。HDR后处理数据可包含(例如)：用于将4:2:0色度格式数据上取样到4:4:4色度格式的数据；用于将样本逆量化到完整位深度的数据；用于将亮度和色度(例如Y'CbCr)色彩空间中的视频数据转换到红-绿-蓝(RGB)色彩空间的数据；用于执行变换函数的数据，或类似者。

[0032] 视频解码器30可从SEI消息提取HDR后处理数据，并将HDR后处理数据传递到视频后处理器单元31。反过来，视频后处理器单元31可从自视频解码器30接收到的经解码视频数据制备HDR视频数据。以此方式，本发明的技术可支持HDR视频数据。

[0033] 所说明的图1的系统10仅为一个实例。用于处理视频数据的技术可由任何数字视频编码和/或解码装置执行。尽管本发明的技术通常由视频编码装置执行，但所述技术也可由视频编码器/解码器(通常被称作“编解码器”)执行。为易于描述，相对于在源装置12和目的地装置14的对应者中执行本发明中所描述的实例技术的视频预处理器单元19和视频后处理器单元31来描述本发明。源装置12和目的地装置14仅为源装置12在其中产生经译码视频数据以供发射到目的地装置14的此些译码装置的实例。在一些实例中，装置12、14可以大体上对称或互逆的方式操作，使得装置12、14中的每一者包含视频编码和解码组件。因此，系统10可支持视频装置12、14之间的单向或双向视频发射，以例如用于视频流式传输、视频重放、视频广播或视频电话。

[0034] 源装置12的视频源18可包含视频捕获装置，例如摄像机、含有先前所捕获视频的视频存档和/或用于从视频内容提供者接收视频的视频馈送接口。作为另一替代方案，视频源18可产生基于计算机图形的数据作为源视频，或直播视频、存档视频与计算机产生的视频的组合。在一些情况下，如果视频源18为摄像机，那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而，如上文所提到，本发明中所描述的技术一般可适用于视频译码，且可应用于无线和/或有线应用。在每一种情况下，所捕获、预捕获或计算机产生的视频可由视频编码单元21编码。经编码视频信息可接着通过输出接口22输出到计算机可读媒体16上。

[0035] 计算机可读媒体16可包含瞬时媒体，例如无线广播或有线网络发射，或存储媒体(即，非暂时性存储媒体)，例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中，网络服务器(未图示)可从源装置12接收经编码视频数据，并将所述经编码视频数据提供到目的地装置14，例如经由网络传输。类似地，媒体生产设施(例如，光盘冲压设施)的计算装置可从源装置12接收经编码视频数据，且产生含有经编码视频数据的光盘。因此，在各种实例中，计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。

[0036] 目的地装置14的输入接口28从计算机可读媒体16接收信息。计算机可读媒体16的信息可包含由视频编码单元21的视频编码器20定义的语法信息，其也由视频解码单元29的视频解码器30使用，所述语法信息包含描述视频数据块和其它经译码单元的特性和/或处理的语法元素。显示装置32向用户显示经解码视频数据，且可包括多种显示装置中的任一者，例如液晶显示器(LCD)、等离子显示器、有机发光二极管(OLED)显示器或另一类型的显示装置。

[0037] 如所说明，视频预处理器单元19从视频源18接收视频数据。视频预处理器单元19可经配置以处理视频数据，来将其转换成可适合于用视频编码器20编码的形式。举例来说，视频预处理器单元19可执行动态范围压缩(例如使用非线性传递函数)、色彩转换成较紧凑或稳固的色彩空间，和/或浮动到整数表示转换。视频编码器20可对视频预处理器单元19输出的视频数据执行视频编码。视频解码器30可执行视频编码器20的逆转以解码视频数据，且视频后处理器单元31可执行视频预处理器单元19的逆转，以将视频数据转换成适合于显示器的形式。举例来说，视频后处理器单元31可执行整数到浮动转换、从紧凑或稳固色彩空间的色彩转换和/或动态范围压紧的逆转，以产生适合于显示的视频数据。

[0038] 视频编码单元21和视频解码单元29各自可实施为多种合适的编码器电路中的任一者，例如一或多个微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、离散逻辑、软件、硬件、固件或其任何组合。当所述技术部分在软件中实施时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读媒体中，并使用一或多个处理器来执行硬件中的指令以实施本发明的技术。视频编码单元21和视频解码单元29中的每一者可包含于一或多个编码器或解码器中，其中的任一者可作为组合编码器/解码器(编解码器)的一部分集成在相应装置中。

[0039] 尽管将视频预处理器单元19和视频编码器20说明为视频编码单元21内的单独单元，且将视频后处理器单元31和视频解码器30说明为视频解码单元29内的单独单元，但本发明中描述的技术不受如此限制。视频预处理器单元19和视频编码器20可形成为常见装置(例如集成电路或容纳于同一芯片内)。类似地，视频后处理器单元31和视频解码器30可形成为常见装置(例如集成电路或容纳于同一芯片内)。

[0040] 视频编码器20和视频解码器30可根据例如上文所述的视频译码标准中的任一者的视频压缩标准来操作。在HEVC和其它视频译码标准中，视频序列通常包含一系列图片。图片也可被称为“帧”。图片可包含三个样本阵列，标示为SL、SCb和SCr。SL是亮度样本的二维阵列(即，块)。SCb是Cb色度样本的二维阵列。SCr是Cr色度样本的二维阵列。色度样本在本文中还可称为“色度(chroma)”样本。在其它情况下，图片可为单色的，且可仅包含亮度样本阵列。

[0041] 视频编码器20可产生一组译码树单元(CTU)。CTU中的每一者可包括亮度样本的译码树块、色度样本的两个对应的译码树块，以及用于对译码树块的样本进行译码的语法结构。在单色图片或具有三个单独色彩平面的图片中，CTU可包括单个译码树块以及用于对所述译码树块的样本进行译码的语法结构。译码树块可为样本的NxN块。CTU也可被称为“树块”或“最大译码单元(LCU)”。HEVC的CTU可大体上类似于其它视频译码标准(例如，H.264/AVC)的宏块。然而，CTU未必限于特定大小，并且可包含一或多个译码单元(CU)。切片可包含在光栅扫描中连续排序的整数数目的CTU。

[0042] 本发明可使用术语“视频单元”或“视频块”来指代样本的一或多个块，以及用于对样本的一或多个块的样本进行译码的语法结构。视频单元的实例类型可包含HEVC中的CTU、CU、PU、变换单元(TU)，或其它视频译码标准的宏块、宏块分区等等。

[0043] 视频编码器20可将CU的译码块分割为一或多个预测性块。预测性块可为其上应用相同预测的样本的矩形(即，正方形或非正方形)块。CU的预测单元(PU)可包括图片的亮度样本的预测性块，图片的色度样本的两个对应的预测性块，以及用以对预测性块样本进行预测的语法结构。在黑白图片或具有三个单独彩色平面的图片中，PU可包括单个预测性块和用于对预测性块样本进行预测的语法结构。视频编码器20可产生用于CU的每个PU的亮度预测性块、Cb预测性块以及Cr预测性块的预测性亮度块、Cb块以及Cr块。

[0044] 视频编码器20可使用帧内预测或帧间预测来产生PU的预测性块。如果视频编码器20使用帧内预测来产生PU的预测性块，那么视频编码器20可基于与PU相关联的图片的经解码样本产生PU的预测性块。如果视频编码器20使用帧间预测来产生PU的预测性块，那么视频编码器20可基于与另一图片的经解码样本来产生PU的预测性块。

[0045] 在视频编码器20产生CU的一或多个PU的预测性亮度、Cb和Cr块之后，视频编码器20可产生CU的亮度残余块。CU的亮度残余块中的每个样本指示CU的预测性明度块中的一者中的亮度样本与CU的原始亮度译码块中的对应样本之间的差异。另外，视频编码器20可产生CU的Cb残余块。CU的Cb残余块中的每一样本可指示CU的预测性Cb块中的一者中的Cb样本与CU的原始Cb译码块中的对应样本之间的差异。视频编码器20还可产生CU的Cr残余块。CU的Cr残余块中的每一样本可指示CU的预测性Cr块中的一者中的Cr样本与CU的原始Cr译码块中的对应样本之间的差异。

[0046] 此外，视频编码器20可使用四叉树分割将CU的亮度、Cb和Cr残余块分解成一或多个亮度、Cb和Cr变换块。变换块可为应用相同变换的样本的矩形块。CU的变换单元(TU)可包括亮度样本的变换块、色度样本的两个对应变换块，以及用以对变换块样本进行变换的语法结构。在黑白图片或具有三个单独色彩平面的图片中，TU可包含单个变换块，以及用以对变换块样本进行变换的语法结构。因此，CU的每一TU可与亮度变换块、Cb变换块和Cr变换块相关联。与TU相关联的亮度变换块可为CU的亮度残余块的子块。Cb变换块可为CU的Cb残余块的子块。Cr变换块可为CU的Cr残余块的子块。

[0047] 视频编码器20可以将一或多个变换应用于TU的亮度变换块从而为TU产生亮度系数块。系数块可为变换系数的二维阵列。变换系数可为标量。视频编码器20可将一或多个变换应用于TU的Cb变换块以产生TU的Cb系数块。视频编码器20可将一或多个变换应用于TU的Cr变换块以产生TU的Cr系数块。

[0048] 在产生系数块(例如，亮度系数块、Cb系数块或Cr系数块)之后，视频编码器20可量化系数块。量化通常是指对变换系数进行量化以可能减少用以表示变换系数的数据的量从而提供进一步压缩的过程。此外，视频编码器20可逆量化变换系数，且将逆变换应用于变换系数，以重构图片的CU的TU的变换块。视频编码器20可使用CU的TU的经重构变换块以及CU的PU的预测性块来重构CU的译码块。通过重构图片的每一CU的译码块，视频编码器20可重构所述图片。视频编码器20可将经重构的图片存储在经解码图片缓冲器(DPB)中。视频编码器20可使用DPB中的经重构图片来进行帧间预测和帧内预测。

[0049] 在视频编码器20量化系数块之后，视频编码器20可对指示经量化变换系数的语法元素进行熵编码。举例来说，视频编码器20可对指示经量化变换系数的语法元素执行上下文自适应二进制算术译码(CABAC)。视频编码器20可在位流中输出经熵编码的语法元素。

[0050] 视频编码器20可输出包含形成经译码图片和相关联数据的表示的位元序列的位流。位流可包括网络抽象层(NAL)单元的序列。所述NAL单元中的每一者包含NAL单元标头，且封装原始字节序列有效负载(RBSP)。NAL单元标头可包含指示NAL单元类型代码的语法元素。由NAL单元的NAL单元标头指定的NAL单元类型代码指示NAL单元的类型。RBSP可为含有包封在NAL单元内的整数数目个字节的语法结构。在一些情况下，RBSP包含零个位元。

[0051] 不同类型的NAL单元可包封不同类型的RBSP。举例来说，第一类型的NAL单元可包封用于图片参数集(PPS)的RBSP，第二类型的NAL单元可包封用于经译码切片的RBSP，第三类型的NAL单元可包封用于补充增强信息(SEI)的RBSP，等等。PPS是可含有应用于零或多个完整经译码图片的语法元素的语法结构。包封视频译码数据的RBSP(与参数集和SEI消息的RBSP相对)的NAL单元可被称为视频译码层(VCL)NAL单元。包封经译码切片的NAL单元在本文中可被称作经译码切片NAL单元。经译码切片的RBSP可包含切片标头和切片数据。

[0052] 视频解码器30可接收位流。另外，视频解码器30可剖析位流，以对来自位流的语法元素进行解码。视频解码器30可至少部分地基于从位流解码的语法元素重构视频数据的图片。用以重构视频数据的过程大体上可与由视频编码器20执行的过程互逆。举例来说，视频解码器30可使用PU的运动向量来确定当前CU的PU的预测性块。视频解码器30可使用PU的一或多个运动向量来产生PU的预测性块。

[0053] 另外，视频解码器30可逆量化与当前CU的TU相关联的系数块。视频解码器30可对系数块执行逆变换，以重构与当前CU的TU相关联的变换块。视频解码器30可通过将当前CU的PU的预测性样本块的样本添加到当前CU的TU的变换块的对应样本来重构当前CU的译码块。通过重构用于图片的每一CU的译码块，视频解码器30可重构所述图片。视频解码器30可将经解码图片存储在经解码图片缓冲器中，以用于输出和/或用于对其它图片进行解码。

[0054] 补充增强信息(SEI)消息包含于视频位流中，通常为了运载对于解码器解码所述位流来说不重要的信息。此信息有用于改进经解码输出的显示或处理，例如，此信息可由解码器侧实体使用来改进内容的可观看性。以下情况也是可能的：某些应用标准可授权此类SEI消息在位流中的存在，使得质量的改进可引入到符合应用标准的所有装置(为帧兼容平面立体3DTV视频格式运载帧填充SEI消息，其中为视频的每个帧运载所述SEI消息，例如如ETSI-TS 101 547-2中所描述，数字视频广播(DVB)平面立体3DTV；部分2：帧兼容平面立体3DTV，恢复点SEI消息的处置，例如，如3GPP TS 26.114v13.0.0，第三代合作伙伴计划中所描述；技术规范群组服务和系统方面；IP多媒体子系统(IMS)；多媒体电话；媒体处置和交互(版本13)，或DVB中的全屏幕扫描矩形SEI消息，例如，如ETSI-TS 101 154中所描述，数字视频广播(DVB)；基于MPEG-2输送流的广播应用中的视频和音频译码的使用的规范。

[0055] 使用音调映射信息SEI消息来映射亮度样本，或RGB分量样本中的每一者。使用tone_map_id的不同值来定义不同目的，且还相应地修改音调映射SEI消息的语法。tone_map_id的值1允许SEI消息将RGB样本剪切到最小和最大值。tone_map_id的值3允许以枢转点的形式发信号通知查找表。然而，当应用时，将相同的值应用于所有RGB分量，或仅应用于亮度分量。

[0056] 使用膝函数SEI消息来指示归一化线性域中的经解码图片的RGB分量的映射。还指示输入和输出最大亮度值，且查找表将输入亮度值映射到输出亮度值。将同一查找表应用于所有三个色彩分量。

[0057] 使用HEVC标准中定义的色彩再映射信息(CRI)SEI消息来表达用以将一个色彩空间中的图片映射到另一色彩空间的信息。在一个实例中，CRI SEI消息的语法包含三个部分，第一查找表(预LUT)，接着是指示色彩再映射系数的3×3矩阵，接着是第二查找表(后LUT)。对于每一色彩分量，例如R，G，B或Y，Cb，Cr，为预LUT和后LUT两者定义独立的LUT。CRI SEI消息还包含被称作colour_remap_id的语法元素，其不同值可用于指示SEI消息的不同目的。

[0058] 动态范围调整SEI消息，例如如D.巴格得西.三斯利(D.Bugdayci Sansli)、A.K.拉马苏巴拉牟尼(A.K.Ramasubramonian)、D.鲁散诺瓦斯基(D.Rusanovskyy)、S.李(S.Lee)、J.索莱(J.Sole)、M.卡可兹维茨(M.Karczewicz)的动态范围调整SEI消息(m36330，MPEG会议，波兰，华沙，2015年6月22日到26日)中所描述，尚未被采纳作为任何视频译码标准的一部分；然而，SEI消息包含一组标度和偏移量编号的信令以映射输入样本。SEI消息还允许为不同分量发信号通知不同查找表，并且还允许在同一标度和偏移量将用于多于一个分量时的信令优化。以固定长度准确性来发信号通知标度和偏移量编号。

[0059] 下一代视频应用程序预期与表示已捕获的具有HDR和WCG的景物的视频数据一起操作。所利用的动态范围和色域的参数是视频内容的两个独立属性，且其用于数字电视和多媒体服务目的的规范由数个国际标准定义。举例来说，ITU-R Rec.709定义用于HDTV(高清电视)的参数，例如标准动态范围(SDR)和标准色域。另一方面，ITU-R Rec.2020指定UHDTV(超高清电视)参数，例如高动态范围(HDR)和宽色域(WCG)。还存在指定其它系统中的动态范围和色域属性的其它标准开发组织(SDO)文献，例如，在SMPTE-231-2(电影与电视工程师学会)中定义P3色域，且在STMPTE-2084中定义HDR的一些参数。下文提供动态范围的简要描述。

[0060] 动态范围通常被定义为视频信号的最小和最大亮度之间的比率。也可依据“f制光圈(f-stop)”来测量动态范围，其中一个f制光圈对应于信号的动态范围的双倍。在MPEG的定义中，HDR内容是以大于16个f制光圈表示亮度变化的特征的内容。在一些方面，10与16个f制光圈之间的层级被视为中间动态范围，但其在其它定义中被视为HDR。同时，人类视觉系统(HVS)能够感知更大的动态范围。然而，HVS包含使所谓的同时范围变窄的自适应机制。

[0061] 当前视频应用程序和服务受Rec.709调控，并且提供SDR，通常支持每m2约0.1到100坎德拉(candela；cd)(通常称为“尼特(nit)”)的亮度(或照度)范围，从而导致小于10个f制光圈。下一代视频服务预期提供至多达16个f制光圈的动态范围，且尽管具体规范当前尚在开发中，但已在SMPTE-2084和Rec.2020中指定了一些初始参数。

[0062] 高动态范围(HDR)和宽色域(WCG)是视频内容的两个属性。用于编码/解码HDR/WCG视频内容的一些实例技术使用具有10位或更多的输入位深度且具有额外预/后处理步骤的核心视频编解码器(例如H.264/AVC或H.265/HEVC)。将预处理应用于输入HDR/WCG视频数据，来使此类数据符合编解码器。将后处理应用于经解码的样本，以恢复(经重构的)HDR/WCG视频数据。在预处理与后处理之间，存在位流和解码器符合核心视频编解码器正执行的标准的特定简档和等级的标准编解码器。在一个实例中，核心视频编解码器是HEVC主要10。

[0063] 在一些实例中，以每分量(甚至浮点)非常高的精度、以4:4:4色度格式以及非常宽的色彩空间(例如XYZ)来获取和存储HDR/WCG视频内容。此表示目标在于高精度且(几乎)是在数学上无损的。出于压缩目的，具有较低精度的表示是优选的，尤其是在所述表示作为视频编解码器的输入(类似HEVC)较方便时。

[0064] 以此方式，目的地装置14表示用于处理经解码视频数据的装置的实例，其包含：经配置以存储视频位流的视频数据的存储器，所述视频位流包含补充增强信息(SEI)消息，其包含经解码视频数据的后处理数据；视频解码器，其由包括数字逻辑电路(例如视频解码器30)的一或多个基于硬件的处理单元实施；以及后处理单元，其由包括数字逻辑电路(例如视频后处理器单元31)的一或多个基于硬件的处理单元实施。视频解码器可经配置以解码视频数据，从SEI消息提取HDR后处理数据，且将所述经解码视频数据和所述HDR后处理数据提供到后处理单元。后处理单元可经配置以使用HDR后处理数据来处理经解码视频数据。

[0065] 图2是说明图1的视频预处理器单元19的组件的框图，所述组件可将HDR内容从线性高精度表示转换到编码视频数据以形成经压缩位流时所使用的格式。图3是说明图1的视频后处理器单元31的组件的框图，所述组件可将经解压缩的视频数据转换回到原始表示空间(即，HDR视频)。

[0066] 图2的视频预处理器单元19包含OETF单元50，而图3的视频后处理器单元31包含EOTF单元68。OETF单元50和EOTF单元68实施相应的转移函数(TF)。OETF单元50将具有光电转移函数(OETF)的线性浮动数据从亮度表示(例如以尼特为单位，或以归一化亮度表示为单位)转换为码字(或代码等级)。TF可为一维(1D)函数。标准动态范围(SDR)TF通常为γ函数。对于HDR，另外或在替代方案中，可使用类似PQ的其它非线性函数(ST 2084)。转移函数的目标是压缩扩展考虑人体视觉系统(HVS)特性的输入数据，其具有与亮度的记录函数较对准的感知(相对于线性关系)。

[0067] 图3的EOTF单元68执行OETF的逆过程，即EOTF(电光转移函数)。通过执行EOTF，EOTF单元68将代码等级映射回到亮度。下文的图4说明TF的若干实例。这些映射还可单独地应用于每一R、G和B分量。

[0068] 图2的视频预处理器单元19包含R'G'B'到Y'CbCr单元52，而图3的视频后处理器单元31包含Y'CbCr到R'G'B'单元66，其中的每一者执行相应的色彩变换。RGB色彩空间具有其分量之间的高相关。在图2的实例中，R'G'B'到Y'CbCr单元52将RGB分量转换到YCbCr，其为适合于压缩的较不相关色彩空间。同样地，Y'CbCr到R'G'B'单元66将YCbCr分量转换成相应的RGB分量，其可通过(例如)显示装置32(图1)显示。

[0069] 图2的量化(“quant”)10b单元54和图3的逆量化(“inv quant”)10b单元64执行相应的量化/定位点转换。量化10b单元54将处于高位深度(浮动或固定点)的原始数据转换到可由视频编解码器(例如，视频编码器20和视频解码器30)处置的位深度。举例来说，量化10b单元54可对数据进行按比例缩放，并量化所述经按比例缩放的数据，以用10个位来表示，以便用HEVC 10位编码来译码所述数据。相反，逆量化10b单元64逆量化并按比例缩放所述数据，以再现完整位范围。

[0070] 视频预处理器单元19包含4:4:4到4:2:0单元56，其执行下取样，而视频后处理器单元31包含4:2:0到4:4:4单元62，其执行上取样。许多视频译码应用已经使用4:2:0色度格式，因为通常是这样的情况：在每一方向上将色度分量下取样2不具有个体视觉影响，而在编解码器压缩之前，所述量的数据已经除以因子2。对于HDR/WCG，观察结果仍看起来保持，且在初始系统中，向编解码器馈送以4:2:0色度格式表示的视频。以此方式，HEVC主要10简档可用以压缩HDR/WCG视频。

[0071] 图5是说明另一实例视频后处理器单元31'的框图，其执行与图3的实例相比的替代译码链。在此实例中，视频后处理器单元31'包含自适应重整形单元70、色度上取样单元72、色彩增强单元74、色彩空间转换单元76和自适应TF'78。视频后处理器单元31'还接收包含自适应重整形元流80、色彩增强元流82和色彩空间元流84的元数据。

[0072] 如HDR/WCG的MPEG专门小组(w15454)中所描述，存在用于HDR的一系列“常见架构”。图5表示用于HDR的实例常见架构。色度上取样单元72不一定是用于HDR的技术的一部分。HDR输出数据可以浮点值来表达。在本发明的一些实例中，逆量化步骤可与图5中所示的架构一起使用，例如，如图3所示。

[0073] 视频译码标准中的符合性。通过将相符位流传递到解码器且传递到假想参考解码器(HRD)，并将所述值与两个解码器的输出的时序或次序进行比较，来测试视频解码器的符合性。举例来说，当HRD所输出的所有经裁剪的经解码图片也由受测试的解码器输出，那么解码器称为符合AVC或HEVC规范。也就是说，输出的所有样本的值等于指定解码过程所产生的样本的值。符合性保证了经解码视频的质量。经解码视频是到HRD的“位-精确”。

[0074] 实例视频译码标准(MPEG-1、MPEG-2、H.261、H.263、AVC、HEVC…)中的符合性点已为经重构经译码帧(在整数位深度下具有适当的chroma_format)且其时序由HRD模型或较高等级STD(MPEG-2输送流)暗示的HRD输出缓冲器。在4:2:0(例如4:4:4源)或除环路后滤波器4:2:0输出外的任何东西之前，在包含视频信号上的符合性点的核心处，尚未存在具有4:2:0视频编解码器的符合性模型。

[0075] 从4:4:4色度格式到4:2:0色度格式以及反过来的转换使用下取样和上取样滤波器。此过程的性能可对选定的下取样和上取样滤波器且对内容特性敏感。使用自适应按比例缩放方法来依据内容的局部特性而改变滤波器，使得按比例缩放对每种类型的区很好地执行，例如平滑区域、边缘、纹理等上。许多制造商使用专有方法来获得其装置(TV、监视器等)的最佳质量，且作为与竞争者区分开的一种方式。因此，视频译码标准不会强加任何特定上取样滤波器，其将应用于解码器/接收器侧。至多，存在“色度再取样提示SEI(补充增强信息)”的实例，其为SMPTE RP-2050(其为定义4:2:2/4:2:0以及4:2:0/4:2:2格式转换以在串接操作中提供非降级的4:2:0色度保护的方法的建议)的HEVC/AVC运载。

[0076] 然而，为了具有如此处定义的HDR系统的符合性，应定义将应用于4:2:0经解码样本的上取样滤波器，因为输入和输出处于4:4:4色度格式。这提出了一个问题，如何标准化HDR视频压缩系统，所述系统必须为符合标准的解码器定义符合性点。

[0077] 另一方面是浮点操作，在若干标准中，通常避免浮点操作，因为它们非常依赖于特定架构。举例来说，MPEG-1和2定义浮点中的逆DCT(IEEE 1180)，其引起无法使用指定浮点操作的解码器上的漂移。面向统计的标准，ANSI/IEEE 1180-1990，为符合的8×8IDCT(逆离散余弦变换)指定准确性。漂移引起的与预期输出和质量的偏离无法得到保证。MPEG-1需要I帧之间的最大数目的帧，因为除了别的以外，低精度实施方案中的逆DCT误差的累加在硬件解码器中最常见。ANSI/IEEE 1180-1990尚未风行，包含在行政上两次被撤回，尽管在为视频解码定义定点逆DCT之前，MPEG标准家族已不断地参考所述标准。

[0078] 在这方面，视频译码标准中需要浮点操作可能是成问题的，因为其对所述标准的所有实施方案强加高精度条。如本文在一些实例中所定义，HDR具有从10位到浮点的逆量化步骤，且接着在浮点域中处理数据(例如逆TF，色彩转换)。

[0079] 图6是说明实例HDR预处理的流程图，其基本上可通过(例如)图1和2的视频预处理器单元19来执行。在图6的实例中，最初，相机(例如图1的视频源18)在受限范围内捕获线性主要值(90)。视频预处理器单元19接着可执行降噪和去拜耳输入装置变换(IDT)(92)，其可去除低于所定义的噪声底限的经隔离等级值，且根据相机光圈元数据来将像素值按比例缩放到完整动态范围。视频预处理器单元19接着可执行色彩计时和定级过程，其可包含(例如)外观修改变换(LMT)、参考渲染变换(RRT)，或类似者(94)。为了执行色彩计时和定级过程，视频预处理器单元19可从主控监视器96接收数据。一般来说，此过程确定所要的外观，并执行装置等级渲染。

[0080] 接下来，视频预处理器单元19的OETF单元50可执行OETF，其可包含经由输出装置变换(ODT)，根据PQ曲线来转换线性输入数据(98)，例如，如图4所示。接着，R'G'B'到Y'CbCr单元52可使用色彩空间转换将输入R'G'B'数据转换为Y'CbCr数据(100)。4:4:4到4:2:0单元56接着可执行色度再取样，以将4:4:4输入数据减少到4:2:0数据(102)。视频预处理器单元19接着可将浮点值转换为整数样本(104)。

[0081] 替代的实施方案可进行固定点算术中的后处理链，其将近似表示浮点操作的准确性。在此类解决方案中，如果不需要浮点输出，那么可避免数据到浮点表示的逆量化，或如果需要此类输出，那么逆量化可位于处理链的结尾。

[0082] 国际标准体(例如MPEG)似乎不具有后处理链的指定实施方案，例如针对SEI消息的处理，或其实施方案的精度。这可导致其中主张符合某一标准化规范的装置归因于后处理的实施方案曾以表示的不足准确性进行的事实而将提供不充分的服务质量的情形。

[0083] 存在与使用核心视频编解码器来定义与HDR标准的特定简档和等级的符合点有关的两个主要问题：

[0084] 1.色度上取样滤波器

[0085] 2.浮点操作

[0086] 本发明描述可用于克服这些问题以便定义符合点的技术。明确地说，本发明描述解决上述问题的若干技术，因此允许使用后处理和核心编解码器的HDR标准的规范(例如HEVC主要10)。应理解，本发明的技术可与其它核心编解码器一起使用。并且，应理解，下文描述的技术中的每一者可独立使用，或可以与下文所述的技术的任何其它组合的任何组合使用。

[0087] HDR-符合位流。如果满足以下条件，那么位流被称为符合等级L和层T处的某一HDR简档：

[0088] -位流与等级L和层T处的HEVC主要10兼容

[0089] -所述位流含有第一SEI消息，其指定查找表系数，所述查找表系数指定如何映射所引导的经解码样本的三个分量(例如RGB、YCbCr、YUV等)。

[0090] 在一个实例中，将第一SEI消息指定为以下列表中的一者(但不限于)：分量按比例缩放SEI消息、色彩再映射信息SEI、动态范围调整SEI消息，且查找表的实施方案由如直接应用于经解码图片的输出的SEI消息的语义指定。

[0091] 在另一实例中，基于指定与逆转移函数的上取样、色彩转换和应用有关的变量的第二、第三和第四SEI消息的存在，将位流称为符合某些HDR简档。下文给出HDR符合解码器的简档的若干替代方案。

[0092] HDR符合解码器。被称为符合某一等级L和层T的HDR简档的解码器将解码符合等级L和层T的HDR简档的所有位流，并提供相同输出(在使用查找表映射的经裁剪输出图片的像素值方面)，作为已使用第一SEI消息所指定的查找表映射的HEVC主要10遵从解码器的HRD的输出。

[0093] 图7是说明确定受测试的视频解码器122是否遵从特定视频译码标准或视频译码标准的特定简档的实例标准遵从装置的框图。为了符合，视频解码器必须为特定视频译码标准(潜在地还为所述视频译码标准的特定简档，例如HEVC的HDR简档)解码视频位流，且在这样做时，在使用查找表进行后处理之后，针对输出图片中的每一像素位置产生相同的样本值，在将查找表应用于参考视频解码器(例如HRD)的输出之后获得所述查找表。

[0094] 在此实例中，标准遵从装置120包含受测试的视频解码器122、包含查找表124的后处理单元144、参考视频解码器126、包含查找表128的后处理单元146，以及比较单元130。尽管在单个标准遵从装置120内示出，应理解，在其它实例中，受测试的视频解码器122、参考视频解码器126和比较单元130可对应于单独的装置。

[0095] 在此实例中，受测试的视频解码器122和参考视频解码器126两者接收相同输入。参考视频解码器126表示针对特定视频译码标准的模型视频解码器。受测试的视频解码器
122和参考视频解码器126两者接收视频位流，其包含包括后处理数据的SEI消息。SEI消息可包含(例如)将用以将4:2:0格式的视频数据上取样到4:4:4格式的上取样系数。

[0096] 在此实例中，受测试的视频解码器122对所述接收到的视频位流的视频数据进行解码。受测试的视频解码器122将经解码视频数据134(其还可经裁剪)传递到后处理单元144。另外，受测试的视频解码器122从SEI消息提取后处理数据，且将后处理数据132传递到后处理单元144。后处理单元144使用后处理数据132来构造查找表124，且接着使用查找表
124对经解码视频数据134进行后处理，从而形成经后处理的受测试的经解码视频数据140。

[0097] 类似地，参考视频解码器126对所述接收到的视频位流的视频数据进行解码。参考视频解码器126将经解码视频数据138(其还可经裁剪)传递到后处理单元146。另外，参考视频解码器126从SEI消息提取后处理数据，且将后处理数据136传递到后处理单元146。后处理单元146使用后处理数据136来构造查找表128，且接着使用查找表128对经解码视频数据138进行后处理，从而形成参考经后处理的经解码视频数据142。

[0098] 比较单元130接着将经后处理的受测试的经解码视频数据140与参考经后处理的经解码视频数据142进行比较。在一些实例中，此比较可包含确定经后处理的受测试的经解码视频数据140与参考经后处理的经解码视频数据142的图片像素和图片输出次序是否相同地匹配。在一些实例中，此比较可允许经后处理的受测试的经解码视频数据140与参考经后处理的经解码视频数据142的图片的像素之间的某一误差容限(例如预定义阈值误差)。在任何情况下，当例如经后处理的受测试的经解码视频数据140与参考经后处理的经解码视频数据142的图片像素和图片输出次序相同地匹配，或在某一容限度内(例如根据上文所论述的预定义阈值误差)时，比较单元130可确定经后处理的受测试的经解码视频数据140与参考经后处理的经解码视频数据142匹配。因此，标准遵从装置120可确定受测试的视频解码器122顺应对于其来说参考视频解码器126是模型视频解码器的相关视频译码标准。

[0099] 图8是说明确定受测试的视频解码器152是否遵从特定视频译码标准或视频译码标准的特定简档的另一实例标准遵从装置150的框图。为了符合，视频解码器必须为特定视频译码标准(潜在地还为所述视频译码标准的特定简档，例如HEVC的HDR简档)解码视频位流，且在这样做时，在使用查找表进行后处理之后，针对输出图片中的每一像素位置产生相同的样本值，在将查找表应用于参考视频解码器(例如HRD)的输出之后获得所述查找表。

[0100] 在此实例中，标准遵从装置150包含受测试的视频解码器152、包含查找表156的后处理单元154、参考视频解码器162、包含查找表166的后处理单元164，以及比较单元172。尽管在单个标准遵从装置150内示出，但应理解，在其它实例中，受测试的视频解码器152、参考视频解码器162和比较单元172可对应于单独的装置。

[0101] 在此实例中，受测试的视频解码器152和参考视频解码器162两者接收相同输入。参考视频解码器162表示针对特定视频译码标准的模型视频解码器。受测试的视频解码器
152和参考视频解码器162两者接收视频位流，其包含包括后处理数据的一或多个SEI消息。
SEI消息可包含(例如)将用以将4:2:0格式视频数据上取样到4:4:4格式的上取样系数、用于将值增加到特定位深度的逆量化数据，以及将在色彩空间之间(例如从YUV到RGB)的转换时使用的数据。

[0102] 在此实例中，受测试的视频解码器152对所述接收到的视频位流的视频数据进行解码。受测试的视频解码器152将经解码视频数据176(其还可经裁剪)传递到后处理单元154。另外，受测试的视频解码器152从SEI消息提取后处理数据，且将后处理数据174传递到后处理单元154。后处理单元154使用后处理数据174来构造查找表156，且接着使用查找表
156来对经解码视频数据176进行后处理。举例来说，查找表156可存储后处理单元154应用于将4:2:0视频数据上取样到4:4:4视频数据的上取样系数。后处理数据174还可包含将在将个别样本上取样到特定位深度(例如在逆量化期间)时使用的上取样数据。因此，上取样单元158可将上取样数据应用于4:4:4视频数据。此外，后处理数据174可包含用以将亮度和色度色彩空间(例如YUV色彩空间)中的数据转换到红-绿-蓝(RGB)色彩空间的系数。因此，当将经逆量化的样本从YUV转换到RGB时，YUV到RGB单元160可应用这些系数，以产生经后处理的受测试的经解码视频数据178。

[0103] 类似地，参考视频解码器162对所述接收到的视频位流的视频数据进行解码。参考视频解码器162将经解码视频数据182(其还可经裁剪)传递到后处理单元164。另外，参考视频解码器162从SEI消息提取后处理数据，且将后处理数据180传递到后处理单元164。后处理单元164使用后处理数据180来构造查找表166，且接着使用查找表166来对经解码视频数据182进行后处理。举例来说，查找表166可存储后处理单元164应用于将4:2:0视频数据上取样到4:4:4视频数据的上取样系数。后处理数据180还可包含将在将个别样本上取样到特定位深度(例如在逆量化期间)时使用的上取样数据。因此，上取样单元168可将上取样数据应用于4:4:4视频数据。此外，后处理数据180可包含用以将亮度和色度色彩空间(例如YUV色彩空间)中的数据转换到红-绿-蓝(RGB)色彩空间的系数。因此，当将经逆量化的样本从YUV转换到RGB时，YUV到RGB单元170可应用这些系数，以产生参考经后处理的经解码视频数据184。

[0104] 比较单元172接着将经后处理的受测试的经解码视频数据178与参考经后处理的经解码视频数据184进行比较。在一些实例中，此比较可包含确定经后处理的受测试的经解码视频数据178与参考经后处理的经解码视频数据184的图片像素和图片输出次序是否相同地匹配。在一些实例中，此比较可允许经后处理的受测试的经解码视频数据178与参考经后处理的经解码视频数据184的图片的像素之间的某一误差容限(例如预定义阈值误差)。在任何情况下，当例如经后处理的受测试的经解码视频数据178与参考经后处理的经解码视频数据184的图片像素和图片输出次序相同地匹配，或在某一容限度内(例如根据上文所论述的预定义阈值误差)时，比较单元172可确定经后处理的受测试的经解码视频数据178与参考经后处理的经解码视频数据184匹配。因此，标准遵从装置150可确定受测试的视频解码器152顺应对于其来说参考视频解码器162是模型视频解码器的相关视频译码标准。

[0105] 可基于指定来测试符合点的额外步骤来定义HDR的进一步简档。举例来说，符合HDR的某一简档的解码器将产生与视频编解码器的HRD所产生的样本值相同的样本值，接着是包括(但不限于)查找表、上取样、色彩转换、逆量化和EOTF的应用的步骤。

[0106] 存在对于各种HDR简档来说合意的若干特征，并且还定义某一HDR简档。这些特征中的一或多者可独立地包含或以用于简档的规范的组合的形式包含。

[0107] 1.嵌套的HDR符合点：在HDR链的不同部分中定义多于一个符合点，且解码器可符合所述链中的一个或多个点：

[0108] ·举例来说，图9是包含多个符合点(CP)的过程的概念图。在此实例中，存在HEVC解码过程200。就在HEVC解码过程200之后，定义第一符合点(CP 202)。第二CP 208在4:2:0到4:4:4上取样过程206(其本身接受HDR数据204)之后。第三CP 214是在逆量化过程212之后，所述逆量化过程对HDR数据210操作。在EOTF过程218之后的链的结尾定义最后符合点，CP 220，所述EOTF过程对HDR数据216操作(在4:4:4、RGB、浮点域中)。EOTF过程218的结果是HDR数据222，如果此数据与CP 224处的参考数据匹配(且已传递所有其它符合点)，那么其可被称为符合。

[0109] ·接着，解码器符合至多达链中的多个点中的一者的HDR简档。在图9中，如果输出与就在解码器之后的HRD输出相同，那么解码器在CP 202处符合。如果解码器在后处理链的结尾产生与HRD数据222相同的输出(图9中的CP 224)，那么解码器已完成符合(端对端)。针对嵌套的符合的符合性测试可容易地从图7和图8中所示的实例扩展。

[0110] ·因此，符合给定层和等级处的特定HDR简档的解码器正确地解码符合所述层、等级或简档的所有位流，且在某些相符点处产生数值上相同的经裁剪的经解码输出图片；在指定点之后，解码器不一定使用指定解码过程，其也不产生与本文在符合点之后指定的过程所产生的那些输出图片数值上相同的经裁剪的经解码图片。

[0111] 2.某一替代方案涉及(标准化)用于解码器之后的步骤的HEVC规范(或其它规范)中的浮点算术和上取样滤波器的浮点标准(例如IEEE 754-2008)。

[0112] ·或者，在SEI消息(例如再取样滤波器提示SEI消息)中发信号通知的上取样滤波器用以定义符合性。

[0113] 3.核心HDR：HDR后处理在解码器输出位深度域(或输出位深度加某一量)中、在同一色彩空间中和以同一色度格式定义。

[0114] ·后处理(例如自适应重整形或动态范围调整、色彩管理)指定解码器输出域。

[0115] ·在VUI中发信号通知色彩转换和TF：这些步骤可在浮点域中完成，但不是具有符合点的标准本身的一部分。

[0116] ·从4:2:0到4:4:4的转换不标准化：上取样滤波器在此过程中保持未被定义，也就是说，不是所述标准的一部分。

[0117] ·以此方式，当前符合性定义将从HEVC(或其它编解码器)符合性保持不变，可能除了并不改变输出位深度、色彩空间或色度格式的额外处理之外。

[0118] 4.类似于2，但迫使色彩变换处于编解码器输出位深度

[0119] ·举例来说，使用能够以固定整数精度几乎无损地操作的YCgCo色彩空间。

[0120] 5.用于4:2:0到4:4:4转换的条件性符合性

[0121] a)HDR HEVC建议上取样滤波器(或使用“色度再取样提示SEI”来发信号通知)[0122] b)使用上文a)中的滤波器，来调节与解码器的符合性。

[0123] c)如果使用所述滤波器，那么解码器输出应与HRD输出匹配(符合)。

[0124] d)然而，不需要使用滤波器(“应”而不是“将”)。

[0125] 6.近似表示HDR的符合性，其中解码器(包含规范性后处理)输出不是位确切的，而是在HRD输出的范围内

[0126] ·HRD输出的“在范围内”是关于输出域中的相对误差或绝对误差定义的。在一些替代方案中，包含额外步骤，以将浮动数据转换到整数/固定点域(可再次应用TF)，且在下一点评定符合性。

[0127] ·这是可能的，因为HDR输出不反馈到解码器(无经解码误差的反馈回路)，因此将不存在漂移。

[0128] 7.后处理链的语义(例如由SEI消息定义的过程的语义)改变为处于固定点算术和目标位深度。以此方式，可保证符合性点。

[0129] 8.使将直接应用于经裁剪的经解码图片的输出处的每一分量的查找表标准化。指定查找表所需的系数是作为元数据或SEI消息的一部分发信号通知，且将查找过程定义为由SEI消息或元数据的语义定义。或者，在应用第二SEI消息所指定的过程之后，对经裁剪的经解码图片应用每一组件的查找表。

[0130] 上述解决方案中的一或多者的组合是可能的。举例来说，上取样滤波器可为固定的，但归因于其余处理块中的一些的浮点算术，仍需要近似符合性。

[0131] 图10是说明根据本发明的技术的实例方法的流程图。图10的方法可例如由图1的目的地装置14、图7的标准遵从装置120或图8的标准遵从装置150执行。出于实例的目的，相对于图1的目的地装置14及其各种实例组件(例如，如相对于图3和5所论述)来阐述图10的方法。

[0132] 最初，视频解码器30对位流的视频数据进行解码(250)。在此实例中，推测位流包含指定后处理数据的一或多个SEI消息。举例来说，位流可包含组件按比例缩放SEI消息、色彩再映射信息SEI或动态范围调整SEI消息，或包含额外或替代后处理数据的其它此类SEI消息中的一或多者。视频解码器30还从位流提取SEI消息(252)，且从SEI消息提取后处理数据(254)。视频解码器30接着将经解码视频数据和后处理数据发送到一或多个后处理单元，例如视频后处理器单元31(图1)(256)。

[0133] 视频后处理器单元31接着使用从视频解码器30接收到的后处理数据来对经解码视频数据进行后处理(258)。举例来说，视频后处理器单元31(明确地说，图3的4:2:0到4:4:4单元62)可使用后处理数据(例如从组件按比例缩放SEI消息提取)将经解码视频数据从4:
2:0色度格式上取样到4:4:4色度格式。另外或替代地，图3的逆量化10b单元64可使用后处理数据(例如从动态范围调整SEI消息提取来将精度添加到(也就是说，逆量化)经解码视频数据的像素值。另外或替代地，Y'CbCr到R'G'B'单元66可将视频数据从亮度和色度色彩空间(例如Y'CbCr)转换到红-绿-蓝(RGB)色彩空间，例如，使用后处理数据(其可从色彩再映射信息SEI消息提取)。另外或替代地，EOTF单元68可使用后处理数据来对经解码视频数据执行EOTF功能。视频后处理器单元31接着可输出经处理的经解码视频数据(260)。

[0134] 此外，可测试输出经处理的经解码视频数据，以确定视频解码器(例如视频解码器30，在此实例中)是否用适用的视频解码标准编译。明确地说，图10的步骤250到260可分别由受测试的视频解码器(例如图7、8的受测试的视频解码器122、152)执行。另外，图10的步骤250到260还可分别由参考视频解码器(例如图7、8的参考视频解码器126、162)执行。接着，比较单元(例如分别为图7、8的比较单元130、172)可将受测试的视频解码器的输出与参考视频解码器的输出进行比较(262)，以确定所述输出是否匹配。可在多种符合性点中的任一者(例如图9的CP 202、208、214、220和/或224)处执行所述比较。所述比较单元可基于受测试的视频解码器的输出是否与所述符合性点处的参考视频解码器的对应输出匹配，来确定受测试的视频解码器被称为符合的符合性点中的一或多者。使用虚线来说明步骤262周围的框，以指示此步骤是任选的，因为本发明的技术还可在视频解码和后处理的正常过程期间应用，且不一定限于其中为与标准的符合性而测试输出的情形。

[0135] 应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序来执行，可添加、合并或全部省略所述动作或事件(例如，实践所述技术未必需要所有所描述动作或事件)。此外，在某些实例中，可(例如)通过多线程处理、中断处理或多个处理器同时而非依序地执行动作或事件。

[0136] 在一或多个实例中，所描述的功能可用硬件、软件、固件或其任何组合来实施。如果在软件中实施，那么所述功能可作为一或多个指令或代码在计算机可读媒体上存储或传输，并且由基于硬件的处理单元执行。计算机可读媒体可以包含计算机可读存储媒体，其对应于例如数据存储媒体或通信媒体等有形媒体，通信媒体(例如)根据通信协议包含促进将计算机程序从一处传送到另一处的任何媒体。以此方式，计算机可读媒体通常可对应于(1)非暂时性的有形计算机可读存储媒体，或(2)通信媒体，例如，信号或载波。数据存储媒体可为可由一或多个计算机或者一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用媒体。计算机程序产品可包含计算机可读媒体。

[0137] 作为实例而非限制，此类计算机可读存储媒体可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它媒体。并且，适当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在媒体的定义中。但是，应理解，所述计算机可读存储媒体和数据存储媒体并不包括连接、载波、信号或其它暂时性媒体，而是实际上针对于非暂时性有形存储媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读媒体的范围内。

[0138] 指令可由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置以用于编码和解码的专用硬件和/或软件模块内提供，或并入在组合编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。

[0139] 本发明的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

[0140] 描述了各种实例。这些和其它实例在所附权利要求书的范围内。