生成关于图像/视频信号的方法、携带特定信息数据的比特流以及获得该特定信息的方法

摘要

本公开一般涉及一种关于从光电传递函数所产生的视频信号的比特流，其特征在于，其携带标识意图要在视频显示器上呈现视频信号之前应用于所述视频信号的电光传递函数的信息数据，所述电光传递函数不是被用于产生所述视频信号的光电传递函数的逆。本公开还涉及一种生成这样的比特流的方法以及获得意图要在视频显示器上呈现视频信号之前应用于所述视频信号的电光传递函数的方法。

权利要求

1.一种用于生成关于从光电传递函数所产生的视频信号的比特流的装置，其特征在于，其包括：用于添加信息数据到比特流的部件，所述信息数据用于标识意图要在视频显示器上呈现视频信号之前应用于所述视频信号的电光传递函数，所述电光传递函数是用于产生视频信号的主控显示器的电光传递函数，所述电光传递函数补偿用于产生视频信号的不可逆的光电传递函数。

2.一种用于生成关于从光电传递函数所产生的视频信号的比特流的方法，其特征在于，其包括：添加信息数据到比特流，所述信息数据用于标识意图要在视频显示器上呈现所述视频信号之前应用于所述视频信号的电光传递函数，所述电光传递函数是用于产生视频信号的主控显示器的电光传递函数，所述电光传递函数补偿用于产生视频信号的不可逆的光电传递函数。

3.一种用于获得意图要在视频显示器上呈现视频信号之前应用于所述视频信号的电光传递函数的方法，其特征在于，其包括：从比特流获得信息数据，所述信息数据用于从关于从光电传递函数所产生的视频信号的比特流标识所述电光传递函数，所述电光传递函数是用于产生视频信号的主控显示器的电光传递函数，所述电光传递函数补偿用于产生视频信号的不可逆的光电传递函数。

4.一种处理器可读介质，其中存储有用以使处理器至少执行根据权利要求2或3所述的方法的步骤的指令。

5.一种非临时性存储介质，其携带程序代码的指令，所述程序代码的指令当在计算设备上执行所述程序时执行根据权利要求2或3所述的方法的步骤。

说明书

生成关于图像/视频信号的方法、携带特定信息数据的比特流

以及获得该特定信息的方法

技术领域

[0001] 本公开一般涉及视频信号中的伽玛校正。

背景技术

[0002] 本部分意图向读者介绍可能与下面所描述和/或所要求的本公开的各个方面有关的本领域的各个方面。相信该讨论据有助于向读者提供背景信息，以便于更好地理解本发明的各个方面。因此，应当理解到，这些陈述应当就就此而论地阅读，而非作为对现有技术的承认。

[0003] 图1示出例示从视频信号的捕获到其在显示器上的呈现的完整的视频处理方案的框图。

[0004] 一般而言，该处理方案包括：捕获装置CAPA，由其捕获视频信号VID；显示装置DISA，其包括被配置为计算和显示视频信号VID的呈现的模块RM；以及可选的发布部件DM，其包括被配置为对视频信号VID进行编码/解码的编码/解码方案以及被配置为通过通信网络将可能经编码的视频信号VID从捕获装置CAPA传送给显示装置DISA的传输部件。

[0005] 捕获装置CAPA包括：捕获部件CM，诸如相机，用以捕获输入视频信号IVID；以及模块OETFM，其将光电传递函数(Opto-Electrical Transfer Function，OETF)应用于输入视频信号IVID。

[0006] 光电传递函数(OETF)(也滥用地称为“伽玛编码”)可以在捕获视频信号期间(模块则通常嵌入在捕获部件CM中)或者在使得能够对物理线性光信号(相机的输入)进行编码的内容制作期间应用于输入视频信号IVID。

[0007] 开发伽玛编码最初用以补偿阴极射线管(CRT)显示器的输入/输出特性。更准确地说，因为电子枪的强度(亮度)为非线性的，所以阴极射线管(CRT)以非线性方式将视频信号转换为光。根据下式，光强度I基本上与源电压VS有关：

[0008] l∝VSγ

[0009] 其中，γ通常属于范围[1.8；2.6]。

[0010] 为了补偿这种效应，于是将逆传递函数(OETF，又称为伽玛编码或伽玛校正)应用于输入视频信号IVID，使得端到端响应近乎是线性的。换言之，有意地使输入视频信号IVID失真，使得在通过CRT显示器使其再次失真之后，观看者看见正确的亮度。

[0011] OETF的基本示例是：

[0012] Vc∝VS1/γ

[0013] 其中，VC是校正电压，VS是例如来自将光电荷线性地转换为电压的图像传感器的源电压。在本文的CRT示例中，1/γ是1/2.2或0.45。

[0014] 针对CRT显示器，已经对多种OETF进行了标准化(Recommendation ITU-R BT.709-5，Parameter values for the HDTV*standards for production and international programme exchange，2004年4月；以及Recommendation ITU-R BT.1361，Worldwide unified colorimetry and related characteristics of future television and imaging system，1998年2月)。

[0015] 需要伽玛编码，以对人类视觉的特性进行补偿，因此使得关于人类如何感知光和色彩的比特或带宽的使用最大化。人类视觉在普通照射条件(既不是漆黑的，也不是另人眩目地明亮的)下服从近似伽玛或幂函数或对数函数(在此，幂<1)。如果视频是未经伽玛编码的，则它们将过多的比特或过多带宽分配给人类无法区分的高亮，而将过少的比特/带宽分配给人类敏感的阴影值，并且将需要更多比特/带宽来保持相同的视觉质量。

[0016] 此外，在内容制作期间，通常与摄影导演协作的调色师对输入视频信号IVID应用色彩评级处理。他也在具有特定电光传递函数(EOTF)的主控显示器上显示所得的视频信号。主控显示器又称为基准屏幕。

[0017] OETF通常是可逆的。因此，将单个标志发送给显示装置DISA以指示已经使用了何种OETF。显示装置DISA然后确定与由这样的单个标志所指定的OETF相对应的EOTF。用于扁平面板的EOTF的示例由ITU推荐给出(Recommendation ITU-R BT.1886，Reference electro-optical transfer function for flat panel displays used in HDTV studio production，2011年3月；或者WD SMPTE 2084-20xx，Reference Electro-Optical Transfer Function for Displays Used in High Dynamic Range Studio Production，版本1.04，2013年11月20日)。

[0018] 然而，无法一直从由所接收的标记所指定的OETF直接地解释出对应的EOTF。例如，当OETF包括继之以0.45(1/2.2)的幂函数的很少的线性部分(由于非常低级别的传感器相机噪声)时，情况便是如此。该OETF接近于(但并非真实相同于)2.4幂函数的曲线近似。于是，对应的EOTF为1/2.4的幂函数，并且不会精确地补偿很少的线性部分以及幂函数(#2.2)。

[0019] 此外，呈现内容的消费者电子设备可能不具有与被用于在制作期间对内容进行评级的主控显示器相同的EOTF。因此，可能不会保留艺术化意图。

[0020] 此外，EOTF还可以考虑例如针对特定使用情况(例如用于广播的暗淡光照环境或者用于影院的暗光照环境)或针对显示器周围的特定光照条件(用户偏好、光照条件的自动化检测、……)或任何其他用户偏好(诸如显示器的功耗的限制)所设计的特定周围光照条件。

发明内容

[0021] 根据前述内容，本公开的各方面涉及创建并且维持计算机系统上的数据对象之间的语义关系。以下给出本公开的简化概述，以便提供对本公开的一些方面的基本理解。该概述不是本公开的广泛的概览。其不打算标识本公开的关键或决定性要素。以下概述仅以简化的方式呈现本公开的一些方面，作为下文所提供的更详细的描述的前序。

[0022] 本公开着手于通过在视频显示器上呈现视频信号之前用信号通知(signaling)意图应用于视频信号的EOTF来补救现有技术的一些缺点。

[0023] 然后，显示装置知道调色师在视频信号的内容制作期间所使用的主控显示器的真实EOTF，从而保留调色师的意图以及节目的表现/呈现一致性。

[0024] 此外，用信号通知被传送给远程显示装置的比特流中的真实EOTF避免在呈现视频信号中导致伪像的EOTF的曲线近似。

[0025] 另外的优点是，对于视频信号的内容制作，可以使用不可逆的OETF。

[0026] 本公开涉及一种关于从光电传递函数所产生的视频信号的比特流，其特征在于，所述比特流携带标识意图要在视频显示器上呈现视频信号之前应用于所述视频信号的电光传递函数的信息数据，所述电光传递函数是用于产生视频信号的主控显示器的电光传递函数，所述电光传递函数补偿用于产生视频信号的不可逆的光电传递函数。

[0027] 根据实施例，所述比特流还包括表示关于所标识的电光传递函数的至少一个参数的信息数据。

[0028] 根据实施例，电光传递函数响应对于主控显示器的每个色度通道是有差异的，并且所述比特流还包括用以补偿这些差异的一些参数。

[0029] 本公开还涉及一种用于生成关于从光电传递函数所产生的视频信号的比特流的方法，其特征在于，其包括：

[0030] -添加标识意图要在视频显示器上呈现所述视频信号之前应用于所述视频信号的电光传递函数的信息数据，所述电光传递函数是用于产生视频信号的主控显示器的电光传递函数，所述电光传递函数补偿用于产生视频信号的不可逆的光电传递函数。

[0031] 本公开还涉及一种用于获得意图要在视频显示器上呈现视频信号之前应用于所述视频信号的电光传递函数的方法，其特征在于，其包括：

[0032] -从关于从光电传递函数所产生的视频信号的比特流获得标识所述电光传递函数的信息数据，所述电光传递函数是用于产生视频信号的主控显示器的电光传递函数，所述电光传递函数补偿用于产生视频信号的不可逆的光电传递函数。

[0033] 本公开还涉及一种计算机程序产品、一种处理器可读介质以及一种非临时性存储介质。

[0034] 根据下面结合附图进行的对实施例的描述，本公开的特定性质以及本公开的其他目的、优点、特征和使用将变得显而易见。

附图说明

[0035] 在附图中示出本发明的实施例。附图示出：

[0036] 图1示出例示从视频信号的捕获到其在显示器上的呈现的完整的视频处理方案的框图；

[0037] 图2示出根据本公开实施例的生成比特流F的方法的步骤的框图；

[0038] 图3示出根据本公开的获得意图要在呈现之前应用于视频信号的EOTF的方法的步骤的框图；

[0039] 图4示出根据本公开实施例的设备的架构的示例；以及

[0040] 图5示出根据本公开实施例的通过通信网络进行通信的两个远程设备。

[0041] 通过相同的标号来指代相似或相同的元件。

具体实施方式

[0042] 在下文中将参照示出本公开实施例的附图来更完整地描述本公开。然而，本公开可以以许多替代的形式来实施，而不应当被理解为受限于在本文中所阐述的实施例。因此，虽然本公开容易有各种修改和替代形式，但是其特定实施例在附图中作为示例来示出，并且将在本文中详细地描述。然而，应当理解，不打算将本公开限制于所公开的具体形式，而是相反地，本公开涵盖落入由所附权利要求所限定的本公开的精神和范围内的所有修改、等同物以及替换。在附图的各处描述中，相同的号码指代相同的元件。

[0043] 在本文中所使用的术语仅用于描述具体实施例的目的，而非意图限制本公开。如在本文中所使用的那样，单数形式“一”、“一个”以及“该”意图同样包括复数形式，除非上下文另外清楚地指明。还应当理解，术语“包括”、“包括有”、“包含”和/或“包含”在本说明书中使用时，指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在性，但是不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件或其分组。此外，当元件被称为“响应于”或“连接到”另外的元件时，其可以直接地响应于或连接到其他元件，或者可以存在中介元件。相反，当元件被称为“直接响应于”或“直接连接到”另外的元件时，不存在中介元件。如在本文中所使用的那样，术语“和/或”包括相关联的所列项目中的一个或多个的任何以及所有的组合，并且可以简写为“/”。

[0044] 应当理解，虽然在本文中可能使用术语“第一”、“第二”等来描述不同的元件，但是这些元件不应被这些术语所限制。这些术语仅用于将一个元件与另一个元件区分开。例如，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件，而不脱离本公开的教导。

[0045] 虽然一些图表包括关于通信路径的箭头以示出通信的主要方向，但是应当理解的是，通信可以在与所示箭头相反的方向上进行。

[0046] 一些实施例参照框图和操作流程图来描述，其中每个块表示电路元件、模块或包含实现所指定的逻辑功能的一个或多个可执行的指令的代码的一部分。还应当注意的是，在其他实施方式中，在块中所标记的功能可以不以所标记的次序进行。例如，相继示出的两个块实际上可以基本上并行地执行，或者块有进可以以相反的次序来执行，取决于所涉及的功能。

[0047] 在本文中所提及的“一个实施例”或“实施例”意味着结合该实施例描述的具体特征、结构或特性可以包括在本公开的至少一种实施方式中。在说明书的不同地方出现的术语“在一个实施例中”或“根据实施例”未必全部指相同的实施例，单独或替代的实施例也未必与其他实施例相互排斥。

[0048] 在权利要求中出现的标号仅用于示例，而不应当对权利要的范围具有限制效果。

[0049] 虽然未明确描述，但是所呈现的实施例和变型可以以任何组合或子组合来采用。

[0050] 图2示出根据本公开实施例的生成比特流F的方法的步骤的框图。

[0051] 比特流F与视频信号VID相关联。

[0052] 在步骤20，获得信息数据SEOTF。信息数据SEOTF标识意图要在显示装置DISA的视频显示器上呈现视频信号之前应用于视频信号VID的电光传递函数(EOTF)。

[0053] 根据实施例，信息数据SEOTF标识被用于对输入视频信号IVID进行评级的主控显示器的EOTF。

[0054] 在步骤21，将信息数据SEOTF添加到比特流F。

[0055] 根据步骤20的实施例，信息数据SEOTF从本地存储存储器或远程存储存储器获得。

[0056] 根据步骤11的实施例，信息数据SEOTF通过被添加到视频可用性信息(VUI)的字节“display_transfer_function”来表示，视频可用性信息(VUI)的语法定义在标题为“HEVC Range Extensions Draft 6”(JCTVC-P1005，D.Flynn等人，2014年2月)的标准中。在表格1中给出修改VUI的语法的部分。

[0057] 表格1

[0058]

[0059] 注意，比特“display_info_present_flag”指示比特流是否携带信息数据SEOTF。

[0060] 根据实施例，将信息数据SEOTF添加到SEI消息的语法，SEI消息的语法定义在HEVC标准中。

[0061] 根据实施例，信息数据SEOTF由被添到mastering-display-color-volume SEI消息的字节“display_transfer_function”来表示，mastering-display-color-volume SEI消息的语法定义在标题为“Indication of SMPTE 2084and 2085and carriage of 2086metadata in HEVC”

[0062] (JCTVC-P0084，C.Fogg和J.Helman，2014年1月)的文章中。

[0063] 在表格2中给出修改的mastering-display-color-volume SEI消息的示例。

[0064] 表格2

[0065]

[0066] 表格3给出可以作为用0到1的标称范围进行了归一化的输入视频信号级别(在V＝0处为黑色，在V＝1处为白色)的函数的这样的EOTF的一些示例。Lc是基准显示器的线性光强度输出。当display_transfer_function的值等于1时，Lw(其中，Lw＝max_display_mastering_luminance)指示以cd/m2为单位的白色的显示亮度，LB(其中LB＝min_display_mastering_luminance)指示以cd/m2为单位的黑色的显示亮度(参见Rec.ITU-R BT.1886)。
当display_transfer_function语法元素不存在时，display_transfer_function的值等于
2(显示器传递函数未指定或者由应用所确定)。

[0067] 表格3

[0068]

[0069] 根据变型，比特流F还包括表示关于所标识的EOTF的至少一个参数的信息数据。

[0070] 例如，关于所标识的EOTF的参数是针对每个LED背光显示器的面积将被点亮的LED的数量。

[0071] 这可以在功耗是关注点并且经济/降级模式/评级可能有意义时使用，以便保留艺术性意图。

[0072] 根据变型，从所传送的标准EOTF得出意图要在显示装置DISA的视频显示器上呈现视频信号VID之前使用的EOTF。然后还传送特定主控显示器的一些参数，以从标准EOTF进行补偿。

[0073] 根据变型，EOTF响应对于主控显示器的每个色度通道是有差异的，并且传送关于所标识的EOTF的一些参数以补偿这些差异。

[0074] 对于高亮度中的码字的小偏差可能对所重构的(三)色度信号具有巨大影响(例如色调偏移或错误的皮肤色质)的HDR显示器，该变型特别地有利。

[0075] 表格4

[0076] 图3示出根据本公开的获得意图要在视频显示器上呈现视频信号之前应用于视频信号的EOTF的方法的步骤的框图。

[0077] 在步骤30，从本地存储存储器或远程存储存储器获得比特流F。

[0078] 在步骤31，从比特流F获得信息数据SEOTF。

[0079] 在步骤32，然后从所获得的信息数据SEOTF获得EOTF。

[0080] 根据所述实施例以及参照图3所描述的变型，信息SEOTF直接标识来自比特流F的电光传递函数，或者可能与特设(ad hoc)参数、基准显示器的特定色度信道或者校正模型的校正因子相关联。

[0081] 如上所述，当从比特流F获得时，就使用这样的相关联的数据来确定EOTF。

[0082] 在图1至图3中，模块是功能单元，其可以与可区分的物理单元有关或者可以与可区分的物理单元无关。例如，这些模块或者它们中的一些可以被一起放入在单个组件或电路中，或者用于软件的功能。相反，一些组件可以潜在地包含分开的物理实体。与本公开兼容的装置可以使用纯硬件来实现，例如使用诸如ASIC或FPGA或VLSI(分别为专用集成电路、现场可编程门阵列、超大规模集成电路)这样的专用硬件，或者可以由嵌入在设备中的若干集成的电子组件或者硬件和软件组件的混合来实现。

[0083] 图4表示可以被配置为实现结合图1-图3所描述的方法的设备40的示例性架构。

[0084] 设备40包括通过数据和地址总线41链接在一起的以下元件：

[0085] -微处理器42(或CPU)，其例如是DSP(或数字信号处理器)；

[0086] -ROM(或只读存储器)43；

[0087] -RAM(或随机存取存储器)44；

[0088] -I/O接口45，用于从应用接收数据以进行发送；以及

[0089] -电池46

[0090] 根据变型，电池46处于设备外部。图4的这些元件中的每一个是本领域技术人员公知的，并且将不进一步公开。在所述存储器中的每一个中，说明书中所使用的文字“存储器”可以对应于小容量(一些比特)的区域或非常大的区域(例如整个程序或大量接收到的或所解码的数据)。ROM 43至少包括程序和参数。根据本发明的方法的算法存储在ROM 43中。当打开时，CPU 42更新RAM中的程序，并且运行对应指令。

[0091] RAM 44在寄存器中包括CPU 42运行的并且在打开设备42之后更新的程序、寄存器中的输入数据、寄存器中的方法的不同状态下的中间数据以及用于在寄存器中运行方法的其他变量。

[0092] 在本文中所描述的实现方式可以实现为例如方法或处理、装置、软件程序、数据流或信号。尽管仅在单一形式的实现方式的上下文中进行了讨论(例如，仅作为方法或设备进行了讨论)，但是所讨论的特征的实现方式也可以实现为其他形式(例如程序)。装置可以实现为例如专用硬件、软件和固件。方法可以实现在例如诸如例如一般被称为处理设备的处理器(例如，包括计算机、微处理器、集成电路或可编程逻辑设备)这样的装置中。处理器还包括通信设备，诸如例如计算机、手机、便携式/个人数字助理(“PDA”)以及便于与终端用户之间进行信息通信的其他设备。

[0093] 根据不同实施例，将比特流F发送到目的地。作为示例，所述比特流存储在本地或远程存储器中，例如视频存储器(44)或RAM(44)、硬盘(43)。在变型中，一个或两个比特流发送给例如与海量储存器、闪速存储器、ROM、光盘或磁支承之间的接口这样的存储接口(45)和/或通过例如到点对点链路、通信总线、点对多点链路或广播网络的接口这样的通信接口(45)来传送。

[0094] 根据不同实施例，是从来源获得比特流F。示例性地，从例如视频存储器(44)、RAM(44)、ROM(43)、闪速存储器(43)或硬盘(43)这样的本地存储器读取比特流。在变型中，比特流接收自与海量储存器、闪速存储器、ROM、光盘或磁支承之间的接口这样的存储接口(45)和/或接收自例如到点对点链路、通信总线、点对多点链路或广播网络的接口这样的通信接口(45)。

[0095] 根据不同实施例，被配置为实现参照图2至图3所描述的方法的设备40属于包括以下项的集合：

[0096] -移动设备；

[0097] -通信设备；

[0098] -游戏设备；

[0099] -平板(或平板计算机)；

[0100] -膝上型计算机；

[0101] -静止图像相机；

[0102] -摄像机；

[0103] -编码芯片；

[0104] -静止图服务器；以及

[0105] -视频服务器(例如广播服务器、视频点播服务器或网络服务器)。

[0106] 根据图5所示的实施例，在通过通信网络NET在两个远程设备A与B之间进行传输的背景下，设备A包括被配置为实现参照图2所描述的方法的部件，并且设备B包括被配置为实现参照图3所描述的用于解码的方法的部件。

[0107] 根据本发明的变型，网络是适合于将静止图像或视频图像从设备A广播给包括设备B的解码设备的广播网络。

[0108] 在本文中所描述的各种处理和特征的实现方式可以实施为各种各样的不同的设备或应用。这样的设备的示例包括所述设备、处理来自解码器的输出的后处理器、提供输入给编码器的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、手机、PDA以及用于处理图片或视频的任何其他设备或者其他通信设备。应当清楚的是，设备可以是移动的，甚至可以安装在移动车辆中。

[0109] 另外，方法可以通过由处理器执行的指令来实现，这样的指令(和/或由实现方式所产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可以采用实施在一个或多个计算机可读介质并且在其上实施有可由计算机执行的计算机可读程序代码的计算机可读程序产品的形式。在本文中所使用的计算机可读存储介质被视为非临时性存储介质，其给出在其中存储信息的固有能力以及提供从中检索信息的固有能力。计算机可读存储介质可以是例如但不限于电子的、磁性的、光学的、电磁的、红外的或半导体系统、装置或设备或者前述的任何适合的组合。应当意识到，下面虽然提供可以应用本原理的计算机可读存储介质的更具体的示例，但是本领域技术人员容易意识到，其仅是示例性的，而不是排他性的列表：便携式计算机盘、硬盘、只读存储器(ROM)、可擦除可编程存储器(EPROM或闪速存储器)、便携式压缩盘只读存储器(CD-ROM)、光存储设备、磁存储设备或者前述的任何适合的组合

[0110] 指令可以形成有形地实施在处理器可读介质上的应用程序。

[0111] 指令可以在例如硬件、固件、软件或组合中。指令可以存在于例如操作系统、单独的应用或者二者的组合中。因此，处理器可以表征为例如被配置为执行处理的设备以及包括具有用于执行处理的指令的处理器可读介质的设备(例如存储设备)二者。此外，在指令的基础上或者代替指令，处理器可读介质可以存储实现方式所产生的数据值。

[0112] 对于本领域技术人员显而易见的是，实现方式可以产生被格式化以携带可以例如被存储或传送的信息的各种信号。信息可以包括例如用于执行方法的指令或者由所描述的实施方式之一所产生的数据。例如，信号可以格式化为携带用于写入或读所描述的实施例的语法的规则作为数据，或者携带所描述的实施例所写入的实际的语法值作为数据。这样的信号例如可以格式化为电磁波(例如使用频谱的射频部分)或者基带信号。格式化可以包括例如对数据流进行编码以及用经编码的数据流来调制载波。信号所携带的信息可以是例如模拟或数字信息。信号可以通过已知的各种不同的有线或无线链路来传送。信号可以存储在处理器可读介质上。

[0113] 已经描述了许多实现方式。然而，应当理解的是，可以做出各种修改。例如，不同实现方式的元件可以组合、补充、修改或移除以产生其他实现方式。另外，本领域技术人员将理解到，其他结构和处理可以替代所那些，并且所得到的实现方式将以与所公开的实现方式至少基本相同的方式执行与所公开的实现方式至少基本相同的功能以得到与所公开的实现方式至少基本相同的结果。因此，本申请想到了这些以及其他实现方式。